KR100604702B1 - 이미지 시퀀스를 인코딩하는 장치 및 이미지 신호를 양자화하기 위해서 양자화 스케일을 생성하는 방법 - Google Patents

이미지 시퀀스를 인코딩하는 장치 및 이미지 신호를 양자화하기 위해서 양자화 스케일을 생성하는 방법 Download PDF

Info

Publication number
KR100604702B1
KR100604702B1 KR1019997007293A KR19997007293A KR100604702B1 KR 100604702 B1 KR100604702 B1 KR 100604702B1 KR 1019997007293 A KR1019997007293 A KR 1019997007293A KR 19997007293 A KR19997007293 A KR 19997007293A KR 100604702 B1 KR100604702 B1 KR 100604702B1
Authority
KR
South Korea
Prior art keywords
frame
delete delete
quantization scale
bits
current frame
Prior art date
Application number
KR1019997007293A
Other languages
English (en)
Other versions
KR20000071026A (ko
Inventor
티하오 치앙
야-퀸 장
Original Assignee
미디어텍 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미디어텍 인크. filed Critical 미디어텍 인크.
Publication of KR20000071026A publication Critical patent/KR20000071026A/ko
Application granted granted Critical
Publication of KR100604702B1 publication Critical patent/KR100604702B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

코딩 속도를 최적화하기 위하여 각 프레임에 대한 양자화 스케일을 선택하기 위한 장치 및 방법(100,300)에 관한 것이다. 양자화 스케일이 각 프레임에 대하여 선택되어, 전체 프레임들의 시퀀스에 걸쳐 일정한 화질을 유지하면서 상기 프레임에 대한 목표 비트 속도가 달성된다.

Description

이미지 시퀀스를 인코딩하는 장치 및 이미지 신호를 양자화하기 위해서 양자화 스케일을 생성하는 방법{APPARATUS FOR ENCODING AN IMAGE SEQUENCE AND METHOD FOR GENERATING A QUANTIZER SCALE TO QUANTIZE AN IMAGE SIGNALS}
본 발명은 1997년 2월 12일에 미국 가출원된 제 60/037,056호의 우선권을 청구하며, 상기 미국 가출원은 여기서 참조문헌으로서 포함된다.
본 발명은 움직임 영상의 코딩을 최적화하기 위한 장치 및 방법에 관한 것이다. 특히, 본 발명은 상기 코딩 속도를 최적화하면서 움직임 영상의 전체적인 품질을 유지하기 위하여 각 프레임에 대한 양자화 스케일을 반복적으로 조절하는 장치 및 방법에 관한 것이다.
동화상 표준화 그룹(moving picture experts group;MPEG)은 코딩/디코딩 방법에 대한 표준을 만들기 위하여 ISO/IEC 국제 표준 11172 및 13818(일반적으로 MPEG-1 및 MPEG-2 포맷으로 각각 칭해짐)을 제정하였다. 상기 MPEG 표준들이 MPEG 순응 비트 스트림을 생성하기 위한 일반적인 코딩 방법론(methodology) 및 문장론(syntax)을 특별히 정하고 있지만, 데스크 탑 영상 출판, 화상 회의, 디지털 저장 매체 및 텔레비젼 방송등과 같은 다수의 서로 다른 적용예들 및 서비스들을 수용하기 위하여 다양한 변화가 허용된다.
현재 MPEG 코딩 방법(예를 들면, 다양한 MPEG 시험 모델들)에 있어서, 한 화상 그룹 내의 동일한 유형의 모든 화상들은 동일한 복잡도를 갖는 것으로 가정함으로써 각 프레임에 대한 양자화 스케일이 선택된다. 그러나, 각 화상의 복잡도는 시간에 따라 변화하기 때문에, 상기 기준(criterion)에 의해 선택된 양자화 스케일은 최적의 코딩 성능을 달성할 수는 없을 것이다.
더욱이, 예를 들면 웨이브렛 변환(계층적 부대역 분해(hierarchical subband decomposition)로도 공지되어 있는)과 같은 글로벌 유형의 변환을 이용하는 인코더도 유사한 문제들을 갖는다. 예를 들면, 웨이브렛 변환들은 낮은 비트 속도 이미지 코딩(변환 계수들의 중요한 맵으로도 알려져 있는 0 이 아닌 값들의 위치를 지시하는 이진 맵(웨이브렛 트리)의 코딩)이라는 중요한 측면에 적용된다. 양자화 및 엔트로피 코딩은 그후에 매우 낮은 비트 속도들을 달성하는데 사용된다. 상기 중요한 맵(웨이브렛 트리)을 인코딩하기 위해 양자화 스케일의 적절한 선택의 상당한 개선에 의해 압축 효율 및 코딩 속도가 현저하게 개선될 것이다.
그러므로, 당업계에 있어서, 상기 코딩 속도를 최적화하면서 영상 이미지의 전체적인 품질을 유지하기 위해 각 프레임에 대해 양자화 스케일을 반복적으로 조절하는 장치 및 방법에 대한 요구가 있어 왔다.
삭제
삭제
(발명의 개요)
본 발명은 상기 코딩 속도를 최적화하면서 영상 이미지의 전체적인 품질을 유지하기 위하여 각 프레임에 대한 양자화 스케일을 선택하는 장치 및 방법에 관한 것이다. 즉, 양자화 스케일은, 각 프레임(화상)에 대해, 전체 화상 시퀀스에 걸쳐 균일한 화질을 유지하면서 상기 화상에 대한 목표 비트 속도(target bit rate)가 달성되도록 선택된다.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
본 발명은 도면을 참조하여 상세한 설명을 고려함으로써 더욱 용이하게 이해될 수 있다.
도 1 은 본 발명의 장치의 블록 다이어그램을 도시한 것이다.
도 2 는 상기 장치의 비트 속도를 제어하기 위하여 복잡도 측정식에 따라 최적의 양자화 스케일을 유도하기 위한 흐름도를 도시한 것이다.
도 3 은 본 발명의 장치의 제 2 실시예의 블록 다이어그램을 도시한 것이다.
도 4 는 웨이브렛 트리를 나타낸 도면이다.
도 5 는 본 발명의 인코딩 시스템을 도시한 것이다.
이해를 도모하기 위하여, 가능한 한 도면들에 공통되는 동일한 구성 요소들을 지정하는데 있어 동일한 참조 번호들을 사용하였다.
실시예
도 1 은, 코딩 속도를 제어하면서 영상 이미지의 전체적인 품질을 유지하기 위해 각 프레임에 대한 양자화 스케일을 유도하기 위한 본 발명의 장치(100)의 블록 다이어그램을 도시한 것이다. 본 발명이 MPEG 순응 인코더에 관해 기술되지만 당업자는 본 발명이 다른 코딩/디코딩 표준들을 따르는 다른 인코더들에 적용될 수 있음을 알수 있을 것이다.
본 발명의 바람직한 실시예에서, 장치(100)는 인코더이거나 더욱 복잡한 블록-기반의 움직임 보상 코딩 시스템의 일부분이다. 장치(100)는 움직임 추정 모듈(140), 움직임 보상 모듈(150), 속도 제어 모듈(130), DCT 모듈(160), 양자화(Q) 모듈(170), 가변 길이 코딩(VLC) 모듈(180), 버퍼(190), 역 양자화(Q-1) 모듈(175), 역 DCT(DCT-1) 변환 모듈(165), 감산기(115) 및 합산기(155)를 포함한다. 상기 장치(100)가 다수의 모듈들을 포함하지만, 당업자는 다양한 모듈들에 의해 수행되는 기능들이 도 1 에 도시된 바와 같은 개별 모듈들로 분리될 필요가 없음을 알 수 있을 것이다. 예를 들면, 움직임 보상 모듈(150), 역 양자화 모듈(175) 및 역 DCT 모듈(165)을 포함하는 모듈들의 세트는 일반적으로 "내장형 디코더(embedded decoder)"로 공지되어 있다.
도 1 은, MPEG 표준들에 따라 휘도(luminance) 및 2색 차이 신호들(Y, Cr, Cb)로 표현되고 디지털화되는 신호 경로(110)상의 입력 영상 이미지(이미지 시퀀스)를 도시한다. 상기 신호들은 그후 다수의 층들(시퀀스, 화상들의 그룹, 화상, 슬라이스, 매크로블록 및 블록)로 분해되어 각 화상(프레임)은 다수의 매크로블록들로 표현된다. 각 매크로블록은 4 개의 휘도 블록들, 한개의 Cr 블록 및 한개의 Cb 블록을 포함하며, 한 블록은 8×8 샘플 어레이로 정의된다. 블록 유닛들로 한 화상을 분할함으로써, 2 개의 연속적인 화상들사이의 변화들을 식별하는 능력을 개선하고 작은 진폭 변환 계수들(하기에서 논의됨)의 제거를 통해 이미지 압축을 개선한다. 상기 디지털화된 신호에 대해 적절한 윈도우, 분해능, 및 입력 포맷을 선택하기 위한 포맷 변환과 같은 사전처리(preprocessing)가 선택적으로 이루어질 수 있다.
경로(110)상의 입력 영상 이미지는 움직임 벡터들을 추정하기 위하여 움직임 추정 모듈(140)로 수신된다. 움직임 벡터는, 현재 화상의 한 블록의 좌표 위치로부터 기준 프레임내의 좌표들까지의 오프셋을 제공하기 위하여 움직임 보상에 의해 사용되는 2 차원 벡터들이다. 상기 기준 프레임은 이전 프레임(P-프레임) 또는, 이전 및/또는 장래 프레임(B-프레임)일 수 있다. 현재 및 기준 프레임들 사이의 변화들만이 코딩되고 전송되기 때문에, 움직임 벡터들의 사용은 채널을 통해 전송되는 정보의 양을 감소시킴으로써 이미지 압축을 크게 강화시킨다.
움직임 추정 모듈(140)로부터의 움직임 벡터들은 샘플 값들의 예상 효율을 개선하기 위하여 움직임 보상 모듈(150)에 의해 수신된다. 움직임 보상은, 예상 에러를 형성하는데 사용되는 이전에 디코딩된 샘플 값들을 포함하는 과거 및/또는 장래 기준 프레임들로 오프셋을 제공하기 위하여 움직임 벡터들을 사용하는 예상을 수반한다. 즉, 움직임 보상 모듈(150)은 현재 프레임의 추정을 형성하기 위하여 이전에 디코딩된 프레임 및 움직임 벡터들을 사용한다. 더욱이, 당업자는 움직임 추정 모듈 및 움직임 보상 모듈에 의해 수행된 기능이 예를 들면 단일 블록 움직임 보상기와 같은 조합된 모듈에서 실현될 수 있음을 알 수 있을 것이다.
더욱이, 정해진 매크로블록들에 대한 움직임 보상 예상을 수행하기에 앞서, 코딩 모드가 반드시 선택되어야 한다. 코딩 모드 결정 영역에서, MPEG은 다수의 서로 다른 매크로블록 코딩 모드들을 제공한다. 특히, MPEG-2 는 인트라 모드, 움직임 없음 보상 모드(No MC), 프레임/필드/듀얼-프라임 움직임 보상 인터 모드, 포워드/백워드/평균 인터 모드 및 필드/프레임 DCT 모드를 포함하는 매크로블록 코딩 모드들을 제공한다.
일단 하나의 코딩 모드가 선택되면, 움직임 보상 모듈(150)은 과거 및/또는 장래 기준 화상들에 기초하여 블록 내용들의 움직임 보상된 예상(예상된 이미지)을 경로(152) 상에서 생성한다. 경로(152)상의 움직임 보상된 예상은 감산기(115)에 의해 현재 매크로블록내의 경로(110)상의 영상 이미지에서 감산되어 경로(153)상에 예상 오차 신호 또는 에러 신호를 형성한다. 상기 예상 오차 신호의 형성은 입력 영상 이미지내의 중복 정보를 효과적으로 제거한다. 현재 프레임이 I 프레임으로 인코딩된다면, 경로(153)상의 신호는 단순히 원래 화상이고 예상 오차 신호가 아니라는 것을 주목해야 한다.
DCT 모듈(160)은 그후 포워드 이산 코사인 변환 프로세스를 상기 예상 오차 신호의 각 블록에 적용하여 DCT 계수의 8×8 블록 세트를 생성한다. 상기 DCT 기본 기능 또는 부대역 분해는 그 다음의 양자화 단계에 중요한 사이코비쥬얼 (psychovisual) 기준의 효과적인 사용을 가능하게 한다.
그로인한 DCT 계수들의 8×8 블록은 상기 DCT 계수들이 양자화되는 양자화 모듈(170)에 의해 수신된다. 양자화 프로세스는, DCT 계수들을 한 세트의 양자화 값들로 나누고 적절한 간략화(반올림, 올림등)로 정수 값들을 형성함으로써 DCT 계수들이 표현되는 정확도를 감소시킨다. 양자화 값들은 기본 기능들의 가시도(visibility)에 따른 기준(가시적으로 가중된(weighted) 양자화로 공지된)을 사용하여 개별적으로 각 DCT 계수에 대해 세팅될 수 있다. 즉, 상기 양자화 값은 주어진 기본 기능의 가시도에 대한 임계치, 즉 인간의 눈에 의해 단지 탐지될 수 있는 계수 크기에 상응한다. 상기 값으로 DCT 계수들을 양자화함으로써, 많은 상기 DCT 계수들은 값 "0"으로 변환되고 그로 인해 이미지 압축 효율이 개선된다. 양자화 프로세스는 중요한 동작이며 화질을 달성하고 정해진 비트 속도에 자신의 출력을 매칭하도록 인코더를 제어하기(속도 제어) 위한 중요한 도구이다. 다른 양자화 값이 각 DCT 계수에 적용될 수 있기 때문에, "양자화 매트릭스"는 일반적으로 기준 표, 예를 들면 휘도 양자화 표 또는 채색 양자화 표로서 정해진다. 따라서 상기 인코더는 변환된 블록내의 각 주파수 계수가 양자화되는 방식을 결정하는 양자화 매트릭스를 선택한다.
그러나, 양자화 에러의 주관적인 지각은 주파수에 따라 크게 변화하고 더욱 높은 주파수들에 대해서는 더욱 대략적인(coarse) 양자화 값들을 사용하는 것이 바람직하다. 즉, 인간의 양자화 에러들에 대한 인지 민감도는 공간 주파수들이 높아짐에 따라 더욱 낮아진다. 따라서, 높은 주파수들은 낮은 주파수들에 비해 더욱 작게 허용된 값들로 더욱 대략적으로 양자화된다. 더욱이, 정확한 양자화 매트릭스는 계획된 디스플레이의 특성들, 시청 거리 및 소스내의 잡음의 양 등과 같은 많은 외부적인 파라미터들에 좌우된다. 따라서, 적용예 또는 심지어 개별적인 프레임들의 시퀀스에 대한 특정한 양자화 매트릭스를 작성하는 것이 가능하다. 일반적으로, 커스토마이징된(customized) 양자화 매트릭스는 압축된 영상 이미지들과 함께 내용으로서 저장될 수 있다. 양자화 스케일의 적절한 선택은 속도 제어 모듈(130)에 의해 수행될 수 있다.
다음으로, 양자화된 DCT 계수들의 최종적인 8×8 블록은 신호 접속부(171)를 통해 가변 길이 코딩(VLC) 모듈(180)에 의해 수신된다. 상기 모듈에서 양자화된 계수들의 2 차원 블록은 양자화된 DCT 계수들의 1 차원 스트링으로 변환하기 위하여 "지그재그" 순서로 스캐닝된다. 상기 지그재그 스캐닝 순서는 가장 낮은 공간 주파수에서 가장 높은 주파수로 DCT 계수들을 대략 순차적으로 순서화하는 것이다. 가변 길이 코딩(VLC) 모듈(180)은 그후 양자화된 DCT 계수들의 스트링 및 매크로블록에 대한 모든 주변 정보를 가변 길이 코딩 및 런 렝스(run-length) 코딩을 사용하여 인코딩한다.
데이터 스트림은 선입선출(FIFO) 버퍼(190)로 수신된다. 다른 화상 형태들 및 가변 길이 코딩을 사용한 결과로, 상기 FIFO 버퍼 내로의 전체 비트 속도는 가변이 된다. 즉, 각 프레임을 코딩하는데 사용된 비트들의 수는 다를 수 있다. 고정 속도 채널을 포함하는 적용예들에서는, FIFO 버퍼는 비트 속도를 평활화하는 채널에 인코더 출력을 매칭하는데 사용된다. 따라서, 경로(195)상의 FIFO 버퍼(190)의 출력 신호는 경로(110)상의 입력 영상 이미지의 압축된 표현(또는 입력 이미지 및 예상 이미지 사이의 압축된 차이 신호)이다. 이 출력신호는 경로(195)를 통해 저장 매체 또는 원격 통신 채널로 전달된다.
속도 제어 모듈(130)은, 데이터 스트림의 전송후 디코더 쪽(수신기 또는 목표 저장 장치, 도시되지 않음)의 오버플로우(overflow) 및 언더플로우(underflow)를 방지하기 위하여 FIFO 버퍼(190)로 입력되는 데이터 스트림의 비트 속도를 감시하고 조절하는 역할을 한다. 따라서, 속도 제어 모듈(130)의 역할은 인코더에 의해 생성된 비트들의 수를 제어하기 위하여 버퍼(190)의 상태를 감시하는 것이다.
본 발명의 바람직한 실시예에서, 속도 제어 모듈(130)은 코딩 속도를 제어하면서 영상 이미지의 전체적인 품질을 유지하기 위하여 각 프레임에 대한 양자화 스케일을 선택한다. 즉, 전체 화상 시퀀스에 걸쳐 일정한 화질을 유지하면서 화상에 대한 목표 비트 속도가 달성되도록 양자화 스케일이 각 프레임에 대해 선택된다. 본 발명은 시간적(움직임 추정/보상) 및 공간적 인코딩(예를 들면, 이산 코사인 변환)을 구현하는 인코더로 기술되었지만, 이것에 한정되지 않음은 명백하다. 다른 시간적 및 공간적인 인코딩 방법들이 사용될 수 있으며, 시간적 및 공간적 인코딩이 사용되지 않을 수도 있다.
특히, 속도 제어 모듈(130)은 이전에 인코딩된 화상들에서 특정한 형태의 화상(I,P,B)의 복잡도의 대략적인 추정을 초기에 얻거나 다양한 MPEG 시험 모델들을 구현함으로써 대략적인 추정을 얻는다. 상기 추정된 복잡도는 각 프레임을 코딩하기 위하여 필요한 예상 비트들 수를 유도하는데 사용된다. 상기 복잡도를 통해, 양자화 스케일이 다항식 형태를 가지는 복잡도 측정식에 따라 프레임에 대해서 계산된다. 상기 복잡도 측정식은 프레임에 대해 선택된 양자화 스케일이 화상에 대한 목표 비트 속도와 거의 같아야 한다는 제한을 만족하도록 유도된다. 상기 프레임이 일단 인코딩되면, 속도 제어 모듈은 다항식 회귀 프로세스를 사용하여 상기 복잡도 측정식을 반복적으로 조절한다. 즉, 매크로블록을 코딩하는데 필요한 비트들의 실제적인 수는 다음 프레임에 대한 양자화 스케일의 예상을 개선하기 위하여 복잡도 측정식을 정제 (refine)하는데 사용된다. 양자화 스케일 선택 방법의 자세한 설명은 도 2 를 참조하여 하기에서 기술된다.
도 1 로 돌아가서, 양자화 모듈(170)로부터의 양자화된 DCT 계수들 8×8 블록은 또한 신호 접속부(172)를 통해 역 양자화 모듈(175)에 의해 수신된다. 상기 단계에서, 인코더는 데이터를 디코딩함으로써 입력 영상 이미지의 I 프레임 및 P 프레임을 재생성하고 상기 I 및 P 프레임은 후속의 인코딩을 위한 기준 프레임들로서 사용된다.
DCT 계수들의 최종적인 역양자화된 8×8 블록은, 역 DCT가 각 매크로블록으로 적용되어 디코딩된 에러 신호를 생성하는 역 DCT 모듈(165)로 전달된다. 상기 에러 신호는 합산기(155)에 의해 움직임 보상 모듈로부터의 예상 신호에 다시 가산되어 디코딩된 참조 화상(재구성된 이미지)을 생성한다.
도 2 는 본 발명의 바람직한 실시예의 장치의 비트 속도를 제어하기 위하여 복잡도 측정식에 따라 최적의 양자화 스케일을 유도하기 위한 흐름도를 도시한다. 도 2 에 도시된 바와 같은 본 발명의 방법(200)은 각 프레임에 대한 양자화 스케일을 유도하기 위하여 구성된다. 상기 해결책은 하나의 화상에서 다른 화상으로 비교적 일정한 화질을 유지하면서 목표 비트 속도를 만족시켜야 한다.
도 2 를 참조하면, 상기 방법은 단계(205)에서 시작하고, 상기 방법이 하기의 관계식을 가지는 초기 측정치를 채용하는 단계(210)로 진행한다.
T=X1EQ-1+X2EQ-2 (1)
T 는 특정 프레임을 인코딩하기 위하여 사용 가능한 목표 비트들 수(인코딩 비트 카운트)를 나타낸다. Q 는 상기 프레임을 위해 선택된 양자화 레벨 또는 비율을 나타낸다. E 는 왜곡 측정치를 나타낸다. 바람직한 실시예에서, E 는 움직임 보상을 수행한 후의 현재 프레임에 대한 평균 절대값 차이를 나타낸다. 즉, 측정치 E 는 시퀀스의 연속적인 프레임들 사이의 차이의 원인이 되는 프레임 비트 묶음(budget)을 조절하는 방법을 제공한다. E 는 블록마다의 현재 프레임과 이전 프레임 사이의 차이들을 합산하고 평균 절대값 차이 측정치를 계산함으로써 계산된다. 다른 말로, 현재 프레임과 이전 프레임의 차이가 클수록, 현재 프레임을 코딩하기 위해 필요한 비트들의 수도 커진다. 더욱이, 다른 왜곡 측정치들이 사용될 수 있음으로써, E는 평균 제곱 오차(mean square error) 또는 감지 가능차(just-noticeable difference;jnd)를 나타낼 것이다.
등식 (1) 의 파라미터들 및 다른 관련된 파라미터들은 하기에서 간략하게 기술되며 하기와 같이 첨자로서 정의된다.
Rs: 시퀀스(또는 세그먼트)에 대한 비트 속도(예를 들면, 24000 비트/초)
Rf: 첫번째 프레임을 위해 사용된 비트들(예를 들면, 10000비트)
Rc: 현재 프레임을 위해 사용된 비트들, 인코딩후 얻어지는 비트 카운트이다.
Rp: 화상당 버퍼로부터 제거되어야 할 비트들
Ts: 시퀀스를 위한 초의 갯수(예를 들면, 10 초)
Ec: 움직임 보상후 현재 프레임에 대한 평균 절대값 차이
Qc: 현재 프레임을 위해 사용된 양자화 레벨
Nr: 인코딩을 위해 남아있는 P 프레임의 갯수
Ns: 인코딩된 프레임들 사이의 거리(예를 들면, 7.5 fps 에 대해 4)
Rr: 상기 시퀀스(또는 세그먼트)를 인코딩하기 위해 남아있는 비트들의 갯수
T: 현재 프레임을 위해 사용될 목표 비트
Sp: 이전 프레임을 인코딩하기 위해 사용된 비트들의 갯수
Hc: 현재 프레임에 사용된 움직임 벡터 및 헤더(header)
Hp: 이전 프레임에 사용된 움직임 벡터 및 헤더
Qp: 이전 프레임에 사용된 양자화 레벨
Bs: 버퍼 크기, 예를 들면 Rs/2
B : 현재 버퍼 레벨, 예를 들면 Rs/4- 상기 버퍼의 중간에서 시작
특히, 단계(210)에서 파라미터 X1 및 X2 는 하기와 같이 초기화된다.
X1 = (Rs*Ns)/2
X2 = 0 (2)
Rs 는 시퀀스(또는 세그먼트)에 대한 비트 속도, 예를 들면 24000 bps 의 속도를 나타낸다. Ns 는 인코딩된 프레임들 사이의 거리를 나타낸다. 즉, 낮은 비트 속도 적용예들로 인하여, 시퀀스내의 일부 프레임들은 인코딩되지 않을 수 있다(스킵될 수 있다). 예를 들면 인코더는 매 4 번째 프레임만 인코딩할 수 있다. 스킵되는 프레임들의 수는 특정한 적용예의 요구 조건에 맞추어진다.
본 발명이 예를 들면 한 시퀀스당 300 프레임들과 같이 프레임 시퀀스에 관하여 기술되지만, 당업자는 본 발명이 여기에 한정되지 아니함을 이해할 것이다. 사실, 본 발명은 연속적인 시퀀스(실시간) 또는 모든 길이의 시퀀스들에 적용될 수 있고, 여기서 방법은 주기적으로 또는 사전 지정된 간격들로 재초기화된다.
파라미터 X1 및 X2 에 대한 값들과 함께, 상기 방법(200)은 그 후 하기와 같이 다른 파라미터들을 초기화한다.
Rr = Ts*Rs-Rf (3)
Rp = Rr/Nr (4)
Rr 는 시퀀스(또는 세그먼트)를 인코딩하기 위한 잔류 비트들의 갯수를 나타낸다. Ts 는 상기 시퀀스(또는 세그먼트)에 대한 시간(초의 수), 예를 들면 초당 30 프레임의 프레임 속도로 300 프레임을 포함하는 시퀀스에 있어서 Ts 는 300/30 =10 초를 나타낸다.
Rf 는 첫번째 프레임에 대해 사용된 비트들의 수를 나타낸다. 상기에 있어서, 프레임은 전형적으로 "I" 프레임으로 인코딩된다. 방법(200)은 Rf 를 특정한 값, 예를 들면 10000 비트들로 할당한다.
Rr 를 가지고, 방법(200)은 프레임당 버퍼에서 제거될 비트들의 갯수를 나타내는 Rp 를 계산한다. Nr 은 인코딩을 위해 나머지 프레임들의 갯수(P)를 나타낸다.
일단 초기화가 완성되면, 방법(200)은 상기 측정치에 대한 파라미터 X1 및 X2 가 갱신되는 단계(220)로 진행한다. 그러나 상기 측정치를 정제(예를 들면 첫번째 프레임 인코딩)하기 위해서는 상기 포인트에서 정보가 불충분하므로, 상기 측정치는 초기화후 일반적으로 갱신되지 않는다. 그럼에도 불구하고, 상기 측정치를 갱신하기 위해 사용 가능한 선행 정보가 존재할 수 있는 상황(situation)들 예를 들면, 사전 지정된 시퀀스의 끝에서의 재초기화 또는 중단후에는 재초기화가 존재하게 된다. 단계(220) 및 (225)는 하기에서 기술된다. 이와 같이, 방법(200)은 단계(230)로 바로 진행한다(도 2 의 점선으로 도시).
단계(230)에서, 방법(200)은 하기와 같이 현재 프레임을 인코딩하기 전에 현재 프레임에 대한 목표 비트 속도를 계산한다.
T = Max(Rs/30,Rr/Nt*a+Sp*b) (5)
T 는 현재 프레임에 대해 사용될 목표 비트를 나타낸다. Sp 는 이전 프레임을 인코딩하기 위해 사용된 비트들의 수를 나타낸다. 바람직한 실시예에서, 값 0.95 및 0.05 가 등식 (5)에서 상수 a 및 b 로 각각 선택된다. 그러나, 본 발명이 여기에 한정되지는 않는다. 다른 값들이 선택될 수도 있다. 사실, 상기 값들은 시간적으로 조절될 수 있다.
등식 (5)는 T 가 2 개의 가능한 값들중 큰 값(최대값)을 취할수 있게 하는 것을 주목해야 한다. 먼저, 목표 비트 속도가 이용가능한 비트들 및 마지막 인코딩된 프레임 비트들에 따라 계산된다. 상기 마지막 프레임이 복잡하며 많은 비트들을 사용한다면, 더욱 많은 비트들이 현재 프레임으로 할당되어야 하는 것을 전제로 하게 된다. 그러나, 상기 증가된 할당은 나머지 프레임을 인코딩하기 위해 이용가능한 비트들의 수를 감소시키고, 이에 따라 상기 프레임의 증가된 할당을 제한한다. 가중된 평균은 등식 (5)내의 두번째 항에 도시된 바와 같이 2 개의 요소들의 절충물을 반영한다.
두번째로, 목표 속도의 하한선(Rs/30)은 최소한의 질을 보장하거나 유지하는데 사용된다. 예를 들면 800 비트/프레임이 최소치로 설정될 수 있다. 상기 최소한의 품질이 유지될 수 없다면, 인코더는 현재 프레임을 한꺼번에 스킵할수 있는 선택권을 가진다.
등식 (5)의 목표 비트 속도는 하기와 같이 오버플로우 및 언더플로우를 방지하기 위하여 버퍼 상태에 따라 그후 조절된다.
T' = T*(B+c*(Bs-B))/(c*B+(Bs-B)) (6)
T' 는 조절된 목표 비트 속도이고, Bs 는 총 버퍼 크기이고, c 는 2(다른 값 사용 가능)의 값이 되도록 선택된 상수, 그리고 B 는 디코더로 보내질 비트들을 포함하는 버퍼의 일부이다. 이와 같이, Bs-B 는 상기 버퍼내의 잔류 공간이다. 등식(6)은 상기 버퍼가 반이상 찬다면 목표 비트 속도 T 는 감소된다는 것을 지시한다. 역으로, 상기 버퍼가 반이하로 찬다면 목표 비트 속도 T 는 증가한다. 상기 버퍼가 정확하게 반이면 등식 (6)이 T'=T로 감소하므로 어떤 조절도 필요하지 않다.
더욱이, 목표 비트 속도의 조절은 하기와 같이 표현되는 등식(7a∼b)에 따른 조절이 더 필요하다.
(B+T'>0.9*Bs) 이면, T"=Max(Rs/30,0.9*Bs-B) (7a)
(B-Rp+T'<0.1*Bs) 이면, T"=Rp-B+0.1*Bs (7b)
T" 는 제 2 조절된 목표 비트 속도이다. 등식 (7a)는 목표 비트 속도의 조절을 제한함(클램핑(clamping))으로써 상기 오버플로우 조건을 피하기 위하여 설계된 것이다. 즉, 현재 프레임 및 현재 버퍼 충만(fullness)에 대한 계산된 목표 비트 속도 T'의 합은 버퍼 용량의 90%를 초과해서는 안된다. 버퍼 용량에 매우 가깝게 동작하는 것은 인코더를 임박한 오버플로우 조건을 생성할 위험에 놓이게 한다. 즉, 그 다음 프레임의 복잡도에서, 예를 들면, 장면 절단(scene cut) 또는 과도한 움직임과 같은 갑작스런 변화가 생기는 경우이다. T" 가 하한선(Rs/30) 이하이면, 인코더는 상기 프레임을 스킵하는 선택권을 가진다.
대조적으로 등식 (7b)는 목표 비트 속도의 조절을 수정함으로써 언더플로우 상황을 피하도록 설계된다. 즉, 계산된 목표 비트 속도 T'의 합 및 현재 버퍼 충만은 버퍼 용량의 10% 이하로 떨어지지 않아야 한다. 거의 빈 버퍼와 가깝게 동작하는 것은 인코더를 임박한 언더플로우 상황을 생성할 위험에 놓이게 한다. 즉, 다음 프레임의 복잡도에서 거의 변화가 없는 경우, 예를 들면 다음 프레임내에 전혀 움직임이 없는 경우이다. 일단 목표 비트 속도가 계산되면, 방법(200)은 단계(240)로 진행한다.
단계(240)에서 방법(200)은 하기와 같이 현재 프레임의 양자화 스케일 또는 레벨을 계산한다.
T'''=Max(Rp/3+Hp,T'') (8a)
(X2=0)이면, Qc=X1*Ec/(T'''-Hp) (8b)
아닐 경우, Qc=(2*X2*Ec)/(sqrt((X1*Ec)2+4*X2*Ec*(T'''-Hp))-X1*Ec) (8c)
Qc 는 현재 프레임에 대한 계산된 양자화 스케일이고, Hp 는 이전 프레임의 헤더 및 움직임 벡터들을 인코딩하기 위하여 사용된 비트들의 갯수이고, 그리고 Ec 는 움직임 보상후 현재 프레임에 대한 평균 절대값 차이이다. 즉, 등식 (8b) 및 (8c)는 각각 제 1 , 제 2 차 등식이고, Qc 는 용이하게 계산될 수 있다. 등식(8a)는, 목표 비트 속도가 헤더에 대해 할당된 비트 속도보다 더 크다는 것을 보장하기 위해 사용된 다른 목표 비트 속도 조절이다.
본 발명의 바람직한 실시예는 2 차 등식을 사용하는 복잡도 측정식을 사용하지만, 예를 들면 3 차 및 그 이상의 다른 차수의 등식들도 사용가능하다. 더욱이, 본 발명의 바람직한 실시예가 일련의 목표 비트 속도 조절을 사용하지만, 상기 목표 비트 속도 조절들은 계산상 복잡도를 감소시키기 위하여 스킵될 수 있다. 그러나, 목표 비트 속도 조절이 없으면, 언더플로우 또는 오버플로우 조건의 위험성이 증가한다.
더욱이, 현재 프레임에 대한 목표 비트 속도는, 현재 프레임과 관련된 헤더, 움직임 벡터들, 및 다른 정보를 인코딩하기 위해 필요한 비트들의 양에 의해 조절된다. 상기 헤더 및 다른 정보의 크기는 일반적으로 프레임마다 크게 변화하지 않으므로, 이전 프레임의 헤더 및 움직임 벡터들을 인코딩하기 위해 사용된 비트들의 갯수 Hp 는 현재 프레임에 대한 헤더 정보를 인코딩하기 위해 필요한 비트들의 적절한 근사치(approximation)를 제공한다.
이와 같이, 등식 (1)을 표현하는 다른 방식은
T-Hp=X1EQ-1+X2EQ-2 (9)
양자화 레벨의 선택은 헤더 및 움직임 벡터들의 코딩에 영향을 미치지 않기 때문이다.
더욱이, 계산된 양자화 스케일, Qc 는 하기와 같이 프레임마다 일정한 화질을 보장하기 위하여 조절되어야 할 필요가 있을 수 있다.
Qc'=Min(ceil(Qp*1.25),Qc,31) (10a)
Qc'=Max(ceil(Qp*0.75),Qc,1) (10a)
Qc' 는 조절된 양자화 스케일이고 Qp 는 이전 프레임내에 사용된 양자화 레벨이다. 상기 계산된 Qc 는 등식 (10a) 및 (10b)에 따라 제한되거나 절단(clip)되어야 한다. 즉, 계산된 Qc , 이전 프레임내에서 사용된 이전 양자화 레벨의 125%, Qp, 또는 최고 양자화 레벨 31(MPEG 표준에 의해 셋팅)중에서 작은 값을 선택함으로써 Qc' 가 등식(10a)에 따라 계산될 수 있다. 유사하게, 계산된 Qc, 이전 프레임내에서 사용된 이전 양자화 레벨의 75%, Qp, 또는 최저 양자화 레벨 1(MPEG 표준에 의해 셋팅)중에서 큰 값을 선택함으로써 Qc' 가 등식(10b)에 따라 계산될 수 있다. 일반적으로, 양자화 레벨들은 정수로 간략화된다. 등식(10a)은 Qc>Qp 인 조건하에서 Qc'를 계산하는데 사용되고, 그 외의 경우 등식(10b)이 사용된다.
등식 10a∼10b 는 디코딩된 화상들의 화질에 있어 현저한 변화를 야기할 수도 있는, 프레임들 사이의 양자화 레벨들의 갑작스런 변화들을 제한하는 역할을 한다. 상기 방법에 있어서, 양자화 레벨은 코딩 속도를 최적화하는 동시에 움직임 영상의 전체 품질을 유지하기 위하여 각 프레임에 대해 계산된다. 일단 양자화 레벨이 현재 레벨에 대해 계산되고 방법(200)은 단계(250)으로 진행한다.
단계(250)에서, 현재 프레임을 인코딩하는데 따른 비트들의 실제적인 갯수를 나타내는 Rc 를 생성하기 위하여 단계(240)에서 계산된 양자화 레벨을 사용하여 본 방법은 현재 프레임을 인코딩한다. Rc 와 함께, 복잡도 측정식의 소정 파라미터들은 하기와 같이 갱신된다.
B=B+Rc-Rp (11)
Rr=Rr-Rc (12)
*Sp=Rc (13)
Hp=Hc (14)
Qp=Qc (15)
Nr=Nr-1 (16)
먼저, 버퍼 충만 B 는 비트들 Rc 의 부가 및 비트들 Rp 의 제거(전송)에 의해 갱신된다. 두번째로, 시퀀스에 대해 사용가능한 나머지 총 비트 수인 Rr은 Rc 양에 의해 갱신된다. 세번째로, Sp 는 Rc 로 교체된다. 네번째로, Hp 가 Hc 로 교체된다. 다섯번째로 Qp는 Qc로 교체된다. 마지막으로, Nr은 하나만큼 감소된다.
단계(260)에서, 본 방법(200)은 현 시퀀스에서 코딩되기 위하여 잔류하는 부가적인 프레임들이 존재하는지 여부를 질문한다. 상기 질문에 긍정적으로 대답이 얻어지면, 방법(200)은 등식 (1) 또는 (9)의 복잡도 측정식을 정제하기 위하여 다항식 회귀 모델 또는 2차 회귀 모델내의 갱신된 Qc,Rc,Hp 및 Ec 을 적용하는 단계(220)로 되돌아 간다. 즉, 특정한 양자화 레벨에 대해 프레임을 코딩하는데 필요한 비트들의 실제 갯수와 프레임에 할당된 비트들 사이의 불일치를 처리하기 위해 상수 X1 및 X2 는 갱신된다. 회귀 모델들은 당업계에 공지되어 있다. 다양한 회귀 모델의 자세한 설명은 Bowerman and O'Connell의 "Forecasting and Time Series" 3판, Duxbury 출판사(1993년, 4장)을 참조하기 바란다. 복잡도 측정식을 갱신하기 위한 두번째 실시예가 하기에 제공된다. 방법(200)은 그 후 단계(225)로 진행한다.
단계(225)에서, 방법(200)은 시퀀스내의 다음 프레임이 반드시 스킵되어야 하는지를 질문한다. 상기 질문에 부정적으로 대답이 얻어지면, 방법(200)은 전술한 바와 같이 단계(230)로 진행한다. 상기 질문에 긍정적으로 대답이 얻어지면, 방법(200)은 B 및 Rp 가 갱신되는 단계(220)로 복귀한다. 스킵된 프레임에 대한 결정은 하기에 따라 결정된다.
(B>0.8*Bs)이면, 다음 프레임을 스킵한다.
즉, 버퍼의 용량, 예를 들면 80% 용량 이상으로 매우 근접한지 여부를 결정하기 위하여 버퍼 충만은 다시 한번 점검된다. 상기 버퍼 충만의 상기 확인은 현재 프레임에 대한 목표 속도를 계산하는 것이 필요한지 여부를 인코더가 신속하게 결정하도록 한다. 버퍼가 상기 용량에 매우 근접해 있으면, 오버플로우 상황이 급박한 상태일 가능성이 있다. 예를 들면, 전송 채널이 다운되거나 인코더가 매우 복잡한 몇몇 프레임들을 수신하는 것이다. 실시간 조건에 따라, 계산 사이클을 소비하지 않고서 프레임을 폐기하고 나중에 동일한 결정에 도달하기 위하여 인코더는 신속하게 결정을 내린다. 80% 가 상기 실시예에서 선택되었지만, 특정한 적용예들에 있어서 다른 버퍼 용량 제한이 선택될 수 있다.
프레임이 폐기되면, 방법(200)은 하기와 같이 파라미터 Nr 및 B가 갱신되는 단계(220)로 복귀한다.
B=B-Rp (18)
Nr=Nr-1 (19)
방법(200)은 그 후 단계(225)로 복귀하고 다시 한번 시퀀스내의 다음 프레임이 스킵되어야 하는지를 질문한다. 상기 질문에 부정적인 대답이 얻어지면, 방법(200)은 전술한 바와 같이 단계(230)로 진행한다. 상기 질문에 긍정적으로 대답이 얻어지면, 방법(200)은 또 다른 프레임등을 스킵한다. 방법(270)은 모든 프레임들이 한 시퀀스에 대해 인코딩되었을 때 단계(270)에서 종료한다.
본 발명은 복잡도 측정식을 갱신하기 위한 제 2 실시예를 제공한다. 상기 설명은 하기의 정의를 사용한다.
Qp(w): 과거 프레임들에 대한 양자화 레벨들
Rp(w): 과거 프레임들에 대해 사용된, 스케일링된 인코딩 복잡도들
w: 인코딩된 과거 프레임들의 갯수
x: Qp 를 포함하는 매트릭스
y: Qp*(Rc-Hc)/Ec 를 포함하는 매트릭스
Ep: 이전 프레임에 대한 평균 절대차. 이것은 오직 Y 성분에 대한 움직임 보상후 계산된다. 상기 측정치는 Ep 의 선형 함수이므로 표준화(normalization)가 불필요하다.
상기 방법은 이전에 인코딩된 프레임에 관련된 다양한 정보를 수집한다. 특히, 이전 프레임들에 대해 사용된 양자화 레벨 및 스케일링된 인코딩 복잡도는 2 개의 매트릭스들로 집합된다. 즉, Rp(n)
Figure 712006001037434-pct00008
(Rc-Hc)/Ec 및 Qp(n)
Figure 712006001037434-pct00009
Qc 이다.
w의 선택은 하기에 따라 선택된다.
w = Min(전체 데이터 갯수, 20) (20)
즉, 윈도우 크기는 최고 측정치 20으로 제한된다. 상기 이유는 "이전에" 인코딩된 프레임들에 관련된 정보는 현재 프레임의 복잡도에 관해 정보를 적게 제공하기 때문이다. 상기 윈도우의 크기를 제한함으로써, 계산에 필요한 소비가 최소화된다.
그러나, w에 대한 값은 "슬라이딩 윈도우(sliding window)" w' 를 생성하기 위하여 하기에 따라 적응적으로 조절될 수 있다.
(Ep>Ec)이면, w'=ceil(Ec/Ep*w)이고, 그렇지 않으면 w'=ceil(Ep/Ec*w)이다.
데이터 포인트들은 복잡도의 변화에 따라 크기가 좌우되는 윈도우를 사용하여 선택된다. 상기 복잡도가 현저하게 변화하면, 더욱 현재의 데이터 포인터(이전에 인코딩된 프레임)들을 가진 더욱 작은 윈도우가 사용된다. 즉, 이전 및 현재 프레임들에 대한 평균 절대차들이 w의 사전 지정된 크기를 감소시키기 위하여 사용된다. Ep 는 각 프레임후 Ec 로 갱신된다.
상기 방법은 그후 X1 및 X2 를 하기에 따라 결정하기 위하여 추정(추정기) 기능을 수행한다.
(모든 Q[i]가 동일) 일 경우면 X1=y[i]/w 및 X2=0,
그렇지 않으면 b=(x_Transpose*x)-1*x_Transpose*y; (22)
2x1=(2xw*wx2)-1*(2xw)*(w*1)
X1=b(1,1) 및 X2=b(2,1)
여기서 x=[1,Qp(i)-1(i=1,2,...,w)](차원 wx2) 및 y=[Qp(i)(i=1,2,...,w)](차원 wx1) 이다.
X1 및 X2 가 일단 결정되면, 방법은 "제거 아웃라이어(remove outlier)" 연산을 하기에 따라 수행한다.
std+=((X1*EcQp[i]-1+X2*Ec*Qp[i]-2-Rp[i]*Ec))2;
에러[i]=X1*Ec*Qp[i]-1+X2*Ec*Qp[i]-2-Rp[i]*Ec; (23)
임계치=sqrt(std/w) 로 셋팅;
(에러[i]의 절대값>임계치)이면, 상기 추정기에 대한 매트릭스 x 및 y로부터 데이터 포인트 I 를 제거한다.
즉, 등식(23)의 연산은 상기 등식(23)의 추정 연산에 영향을 주는 소정의 임계치 이상의 데이터 포인터들을 제거하는 역할을 한다. 일단 "제거 아웃라이어" 동작이 완료되면, 상기 방법은 등식 (22)의 추정 기능으로 복귀하고 다시 상기 아웃라이어 데이터 포인트들 없이 X1 및 X2 를 결정한다. 따라서, 복잡도 측정식은 상기 아웃라이어 데이터 포인트들을 거절함으로써 다시 보정(calibrate)된다. 상기 거절 기준은 예상 에러가 1 표준 편차 이상일때 데이터 포인트가 폐기되는 것이다.
도 3 은 본 발명을 포함하는 웨이브렛 인코더(300)를 도시한다. 상기 인코더는 블록 이동 보상기(BMC) 및 움직임 벡터 코더(304), 감산기(302), 이산 웨이브렛 변환(DWT) 코더(306), 비트 속도 제어기(310), DWT 디코더(312), 및 출력 버퍼(314)를 포함한다.
일반적으로, 전술한 바와 같이 입력 신호는 영상 이미지(영상 시퀀스내의 한 프레임을 정의하는 픽셀들(펠(pel)들)의 2 차원 배열)이다. 낮은 비트 속도 채널을 통한 이미지의 정확한 전송을 위하여, 영상 프레임 시퀀스내의 공간적 및 시간적 중복이 반드시 감소되어야 한다. 이것은 일반적으로 연속적인 프레임들 사이의 차이들만을 코딩하고 전송함으로써 달성된다. 인코더는 3 가지 기능들을 가진다. 첫째, BMC 및 코더(304)를 사용하여 프레임들 사이에서 발생하는 움직임을 표현하는 다수의 움직임 벡터들을 생성한다; 두번째, 상기 움직임 벡터들과 조합된 이전 프레임의 재구성된 버젼(version)을 사용하여 현재 프레임을 도시한다; 그리고, 세번째, 수신기로의 상기 움직임 벡터와 함께 코딩되고 전송되는 나머지 프레임을 생성하기 위하여 예상된 프레임은 현재 프레임으로부터 감산된다.
상기 이산 웨이브렛 변환은 입력 이미지의 통상적인 웨이브렛 트리 표현을 생성하기 위하여 웨이브렛 계층적 부대역 분해를 수행한다. 상기와 같은 이미지 분해를 수행하기 위하여, 상기 이미지는 2 번의 부샘플링을 사용하여, 고수평-고수직(HH), 고수평-저수직(HL), 저수평-고수직(LH), 및 저수평-저수직(LL) 주파수 부대역들로 분해된다. 상기 LL 부대역은 그후 2 번 더 부샘플링되어 HH, HL, LH, 및 LL 부대역들의 세트를 생성한다. 상기 부샘플링은 반복적으로 이루어져 3 번의 부샘플링이 사용된 도 4 와 같은 부대역들의 배열을 생성한다.
바람직하게 6 번의 부샘플링들이 실제로 사용된다. 상기 부대역들 사이의 부모-자식 의존 관계는, 부모 노드들의 부대역에서 자식 노드의 부대역들로 향하는 화살표로 도시된다. 가장 낮은 주파수 부대역은 상부 좌측 LL1 이고, 가장 높은 주파수 부대역은 하부 우측 HH3 이다. 상기 예에서, 모든 자식 노드들은 한 부모를 가진다. 부대역 분해의 자세한 설명은 J.M. Shapiro의 "Embedded Image Coding Using Zerotrees of Wavelet Coefficients" 1993년 12월 신호 처리에 관한 논문 Vol.41, No.12, pp. 3445∼62 에서 제공된다.
도 3 의 DWT 코더는 웨이브렛 트리의 계수들을 "폭 우선(breadth first)" 또는 "깊이 우선(depth first)" 패턴중 하나로 코딩한다. 폭 우선 패턴은 비트 평면 단위 패턴으로 웨이브렛 트리를 횡단한다. 즉, 모든 부모 노드들, 그 후 모든 자식 노드들, 그리고 모든 손자 노드들등으로 양자화한다. 반대로, 깊이 우선 패턴은 각 트리를 LL 부대역의 뿌리에서 자식(하강 패턴) 또는 LL 부대역을 통해 자식(상승 패턴)으로 횡단한다. 한 시퀀스내의 각 프레임에 대한 비트 속도를 제어하기 위하여 속도 제어기(310)에 의한 적절한 양자화 레벨의 선택은 전술한 바와 같다.
이와 같이, 본 발명은 다른 변환을 사용하는 다양한 형태의 인코더들에 적응될 수 있다. 더욱이 본 발명은 한 프레임에 대한 양자화 레벨의 적절한 선택에 제한되지 않는다. 본 발명은 매크로블록(macroblock), 슬라이스, 또는 예를 들면, 전경, 배경, 또는 사람 얼굴의 일부분과 같은 대상(object)에 적용될 수 있다. 즉, 속도 제어 방법은 매크로블록들, 슬라이스들, 또는 대상들의 시퀀스에 적용될 수 있다. 상기에 있어서, 예를 들면 이전에 인코딩된 매크로블록, 슬라이스 또는 대상 및 그들의 윈도우와 같은 상기 이미지 시퀀스의 이전에 인코딩된 부분들을 사용하여 인코더를 위한 최적의 속도 제어 설계를 만들어내기 위하여 현재의 매크로블록, 슬라이스 또는 대상에 대한 목표 비트 속도를 결정하는데 복잡성 측정치가 적용된다. 예를 들면, 비디오폰과 같은 특별한 적용예에서 예를 들면 통화자의 머리 및 어깨와 같은 전경 대상은 배경 대상들 보다 더욱 정확하게 양자화되도록 선택된다.
마지막으로, 본 발명이 P 프레임에 관하여 기술되었지만, 본 발명은 또한 B 프레임에도 적용될 수 있다.
도 5 는 본 발명의 인코딩 시스템(500)을 도시한다. 상기 인코딩 시스템은 범용 컴퓨터(510) 및 다양한 입/출력 장치들(520)을 포함한다. 상기 범용 컴퓨터는 중앙 처리 장치(CPU)(512), 메모리(514), 및 이미지의 시퀀스를 수신하고 인코딩하기 위한 인코더(516)를 포함한다.
상기 바람직한 실시예에서, 인코더(516)는 전술한 바와 같이 인코더(100) 및/또는 인코더(300)이다. 인코더(516)은 통신 채널을 통해 CPU(512)에 연결된 물리적 장치일수 있다. 별법으로, 상기 인코더(516)는 저장 장치로부터 로딩되고 컴퓨터의 메모리(512)에 상주하는 소프트웨어 응용으로 표현될 수 있다. 이와 같이, 상기 본 발명의 인코더(100) 및 (300)는 컴퓨터 판독 가능 매체에 저장될수 있다.
컴퓨터(510)는 키보드, 마우스, 카메라, 캠코더, 비디오 모니터, 수많은 이미지 장치들 또는 테이프 드라이브, 플로피 드라이브, 하드 디스크 드라이브 또는 콤팩트 디스크 드라이브등과 같은(상기에 한정되는 것은 아님) 저장 장치들과 같은 다수의 입력 및 출력 장치들(520)과 연결될 수 있다. 상기 입력 장치들은 인코딩된 영상 비트 스트림들을 생성하기 위하여 컴퓨터에 입력을 제공하거나 이미지 장치 또는 저장 장치에서 영상 이미지의 시퀀스를 수신하는 역할을 한다.
코딩 속도를 최적화하면서 영상 이미지의 전체적인 품질을 유지하기 위하여 각 프레임에 대한 양자화 스케일을 반복적으로 조절하는 장치 및 방법에 관하여 지금까지 기술하였다. 당업자들이 실시예들을 기술하는 본 명세서 및 도면을 참조함으로써 본 발명의 많은 변화, 수정, 변동, 및 다른 사용들 및 적용예들이 가능할 것이다. 본 발명의 범위를 벗어나지 않는 상기 모든 변화, 수정, 변동, 및 다른 사용들 및 적용예들은 본 발명으로 간주될 것이다.

Claims (10)

  1. 적어도 하나의 입력 프레임을 갖는 이미지 시퀀스를 인코딩하는 장치(100, 300)로서,
    현재 입력 프레임의 예상된 이미지를 생성하는 움직임 보상기(140, 150, 304);
    상기 움직임 보상기에 연결되고, 상기 입력 프레임과 상기 예상된 이미지 사이의 차이 신호에 변환을 적용하는 변환 모듈(160, 306) - 상기 변환 모듈은 다수의 계수들을 생성함 -;
    바로 이전에 인코딩된 부분으로부터의 코딩 정보에 따라 현재 입력 프레임에 대한 적어도 하나의 양자화 스케일을 선택적으로 조절하는 제어기(130, 310) - 상기 코딩 정보는 왜곡 측정치(distrotion measure)를 계산하는데 사용됨 -; 및
    상기 변환 모듈 및 상기 제어기에 연결되고, 다항식의 형태를 갖는 복잡도 측정식에 따라 목표 비트 수 및 왜곡 측정치로부터, 상기 현재 프레임에 대해 상기 적어도 하나의 양자화 스케일로 상기 다수의 계수들을 양자화하는 양자화기(170, 306) - 상기 다항식 형태는 적어도 두 개의 왜곡 측정치 항들을 가지며, 상기 각각의 왜곡 측정치 항들은 상이한 가중치를 가짐 - 를 포함하고,
    상기 복잡도 측정식은,
    T=X1EQ-1+X2EQ-2 (T는 상기 입력 프레임을 인코딩하기 위한 목표 비트 수를 나타내고, 상기 Q는 상기 양자화 스케일을 나타내며, 상기 E는 상기 왜곡 측정치를 나타냄)인 것을 특징으로 하는
    이미지 시퀀스 인코딩 장치.
  2. 제 1 항에 있어서, 상기 바로 이전에 인코딩된 부분은 바로 이전에 인코딩된 프레임인 것을 특징으로 하는 이미지 시퀀스 인코딩 장치.
  3. 제 1 항에 있어서, 상기 바로 이전에 인코딩된 부분은 이전에 인코딩된 프레임들의 윈도우인 것을 특징으로 하는 이미지 시퀀스 인코딩 장치.
  4. 삭제
  5. 적어도 하나의 프레임을 갖는 이미지 신호를 양자화하기 위해서 양자화 스케일을 생성하는 방법으로서,
    (a) 바로 이전에 인코딩된 부분으로부터의 코딩 정보에 따라서 현재 프레임에 대한 왜곡 측정치를 계산하는 단계;
    (b) 상기 현재 프레임을 인코딩하기 위한 목표 비트 수를 계산하는 단계;
    (c) 다항식의 형태를 갖는 복잡도 측정식에 따라 목표 비트 수 및 왜곡 측정치로부터, 상기 현재 프레임에 대해 상기 적어도 하나의 양자화 스케일을 계산하는 단계 - 상기 다항식 형태는 적어도 두 개의 왜곡 측정치 항들을 가지며, 상기 각각의 왜곡 측정치 항들은 상이한 가중치를 가짐 -; 및
    (d) 상기 현재 프레임을 양자화하기 위해 상기 계산된 양자화 스케일을 적용하는 단계를 포함하고,
    상기 복잡도 측정식은,
    T=X1EQ-1+X2EQ-2 (T는 상기 현재 프레임을 인코딩하기 위한 목표 비트 수를 나타내고, 상기 Q는 상기 양자화 스케일을 나타내며, 상기 E는 상기 왜곡 측정치를 나타냄)인 것을 특징으로 하는
    양자화 스케일 생성 방법.
  6. 삭제
  7. 제 5 항에 있어서, 상기 왜곡 측정치 E 는, 상기 현재 프레임과 이전 프레임 사이의 평균 절대값 차이인 것을 특징으로 하는 양자화 스케일 생성 방법.
  8. 제 5 항에 있어서, 상기 왜곡 측정치 E 는, 상기 현재 프레임과 이전 프레임 사이의 감지 가능차(just noticeable difference;jnd)인 것을 특징으로 하는 양자화 스케일 생성 방법.
  9. 제 5 항에 있어서,
    (e) Rc 가 상기 계산된 양자화 스케일 Q 를 사용하여 상기 현재 프레임을 인코딩하여 발생하는 비트들의 실제 갯수를 나타낼 때, Rc 를 사용하여 파라미터 X1 및 X2 를 갱신하는 단계; 및
    (f) 상기 이미지 신호의 다음 프레임에 대해 상기 (a)∼(e)의 단계들을 반복하는 단계를 더 포함하는 것을 특징으로 하는 양자화 스케일 생성 방법.
  10. 제 5 항에 있어서,
    (e) 다수의 이전에 인코딩된 프레임들에 관련된 정보의 윈도우를 사용하여 파라미터 X1 및 X2 를 갱신하는 단계; 및
    (f) 상기 이미지 신호의 다음 프레임에 대해 상기 (a)∼(e)의 단계들을 반복하는 단계를 더 포함하는 것을 특징으로 하는 양자화 스케일 생성 방법.
KR1019997007293A 1997-02-12 1998-02-11 이미지 시퀀스를 인코딩하는 장치 및 이미지 신호를 양자화하기 위해서 양자화 스케일을 생성하는 방법 KR100604702B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US3705697P 1997-02-12 1997-02-12
US60/037,056 1997-02-12
PCT/US1998/002745 WO1998037701A1 (en) 1997-02-12 1998-02-11 Apparatus and method for optimizing the rate control in a coding system

Publications (2)

Publication Number Publication Date
KR20000071026A KR20000071026A (ko) 2000-11-25
KR100604702B1 true KR100604702B1 (ko) 2006-07-28

Family

ID=21892201

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019997007293A KR100604702B1 (ko) 1997-02-12 1998-02-11 이미지 시퀀스를 인코딩하는 장치 및 이미지 신호를 양자화하기 위해서 양자화 스케일을 생성하는 방법

Country Status (8)

Country Link
US (1) US6243497B1 (ko)
EP (1) EP0960532B1 (ko)
JP (1) JP4111351B2 (ko)
KR (1) KR100604702B1 (ko)
CN (1) CN1151685C (ko)
DE (1) DE69837003T2 (ko)
TW (1) TW366649B (ko)
WO (1) WO1998037701A1 (ko)

Families Citing this family (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6023296A (en) 1997-07-10 2000-02-08 Sarnoff Corporation Apparatus and method for object based rate control in a coding system
AU6206898A (en) * 1998-01-02 1999-07-26 Nokia Networks Oy A method for synchronization adaptation of asynchronous digital data streams
GB9822094D0 (en) * 1998-10-09 1998-12-02 Snell & Wilcox Ltd Improvements in data compression
US6414992B1 (en) * 1999-01-27 2002-07-02 Sun Microsystems, Inc. Optimal encoding of motion compensated video
US6526097B1 (en) * 1999-02-03 2003-02-25 Sarnoff Corporation Frame-level rate control for plug-in video codecs
US6499060B1 (en) 1999-03-12 2002-12-24 Microsoft Corporation Media coding for loss recovery with remotely predicted data units
FR2792798B1 (fr) * 1999-04-26 2001-05-25 Thomson Multimedia Sa Procede et dispositif de quantification pour compression video
US6263503B1 (en) 1999-05-26 2001-07-17 Neal Margulis Method for effectively implementing a wireless television system
US8266657B2 (en) 2001-03-15 2012-09-11 Sling Media Inc. Method for effectively implementing a multi-room television system
US6363113B1 (en) * 1999-06-07 2002-03-26 Lucent Technologies Inc. Methods and apparatus for context-based perceptual quantization
US6535251B1 (en) * 1999-10-26 2003-03-18 Sharplabs Of America, Inc. Video encoder and method for adjusting quantization step in real time
US6765962B1 (en) * 1999-12-02 2004-07-20 Sarnoff Corporation Adaptive selection of quantization scales for video encoding
US6707853B1 (en) * 2000-01-10 2004-03-16 Intel Corporation Interface for performing motion compensation
US7062445B2 (en) * 2001-01-26 2006-06-13 Microsoft Corporation Quantization loop with heuristic approach
US6940903B2 (en) * 2001-03-05 2005-09-06 Intervideo, Inc. Systems and methods for performing bit rate allocation for a video data stream
US6671324B2 (en) * 2001-04-16 2003-12-30 Mitsubishi Electric Research Laboratories, Inc. Estimating total average distortion in a video with variable frameskip
JP4765194B2 (ja) 2001-05-10 2011-09-07 ソニー株式会社 動画像符号化装置、動画像符号化方法、動画像符号化プログラム格納媒体及び動画像符号化プログラム
JP2002354476A (ja) * 2001-05-24 2002-12-06 Pioneer Electronic Corp 量子化単位設定装置及び量子化単位設定方法、符号化装置及び符号化方法並びに情報記録媒体及び量子化単位設定用プログラム
WO2002096120A1 (en) * 2001-05-25 2002-11-28 Centre For Signal Processing, Nanyang Technological University Bit rate control for video compression
US7483581B2 (en) * 2001-07-02 2009-01-27 Qualcomm Incorporated Apparatus and method for encoding digital image data in a lossless manner
US7206459B2 (en) * 2001-07-31 2007-04-17 Ricoh Co., Ltd. Enhancement of compressed images
DE10156851C1 (de) * 2001-11-20 2003-07-03 Infineon Technologies Ag Verfahren und Vorrichtung zur Bildkompression
US7027982B2 (en) * 2001-12-14 2006-04-11 Microsoft Corporation Quality and rate control strategy for digital audio
US7151856B2 (en) * 2002-04-25 2006-12-19 Matsushita Electric Industrial Co., Ltd. Picture coding apparatus and picture coding method
US6980695B2 (en) * 2002-06-28 2005-12-27 Microsoft Corporation Rate allocation for mixed content video
EP1547393A4 (en) 2002-09-05 2010-10-13 Agency Science Tech & Res METHOD AND DEVICE FOR CONTROLLING THE RATE OF A VIDEO SEQUENCE AND VIDEO CODING DEVICE
US7440502B2 (en) 2002-11-14 2008-10-21 Georgia Tech Research Corporation Signal processing system
US7738554B2 (en) 2003-07-18 2010-06-15 Microsoft Corporation DC coefficient signaling at small quantization step sizes
US10554985B2 (en) 2003-07-18 2020-02-04 Microsoft Technology Licensing, Llc DC coefficient signaling at small quantization step sizes
US7383180B2 (en) * 2003-07-18 2008-06-03 Microsoft Corporation Constant bitrate media encoding techniques
US8218624B2 (en) * 2003-07-18 2012-07-10 Microsoft Corporation Fractional quantization step sizes for high bit rates
US7602851B2 (en) * 2003-07-18 2009-10-13 Microsoft Corporation Intelligent differential quantization of video coding
US7580584B2 (en) * 2003-07-18 2009-08-25 Microsoft Corporation Adaptive multiple quantization
US7343291B2 (en) 2003-07-18 2008-03-11 Microsoft Corporation Multi-pass variable bitrate media encoding
US8085844B2 (en) * 2003-09-07 2011-12-27 Microsoft Corporation Signaling reference frame distances
WO2005029834A2 (en) * 2003-09-21 2005-03-31 Servision Ltd. A method for generating high quality, low delay video streaming
FR2862168B1 (fr) * 2003-11-06 2006-05-19 Canon Kk Procede et dispositif de regulation de debit d'une sequence d'images.
JP2005333609A (ja) * 2004-04-22 2005-12-02 Sanyo Electric Co Ltd 符号化制御回路及び符号化回路
US7801383B2 (en) * 2004-05-15 2010-09-21 Microsoft Corporation Embedded scalar quantizers with arbitrary dead-zone ratios
US7917932B2 (en) 2005-06-07 2011-03-29 Sling Media, Inc. Personal video recorder functionality for placeshifting systems
US7975062B2 (en) 2004-06-07 2011-07-05 Sling Media, Inc. Capturing and sharing media content
WO2005122025A2 (en) 2004-06-07 2005-12-22 Sling Media, Inc. Personal media broadcasting system
US9998802B2 (en) 2004-06-07 2018-06-12 Sling Media LLC Systems and methods for creating variable length clips from a media stream
US7769756B2 (en) 2004-06-07 2010-08-03 Sling Media, Inc. Selection and presentation of context-relevant supplemental content and advertising
US20070230565A1 (en) * 2004-06-18 2007-10-04 Tourapis Alexandros M Method and Apparatus for Video Encoding Optimization
WO2006007285A1 (en) * 2004-06-18 2006-01-19 Thomson Licensing Method and apparatus for video encoding optimization
JP4800712B2 (ja) * 2004-09-10 2011-10-26 パナソニック株式会社 動画符号化装置、動画符号化方法及び動画撮像装置
CN100477794C (zh) * 2004-09-10 2009-04-08 松下电器产业株式会社 运动图像编码装置及其编码方法以及运动图像的成像装置
US8634413B2 (en) * 2004-12-30 2014-01-21 Microsoft Corporation Use of frame caching to improve packet loss recovery
US8422546B2 (en) 2005-05-25 2013-04-16 Microsoft Corporation Adaptive video encoding using a perceptual model
TWI279143B (en) * 2005-07-11 2007-04-11 Softfoundry Internat Ptd Ltd Integrated compensation method of video code flow
US7506071B2 (en) 2005-07-19 2009-03-17 International Business Machines Corporation Methods for managing an interactive streaming image system
US7616821B2 (en) 2005-07-19 2009-11-10 International Business Machines Corporation Methods for transitioning compression levels in a streaming image system
US20070028286A1 (en) * 2005-07-28 2007-02-01 Greene David P Systems, methods, and media for detecting content change in a streaming image system
KR100738075B1 (ko) * 2005-09-09 2007-07-12 삼성전자주식회사 영상 부호화/복호화 장치 및 방법
JP4795223B2 (ja) * 2006-01-31 2011-10-19 キヤノン株式会社 画像処理装置
US8130828B2 (en) 2006-04-07 2012-03-06 Microsoft Corporation Adjusting quantization to preserve non-zero AC coefficients
US7974340B2 (en) 2006-04-07 2011-07-05 Microsoft Corporation Adaptive B-picture quantization control
US8059721B2 (en) 2006-04-07 2011-11-15 Microsoft Corporation Estimating sample-domain distortion in the transform domain with rounding compensation
US7995649B2 (en) 2006-04-07 2011-08-09 Microsoft Corporation Quantization adjustment based on texture level
US8503536B2 (en) 2006-04-07 2013-08-06 Microsoft Corporation Quantization adjustments for DC shift artifacts
US8711925B2 (en) 2006-05-05 2014-04-29 Microsoft Corporation Flexible quantization
US8238424B2 (en) 2007-02-09 2012-08-07 Microsoft Corporation Complexity-based adaptive preprocessing for multiple-pass video compression
US8498335B2 (en) 2007-03-26 2013-07-30 Microsoft Corporation Adaptive deadzone size adjustment in quantization
US8243797B2 (en) 2007-03-30 2012-08-14 Microsoft Corporation Regions of interest for quality adjustments
US8442337B2 (en) 2007-04-18 2013-05-14 Microsoft Corporation Encoding adjustments for animation content
US8331438B2 (en) 2007-06-05 2012-12-11 Microsoft Corporation Adaptive selection of picture-level quantization parameters for predicted video pictures
US8254455B2 (en) 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
CN101933328B (zh) * 2008-01-22 2014-11-19 杜比实验室特许公司 利用动态查询表更新的自适应运动信息成本估计
US8189933B2 (en) 2008-03-31 2012-05-29 Microsoft Corporation Classifying and controlling encoding quality for textured, dark smooth and smooth video content
ES2602100T3 (es) * 2008-04-16 2017-02-17 Ge Video Compression, Llc Escalabilidad de profundidad de bits
US8325800B2 (en) 2008-05-07 2012-12-04 Microsoft Corporation Encoding streaming media as a high bit rate layer, a low bit rate layer, and one or more intermediate bit rate layers
US8379851B2 (en) 2008-05-12 2013-02-19 Microsoft Corporation Optimized client side rate control and indexed file layout for streaming media
US7925774B2 (en) * 2008-05-30 2011-04-12 Microsoft Corporation Media streaming using an index file
US8897359B2 (en) 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
US9167007B2 (en) * 2008-06-06 2015-10-20 Amazon Technologies, Inc. Stream complexity mapping
US9047236B2 (en) 2008-06-06 2015-06-02 Amazon Technologies, Inc. Client side stream switching
US8265140B2 (en) 2008-09-30 2012-09-11 Microsoft Corporation Fine-grained client-side control of scalable media delivery
US8189666B2 (en) 2009-02-02 2012-05-29 Microsoft Corporation Local picture identifier and computation of co-located information
US8879623B2 (en) * 2009-09-02 2014-11-04 Sony Computer Entertainment Inc. Picture-level rate control for video encoding a scene-change I picture
US8203619B2 (en) * 2009-09-30 2012-06-19 Sony Corporation Target bit rate decision method for wavelet-based image compression
US9521178B1 (en) 2009-12-21 2016-12-13 Amazon Technologies, Inc. Dynamic bandwidth thresholds
TWI421798B (zh) * 2010-04-27 2014-01-01 Novatek Microelectronics Corp 影像壓縮之位元率控制方法及其裝置
CN101977309B (zh) * 2010-06-30 2012-07-25 无锡中星微电子有限公司 码率控制方法及装置
SG2014014831A (en) * 2010-08-17 2014-06-27 Samsung Electronics Co Ltd Video encoding method and apparatus using transformation unit of variable tree structure, and video decoding method and apparatus
EP2828822B1 (en) * 2012-03-21 2018-07-11 Dolby Laboratories Licensing Corporation Systems and methods for power reduction for displays
KR101450645B1 (ko) * 2013-04-26 2014-10-15 주식회사 코아로직 비디오 비트율 제어 방법 및 장치
US10728298B2 (en) * 2013-09-12 2020-07-28 Qualcomm Incorporated Method for compressed sensing of streaming data and apparatus for performing the same
US10419760B2 (en) 2014-09-29 2019-09-17 Sony Interactive Entertainment Inc. Picture quality oriented rate control for low-latency streaming applications
US10142049B2 (en) * 2015-10-10 2018-11-27 Dolby Laboratories Licensing Corporation Near optimal forward error correction system and method
CN108600863A (zh) * 2018-03-28 2018-09-28 腾讯科技（深圳）有限公司 多媒体文件处理方法和装置、存储介质及电子装置
US11457214B2 (en) * 2018-08-23 2022-09-27 Interdigital Vc Holdings France, Sas Coding of quantization matrices using parametric models

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5333012A (en) * 1991-12-16 1994-07-26 Bell Communications Research, Inc. Motion compensating coder employing an image coding control method

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5144426A (en) * 1989-10-13 1992-09-01 Matsushita Electric Industrial Co., Ltd. Motion compensated prediction interframe coding system
US5134476A (en) 1990-03-30 1992-07-28 At&T Bell Laboratories Video signal encoding with bit rate control
US5291282A (en) * 1990-04-19 1994-03-01 Olympus Optical Co., Ltd. Image data coding apparatus and method capable of controlling amount of codes
JPH0813138B2 (ja) * 1990-11-28 1996-02-07 松下電器産業株式会社 画像符号化装置
DE69230268T2 (de) * 1991-02-21 2000-04-13 Nec Corp., Tokio/Tokyo Kodierungsgerät zur Kompression von bewegten Bilddaten
US5231484A (en) * 1991-11-08 1993-07-27 International Business Machines Corporation Motion video compression system with adaptive bit allocation and quantization
US5214507A (en) * 1991-11-08 1993-05-25 At&T Bell Laboratories Video signal quantization for an mpeg like coding environment
US5253059A (en) 1992-05-15 1993-10-12 Bell Communications Research, Inc. Method and circuit for adjusting the size of a video frame
KR0134871B1 (ko) 1992-07-17 1998-04-22 사또오 후미오 고능률 부호화 복호화 시스템
WO1994018799A1 (en) 1993-02-03 1994-08-18 Qualcomm Incorporated Interframe video encoding and decoding system
US5440346A (en) 1993-06-16 1995-08-08 Intel Corporation Mode selection for method and system for encoding images
US5594504A (en) 1994-07-06 1997-01-14 Lucent Technologies Inc. Predictive video coding using a motion vector updating routine
US5764805A (en) * 1995-10-25 1998-06-09 David Sarnoff Research Center, Inc. Low bit rate video encoder using overlapping block motion compensation and zerotree wavelet coding
KR100355375B1 (ko) * 1995-11-01 2002-12-26 삼성전자 주식회사 영상부호화장치에있어서양자화간격결정방법및회로
EP0804857B1 (en) * 1995-11-15 2001-09-26 Koninklijke Philips Electronics N.V. Method and device for global bitrate control of a plurality of encoders
US5731835A (en) * 1996-02-26 1998-03-24 David Sarnoff Research Center, Inc. Dynamic coding rate control in a block-based video coding system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5333012A (en) * 1991-12-16 1994-07-26 Bell Communications Research, Inc. Motion compensating coder employing an image coding control method

Also Published As

Publication number Publication date
JP4111351B2 (ja) 2008-07-02
US6243497B1 (en) 2001-06-05
DE69837003D1 (de) 2007-03-22
WO1998037701A1 (en) 1998-08-27
TW366649B (en) 1999-08-11
KR20000071026A (ko) 2000-11-25
DE69837003T2 (de) 2007-10-18
CN1151685C (zh) 2004-05-26
EP0960532A4 (en) 2003-02-12
EP0960532B1 (en) 2007-01-31
JP2001512643A (ja) 2001-08-21
EP0960532A1 (en) 1999-12-01
CN1247670A (zh) 2000-03-15

Similar Documents

Publication Publication Date Title
KR100604702B1 (ko) 이미지 시퀀스를 인코딩하는 장치 및 이미지 신호를 양자화하기 위해서 양자화 스케일을 생성하는 방법
US6690833B1 (en) Apparatus and method for macroblock based rate control in a coding system
CA2295689C (en) Apparatus and method for object based rate control in a coding system
US6160846A (en) Apparatus and method for optimizing the rate control in a coding system
US7653129B2 (en) Method and apparatus for providing intra coding frame bit budget
US6895050B2 (en) Apparatus and method for allocating bits temporaly between frames in a coding system
US6084908A (en) Apparatus and method for quadtree based variable block size motion estimation
US6192081B1 (en) Apparatus and method for selecting a coding mode in a block-based coding system
EP1445958A1 (en) Quantization method and system, for instance for video MPEG applications, and computer program product therefor
KR101263813B1 (ko) 듀얼 패스 인코딩에서 주사 모드의 선택을 위한 방법 및 장치
US6687296B1 (en) Apparatus and method for transforming picture information
JP3846424B2 (ja) 画像信号量子化装置およびその方法
JP4532607B2 (ja) ブロック・ベースのコード化システムにおいてコード化モードを選択するための装置および方法
KR100394014B1 (ko) 영상 변환 부호화 장치
JP4007398B2 (ja) 量子化制御装置およびその方法
JPH07312753A (ja) 符号化制御方法
JP2001128175A (ja) 画像情報変換装置及び方法、並びに記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
N231 Notification of change of applicant
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130705

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140708

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20150706

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20160711

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20170711

Year of fee payment: 12

EXPY Expiration of term