KR100726691B1

KR100726691B1 - 비디오 코딩 방법 및 장치, 및 대응하는 디코딩 장치

Info

Publication number: KR100726691B1
Application number: KR1019997002215A
Authority: KR
Inventors: 바그니다니엘레; 토노스테파노
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 1997-07-16
Filing date: 1998-05-29
Publication date: 2007-06-12
Also published as: DE69828144T2; DE69828144D1; WO1999004573A1; JP4201849B2; EP0925688B1; EP0925688A1; KR20000068574A; US6236760B1; JP2001501069A

Abstract

본 발명은 H.263 표준에 적합한 낮은/매우 낮은 비트 레이트 비디오 코딩 방법에 관한 것으로서, 순방향 코딩 단계, 역방향 예측 단계 및 인트라 코딩 모드와 인터 코딩 모드 사이에 선택 서브 단계를 갖는 판정 단계를 포함한다. 상기 판정 단계는 상기 인트라 코딩 모드에서 코딩 단계의 개시시에 수행되어, 원 인트라 화상들을 낮은 해상도로 코딩하여 전송하는 다운-컨버션 필터링 서브 단계, 및 예측 단계에서 수행되는 대응하는 업-컨버션 필터링 서브 단계를 제어한다. 수신 단자에서, 디코더는 화상들의 감소된 포맷을 인식하여 이들을 업-스케일한다. 응용: 비디오폰 및 비디오 컨퍼런스

업-컨버터, 다운-컨버터, 예측 회로, 판정 회로, 역 이산 코사인 변환 회로, 움직임 보상 회로

Description

비디오 코딩 방법 및 장치, 및 대응하는 디코딩 장치{Viedo coding method and device, and corresponding decoding device}

본 발명은 비디오 코딩 방법에 관한 것으로서, 적어도 직교 변환 서브 단계(orthogonal transform sub-step), 양자화 서브 단계 및 가변 길이 코딩 서브 단계를 연속하여 포함하는 제 1 코딩 단계, 상기 양자화 서브 단계의 출력과 가변 길이 코딩 단계의 입력 사이에 적어도 역 양자화 서브 단계, 역 직교 변환 서브 단계 및 예측 서브 단계를 연속하여 포함하는 제 2 예측 단계, 및 인트라(intra) 코딩 모드와 인터(inter) 코딩 모드 중 선택하는 선택 서브 단계를 포함하는 제 3 판정 단계를 포함한다. 또한, 대응하는 비디오 코딩 장치, 이러한 코딩 장치의 출력에서 이용가능한 코딩된 비디오 신호, 상기 신호를 기억하기 위한 저장 매체 및, 대응하는 디코딩 장치에 관한 것이다. 본 발명은 화상전화 및 화상회의(video conferencing) 분야에서 이용될 수 있다.

K. Rijkse의 "매우 낮은 비트 레이트 비디오 코딩 알고리즘들에 대한 ITU 표준(ITU standardisation of very low bitrate video coding algorithms)"에서 예로 설명되는 매우 낮은 비트 레이트 비디오 코딩에 대한 표준 H.263에서, 신호 처리는 1995년판 Image Communication 7, 553-565 페이지에서 매크로블록으로 구성된 화상들을 처리하고 DCT(이산 코사인 변환)와 같은 기술들을 이용하는 하이브리드 비디오 코딩 방법에 기초한다. 이는 공간적인 중복성(spatial redundancy), 움직임 예측, 및 인터 화상 예측을 감소시키며, 최종적으로 양자 가변 길이 엔트로피 코딩(또는 MPEG-2 표준의 경우에 제공되는 것과 같음)을 감소시키기 위함이다.

이 표준 H.263에 대한 최대 비트 레이트는 화상전화에 대하여 약 20kbits/s이고, 화상회의에 대해서는 64kbits/s의 정수배(64, 128, 256,...)이다. 이러한 매우 낮은 비트 레이트들에서, 전송 비트 레이트를 감소시키기 위해 다양한 종류의 해결책, 예를 들어 시간 서브 샘플링(temporal sub-sampling)이 자주 사용된다. 그러나, 이러한 해결책들은 화질을 열화시키지 않으면서 구현되어야 한다.

도 1은 표준 H.263 인코더의 블록도이다. 코딩될 영상들에 대응하는 입력 비트 스트림 IB은 감산기(11)의 제 1 양의 입력에 의해 수신된다. 이 감산기에 이어서 DCT 회로(12)와 같은 직교 변환 장치, 양자화기(13)(Q), 가변 길이 코딩(VLC) 회로(14), 비디오 멀티플렉서(MUX)(15), 및 출력 비트스트림 OB를 생성하는 출력 버퍼(16)에 의해 연속하여 이어진다. 양자화기(13)의 출력과 감산기(11)의 제 2 음의 입력 사이에 제공되는 화상간 예측 루프는, 역 양자화기(17)(Q^-1), 역 DCT 회로(18)(DCT^-1), 가산기(19), 예측 회로(20)를 연속하여 포함하고, 이 예측 회로의 출력은 가산기(19)의 출력에서 완전한 영상을 재구성하도록 가산기(19)의 제 2 입력 및 감산기(11)로 되돌아간다.

가산기(19)의 출력은, 입력 비트 스트림 IB를 수신하고 움직임 벡터들 MV를 생성하는 움직임 예측기(motion estimator)(21)에 전송된다. 이러한 벡터들은 다른 VLC 회로(22)에 의해 코딩되어, 전송(또는 저장)을 위해 멀티플렉서(15)에 전송된다. 출력 버퍼(16)와 예측 회로(20) 사이에 제공되는 판정 회로(23)는, 제1 화상의 비디오 시퀀스에만 관련되어 시간적인 예측 없이 코딩되는 인트라 코딩 모드와, 모든 잔여 화상들이 예측을 사용하여 코딩되는 인터 코딩 모드 사이를 선택하도록 한다.

인트라 화상들이 임의의 이전 화상을 참조하지 않고 코딩되므로, 이들 각각은 인터 모드에서 후속 화상들을 코딩하기 위해 필요한 비트량의 4 내지 10배를 필요로 한다(장면 내용 및 평균 양자화 파라미터에 따라 달라짐). 다음의 표(=표 1)는 CIF 포맷(352픽셀들의 288 라인들)에서 일부 공지된 테스트 시퀀스들에 대하여, 인트라 모드와 인터 모드들 사이의 비트들에 관한 차를 예시한다.

CIF 시퀀스들	인트라 모드	인터 모드
Miss America	35568	3936
Claire	37224	3496
Renata	149984	34736
Flower Garden	180456	63512
Foreman	67736	13016
Teeny	67344	38968
Interview	106320	11272

인트라 모드에서의 제 1 화상 및 인터 모드에서의 후속 제 2 화상을 코딩하는데 필요한 이들 비트량의 값들은, 출력 스트림 OB를 일정한 비트 레이트로 전송하기 위해 필요한 출력 버퍼(16)가 인트라 코딩 중에 강력하게 이용된다는 것을 알 수 있게 한다. 적절한 용량을 갖는 버퍼는 어떠한 오버플로우의 위험 없이 인트라 화상을 기억하기 위해 이용될 수 있지만, 인코더의 지연은 제 1 인트라 화상의 전체 비트수에 직접적으로 비례한다. 즉, 이 화상의 비트들의 수가 클수록, 관련된 일정한 타겟 비트 레이트로 출력 버퍼를 비우는 것이 더 지연된다.

따라서, 본 발명의 목적은 인트라 모드에 따른 코딩시에 어떠한 오버플로우의 위험도 회피할 수 있는 코딩 방법을 제공하는데 있다.

이러한 목적을 위해, 본 발명은 명세서의 서문에서 설명된 바와 같은 코딩 방법에 관한 것으로서, 상기 판정 단계는 인트라 코딩 모드에선만 코딩 단계의 개시시에 수행되는 다운-컨버젼 필터링(down-conversion filtering) 서브 단계, 및 예측 단계의 예측 서브 단계 직전에서 수행되는 대응하는 업-컨버젼 필터링 서브 단계를 포함하며, 이 다운-컨버젼은 인터 코딩 모드에 따라 코딩되는 화상들의 포맷에 대해 감소된 화상 포맷으로 화상들을 코딩하도록 하는 것을 특징으로 한다.

이러한 추가적인 단계들의 도입으로 약 30%의 평균 연산 감소 및 감소된 인코딩 지연으로, 비트들을 절약하기 위해 매우 간단하고 효과적인 해결책을 제공하는데, 그 이유는 출력 버퍼의 비트 점유율(그리고 연산 부담)이 더 낮기 때문이다. 표준화되지 않더라도, 이러한 해결책은 표준 H.263와 호환한다. 64kbits/sec 에서 256kbits/sec 까지의 타겟 비트 레이트들 범위에서 5Hz 화상 레이트 및 CIF 포맷으로, 그리고 매우 간단한 버퍼 제어 기술 또는 사전 분석을 기초로한 매우 복잡한 기술로 테스트들이 수행되었으며, 그 해결책이 효율적임을 보여준다. 또한, 높은 압축률 및 적절한 품질의 요구를 충족하는데 많은 어려움이 있는 낮은 비트 레이트 어플리케이션들(256kbits/sec와 같거나 작은)에 적용되더라도, 상기 해결책은 전체적으로 스케일러블(scalable)하다.
본 발명의 특징들 및 이점들은 아래의 상세한 설명 및 첨부된 도면들로부터 더 명백해 질 것이다.

도 1은 표준 H.263 인코더의 블록도,

도 2는 본 발명에 따른 인코더의 블록도, 그리고

도 3은 대응하는 디코딩 장치이다.

본 발명의 원리는 다음과 같다. 인트라 모드에 따라, CIF 포맷과 같은 주어진 포맷으로 제 1 화상의 시퀀스를 코딩하고, 이어서 양자화 및 엔트로피 코딩 후 전송하는 대신, 원 화상은 본 발명에 따른 인코더를 도시하는 도 2(도 1과 동일한 참조번호를 갖는 동일한 회로들)에 예시된 바와 같이, 인코더의 입력 IB에 접속되는 다운-컨버터(221)에서 QCIF 해상도(176픽셀들로 된 144라인들)와 같은 저해상도로 공간적으로 다운-컨버트된다. 다운-컨버터(221)의 출력은 감산기(11)로 전송되며, 그 양의 입력(다른 경우들에서는 직접 입력 IB에 입력하는 대신, 즉 인트라 모드에 따라 화상들이 코딩되지 않을 때)을 구성한다. 다운-컨버터(221)는 예를 들면 15개의 탭들 및 기수(odd) 대칭을 갖는 하프 밴드 바이디멘져널 필터(half-band bidimensional filter)이지만, 연산의 부담을 줄이기 위하여 7과 같은 낮은 수의 탭들을 갖는 필터, 실질적으로 동일한 품질을 얻을 수 있는 필터가 이용될 수 있다. 이 필터링 단계가 무엇이든, 이 다운-컨버트된 화상(QCIF 포맷으로)은 인트라 모드를 따라 코딩될 것이며, 이어서 출력 비트스트림으로 전송될 것이다.

인코더에서, 예측 루프의 역 DCT 회로(18)의 출력에 제공되는 QCIF 화상은 다음 화상들의 시퀀스를 예측하는데 이용하기 위하여, 업-컨버터(222)에서 CIF 포맷에 대해 공간적으로 업-컨버트된다. 업-컨버터(222)의 출력은 가산기(19)로 전송되고, 이것의 제 1 입력(도 1에 도시된 바와 같이 역 DCT 회로(18)와 가산기(19)의 제 1 입력간의 직접 접속 대신에)을 구성한다.

이전에 설명된 바와 같이, 출력 버퍼(16)와 예측 회로(20) 사이에 제공되는 판정 회로(223)는 우선 이전과 같이 인트라 모드와 인터 모드 사이에서 선택을 한다. 다음으로, 판정 회로(223)는 인트라 모드에서만 감산기(11)의 양의 입력이 인코더 입력과 직접 연결되어 입력되는 대신 다운-컨버터(221)의 출력과 연결되어 입력되도록 하고, 가산기(19)의 입력이 역 DCT 회로(18)과 직접 연결되는 대신 업-컨버터(222)의 출력과 연결되도록 한다.

따라서, 본 발명에 따른 출력 비트스트림 OB은, 인트라 모드에서 코딩된 화상들을 위한 QCIF 화상들에 대응하는 비트 스트림 및 인트라 모드에서 코딩되지 않은 화상들을 위한 CIF 화상들에 대응하는 데이터 스트림으로 구성된다. 인트라 및 인터 코딩된 데이터에 대하여, 추가적인 정보는 H.263 표준으로 추천된 바와 같이, 그 비트스트림 신택스의 스펙(specification)에서 코딩된 데이터(즉, 감소된 화상 포맷으로 코딩된 데이터 및 인트라 코딩 모드에 따라 코딩된 데이터)의 선택된 코딩 모드를 나타내는 것과 관련된 것이다. 이 출력 비트스트림은 이러한 목적을 위해 제공되는 저장 매체에 기억되기 위하여, 또는 디코딩되기 위하여 저장 또는 전송될 수 있다.

이러한 목적을 위해 제공되며 도 3에 도시된 디코딩 장치는, 가변 길이 디코딩 (Variable Length Decoding) 회로(31), 역 양자화 회로(32), 역 이산 코사인 변환 회로(33)를 포함하는 제 1 디코딩 채널, 그리고 이어서 화상 메모리(34), 움직임 보상 회 로(35), 및 역 이산 코사인 변환 회로(33)와 움직임 보상 회로(35)의 출력을 수신하는 가산기(36)를 포함하는 제 2 움직임 보상 채널을 포함한다. 가산기(36)의 출력은 디코딩 장치의 출력이 되며, 화상 메모리(34)의 입력도 된다. 디코딩 장치는 검출 회로(38)를 이용하여, 감소된 화상 포맷(설명된 예에서는 QCIF)에 따라 코딩된 화상들과 관련된 인트라 코딩 모드를 인식할 경우, 업-컨버터(39)에서 감소된 포맷을 원래의 포맷(설명된 예에서는 CIF)으로 공간적인 업-컨버젼을 수행하고, 그 후에 디코딩 장치의 입력과 가변 길이 디코딩 회로(31) 사이의 직접적인 연결 대신 업-컨버터(39)의 출력과 가변 길이 디코딩 회로(31)의 입력 사이가 연결된다.

수행된 테스트는 코딩된 인트라 화상들의 품질이 원래 화상의 품질 보다 저하되더라도, 전체 비디오 시퀀스를 실시간으로 디스플레이할 때, 이 품질의 열화는 인터 모드에서 코딩되는 보다 양호한 품질의 후속하는 다른 화상들에 의해 마스크(mask)된다는 것을 보여준다. 몇개의 인터 화상들, 일반적으로는 4개 또는 5개 이후에는, 원래 시퀀스와 본 발명에 따라 처리된 시퀀스 사이를 구별하는 것은 실질적으로 더 이상 불가능하게 된다. 동일한 상황이 위에 표시된 테스트 시퀀스들 중 일부에 대한 평균 제곱 에러(MSE: Mean Square Error) 휘도 측정치들 및 피크 신호 대 잡음비(PSNR: Peak Sinal to Noise Ratio)에 의해 객관적으로 설명될 수 있다.

Teeny 에서의 SNR 및 MSE 휘도 측정치들

Foreman 에서의 SNR 및 MSE 휘도 측정치들

Renata 에서의 SNR 및 MSE 휘도 측정치들

(관련된 테스트 시퀀스는 대응하는 표에 설명된다)

동일한 시퀀스들 "Teeny", "Foreman" 및 "Renata"에 대해, 상기 테스트들(비트들의 수들로)의 소정의 결과들이 이하에 예로서 제공된다.

(a) "Teeny"

원 인트라 감소된 인트라

화상 I 67344 23984

화상 P 38968 46112

화상 P 28928 28720

화상 P 19440 19552

화상 P 34872 34960

전체량: 189552 153328

(b) "Foreman"

원 인트라 감소된 인트라

화상 I 67736 25480

화상 P 13016 22176

화상 P 9152 11928

화상 P 9552 10880

화상 P 10952 11408

전체량: 110408 81872

(c) "Renata"

원 인트라 감소된 인트라

화상 I 149984 35472

화상 P 34736 72552

화상 P 28112 31784

화상 P 28376 30192

화상 P 26280 27504

전체량: 267488 197504

이들 표들은 전체 시퀀스 중 초기 5개의 화상들(상기 화상들에 후속하는 나머지 화상들에 대해서는 비트량이 거의 동일하다)을 코딩하는데 필요한 비트들의 전체량 사이의 비교를 표시하고, 상당량의 비트가 이들 제 1 화상들에서 절약됨을 나타낸다. 또한, H.263 비디오 코딩 표준은 5개의 화상 포맷들(sub-QCIF = 128픽셀로 된 96라인들; QCIF; CIF; 4CIF = 704픽셀들로 된 576라인들; 16CIF= 1408픽셀들로 된 1152 라인들)상에서 동작할 수 있으며, 본 발명은 또한 동일한 결과로 적용될 수 있으며, 이것의 완전히 스케일러블한 특징에 따른, 16CIF(4CIF로 다운 컨버젼), 4CIF(CIF로 다운 컨버젼) 등에 이롭다. QCIF 화상들을 갖는 20kbits/s 비디오폰의 경우에, sub-QCIF 크기는 QCIF 치수의 절반으로서 적절하지 않다(사실상 88 및 72 대신에 128 픽셀들 및 96 라인들을 갖는다). 인트라 코딩전 QCIF에서 sub-QCIF 포맷으로 다운-컨버팅하면 다른 높은 해상도의 경우와 동일한 "비트 절약 및 낮은 지연" 효과를 얻을 수 없다. 이 때, sub-QCIF 대신에 "half-QCIF"를 이용하는 것이 제안된다. "half-QCIF" 크기는 88픽셀들 및 72라인들이며 다시 이 포맷은 동일한 15 탭들의 바이디멘져널 필터에 의해 얻어질 수 있다. 이것은 표준 포맷이 아니므로, 2개의 관련된 인트라 다운-업 단자들은 half-QCIF를 "정상(normal)" sub-QCIF인 것으로서 신호(signal)할 수 있다. 달리 말해서, 일단 인트라 다운-업 특성이 QCIF 해상도에서 작업하는 2개의 단자들에 의해 인식 및 이용되면, 디코더가 인트라 헤더로부터 sub-QCIF 소스 포맷문(format declaration)을 판독할 때, half-QCIF 화상의 앞에 있음을 인식하며, 이것을 역 DCT 연산 후 half-QCIF에서 QCIF 크기로의 공간적인 업-컨버션을 수행한다.

삭제

Claims

비디오 코딩 방법에 있어서,

적어도 직교 변환 서브 단계(orthogonal transform sub-step), 양자화 서브 단계, 및 가변 길이 코딩 서브 단계를 연속하여 포함하는 코딩 단계;

상기 양자화 서브 단계의 출력과 상기 코딩 단계의 입력 사이에, 적어도 역 양자화 서브 단계, 역 직교 변환 서브 단계, 및 예측 서브 단계를 연속하여 포함하는 예측 단계; 및

인트라(intra) 코딩 모드와 인터(inter) 코딩 모드 중 선택하는 선택 서브 단계를 포함하는 판정 단계;를 포함하며,

상기 판정 단계는, 상기 인트라 모드에서만, 상기 코딩 단계의 개시시에 수행되는 다운-컨버젼 필터링 서브 단계, 및 상기 예측 단계의 상기 예측 서브 단계 직전에 수행되는 대응하는 업-컨버젼 필터링 서브 단계를 더 포함하며, 상기 다운-컨버젼은 상기 인터 코딩 모드에 따라 코딩된 화상들의 포맷에 비하여 감소된 화상 포맷으로 화상들을 코딩하는, 비디오 코딩 방법.
제 1 항에 있어서,

상기 감소된 화상 포맷은 176 픽셀들×144 라인들의 QCIF 포맷이며, 인터 코딩 모드에서의 포맷은 352 픽셀들×288 라인들의 포맷 CIF인, 비디오 코딩 방법.
이산 코사인 변환 회로, 양자화기, 가변 길이 코딩 회로, 멀티플렉서, 및 출력 버퍼를 연속하여 포함하는 코딩 채널;

상기 양자화기의 출력과 상기 이산 코사인 변환 회로의 입력 사이에, 역 양자화기, 역 코사인 변환 회로, 가산기, 예측 회로, 및 감산기의 음의 입력을 연속하여 포함하는 예측 채널; 및

상기 버퍼의 출력과 상기 예측 회로 사이에 삽입되며, 인트라 코딩 모드와 인터 코딩 모드 중 선택을 위해 제공되는 판정 회로를 포함하는 판정 채널;을 포함하며,

상기 판정 채널은,

(a) 인코더의 입력과 상기 감산기의 양의 입력 사이에 삽입되는 다운-컨버터;

(b) 상기 역 코사인 변환 회로의 출력과 상기 가산기의 입력 사이에 삽입되는 업-컨버터를 포함하며, 상기 다운-컨버터 및 업-컨버터는 상기 인트라 코딩 모드가 선택될 때에만, 대응하는 직접 연결부들 대신에 활성화되도록, 상기 판정 회로에 의해 제어되는 것을 특징으로 하는, 비디오 코딩 장치.
삭제
코딩 채널 및 예측 채널을 포함하며, 입력 비디오 신호들의 인트라 코딩 모드와 인터 코딩 모드 중 선택하기 위하여 판정부(decision branch)가 더 제공되는 비디오 인코더의 출력에서 얻어지는 코딩된 신호를 저장하기 위한 저장 매체로서, 상기 코딩된 신호는 인트라 코딩된 데이터, 인터 코딩된 데이터, 및 상기 코딩 모드 관련 정보로 이루어진 비트스트림을 포함하고, 상기 인트라 코딩된 데이터는 상기 인터 코딩 모드에 따라 코딩되는 상기 화상들의 포맷에 비하여 감소된 화상 포맷으로 코딩된 화상들에 대응하는, 저장 매체.
제 3 항에 따른 비디오 코딩 장치에 의해 생성된, 코딩된 비디오 신호를 디코딩하기 위한 장치로서, 가변 길이 디코딩 회로, 역 양자화 회로, 및 역 이산 코사인 변환 회로를 연속하여 포함하는 디코딩 채널, 및 이어 화상 메모리, 움직임 보상 회로, 및 상기 역 이산 코사인 변환 회로와 움직임 보상 회로의 출력들을 수신하는 가산기를 포함하는 움직임 보상 채널을 포함하는, 상기 디코딩하기 위한 장치에 있어서,

인트라 코딩 모드를 인식하기 위한 검출 회로; 및

상기 인트라 코딩 모드에서만, 상기 감소된 화상 포맷을 상기 인터 코딩 모드에 따른 화상 포맷으로 변환을 수행하기 위한 업-컨버터;를 더 포함하는 것을 특징으로 하는, 코딩된 비디오 신호를 디코딩하기 위한 장치.