KR20000070270A

KR20000070270A - 이동-보상 예측 화상 엔코딩 및 디코딩 방법

Info

Publication number: KR20000070270A
Application number: KR1019997006498A
Authority: KR
Inventors: 데하안게라르트; 바그니다니엘레
Original assignee: 요트.게.아. 롤페즈; 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 1997-11-17
Filing date: 1998-10-19
Publication date: 2000-11-25
Also published as: US20020025077A1; DE69834901D1; DE69834901T2; WO1999026416A2; EP0953253A2; JP2001508632A; KR100534192B1; EP0953253B1; WO1999026416A3

Abstract

화상 신호를 예측적으로 이동-보상 엔코딩하는 방법에서, 하나 이상의 프레임은 디코더가 하나 이상의 프레임에 대응하는 이동 벡터를 발생시킬 수 있기 때문에, 이동벡터의 공급 예측적으로 이동-보상 엔코딩되어 공급된다.

Description

이동-보상 예측 화상 엔코딩 및 디코딩 방법{Motion-compensated predictive image encoding and decoding}

저 비트율 영상 회의(low bit-rate video-conferencing)[1]-[2]에 대한 H-263표준은 자연적 영상 시퀀스(natural video sequences)에서 고정도의 공간적 및 시간적 상호관계를 활용하는 영상 압축 절차에 기초한다. 하이브리드 DPCM/DCT 코딩은 인터-프레임(inter-frame) 이동 보상을 이용해서 시간적인 여분을 제거한다. 잔차 에러(residual error) 화상들은 블럭 이산 코사인 변환(DCT;Disvrete Cosine Transform)에 의해 부가적으로 처리되고, DCT 는 하나의 블럭내의 픽셀들을 디-코리레이팅(de-correlating)시킴으로써 공간적 여분을 감소시키고, 블럭 그 차체의 에너지를 극히 낮은 명령 계수(a few low order coefficients)내에 집중시킨다. 그후, DCT 계수들은 스칼라 양자화 요소(SQ)에 의해 스케일된 고정 양자화 매트릭스에 의해 양자화된다. 가변 길이 코딩(VLC;Variable Length Coding)은 고 엔코딩 효율을 얻고 일정한 비트율(bit-rate)로 ISDN (다지탈)또는 PSTN (아날로그)채널로 전송된 비트 스트림을 생성한다.

H.263 의 고유 구조로 인해 최종 비트 스트림은 가변 비트율로 생산되므로 피드백 제어기로서 기능하는 출력 버퍼의 삽입에 의해 일정한 비트율로 변환된다. 상기 버퍼 제어기는 일정한 시각적 특성, 저 지연성 및 저 복잡성을 가진 타켓 비트율을 성취시킨다. 상기 제어기는 그 충족 상태 및 화상 복잡성에 따라 생성된 비트양을 감시하고 양자화 파라미터를 조절한다.

H.263 코딩 표준에는 비트 스트림의 신택스(syntax)와 사용될 기술이 규정되어 있다. 엔코더의 설계 자유도가 어느 정도 존재한다. 그 표준은 이동 추정(motion estmation), 어댑티브 스칼라 양자화(adaptive scalar quntization) 및 비트율 제어와 같은 주 처리 스테이지에 대해 규제하지 않는다.

본 발명은 이동-보상 예측 화상 엔코딩 및 디코딩 방법에 관한 것이다.

도1은 본 발명에 따른 기본 DPCM/DCT 영상 압축 블럭 다이어그램.

도2는 본 발명에 따른 시간적 예측 유닛을 도시한 도면.

도3은 본 발명에 따른 디코더 블럭 다이어그램.

도4는 본 발명에 따른 화상 신호 수신장치를 도시한 도면.

무엇보다도, 본 발명의 목적은 진보된 이동-보상 예측 화상을 엔코딩 및 디코딩하는 향상된 엔코딩 및 디코딩 방법을 제공하는 것이다. 이를 위해, 본 발명의 하나의 특징은 청구범위 제 1 항에 규정된 엔코딩 방법을 제공하는 것이다. 본 발명의 다른 특징은 청구범위 제 4 항 및 제 8 항에 규정한 디코딩 방법 및 장치를 제공하는 것이다. 본 발명의 또 다른 특징은 멀티미디어 장치(청구항 9), 디스플레이 장치(청구항10), 이동-보상 예측 엔코딩된 신호(청구항11)를 제공하는 것이다.이점이 되는 실시예들이 종속항에 정의 되어 있다.

본 발명의 주 특징구성에 따른 화상을 이동-보상 엔코딩하는 방법에 있어서, 하나 이상의 프레임은 예측적으로 이동-보상 엔코딩되고 이동 벡터의 지원 없이 공급된다. 이는 디코더가 하나 이상의 프레임에 대응하는 이동 벡터를 발생할 수 있을때 가능해진다. 양호하게는, 하나 이상의 제 1 프레임은 엔코딩된 인트라-프레임(intra-frame)이고, 하나 이상의 제 2 프레임은 이동 벡터와 함께 예측적으로 이동-보상 엔코딩되고, 하나 이상의 제 3 프레임은 이동 벡터 없이, 예측적으로 이동 보상 엔코딩 된다.

이들 및 다른 본 발명의 특징적 양태는 실시예를 참조로 보다 명백해 진다.

도1의 화상 엔코더에서, 입력 영상 신호(IV)는 프레임 스키핑 유닛( 1)(frame skipping unit)에 적용된다. 프레임 스키핑 유닛(1)의 출력은 서브트랙터(3)의 비 반전 입력과 변환 스위치(7)(change-over switch)의 제 1 입력에 접속된다. 프레임 스키핑 유닛(1)의 출력은 또한, 현재의 화상 신호를 시간적 예측 유닛(5)에 공급한다. 서브트랙터(3)의 반전 입력은 시간적 예측 유닛(5)의 출력에 접속된다. 변환 스위치(7)의 제 2 입력은 서버트랙터(3)의 출력에 접속된다. 변환 스위치(7)의 출력은 양자화 유닛(Q)과 이산 코사인 변환 엔코더 DCT 의 캐스캐이드 장치에 접속된다. 양자화 유닛(Q)의 출력은 가변 길이 엔코더(VLC)의 입력에 접속되고, VLC 출력은 비트 스트림(OB)을 제공하는 버퍼 유닛(BUF)에 접속된다.

또한, 양자화 유닛(Q)의 출력은 탈 양자화 유닛(Q^-1)과 DCT 디코더 DCT^-1의 캐스캐이드 장치에 연결된다. DCT 엔코더 DCT^-1의 출력은 가산기(9)의 제 1 입력에 결합되고, 제 2 입력은 스위치(11)을 통해 시간적 예측부 유닛(5)의 출력에 결합된다. 상기 가산기(9)의 출력은 시간적 예측 유닛(5)에 재생된 이전 화상을 제공한다. 시간적 예측 유닛(5)은 가변 길이 엔코더(VLC)에 의해 이동 벡터(MV)를 계산한다. 버퍼 유닛(BUF)은 양자화 유닛(Q) 및 스위치(7,11)에 인트라-프레임/예측적 엔코딩 제어신호 I/P 를 제공하는 코딩 선택부(13)에 제어신호를 제공한다. 인트라-프레임 엔코딩이 수행된다면, 스위치(7,11)는 도1에 나타난 위치에 있게 된다.

도2에 도시된 바와같이, 시간적 예측 유닛(5)은 이동 추정기(ME)와 프레임 스키핑 유닛(1)로부터의 현재의 화상과 가산기(9)로부터의 재생된 이전 화상을 수신하는 이동-보상 보간기(MCI;motion-compensated interpolator)를 포함한다. 이동 추정기 (ME)에 의해 계산된 이동 벡터(MV)는 이동-보상 보간기(MCI)와 가변 길이 엔코더(VLC)에 적용된다.

이동 벡터(NO-MV;motion vectors)에 대한 어떠한 정보도 전송되지 않는, H.263 저 비트률 영상 엔코더와 디코더에 대한 새로운 방법을 제안 하였다. 상기 NO-MV 방법은 영상 디코더가 자신의 이동 벡터를 계산할 수 있거나 엔코더로부터 받은 초기 이동 정보로부터 시작하는 이동 벡터를 예측할 수 있는 가능성에 기초한다. 상기 방법이 이동 추정 방법에 의존하지는 않을지라도, 새로운 이동 추정기에 상기 방법과 연관 시켜 함께 사용함으로써 최상의 실행이 이루어진다.

최종 비트율의 증가없이, "클래식컬(classical)" H.263 표준 영상 터미널에 비해 양질의 화상을 제공한다. 이동정보의 전송 및 엔코딩하는데 필요한 비트-버짓(bit-budget)이 DCT 계수의 파이너(finer) 양자화를 위해 저장되고 재사용 될수 있으므로, 우수한 공간적 레졸루션(예리함)화상이 생성된다. 한편, 이동 정보 전달이 없기 때문에 최종 비트율이 감소하는 동안 전형적인 H.263 화상 질을 유지하는 것이 가능하므로 채널효율성이 증가하게 된다..

도1에 도시된 바와같이, H.263 영상 압축은 인터-프레임 DPCM/DCT 엔코딩 루프에 기초한다: 이전 화상에서 현 화상까지의 이동 보상 예측이 제공되고 예측 에러가 DCT 엔코딩 된다. 하나 이상의 프레임은 시간적 예측없이 엔코딩된 기준 프레임이다. 그러므로 기본 H.263 표준은 두가지 형태의 픽쳐(picture) 즉, 엄격히 인트라-프레임 엔코딩된 I-픽쳐와, 이전 프레임으로 부터 시간적으로 예측된 P-픽쳐를 갖고 있다.

기본 H.263 이동 추정과 보상 스테이지는 마크로-블럭(macro-block)상에서 동작한다. 메크로 블럭(MB)은 하부 크로미넌스(chrominance)레졸루션으로 인해 픽쳐의 16ㆍ16지역을 덮고 있는 4개의 휘도(Y;luminance)블럭과 2개의 크로미넌스 블럭(U,V)으로 구성된다. 블럭은 그위에서 DCT를 작동시키는 기본 유닛(elementary unit)이고 8ㆍ8픽셀로 구성된다. 양자화의 코어스니스(coarseness)는 처음 3개의 층의 양자화 파라미터와 각 계수에 대한 양자화의 상대적인 코어스니스를 설정한 고정 양자화 매트릭스에 의해 한정 된다. 프레임 스키핑은 수용 가능한 픽쳐의 질을 유지하면서 비트율을 줄이는데 필수적인 방법으로 사용된다. 스킵핑된 프레임의 수는 통상적으로 가변적이고 출력 버퍼 충만성에 달려 있기 때문에, 버퍼 조절은 프레임 스키핑 및 양자화 스텝 사이즈 변화와 관계된다.

H.263 주 프로파일에 있어서, MB당 하나의 이동 벡터가 할당된다. 이동 추정 방법은 상술하지 않았지만, 이동 벡터 범위는 양 구성요소에 대한 픽쳐의 [-16,+15.5]픽셀에 고정된다. 이 범위는 어떠한 옵션이 사용될 때 [-31.5,+15.5]로 연장될수 있다. 모든 마크로 블럭 벡터(MV)는 그후 적절한 VLC와 다르게 엔코딩 된다.

시간적으로 예측된 픽쳐의 질이 이동 벡터의 정확도와 신뢰성에 상당히 의존 하므로, 이동 추정은 엔코딩 프로세스에서 중요한 역할을 수행한다. 시간 예측 블럭 다이어그램은 도2 에 도시되어 있다.

픽쳐의 시퀀스로 부터 실제 이동을 추정하기 위해, [4],[5]에서 나타난 양질의 3차원 순환 검색 블럭 정합 알고리즘(3-Dimensional Recursive Search block matching algorithm)에서 시작했다. 검색 지역내의 가능한 모든 변위를 추정하는 보다 값비싼 전체의 검색 블럭 정합기와는 달리, 알고리즘은 아주 제한된 수의 가능한 변위만을 조사한다. 캔디데이트(candidate) 벡터를 신중히 선택함으로서, 복잡하지 않은 디자인으로 거의 실제 동작에 근접하는 높은 실행성이 얻어질수 있다.그 친화력이 SD-TV 컨슈머 적용[6]의 IC에서 이미 입증되었다.

블럭 정합 이동 추정 알고리즘에서, 변위벡터, 또는 이동벡터는 현재 화상에서 블럭의 중심 ^tr에 할당된다. 여기서 tr은 이항(transpose)을 의미한다. 상기 할당은 만일가에서 중심을 이룬 검색지역내의 유사한 블럭과 정합할경우, 두개의 연속적인 디코딩된 화상사이의 시간 간격을 나타내는 T=nT_q(n=정수)의 이전화상에서 이루어 진다. 유사한 블럭은에 대하여 이동벡터로 옮겨진 중심을 가진다.을 찾기 위해 켄디데이트 벡터의 수는 블럭 유사성의 양을 정하기 위해 에러 측정를 적용하면서 평가 된다.

블럭에서 픽셀은 다음 위치를 가진다.

(x_c-X/2≤x≤x_c+X/2)

(y_c-Y/2≤y≤y_c+Y/2)

여기에서, X 및 Y는 블럭 폭과 높이,는 화상의 공간적 위치이다.

캔디데이트 벡터는 다음에 정의된 캔디데이트 세트로부터 선택된다.

여기서 업데이트(update) 벡터와는 업데이트 세트 US로 부터 임의로 선택되고 다음과 같이 정의 된다.

정수 업데이트는 다음에 의해 시작된다.

하프 픽셀(half-pixel) 정확도를 현실화 하기위한 필수적인 분수 업테이트는 다음과 같이 정의 된다.

나중 하나는 제로 업데이터와 동등하다.

이들 방정식으로 부터, 캔디데이트 세트가 업데이터된 예측벡터와 3-D 인접부로부터 공간적 및 공간-시간적 예측벡터로 구성됨을 알수 있다. 이것은 맹목적으로 공간적 또는 시간적 일관성을 가정한다. 업데이팅 프로세스는 공간 예측중 하나에 가산된 업데이트를 포함한다.

블럭-정합 프로세스로 부터 얻어지는 변위벡터는 에러 함수의 최소값을 산출하는 캔디데이트 벡터이다.

에러 함수는 휘도값,,의 비용 함수 이고 이전 필드,,로부터 옮겨진 블럭으로 블럭와 합산된다. 여기에서 사용하는 일반적인 선택은 절대 차이의 총합(Sum of Absolute Differences)이다. 에러 함수는 다음에 의해 정의 된다.

이동 필드 정확성(motion field consistency)을 더욱 개선하기 위해, 추정 프로세스는 시간적 캔디데이트 벡터처럼 현재 반복을 초기치에 맞추기 위해 이전 반복에서 계산된 이동 벡터를 사용하면서 몇번 되풀이 된다. 제 1 및 제 3 반복동안 이전 및 현재 화상은 위에서 아래로, 왼쪽에서 오른쪽으로 즉, 일반적인 영상 주사 방향으로 주사된다. 반대로, 제 2 및 제 4 반복은 반영상(anti-video) 방향에서 주사된 두화상과 함께 위에서 아래로, 왼쪽에서 오른쪽으로 주사된다

캔디데이트 벡터는 다음에 정의된 새로운 캔디데이트 세트로 부터 선택된다.

여기서, 모든 화상 쌍의 모든 제 1 반복에서 i=1일때,

i≥2 일때,

로 정의 된다.

여기서, i는 현재 반복수를 나타낸다.

제 1 및 제 2 반복은 서브-픽셀 정확도 없이 두 디코딩된 화상의 전치 여파된 복사상에 적용되고, 제 3 및 제 4 반복은 원래 (디코딩된) 화상에서 직접적으로 행해지고 하프-픽셀의 정확한 이동 벡터를 산출한다.

상기 전치 여파는 4 개의 픽셀이상의 수평 평균으로 이루어진다;

여기서, I(x,y,t)는 현 픽셀의 휘도 값이고, Ipf(x,y,t)는 대응하는 여파된 버전이고, div는 정수부이다. 이동 추정 이전의 전치 여파는 2 가지의 주 장점을 갖는데, 첫째는, 필터링 자체의 "노이즈" 감소 효과로 인한 벡터 필드 가간섭성이 증가하고, 둘째로는, 서버 픽셀 정확도가 여기에서는 필요하지 않기 때문에 복잡한 계산이 감소되는 점이다.

이동 추정의 복잡한 계산은 n≤4 일때 실질적으로 실제(가변)프레임 비율에 의존하지 않는다. 화상 쌍당 반복수는 테이블 1에 도시된 바와 같이 2 개의 디코딩된 픽쳐사이의 시간적 간격에 따라 변화된다. n≥5일때는, n=4일때 처럼 동일한 반복을 사용한다.

시간 간격(time interval)T=nT_q	빠진 화상(skipped images)	전치 여파된 화상에서의 반복	원래(dec.)화상에서의 반복
n=1	0	0	0
n=2	1	1	1
n=3	2	1	2
n=4	3	2	2

테이블1:전치 여파된 화상에서 반복사이의 관계

계산된 블럭 벡터의 수를 반감함으로서 즉, 블럭 부표본(subsampling) [4],[5]를 사용함으로써 이동 추정의 계산적 값을 감소 시킬 수 있다.

부표본된 블럭 그리드는 퀸컨크스(quincunx) 패턴으로 배열된다.가 미싱(missing)벡터이면, 다음 식에 따라서 수평적으로 이웃한 이용가능한 벡터로부터 계산 할 수 있다.

여기서,

그리고,

중간 보간법(median interpolation)은 이동 벡터의 수평 및 수직요소에서 개별적으로 행한다. 하나의 반복에서 다음 반복까지 이전 반복에 삽입된 벡터를 정제하기 위해 부표본화 그리드를 바꾼다.

정합 에러는 2X 및 2Y의 크기의 블럭에서 계산되나, 최상의 벡터는 차원 X 및 Y를 갖는 보다 작은 블럭에 할당된다. 이 특징은 블럭 오버랩핑이라 불리는데, 보다 큰 2X·2Y 블럭이 수평 및 수직 방향에서 최종 X·Y블럭과 겹쳐지기 때문이다. 이는 이동 벡터 필드의 일관성 및 신뢰성을 증가시킨다.

결국, 블럭 정합기에 대해 요구되는 계산적인 에포트가 한 블럭내의 픽셀 밀도와 함께 거의 선형적이기 때문에, 네개의 픽셀 부표본화 요소를 도입했다. 그러므로 모든 반복에 대해 정합 에러가 계산되는 큰 2X·2Y블럭에는 2X·2Y/4픽셀을 제공하였다.또한, 하나의 반복에서 다음 반복까지 정합 픽셀의 수를 전개시키기 위해 픽셀 부표본화 그리드를 변경하였다.

상기 새로운 블럭 정합 이동 추정기는 공간 및 시간적 관점에서, 물체의 실제 이동을 일관된 이동 벡터 필드를 산출하면서 매우 정확하게 계산할 수 있다. 이는 마크로 블럭 벡터의 VLC 디페렌셜 엔코딩이 "클래식컬(classical)" 전 검색 블럭 정합기로부터 추정된 벡터에 비해 더 낮은 비트율을 성취해야 한다는 것을 의미한다.

지금부터는, 새로운 실제 이동 벡터의 비 전송(non-transmission of motion vectors)(NO-MV)에 대해 설명한다. 화상의 질을 향상시키거나 채널 효율을 향상시키도록 이동 벡터 디페렌셜 엔코딩 및 전송에 필요한 비트버짓의 재이용 또는 저장 하기 위해, 이동 정보를 전송하도록 제안하였다.

상술의 절차는 다음과 같다.

1. 엔코딩 터미널(ET)은 I-프레임으로서 시퀀스의 제 1 픽쳐(P₁)를 엔코딩하고 이를 전송한다. 디코딩 터미널(DT)는 I-프레임으로서 P₁을 디코더한다. 이 단계는 완전한 H.263 표준 컴플라이언트(comliant)이다.

2. 전송 사이트에서, ET 는 적당한 이동 추정과 시간적 예측 이후, P-프레임으로서 제 2 픽쳐(P₂)를 엔코딩해서 보낸다. 또한 관련된 이동 벡터(MV_p1-p2)를 엔코딩하고 보낸다. 수신 사이트에서, DT 는 (MV_p1-p2)로 이동 보상후 P-프레임으로서 P₂를 재구성한다. 또한, 이 단계는 완전한 H.263 표준 컴플라이언트이다. 양 터미널은 다음 픽쳐 P₃와 동일한 벡터를 사용하기 위해 적당한 메모리 버퍼에 (MV_p1-p2)를 저장한다.

3. 이러한 관점에서, H.263 표준에서 벗어나서, 전송사이트에서 이동의 시간적 일관성을 성취하면서 ET 는 P₃를 시간적으로 예측하기 위해(MV_p1-p2)를 사용한다. 그후, 부가적인 이동 벡터 정보없이 P₃를 전송하고 엔코딩한다. 동시에 그 메모리 버퍼에 저장된 (MV_p2-p3)를 얻기 위해 P₃와 P₂사이에서 이동 추정을 수행한다. 수신상트에서, DT는 (MV_p1-p2)로 이동 보상후, P-프레임으로서 P₃를 재구성한다. 동시에 P₃와 P₂사이에서 그 자체 벡터 (MV_p2-p3)를 추정하여, 메모리 버퍼안에 저장한다.

4. 전송사이트에서, ET는 이동의 시간적 일관성을 성취하면서 P₄를 시간적으로 예측하기 위해 (MVP2-P3)를 사용한다. 그후 부가적인 이동 벡터 정보없이, P₄를 엔코딩하여 전송한다. 동시에, 메모리 버퍼내에 저장된 (MV_p4-p5)를 얻기위해 P₅와 P₄사이에서 이동 추정을 실행한다. 수신사이트에서, DT 는 이전에 저장된 (M_Vp2-p3)로 이동 보상후 P-프레임으로서 P₄를 재구성한다. 동시에 P₃와 P₄사이에서 그 자체 벡터 (M_Vp3-p4)를 추정하여, 메모리 버퍼안에 저장한다.

5. 프로세스는 새로운 I-프레임이 엔코딩되고 전송된다면, 포인트 1 에서 무한 진행 되거나 재시작된다.

저장된 이동벡터 비트의 양이 화상의 질을 저하시킴 없이 전송 채널 용량을 줄이기 위해 복잡하지 않은 DCT 계수 양자화를 허용하기 위해 이용될수 있으므로 화상의 질은 현저히 개선된다. 상기 두 적용예에서 상기 방법은 이동 추정기나 영상 디코딩 터미널에서의 유사한 프로세싱 모듈을 필요로한다. 그러나 현재 시중에는 상기 언급한 것들과 같은 저렴한 양질의 이동 추정기가 시판되고 있다. 시간적인 레졸루션에 대한 질은 1) 엔코딩 및 디코딩 터미널에 의해 이용되는 이동 추정 단계의 높은 실행성, 및 2) 이전 이동벡터 필드가 현재의 이동벡터필드에 사용될지라도 모든 경우에서 양호한 예측을 허용하는 이동의 시간적 일관성 때문에 변화하지 않고 유지 된다. 상기 가정에서 모든 에러들은 엔코더 예를 들면, 벡터 필드에서 예측적인 코딩에 의해 수정가능하다.

상기 해결책은 표준에서는 언급되지 않았지만, 완전한 H.263과 호환가능하다. 상기 방법은 표준화된 H.263이 아니기 때문에, H.245 프로토콜을 통해, 두 터미널간에 신호가 보내져야 한다. 멀티미디어 통신의 시작점에서 두 터미널은 그 처리 표준 및 비 표준 능력에 대한 데이타를 교환한다([3] 참조). 통신 셋업동안 양 터미널은 NO-MV용량을 가진다고 가정하면 각각 용이하게 인터페이스 한다. 그러므로, 영상 엔코더는 이동 벡터를 전송하지 않거나, 단지 초기 이동 정보만 전송하는 반면에, 그 자체의 이동 벡터를 계산 또는 예측한다.

하나 이상의 터미널이 상기 용량을 가지지 않는다면 플래그(flag)는 스위치를 끄기 위해 다른 터미널에 가압된다.

도3은 본 발명에 따른 디코더를 도시하고 있다. 인컴밍(incoming) 비트 스트림은 가변 길이 디코더 VLC^-1의 입력에 결합된 출력을 가진 버퍼(BUFF)에 적용된다. 가변 길이 디코더 VLC^-1는 반전 양자화 Q^-1및 DCT 디코더 DCT^-1의 캐스캐이더 장치에 화상 데이터를 공급하다. DCT 디코더 DCT^-1의 출력은 가산기(15)의 제 1 입력에 결합되고, 그 출력은 디코더의 출력신호에 공급된다. 가변 길이 디코더 VLC^-1는 첫번째 예측적으로 엔코딩된 프레임을 위해 이동 벡터(MV)를 공급한다. 그러므로, 이동 벡터는 스위치(19)를 통해 디코더의 출력 신호를 받는 이동 보상 유닛(MC) 에 적용된다. 이동 보상 유닛(MC)의 출력 신호는 가변 길이 디코더 VLC^-1로 부터의 인트라-프레임/예측적 엔코딩 제어 신호 I/P에 의해 제어되는 스위치(17)을 통해 가산기(15)의 제 2 입력에 적용된다.

본 발명의 주 특징에 따라, 디코더는 프레임 지연(FM)에 의해 공급되는 출력신호의 지연 버젼과, 디코더의 출력신호에 따라 이동벡터를 계산하는 그 자체 이동 벡터 추정기(ME2)를 포함한다. 스위치(19)는 가변 길이 디코더 VLC^-1로 부터의 이동 벡터 또는 이동 추정기(ME2)로부터의 이동 벡터를 이동 보상 유닛(MC)에 적용한다. 스위치(19)는 지연 유닛(delay unit)△ 에 의해 프레임 지연동안 지연된 제어신호 I/P에 의해 제어된다.

도4는 본 발명에 따른 화상 신호 수신 장치를 도시한다. 상기 장치의 부분(T, 도3,VSP)은 멀티 미디어 장치의 부분이 될수 있다. 새틀라이트 디쉬(SD;satellite dish) 는 본 발명에 따라서 예측적으로 이동-보상 엔코딩된 화상 신호를 수신한다. 수신된 신호는 튜너(T)에 적용되고, 튜너의 출력 신호는 도3의 디코더에 지원된다. 도3의 디코더의 디코딩된 출력신호는 통상의 영상 신호 처리 동작(VSP)에 영향을 받는다. 그 결과는 디스플레이(D)에 디스플레이된다.

즉, 발명의 주 특징은 H.263 표준등의 본 발명의 표준과 호환된수 있는 저 비트율 영상 코딩 방법에 관한 것이다. 이동 벡터 정보는 I-프레임(순서의 첫번째 화상 쌍) 다음에 오는 첫번째 P-프레임과 함께, 단 한번만 엔코딩되어 전송된다. 다음 I-프레임 까지, 화상 쌍 동안에 계산되고 메모리 버퍼에서 적절하게 저장된 이동 벡터는 후속되는 화상 쌍 동안에 시간적인 예측을 위해 적용된다. 이 절차는 새로운 I-프레임에서 재 시작된다. 엔코딩 및 디코딩 터미널은 자신의 이동벡터를 계산하여 적절한 로컬 메모리 버퍼에 저장한다. CIF(288라인에 의한 352 픽셀), QCIF(144라인에의한 176 픽셀), 및 SQCIF(96라인에의한 128픽셀)레졸루션에 사용된다.

이후, 본 발명의 주목할 만한 특징 구성에 대해 후술한다.

이동 벡터 정보가 I-프레임 다음에 오는 첫번째 P-프레임 동안에만 전송되기 때문에, H.263 저 비트율 영상 엔코딩 및 디코딩 스테이지를 위한 방법 및 장치는 전체 비트율을 감소시킨다. 픽쳐의 질은 H.263 표준에 의한 픽쳐의 질과 거의 유사하다.

H.263 저 비트율 영상 엔코딩 및 디코딩 스테이지에 대한 장치 및 방법은 타켓 비트율을 매우 유사하게 유지시키면서, H263 표준과 비교하여 화상의 질의 일관성을 개선 시킨다.

메모리 버퍼를 사용하는 상기 방법 및 장치는 영상 쌍에 관계된 이동 벡터를 저장하기 위해서 H.263 영상 엔코더의 시간적 예측 루프의 이동 추정 스테이지에 위치된다. 상기 벡터는 후속되는 화상 쌍의 시간적 예측에 사용된다.

이동 추정 스테이지 및 메모리 버퍼를 사용하는 장치 및 방법은 H.263 영상 디코더에 위치된다. 상기 메모리 버퍼는 이동 추정 스테이지로부터 계산된 이동 벡터를 저장하기 위해 필요하다. 상기 이동벡터는 일정한 화상 쌍에 관계되며, 후속되는 화상 쌍의 시간적 예측에 사용된다.

상기 방법 및 장치에있어서, I-프레임 다음에 오는 첫번째 P-프레임 동안에만 이동 벡터 정보를 보내기 위한 결정은 영상 엔코더의 "INTRA/INTER 코딩 선택" 모듈(도1 참조)로 부터 취해진다.

상기 방법 및 장치에 있어서, 새로운 블럭 정합 이동 추정기는 H.263 영상 엔코더의 시간적 예측 루프에 도입된다. 또한, H.263 영상 디코더에서도 사용된다. 상기 추정기는 매우 일관성있는 이동 벡터 필드를 산출하고, 그 복잡성은 "클래식컬(classical)"전-검색 블럭 정합기보다 휠씬 낮다.

하나의 양호한 실시예에서, 엔코딩된 신호는

하나 이상의 제 1 인트라-프레임 엔코딩된 프레임;

대응하는 이동 벡터와 하나 이상의 제 2 예측적으로 이동-보상 엔코딩된 프레임; 및

대응하는 이동 벡터가 없는, 하나 이상의 제 3 예측적으로 이동-보상 엔코딩된 프레임을 포함한다.

다른하나의 양호한 실시예에서, 엔코딩된 신호는

하나 이상의 제 1 및 제 2 인트라-프레임 엔토딩된 프레임(이들 사이에서는 디코더가 이동 벡터를 추정할수 있음); 및

대응하는 이동 벡터가 없는(디코더는 독립적으로 정확한 이동 벡터를 결정할 수 있기 때문), 하나 이상의 세번째 예측적으로 이동-보상 엔코딩된 프레임을 포함한다. 상기 실시예에서 이동 벡터는 전혀 전송 되지 않는다.

지금까지 실시예에 대해 설명하였지만, 본 발명에서의 기술들은 후술하는 청구범위의 권리 범위를 벗어남 없이 다른 개조 및 변경이 가능함은 물론이다. 청구범위에서, 괄호안에 언급된 표시는 청구범위을 제한하는 것처럼 해석 되어서는 안된다. 청구범위에서, 공급단계는 전송 매체 및 저장 매체에 공급을 포함한다. 또한, 수신단계는 전송매체 및 저장매체로 부터의 수신을 포함한다. 본 발명은 여러개의 독특한 구성요소를 포함하는 하드웨어 및 프로그램된 컴퓨터에 의해서 실행될수 있다. 청구범위에 기술된 일부 구성수단들은 하드웨어의 동일한 아이템에 의해 구현될수 있다.

Claims

화상 신호를 예측적으로 이동-보상 엔코딩하는 엔코딩 방법에 있어서,

이동 벡터에 의해 하나 이상의 프레임을 예측적으로 이동-보상 엔코딩하는 엔코딩 단계와,

상기 이동 벡터 없이 상기 프레임을 공급하는 공급 단계를 포함하는 엔코딩 방법.
제 1 항에 있어서, 상기 하나 이상의 프레임을 예측적으로 이동-보상 엔코딩하는 엔코딩 단계에서, 이전 한 쌍의 프레임 사이에서 이동 벡터가 사용되는 엔코딩 방법
제 1 항에 있어서, 하나 이상의 제 1 프레임을 인트라-프레임 엔코딩 및 공급하는 단계와,

이동 벡터와 함께 하나 이상의 제 2 프레임을 예측적으로 이동-보상 엔코딩 및 공급하는 단계와,

이동 벡터를 공급하지 않고서 하나 이상의 제 3 프레임을 예측적으로 이동-보상 엔코딩 및 공급하는 단계를 포함하는 엔코딩 방법
화상 신호를 예측적으로 이동-보상 디코딩하는 방법에 있어서,

상기 매체로부터 상기 프레임과 대응하는 이동 벡터를 수신하지 않고서 전송또는 기록매체로 부터 하나 이상의 예측적으로 이동-보상 엔코딩된 프레임을 수신하는 단계와,

하나 이상의 프레임을 예측적으로 이동-보상 디코딩(VLC^-1,Q^-1,DCT^-1,15,MC,17,FM,ME2,19,△)하는 단계를 포함하는 디코딩 방법.
제 4 항에 있어서, 상기 하나 이상의 프레임을 예측적으로 이동-보상 디코딩하는 단계에서, 이전 한 쌍의 프레임 사이에서 이동 벡터가 사용되는 디코딩 방법.
제 5 항에 있어서, 디코딩된 프레임에 따라 이동 벡터를 계산하는 단계를 부가로 포함하는 디코딩 방법.
제 4 항에 있어서, 하나 이상의 제 1 프레임을 인트라-프레임 디코딩 하는 단계와,

상기 하나 이상의 제 2 프레임에 대응하는 이동 벡터와 함께, 상기 매체로부터 수신된 하나 이상의 제 2 프레임을 예측적으로 이동-보상 디코딩하는 단계와,

이동 벡터 없이 상기 매체로 부터 수신된 하나 이상의 제 3 프레임을 예측적으로 이동-보상 디코딩 하는 단계를 포함하는 디코딩 방법.
화상 신호를 예측적으로 이동-보상 디코딩하는 장치에 있어서,

상기 매체로부터 상기 프레임에 대응하는 이동 벡터의 수신이 없이, 전송 또는 기록 매체로 부터 예측적으로 이동-보상 엔코딩된 하나 이상의 프레임을 수신하는 수단(BUFF)과,

상기 하나 이상의 프레임을 예측적으로 이동-보상 엔코딩하기 위한 수단(VLC^-1,Q^-1,DCT^-1,15,MC,17,FM,ME2,19,△)을 포함하는 디코딩 장치.
예측적으로 이동-보상 엔코딩된 화상 신호를 수신하는 수단(T)과,

디코딩된 화상 신호를 발생시키기 위해, 8 항에서 청구된 바와같은 이동-보상 예측 디코딩 장치를 포함하는 멀티-미디어 장치.
예측적으로 이동-보상 엔코딩된 화상 신호를 수신하는 수단(T)과,

디코더된 화상 신호를 발생시키기 위해, 8 항에서 청구된 바와같은 이동-보상 예측 디코딩 장치와,

상기 디코딩된 화상 신호를 표시사기 위한 수단을 포함하는 화상 신호 디스플레이 장치.
상기 프레임에 대응하는 이동 벡터없이, 하나 이상의 예측적으로 이동-보상 엔코딩된 프레임을 포함하는 예측적으로 이동-보상 엔코딩된 화상 신호.