KR100534192B1

KR100534192B1 - 모션-보상 예측 영상 인코딩 및 디코딩

Info

Publication number: KR100534192B1
Application number: KR10-1999-7006498A
Authority: KR
Inventors: 데하안게라르트; 바그니다니엘레
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 1997-11-17
Filing date: 1998-10-19
Publication date: 2005-12-08
Also published as: US20020025077A1; DE69834901D1; DE69834901T2; KR20000070270A; WO1999026416A2; EP0953253A2; JP2001508632A; EP0953253B1; WO1999026416A3

Abstract

영상 신호를 모션-보상 예측적으로 인코딩하는 방법에서, 적어도 하나의 프레임은 디코더가 적어도 하나의 프레임에 대응하는 모션 벡터를 발생시킬 수 있기 때문에, 모션 벡터의 공급 모션-보상 예측적으로 인코딩되어 공급된다.

Description

모션-보상 예측 영상 인코딩 및 디코딩{Motion-compensated predictive image encoding and decoding}

본 발명은 모션-보상 예측 영상 인코딩 및 디코딩에 관한 것이다.

저 비트 레이트 비디오 회의(low bit-rate video-conferencing)[1]-[2]에 대한 H.263 표준은 자연의 비디오 시퀀스들에서 고도의 공간적 및 시간적 상호관계를 활용하는 비디오 압축 절차에 근거한다. 하이브리드 DPCM/DCT 코딩은 인터-프레임 모션 보상(inter-frame motion compensation)을 이용하여 시간적 중복성을 제거한다. 잔류 에러 영상들은 블록 이산 코사인 변환(DCT; Discrete Cosine Transform)에 의해 또한 처리되며, 상기 DCT 는 블록내의 픽셀들을 무상관화(de-correlating)시킴으로써 공간적 중복성을 감소시키고, 블록 그 차체의 에너지를 극히 낮은 차수의 계수들에 집중시킨다. 그 후, DCT 계수들은 스칼라 양자화(SQ; Scalar Quantization) 팩터에 의해 스케일링된 고정 양자화 매트릭스에 따라서 양자화된다. 마지막으로, 가변 길이 코딩(VLC; Variable Length Coding)은 고 인코딩 효율성을 얻어 일정한 비트 레이트들로 비트 스트림을 생성하며, 상기 비트 스트림은 ISDN (디지털) 또는 PSTN (아날로그) 채널들을 통해 전송된다. H.263의 본래 구조로 인해, 최종 비트 스트림은 가변 비트 레이트로 생성되기 때문에, 피드백 제어기로서 기능하는 출력 버퍼의 삽입에 의해 일정한 비트 레이트로 변환되어야 한다. 상기 버퍼 제어기는 일정한 시각적 특성, 낮은 지연성 및 낮은 복잡성을 가진 타켓 비트 레이트를 얻어야 한다. 상기 제어기는 그의 충만 상태 및 영상 복잡성에 따라서, 생성된 비트량을 감시하고 양자화 파라미터들을 동적으로 조절한다.

삭제

H.263 코딩 표준은 비트 스트림의 신택스(syntax)와 사용될 기술들을 규정한다. 인코더 설계의 자유도가 약간 있다. 표준은 모션 추정(motion estmation), 적응형 스칼라 양자화(adaptive scalar quntization) 및 비트 레이트 제어와 같은 중요한 처리 스테이지들에 관한 어떠한 제약을 두지 않는다.

도 1은 본 발명에 따른 기본 DPCM/DCT 비디오 압축 블록 다이어그램을 도시하는 도면.

도 2는 본 발명에 따른 시간적 예측 유닛을 도시하는 도면.

도 3은 본 발명에 따른 디코더 블록 다이어그램을 도시하는 도면.

도4는 본 발명에 따른 영상 신호 수신 장치를 도시하는 도면.

그 중에서도, 본 발명의 목적은 향상된 모션-보상 예측 영상 인코딩 및 디코딩 기술들을 제공하는 것이다. 이를 위하여, 본 발명의 제 1 양상은 청구항 1에 정의되는 인코딩 방법을 제공한다.. 본 발명의 제 2 양상은 청구항 4 및 청구항 8에 정의되는 디코딩 방법 및 장치를 제공한다. 본 발명의 또다른 양상들은 멀티미디어 장치(청구항 9), 디스플레이 장치(청구항 10), 모션-보상 예측적으로 인코딩된 신호(청구항 11)를 제공한다. 유리한 실시예들은 종속항들에 정의되어 있다.

본 발명의 주요한 양상들에 따라 영상들을 모션-보상 예측적으로 인코딩하는 방법에 있어서, 적어도 하나의 프레임은 모션 벡터들을 공급하지 않고서 모션-보상 예측적으로 인코딩되고 공급된다. 이는 디코더가 적어도 하나의 프레임에 대응하는 모션 벡터들을 발생할 수 있을때 가능해진다. 바람직하게는, 적어도 하나의 제 1 프레임은 인트라-프레임 인코딩되며, 적어도 하나의 제 2 프레임은 모션 벡터들과 함께 모션-보상 예측적으로 인코딩되며, 적어도 하나의 제 3 프레임은 모션 벡터들 없이 모션 보상 예측적으로 인코딩된다.

본 발명의 상기 및 다른 양상들은 이후 설명되는 실시예들을 참조하여 보다 명백하고 분명해진다.

도 1의 영상 인코더에서, 입력 비디오 신호(IV)는 프레임 스키핑 유닛(frame skipping unit ; 1)에 인가된다. 프레임 스키핑 유닛(1)의 출력은 서브트랙터(3)의 비 반전 입력과 변환 스위치(change-over switch ; 7)의 제 1 입력에 접속된다. 프레임 스키핑 유닛(1)의 출력은 현재의 영상 신호를 시간적 예측 유닛(5)에 또한 공급한다. 서브트랙터(3)의 반전 입력은 시간적 예측 유닛(5)의 출력에 접속된다. 변환 스위치(7)의 제 2 입력은 서버트랙터(3)의 출력에 접속된다. 변환 스위치(7)의 출력은 이산 코사인 변환 인코더(DCT)와 양자화 유닛(Q)의 직렬 배열에 접속된다. 양자화 유닛(Q)의 출력은 가변 길이 인코더(VLC)의 입력에 접속되고, 상기 VLC의 출력은 비트 스트림(OB)을 공급하는 버퍼 유닛(BUF)에 접속된다.

양자화 유닛(Q)의 출력은 또한 탈 양자화 유닛(Q^-1)과 DCT 디코더(DCT^-1)의 직렬 배열에 접속된다. DCT 인코더(DCT^-1)의 출력은 가산기(9)의 제 1 입력에 연결되고, 상기 가산기의 제 2 입력은 스위치(11)을 통해 시간적 예측 유닛(5)의 출력에 연결된다. 상기 가산기(9)의 출력은 재생된 이전 영상을 시간적 예측 유닛(5)에 공급한다. 시간적 예측 유닛(5)은 가변 길이 인코더(VLC)에 의해 또한 인코딩되는 모션 벡터들(MV)을 계산한다. 버퍼 유닛(BUF)은 제어 신호를 양자화 유닛(Q) 및 스위치들(7,11)에 인트라-프레임/예측 인코딩 제어 신호(I/P)를 공급하는 코딩 선택 유닛(13)에 공급한다. 인트라-프레임 인코딩이 실행되면, 스위치들(7,11)은 도 1에 도시된 위치들에 있게 된다.

도 2에 도시된 바와 같이, 시간적 예측 유닛(5)은 모션 추정기(ME) 및 프레임 스키핑 유닛(1)로부터 현재의 영상과 가산기(9)로부터 재생된 이전 영상을 수신하는 모션-보상 보간기(MCI; motion-compensated interpolator)를 포함한다. 모션 추정기(ME)에 의해 계산된 모션 벡터들(MV)은 모션-보상 보간기(MCI)와 가변 길이 인코더(VLC)에 인가된다.

본 명세서에서는 모션 벡터들(NO-MV)에 대한 거의 어떠한 정보도 전송하지 않는, H.263 저 비트 레이트 비디오 인코더들 및 디코더들에 대한 새로운 방법을 소개한다. 상기 NO-MV 방법은 비디오 디코더가 그 자신의 모션 벡터들을 계산할 수 있거나, 인코더로부터 수신한 초기 모션 정보로부터 시작하는 모션 벡터들을 예측할 수 있는 가능성에 근거한다. 이 방법이 모션 추정 전략에 완전히 의존하지는 않을지라도, 이 방법을 새로운 모션 추정기에 연관시킴으로써, 두가지 기술들을 함께 사용할 때 최상의 성능을 달성할 것이다.

연구 덕택에, 최종 비트 레이트을 증가하지 않고서 "전형적인" H.263 표준 비디오 터미널들에 비해 양질의 영상을 달성한다. 사실, 모션 정보를 인코딩하고 전송하는데 필요한 비트-버짓(bit-budget)이 DCT 계수들의 더 정교한 양자화를 위해 저장되고 재사용될 수 있기 때문에, 우수한 공간적 리솔루션(선명도) 화상들을 야기시킨다. 한편, 모션 정보 전송이 없기 때문에 최종 비트 레이트를 감소시키지 않고서 전형적인 H.263 영상 품질을 유지하는 것이 가능하므로 채널 효율성이 증가하게 된다.

도 1에 도시된 바와 같이, H.263 비디오 압축은 인트라-프레임 DPCM/DCT 인코딩 루프에 근거한다: 이전 영상에서 현재 영상까지 모션 보상 예측이 있으며 예측 에러는 DCT 인코딩된다. 적어도 하나의 프레임은 시간적 예측없이 인코딩되는 기준 프레임(reference frame)이다. 그러므로 기본 H.263 표준은 두가지 형태의 화상들 즉, 엄격하게 인트라-프레임 인코딩된 I-화상들과, 이전 프레임들로부터 시간적으로 예측되는 P-화상들을 갖는다.

기본 H.263 모션 추정과 보상 스테이지들은 매크로-블록들상에서 동작한다. 매크로-블록(MB)은 하부 색차 리솔루션으로 인해 화상의 16×16 영역을 커버하는 4개의 휘도(Y) 블록들과 2개의 색차 블록들(U 및 V)으로 구성된다. 블록은 DCT를 동작시키는 기본 유닛(elementary unit)이며, 상기 유닛은 8×8픽셀들로 구성된다. 양자화의 조악함(coarseness)는 처음 3개의 층들의 양자화 파라미터와 각 계수에 대한 상대적인 양자화의 조악함을 설정한 고정 양자화 매트릭스에 의해 규정된다. 프레임 스키핑은 또한 수용가능한 화상 품질을 유지하면서 비트 레이트를 감소키키는 필수 방법으로 사용된다. 스키핑된 프레임들의 수는 통상적으로 가변적이고 출력 버퍼 충만성에 좌우되기 때문에, 버퍼 조절은 프레임 스키핑 및 양자화 단계 사이즈 변화들에 잠시 관련되어 있어야 한다.

H.263 주 프로파일에서, 매 MB마다 하나의 모션 벡터를 할당된다. 모션 추정 전략은 명시되지 않았지만, 모션 벡터들 범위는 구성요소들 양자 모두에 대한 화상에서 [-16,+15.5] 픽셀들에 고정된다. 이 범위는 어떠한 옵션들이 사용될 때 [-31.5,+31.5]로 연장될 수 있다. 그후, 모든 매크로 블록 벡터(MV)는 적당한 VLC로 다르게 인코딩된다.

시간적으로 예측된 화상들의 품질이 모션 벡터들의 정확도와 신뢰성에 강하게 의존하기 때문에, 모션 추정은 인코딩 처리에서 중요한 역할을 한다. 시간 예측 블록 다이어그램은 도 2에 도시된다.

화상들의 시퀀스로부터 정확한 모션을 추정하기 위해, [4] 및 [5]에 제공되는 고 품질의 3차원 재귀 검색 블록 정합 알고리즘(3-Dimensional Recursive Search block matching algorithm)으로부터 시작하였다. 검색 영역내의 가능한 모든 변위들을 추정하는 보다 고가의 전체 검색 블록 정합기들과는 달리, 상기 알고리즘은 매우 제한된 수의 가능한 변위들만을 조사한다. 후보 벡터들을 신중히 선택함으로써, 덜 복잡한 설계로 거의 정확한 동작에 근접하는 높은 성능을 달성할 수 있다. 상기 흥미있는 부분이 SD-TV 소비자 응용들[6]을 위한 IC에서 이미 입증되었다.

블록 정합 모션 추정 알고리즘들에서, 변위 벡터, 또는 모션 벡터 는 현재 영상 에서 블록 의 중심 ^tr에 할당되며, 여기서 tr은 이항(transpose)을 의미한다. 가 에 중심을 둔 검색 영역 내의 유사한 블록과 정합할 경우 상기 할당을 하지만, 이전 영상 에서 T+nTq(n은 정수)는 2개의 연속적인 디코딩된 영상들 사이의 시간 간격을 나타낸다. 유사한 블록은 모션 벡터 에 걸쳐 에 대하여 시프트된다. 을 찾기 위해, 후보 벡터들 의 수는 블록 유사성의 양을 정하기 위해 에러 측정 를 적용하여 평가된다.

블록 에서 픽셀들은 다음과 같은 위치들을 갖는다.

(x_c-X/2≤x≤x_c+X/2)

(y_c-Y/2≤y≤y_c+Y/2)

X 및 Y는 각각 블록 폭과 블록 높이이고, 는 영상의 공간적 위치이다.

후보 벡터들은 다음의 수학식에 의해 정의된 후보 세트 로부터 선택된다. (1)

삭제

여기서, 업데이트 벡터 와 는 다음의 수학식에 의해 정의되는 업데이트 세트 US로부터 임의로 선택된다.

정수 업데이트들 는 다음의 수학식에 의해 시작된다. (2)

삭제

절반 픽셀(half-pixel) 정확도를 현실화하는데 필수적인 분수 업데이트들 은 다음의 수학식에 의해 정의된다. (3)

삭제

나 중 어느 하나는 제로 업데이터와 같다.

이 수학식들으로부터, 후보 세트가 업데이터된 예측 벡터와 3-D 근접으로부터 공간적 및 공간-시간적 예측 벡터들로 구성된다는 것을 단정할 수 있다. 이는 공간적 및/또는 시간적 일관성을 맹목적으로 추정한다. 업데이팅 처리는 공간 예측들 중 어느 하나에 가산된 업데이트들을 포함한다.

블록-정합 처리로부터 생기는 변위 벡터 는 에러 함수 의 최소값을 야기시키는 후보 벡터 이다.

에러 함수는 휘도값들, ,의 비용 함수이고 이전 필드로부터 시프트된 블록의 함수 는 블록 와 합산된다. 또한 사용하는 일반적인 선택은 절대차들의 합(Sum of Absolute Differences)이다. 에러 함수는 다음의 수학식에 의해 정의된다.

(5)

모션 필드 정확성(motion field consistency)을 더욱 개선하기 위해, 추정 처리는 시간적 후보 벡터들 처럼, 현재 반복을 초기화하기 위해 이전 반복에서 계산된 모션 벡터들을 사용하여 여러회 반복된다. 제 1 및 제 3 반복들 동안, 이전 및 현재 영상들 양자 모두는 상하 좌우측으로 즉, "통상의 비디오" 주사 방향으로 주사된다. 이에 반하여, 제 2 및 제 4 반복은 "안티-비디오" 방향으로 주사된 영상들 양자 모두와 함께에 하상 우좌측으로 실행된다.

후보 벡터들은 다음의 수학식에 의해 정의되는 새로운 후보 세트 로부터 선택된다.

여기서, 모든 영상 쌍을 위한 매 제 1 반복에서 i=1일때,

i≥2 일때,

로 정의된다.

여기서, i는 현재 반복수를 나타낸다.

또한, 제 1 및 제 2 반복은 서브-픽셀 정확도 없이 2개의 디코딩된 영상들의 전치 필터링된 복제들 상에 인가되고, 제 3 및 제 4 반복은 원래 (디코딩된) 영상들 상에서 직접 행해지고 절반-픽셀의 정확한 모션 벡터들을 생성한다.

전치 필터링은 4개의 픽셀들에 걸쳐 수평 평균으로 이루어진다;

(6)

여기서, I(x,y,t)는 현재 픽셀의 휘도값이고, Ipf(x,y,t)는 대응하는 필터링된 버전이고, div는 정수부이다. 2개의 모션 추정 이전의 전치 필터링에 대한 주요한 장점들이 있는데, 첫번째는 필터링 자체의 "잡음" 감소 효과로 인한 벡터 필드 결합력의 증가이고, 둘번째는 서버 픽셀 정확도가 이 경우에는 필요하지 않기 때문에 계산 복잡성의의 감소이다.

모션 추정의 계산 복잡성은 n≤4 일때 실질적으로 실제 (가변) 프레임 레이트에 독립적이다. 사실, 매 영상들 쌍마다 반복들의 수는 표 1에 도시된 바와 같이 2개의 디코딩된 화상들 사이의 시간 간격에 따라 변화된다. n≥5일때는, n=4일때 처럼 동일한 반복들을 사용한다.

시간 간격T=nT^q	스키핑된 영상들	전치 필터링된 영상들에서의 반복들	원래 (dec.) 영상들에서의 반복들
n=1	0	0	0
n=2	1	1	1
n=3	2	1	2
n=4	3	2	2

표 1 : 전치 필터링된 영상들에서의 반복들 사이의 관계

계산된 블록 벡터의 수를 반감함으로서 즉, 블록 부표본(subsampling) [4],[5]를 사용함으로써 모션 추정의 계산적 값을 감소 시킬 수 있다.

부표본된 블록 그리드는 퀸컨크스(quincunx) 패턴으로 배열된다. 가 미싱(missing)벡터이면, 다음 식에 따라서 수평적으로 이웃한 이용가능한 벡터 로부터 계산 할 수 있다.

(7)

여기서,

및,

중간 보간법(median interpolation)은 모션 벡터의 수평 및 수직요소에서 개별적으로 행한다. 하나의 반복에서 다음 반복까지 이전 반복에 삽입된 벡터를 정제하기 위해 부표본화 그리드를 바꾼다.

정합 에러는 2X 및 2Y의 크기의 블록에서 계산되나, 최상의 벡터는 차원 X 및 Y를 갖는 보다 작은 블록에 할당된다. 이 특징은 블록 오버랩핑이라 불리는데, 보다 큰 2X×2Y 블록이 수평 및 수직 방향에서 최종 X×Y 블록과 겹쳐지기 때문이다. 이는 모션 벡터 필드의 일관성 및 신뢰성을 증가시킨다.

마지막으로, 블록 정합기에 대해 요구되는 계산 결과가 한 블록내의 픽셀 밀도와 함께 거의 선형적이기 때문에, 네개의 픽셀 부표본화 요소를 도입했다. 그러므로 모든 반복에 대해 정합 에러가 계산되는 큰 2X×2Y 블록에는 2X×2Y/4 픽셀들을 제공하였다. 또한, 하나의 반복에서 다음 반복까지 정합 픽셀들의 수를 전개시키기 위해 픽셀 부표본화 그리드를 변경하였다.

상기 새로운 블록 정합 모션 추정기는 공간 및 시간적 관점에서, 물체의 실제 모션을 일관된 모션 벡터 필드를 산출하면서 매우 정확하게 계산할 수 있다. 이는 매크로 블록 벡터의 VLC 디페렌셜 인코딩이 "전형적인" 전 검색 블록 정합기로부터 추정된 벡터에 비해 더 낮은 비트 레이트를 성취해야 한다는 것을 의미한다.

지금부터는, 새로운 실제 모션 벡터들의 비전송(non-transmission of motion vectors)(NO-MV)에 대해 설명한다. 영상의 질을 향상시키거나 채널 효율을 향상시키도록 모션 벡터 디페렌셜 인코딩 및 전송에 필요한 비트버젯의 재이용 또는 저장 하기 위해, 모션 정보를 전송하도록 제안하였다.

절차는 하기에 설명된다.

1. 인코딩 터미널(ET)은 I-프레임으로서 시퀀스의 제 1 화상(P₁)를 인코딩하고 이를 전송한다. 디코딩 터미널(DT)는 I-프레임으로서 P₁을 디코더한다. 이 단계는 완전한 H.263 표준 컴플라이언트이다.

2. 전송 사이트에서, ET 는 적당한 모션 추정과 시간적 예측 이후, P-프레임으로서 제 2 화상(P₂)를 인코딩해서 보낸다. 또한 관련된 모션 벡터들(MV_p1-p2)를 인코딩하고 보낸다. 수신 사이트에서, DT 는 MV_p1-p2로 모션 보상후 P-프레임으로서 P₂를 재구성한다. 또한, 이 단계는 완전한 H.263 표준 컴플라이언트이다. 양 터미널은 다음 화상 P₃와 동일한 벡터를 사용하기 위해 적당한 메모리 버퍼에 MV_p1-p2를 저장한다.

3. 이러한 관점에서, H.263 표준에서 벗어나서, 전송사이트에서 모션의 시간적 일관성을 성취하면서 ET 는 P₃를 시간적으로 예측하기 위해 MV_p1-p2를 사용한다. 그후, 부가적인 모션 벡터 정보없이 P₃를 전송하고 인코딩한다. 동시에 그 메모리 버퍼에 저장된 MV_p2-p3를 얻기 위해 P₃ 와 P₂ 사이에서 모션 추정을 수행한다. 수신상트에서, DT는 MV_p1-p2로 모션 보상후, P-프레임으로서 P₃를 재구성한다. 동시에 P₃와 P₂사이에서 그 자체 벡터 MV_p2-p3를 추정하여, 메모리 버퍼안에 저장한다.

4. 전송 사이트에서, ET는 모션의 시간적 일관성을 성취하면서 P₄를 시간적으로 예측하기 위해 MV_P2-P3를 사용한다. 그후 부가적인 모션 벡터 정보없이, P₄를 인코딩하여 전송한다. 동시에, 메모리 버퍼내에 저장된 MV_p4-p5를 얻기위해 P₅와 P₄사이에서 모션 추정을 실행한다. 수신사이트에서, DT 는 이전에 저장된 M_Vp2-p3로 모션 보상후 P-프레임으로서 P₄를 재구성한다. 동시에 P₃와 P₄사이에서 그 자체 벡터 MV_p3-p4를 추정하여, 메모리 버퍼안에 저장한다.

5. 처리는 새로운 I-프레임이 인코딩되고 전송된다면, 포인트 1 에서 무한 진행 되거나 재시작된다.

저장된 모션 벡터 비트의 양이 영상의 질을 저하시킴 없이 전송 채널 용량을 줄이기 위해 복잡하지 않은 DCT 계수 양자화를 허용하기 위해 이용될수 있으므로 영상의 질은 현저히 개선된다. 상기 두 적용예에서 상기 방법은 모션 추정기나 비디오 디코딩 터미널에서의 유사한 프로세싱 모듈을 필요로한다. 그러나 현재 시중에는 상기 언급한 것들과 같은 저렴한 양질의 모션 추정기가 시판되고 있다. 시간적인 리솔루션에 대한 질은 1) 인코딩 및 디코딩 터미널에 의해 이용되는 모션 추정 단계의 높은 실행성, 및 2) 이전 모션 벡터 필드가 현재의 모션 벡터필드에 사용될지라도 모든 경우에서 양호한 예측을 허용하는 모션의 시간적 일관성 때문에 변화하지 않고 유지 된다. 상기 가정에서 모든 에러들은 인코더 예를 들면, 벡터 필드에서 예측적인 코딩에 의해 수정가능하다.

상기 해결책은 표준에서는 언급되지 않았지만, 완전한 H.263과 호환가능하다. 상기 방법은 표준화된 H.263이 아니기 때문에, H.245 프로토콜을 통해, 두 터미널간에 신호가 보내져야 한다. 멀티미디어 통신의 시작점에서 두 터미널은 그 처리 표준 및 비 표준 능력에 대한 데이타를 교환한다([3] 참조). 통신 셋업동안 양 터미널은 NO-MV용량을 가진다고 가정하면 각각 용이하게 인터페이스 한다. 그러므로, 비디오 인코더는 모션 벡터를 전송하지 않거나, 단지 초기 모션 정보만 전송하는 반면에, 그 자체의 모션 벡터를 계산 또는 예측한다.

적어도 하나의 터미널이 상기 용량을 가지지 않는다면 플래그(flag)는 스위치를 끄기 위해 다른 터미널에 가압된다.

도 3은 본 발명에 따른 디코더를 도시하고 있다. 인입하는 비트 스트림은 가변 길이 디코더 VLC^-1 의 입력에 결합된 출력을 가진 버퍼(BUFF)에 인가된다. 가변 길이 디코더 VLC^-1는 반전 양자화 Q^-1및 DCT 디코더 DCT^-1의 직렬 배열에 영상 데이터를 공급하다. DCT 디코더 DCT^-1의 출력은 가산기(15)의 제 1 입력에 연결되고, 그 출력은 디코더의 출력신호에 공급된다. 가변 길이 디코더 VLC^-1는 첫번째 예측적으로 인코딩된 프레임을 위해 모션 벡터(MV)를 공급한다. 그러므로, 모션 벡터는 스위치(19)를 통해 디코더의 출력 신호를 받는 모션 보상 유닛(MC) 에 인가된다. 모션 보상 유닛(MC)의 출력 신호는 가변 길이 디코더 VLC^-1로부터의 인트라-프레임/예측 인코딩 제어 신호(I/P)에 의해 제어되는 스위치(17)을 통해 가산기(15)의 제 2 입력에 인가된다.

본 발명의 주요한 양상에 따라, 디코더는 프레임 지연(FM)에 의해 공급되는 출력 신호의 지연 버젼과, 디코더의 출력 신호에 따라 모션 벡터를 계산하는 그 자체 모션 벡터 추정기(ME2)를 포함한다. 스위치(19)는 가변 길이 디코더(VLC^-1)로부터의 모션 벡터 또는 모션 추정기(ME2)로부터의 모션 벡터를 모션 보상 유닛(MC)에 인가한다. 스위치(19)는 지연 유닛(△)에 의해 프레임 지연동안 지연된 제어 신호(I/P)에 의해 제어된다.

도 4는 본 발명에 따른 영상 신호 수신 장치를 도시한다. 상기 장치의 부분(T,도 3,VSP)은 멀티-미디어 장치의 일부가 될 수 있다. 새틀라이트 디쉬(SD;satellite dish) 는 본 발명에 따라서 모션-보상 예측적으로 인코딩된 영상 신호를 수신한다. 수신된 신호는 튜너(T)에 인가되고, 튜너의 출력 신호는 도 3의 디코더에 지원된다. 도 3의 디코더의 디코딩된 출력신호는 통상의 비디오 신호 처리 동작(VSP)에 영향을 받는다. 그 결과는 디스플레이(D)에 디스플레이된다.

즉, 발명의 주 특징은 H.263 표준 등의 본 발명의 표준과 호환될 수 있는 저 비트 레이트 비디오 코딩 방법에 관한 것이다. 모션 벡터 정보는 I-프레임(순서의 첫번째 영상 쌍) 다음에 오는 제 1 P-프레임과 함께, 단 한번만 인코딩되어 전송된다. 다음 I-프레임 까지, 영상 쌍 동안에 계산되고 메모리 버퍼에서 적절하게 저장된 모션 벡터는 연속적인 영상 쌍 동안에 시간적인 예측을 위해 적용된다. 이 절차는 새로운 I-프레임에서 재 시작된다. 인코딩 및 디코딩 터미널은 자신의 모션 벡터를 계산하여 적절한 로컬 메모리 버퍼에 저장한다. CIF(352 픽셀들×288라인들), QCIF(176 픽셀들×144라인들), 및 SQCIF(매 96 라인들마다 128픽셀들) 리솔루션에 사용된다.다음의 본 발명의 주목할만한 특징들이 있다.

삭제

모션 벡터 정보가 I-프레임 다음에 오는 제 1 P-프레임 동안만 전송되기 때문에, H.263 저 비트 레이트 비디오 인코딩 및 디코딩 스테이지들을 위한 방법 및 장치. 상기 방법 및 장치는 전체 비트 레이트를 감소시킨다. 화상 품질은 표준 H.263 접근에 의해 달성될 수 있는 품질과 거의 유사하다.

H.263 저 비트 레이트 비디오 인코딩 및 디코딩 스테이지에 대한 장치 및 방법. 상기 장치 및 방법은 타켓 비트 레이트를 매우 유사하게 유지시키면서, H263 표준과 비교하여 영상의 질의 일관성을 개선시킨다.

메모리 버퍼를 사용하는 상기 방법 및 장치는 비디오 쌍에 관계된 모션 벡터를 저장하기 위해서 H.263 비디오 인코더의 시간적 예측 루프의 모션 추정 스테이지에 위치된다. 상기 벡터는 연속적인 영상 쌍의 시간적 예측에 사용된다.

모션 추정 스테이지 및 메모리 버퍼를 사용하는 장치 및 방법은 H.263 비디오 디코더에 위치된다. 상기 메모리 버퍼는 모션 추정 스테이지로부터 계산된 모션 벡터를 저장하기 위해 필요하다. 상기 모션 벡터는 일정한 영상 쌍에 관계되며, 연속적인 영상 쌍의 시간적 예측에 사용된다.

I-프레임 다음에 오는 제 1 P-프레임 동안만 모션 벡터들 정보를 보내기 위한 결정은 비디오 인코더의 "INTRA/INTER 코딩 선택" 모듈(도 1 참조)로부터 취해지는 방법 및 장치이다.

새로운 블록 정합 모션 추정기가 H.263 비디오 인코더의 시간적 예측 루프에 도입되는 방법 및 장치. 또한, 상기 방법 및 장치는 H.263 비디오 디코더에서도 사용된다. 상기 추정기들은 매우 일관적인 모션 벡터 필드를 생성하고, 그것의 복잡성은 "전형적인" 전체 검색 블록 정합기들보다 휠씬 낮다.

하나의 바람직한 실시예에서, 인코딩된 신호는:

적어도 하나의 제 1 인트라-프레임 인코딩된 프레임;

대응하는 모션 벡터들과 함께 적어도 하나의 제 2 모션-보상 예측적으로 인코딩된 프레임; 및

대응하는 모션 벡터들 없이 적어도 하나의 제 3 모션-보상 예측적으로 인코딩된 프레임을 포함한다.

또다른 바람직한 실시예에서, 인코딩된 신호는:

적어도 하나의 제 1 및 제 2 인트라-프레임 인코딩된 프레임(이들 사이에서는 디코더가 모션 벡터들을 추정할수 있음); 및

대응하는 모션 벡터들 없이(디코더는 이제 정확한 모션 벡터들를 독립적으로 결정할 수 있기 때문) 적어도 하나의 제 3 모션-보상 예측적으로 인코딩된 프레임을 포함한다. 상기 실시예에서, 모션 벡터들은 전혀 전송되지 않는다.

지금까지 실시예에 대해 설명하였지만, 본 발명에서의 기술들은 후술하는 청구범위의 권리 범위를 벗어남 없이 다른 개조 및 변경이 가능함은 물론이다. 청구범위에서, 괄호안에 언급된 표시는 청구범위을 제한하는 것처럼 해석 되어서는 안된다. 청구범위에서, 공급단계는 전송 매체 및 저장 매체에 공급을 포함한다. 또한, 수신단계는 전송매체 및 저장매체로부터의 수신을 포함한다. 본 발명은 여러개의 독특한 구성요소를 포함하는 하드웨어 및 프로그램된 컴퓨터에 의해서 실행될수 있다. 청구범위에 기술된 일부 구성수단들은 하드웨어의 동일한 아이템에 의해 구현될수 있다. 참조 [1] ITU-I DRAFT 권장 H.263, 저 비트 레이트 통신을 위한 비디오 코딩, 1996년 5월 2일[2] K.Rijkse, "저 배트 레이트 비디오 코딩 알고리즘들의 ITU 표준", 신호 처리: 영상 회의 7, 1995년, 페이지 553 내지 565[3] ITU-T DRAFT 권장 H.245, 멀티미디어 통신을 위한 제어 프로토콜, 1995년 11월 27일[4] G.de Haan, P.W.A.C. Biezen, G.Huijen, O.A.Ojo, "3-D 재귀 검색 블록 정합을 사용하는 정확한 모션 추정", IEEE Trans. 비디오 기술을 위한 회로 및 시스템, Vol.3, 1993년 10월 3일 페이지 368 내지 379[5] G. de Haan, P.W.A.C. Biezen, "3-D 재귀 검색 블록 정합을 사용하는 서브 픽셀 모션 추정", 신호 처리 : 영상 회의 6(1995), 페이지 485-498[6] P.Lippens, B. De Loore, G. de Haan, P. Eeckhout, H. Huijgen, a. Loning, B. McSweeney, M. Verstraelen, B. Pham, J. Kettenis, "소비자 텔레비전에서의 모션 보상 필드 레이트 업-변환을 위한 비디오 신호 처리기", IEEE Jorunal of Solid-state Circuits, Vol. 31, no.1996년 11월 11일, 페이지 1762 내지 1769

Claims

영상 신호를 모션-보상 예측적으로 인코딩하는 방법에 있어서:

모션 벡터들에 의해 적어도 하나의 프레임을 모션-보상 예측적으로 인코딩하는 단계, 및

상기 모션 벡터들 없이 상기 프레임을 공급하는 단계를 포함하는, 모션-보상 예측 인코딩 방법.
제 1 항에 있어서,

상기 적어도 하나의 프레임을 모션-보상 예측적으로 인코딩하는 상기 단계에서, 선행하는 한 쌍의 프레임들 사이에 모션 벡터들을 사용하는, 모션-보상 예측 인코딩 방법.
제 1 항에 있어서,

적어도 하나의 제 1 프레임을 인트라-프레임 인코딩하여 공급하는 단계,

적어도 하나의 제 2 프레임을 모션-보상 예측적으로 인코딩하여 모션 벡터들과 함께 공급하는 단계, 및

적어도 하나의 제 3 프레임을 모션-보상 예측적으로 인코딩하여 모션 벡터들을 공급하지 않고서 공급하는 단계를 포함하는, 모션-보상 예측 인코딩 방법.
영상 신호들을 모션-보상 예측적으로 디코딩하는 방법에 있어서:

전송 또는 기록 매체로부터 적어도 하나의 모션-보상 예측적으로 인코딩되는 프레임에 대응하는 모션 벡터들을 수신하지 않고서, 상기 기록 매체로부터 상기 프레임을 수신(BUFF)하는 단계, 및

상기 적어도 하나의 프레임을 모션-보상 예측적으로 디코딩(VLC^-1,Q^-1,DCT^-1,15,MC,17,FM,ME2,19,△)하는 단계를 포함하는, 모션-보상 예측 디코딩 방법.
제 4 항에 있어서,

상기 적어도 하나의 프레임을 모션-보상 예측적으로 디코딩하는 상기 단계에서, 선행하는 한 쌍의 프레임들 사이에 모션 벡터들을 사용하는, 모션-보상 예측 디코딩 방법.
제 5 항에 있어서,

디코딩된 프레임들에 따라 모션 벡터들을 계산하는 단계를 더 포함하는, 모션-보상 예측 디코딩 방법.
제 4 항에 있어서,

적어도 하나의 제 1 프레임을 인트라-프레임 디코딩하는 단계,

적어도 하나의 제 2 프레임에 대응하는 모션 벡터들과 함께 상기 매체로부터 수신되는 적어도 하나의 상기 제 2 프레임을 모션-보상 예측적으로 디코딩하는 단계, 및

모션 벡터들 없이 상기 매체로부터 수신된 적어도 하나의 제 3 프레임을 모션-보상 예측적으로 디코딩하는 단계를 포함하는, 모션-보상 예측 디코딩 방법.
영상 신호들을 모션-보상 예측적으로 디코딩하는 장치에 있어서:

전송 또는 기록 매체로부터 적어도 하나의 모션-보상 예측적으로 인코딩된 프레임에 대응하는 모션 벡터들을 수신하지 않고서, 상기 기록 매체로부터 상기 프레임을 수신하는 수단(BUFF), 및

상기 적어도 하나의 프레임을 모션-보상 예측적으로 인코딩하는 수단(VLC^-1,Q^-1,DCT^-1,15,MC,17,FM,ME2,19,△)을 포함하는, 모션-보상 예측 디코딩 장치.
멀티-미디어 장치에 있어서:

모션-보상 예측적으로 인코딩된 영상 신호들을 수신하는 수단(T), 및

디코딩된 영상 신호들을 발생시키기 위하여 청구항 8 항에 청구되는 모션-보상 예측 디코딩 장치를 포함하는, 멀티-미디어 장치.
영상 신호 디스플레이 장치에 있어서:

모션-보상 예측적으로 인코딩된 영상 신호들을 수신하는 수단(T),

디코딩된 영상 신호들을 발생시키기 위하여 청구항 8 항에 청구되는 모션-보상 예측 디코딩 장치, 및

상기 디코딩된 영상 신호들을 디스플레이하는 수단(D)을 포함하는, 영상 신호 디스플레이 장치.
모션-보상 예측적으로 인코딩된 영상 신호에 있어서:

프레임에 대응하는 모션 벡터들 없이 적어도 하나의 모션-보상 예측적으로 인코딩된 프레임을 포함하는, 모션-보상 예측적으로 인코딩된 영상 신호.