KR100219005B1

KR100219005B1 - 화상부호화방법 및 화상부호화장치

Info

Publication number: KR100219005B1
Application number: KR1019940003023A
Authority: KR
Inventors: 야스히코 야마네; 쇼이치 니시노; 유지 후지와라; 토요히코 마츠다
Original assignee: 모리시타 요이찌; 마츠시타 덴키 산교 가부시기가이샤
Priority date: 1993-02-22
Filing date: 1994-02-21
Publication date: 1999-09-01
Also published as: DE69415702D1; DE69415702T2; KR940020837A; EP0614316A2; EP0614316B1; EP0614316A3; US5467135A

Abstract

본 발명은, 부호화를 행하기전에, 화상프레임사이의 상관이나 화상필드사이의 상관을 이용하는 화상부호화방법에 관한 것으로서, 기준이 되는 화상데이터에 대한 움직임벡터를 검출하는 움직임벡터검출부와, 움직임벡터에 의거해서 줌계수를 산출하는 줌계수산출부와, 샘플링어드레스제어부에서 발생되는 어드레스에 의해 필드메모리에 기억된 데이터의 확대 또는 축소화상을 생성하는 확대·축소처리부를 가지고, 상기 줌계수산출부에서 산출된 줌계수에 의거해서 기준필드에 대한 각 필드의 확대화상 또는 축소화상을 생성하고, 이 화상을 피부호화화상으로 한다. 특히, 입력화상데이터가 기준화상데이터에 비해서 확대된 화상인 경우, 수평방향과 수직방향으로 모두 인접하지 않은 화소를 솎아냄으로써 축소화상을 생성한다.

Description

화상부호화방법 및 화상부호화장치

제1도는 본 발명의 제1실시예에 의한 부호화장치의 블록도.

제2도는 본 발명의 제2실시예에 의한 복호화장치의 블록도.

제3도는 동일한 프레임군에 속하는 필드데이터의 상태를 표시한 프레임군의 구성도.

제4도는 줌계수와 웁직임백터사이의 관계를 표시한 개념도.

제5도는 줌계수와 움직임백터사이의 관계를 표시한 개념도.

제6도는 확대줌일 때의 부호화 전 처리와 복호화 후 처리에 의한 필드데이터의 상태를 표시한 개념도.

제7도는 확대줌일 때의 부호화 전 처리와 복호화 후 처리에 의한 필드데이터의 상태를 표시한 개념도.

제8도는 축소줌일 때의 부호화 전 처리와 복호화 후 처리에 의한 필드데이터의 상태를 표시한 개념도.

제9도는 확대줌일 때의 부호화 전 처리와 복호화 후 처리에 의한 프레임데이터의 상태를 표시한 개념도.

제10도는 종래의 부호화장치의 블록도.

제11도는 양자화테이블을 표시한 테이블도.

* 도면의 주요부분에 대한 부호의 설명

100 : 화상입력부 101 : 움직임벡터검출부

102 : 줌계수산출부 103, 201 : 필드메모리

104, 203 : 확대·축소처리부 105, 204 : 샘플링어드레스제어부

106, 205 : 스위치부 108 : 부호화부

200 : 복호화데이터입력부 202 : 줌계수메모리부

207 : 줌계수입력부

본 발명은 화상부호화방법 및 화상부호화 장치에 관한 것으로서, 특히 움직임화상등의 프레임사이의 상관이나 필드사이의 상관을 이용하는 부호화에 있어서, 줌등에 의해 확대된 또는 축소된 화상의 화상계열중에 존재하는 경우에 유효한 화상부호화방법 및 화상부호화장치에 관한 것이다.

움직임화상의 부호화방법으로서, 화상프레임사이 또는 화상필드사이의 합이나 차이로 이루어진 화상을 8×8사이즈의 블록으로 분할하고, 상기 블록의 데이터에 대해서, 직교변환(예를 들면, 이산코사인변환(DCT))등의 변환을 실시하여, 얻어진 변환계수에 대하여 양자화를 행하고, 부호화를 행하는 방법이 있다.

제10도에 종래의 부호화장치의 블록도를 표시한다. 이하, 종래의 부호화장치에 대해서 제10도를 사용해서 설명한다.

제10도에서, (1000)은 화상입력부이고, (1001),(1002)는 각각 1프레임에 해당되는 화상데이터를 일시적으로 기억하는 프레임메모리로서, 화상입력부(1000)로부터 입력된 화상데이터의 제1프레임이 프레임메모리(1001)에 기억되고, 제2프레임이 프레임메모리(1002)에 기억된다.

(1003)은, 프레임메로리(1001)에 기억되고 있는 화상데이터와, 프레임메모리(1002)에 기억되고 있는 화상데이터의 가산결과를 산출하는 가산기이다.

(1004)는 프레임메모리(1001)에 기억되고 있는 화상데이터와, 프레임메모리(1002)에 기억되고 있는 화상데이터의 차분치를 산출하는 감산기이다.

(1005)는 가산기(1003)와 감산기(1004)의 출력을 절환하는 셀렉터이다.

(1006)은 셀렉터(1005)로부터의 출력에 대해서, 사이즈 8×8의 블록으로 분할하여 DCT를 행하는 DCT부(이산코사인변환부)이다.

(1007)은, DCT부(1006)에서 DCT된 블록에 대해서 양자화처리를 행하는 양자화부이다.

(1008)은 양자화부(1007)의 출력에 대해서 엔트로피부호화를 행하는 가변길이 부호하부이다.

그러나, 상기 종래의 부호화방법에서는, 주밍에 의해 확대 또는 축소된 화상이 화상계열중에 존재하는 경우, 화상전체에 걸쳐서 프레임 및 필드의 상관이 낮아지고, 부호화 효율이 저하한다는 과제를 가지고 있었다.

본 발명은, 부호화의 전 처리 및 후 처리시에 프레임 사이의 상관이나 필드사이의 상관을 이용하는 부호화방법에 관한 것으로서, 종래의 부호화방법 및 부호화장치가 가지고 있었던 상기 문제점에 비추어서, 움직임 화상계열 중에 주밍에 의한 화상의 확대 또는 축소가 존재하는 경우, 부호화처리대상의 프레임사이의 상관이나 필드사이의 상관을 높이고, 특히 확대줌인 경우에는, 복호화의 후 처리에 의한 화질열화를 억제하고, 부호화의 효율을 향상시키는 것을 목적으로 하는 것이다.

본 발명은 상기 목적을 달성하기 위하여, 기준필드에 대한 입력필드의 움직임벡터를 검출하는 수단과, 줌의 방향과 속도를 표시하는 줌계수를 산출하는 수단과, 상기 줌계수에 의해 샘플링어드레스를 생성하는 수단과, 상기 샘플링어드레스에 따라서 필드데이터의 확대화상 또는 축소화상을 생성하는 수단을 구비한 것이다.

본 발명의 움직임 화상부호화방법은 상기한 구성에 의해, n개(n은 자연수임)의 프레임으로 구성되는 프레임군을 형성하고, 동일한 프레임군에 속하는 각 입력필드에 대하여, 1개의 기준필드를 설정한다.

각 프레임군에서, 기준필드에 대한 각 필드의 움직임 벡터를 검출한다. 상기 검출한 움직임벡터에의해 줌의 방향과 속도를 나타내는 줌계수를 산출한다.

상기 줌계수에 의거해서, 기준필드에 대한 입력필드가 축소화상인 경우, 수평방향 및 수직방향으로 화소를 보간하고, 입력필드의 확대화상을 생성하고, 이 확대화상을 피부호화필드로 하고, 기준필드에 대한 입력필드가 확대화상인 경우, 수평방향 및 수직방향으로 모두 인접하지 않는 화소를 솎아내고 입력필드의 축소화상을 생성하고 이 숙소화상을 피부호화필드로 한다.

본 발명은 이하의 효과를 가진 부호화방법 및 그 장치를 실현할 수 있다.

① 피부호화프레임 사이의 상관이나 필드사이의 상관이 강해지고, 부호화효율을 보다 향상시키는 것이 가능하다.

② 기준필드에 대하여, 입력필드가 확대화상인 경우, 입력필드의 수평방향 및 수직방향의 에지를 완전히 상실하는 일없이 부호화의 효율을 향상시키는 것이 가능하다.

[실시예 1]

이하, 본 발명의 특정적인 부호어의 구성에 대해서, 제1도를 사용해서 설명한다.

제1도는 본 발명의 일실시예에 의한 화상부호화장치의 블록도를 표시한 것이다.

제1도에서, (100)은 필드데이터가 입력되는 화상입력부이다.

(101)은 기준이 되는 필드데이터에 대한 움직임벡터를 검출하는 움직임벡터검출부이다.

(102)는 움직임벡터검출부(101)에서 구한 벡터에 의거해서 줌계수를 산출하는 줌계수산출부이다.

(103)은 화상입력부(100)로부터 입력된 필드데이터를 일시적으로 기억하는 1필드에 해당하는 필드메모리이다.

(105)는, 줌계수산출부(102)로부터 수신된 줌계수에 따라서 샘플링어드레스를 생성하여 확대·축소처리부(104)에 출력하는 샘플링어드레스제어부이다.

(104)는 샘플링어드레스제어부(105)의 샘플링어드레스에 따라서, 필드메모리(103)에 기억된 필드데이터의 확대화상 또는 축소화상을 생성하는 확대·축소처리부이다.

(106)은 기준필드제어신호(107)에 의해 필드메모리(103)로부터 판독한 필드데이터와, 확대·축소처리부(104)에 의해 생성된 확대화상 또는 축소화상을 절환해서 부호화부(108)에 출력하는 스위치부이다.

이하, 제3도, 제4도, 제6도, 제7도 및 제10도를 사용해서 제1도의 블록도의 상세한 동작을 설명한다.

제3도는 2프레임(4필드)으로 구성되는 프레임군이고, 필드#0내지 필드#3으로 구성된다.

이 경우, 프레임군으로서 2프레임이외의 구성을 취하는 것도 가능하다.

그러나, 하드웨어의 규모, 처리의 지연시간, 본실시예 1에 의한 부호화 전처리에 의한 부호화의 효율을 고려한 경우, 바람직하게는 2프레임을 1개의 프레임군으로서 취급하는 편이 좋다.

이 프레임군에서 필드#0을 기준필드로 한 경우의 처리에 대해서 이하 설명한다. 또, 이 경우에 조건은 확대줌으로 가정한다.

먼저, 입력화상으로서, 기준필드 #0이 화상입력부(100)로부터 입력된다. 이 때 기준필드제어신호(107)는 유효화된다.

움직임벡터검출부(101)는, 기준필드제어신호(107)가 유효화되어 있으면, 기준 필드 #0의 데이터를 일시적으로 기억한다.

이 경우, 기준필드 #0의 데이터를 전부 기억할 필요는 없고, 대표점만을 기억해도 된다(예를들면 일본국 특개평 2-5689호 공보).

또 동일의 사이클에서 기준필드 #0의 데이터를 필드메모리(103)에 기록한다.

다음의 사이클에서, 스위치부(106)는, 필드메모리(103)로부터 판독된 기준필#0을 기준필드제어신호(107)에 의해 선택하여 부호화부(108)에 출력한다.

부호화처리는 제10도에 표시한 구성에 의해 행해진다. 제10도에서 부호화부(108)의 필드데이터가 화상입력부(1000)에 입력된다.

이 경우, 필드 #0은, 프레임메모리(1001)에 일시적으로 기억된다.

또, 제1도에서 동일의 사이클에서 필드데이터 #1이 화상입력부(100)로부터 입력된다.

움직임벡터검출부(101)는, 움직임벡터를 기준필드 ＃0과 필드 ＃1로부터 검출하고, 이 벡터치에 의거해서, 줌계수산출부(102)에서 기준필드 #0에 대한 필드 #1의 줌계수를 산출한다.

벡터의 검출방법으로서는 이 경우에 한정하지 않고, 예를 들면, 일본국특개평2-5689호 공보에 개시된 방법을 이용할 수 있다.

줌의 방향과, 속도를 표시하는 줌계수를 상기 검출한 움직임벡터에 의거해서 산출한다.

여기서, 줌계수는 수평방향의 움직임벡터와 수직방향의 움직임벡터를 각각 근사한 1차함수의 계수이다.

제4도는 줌계수와 움직임벡터의 관계도를 표시한다. 제4도(a)는 기준필드(이경우는 필드#0)에 대한 대상필드(이 경우는 필드 #1)의 움직임벡터를 표시한 도면이다.

제4도(a)에서, H는 수평방향, V는 수직방향으로 표시하고, 왼쪽위가 기준점이고 둥근표시 0는 줌의 중심을 표시한다. 제4도(a)는 확대줌이므로 움직임벡터는 줌의 중심으로 향해서 뻗어 있다.

제4도(b)는 제4도(a)에 있어서의 수평방향의 움직임벡터를 1차함수로 근사한 모양을 표시한다. 기준점보다 수평방향으로 x화소 떨어진 위치의 움직임벡터 Vh(x)는 수평방향의 줌계수(ah,bh)를 사용해서 이하의 식 ①로 표시할 수 있다.

마찬가지로 제4도(c)는 제4도(a)에 있어서의 수직방향의 움직임벡터를 1차함수로 근사한 상태를 표시한다. 기준점보다 수직방향으로 y화소 떨어진 위치의 움직임벡터 Vv(y)는 수직방향의 줌계수(av,bv)를 사용해서 이하의 식 ②로 표시할 수 있다.

이와 같이, 기준필드#0에 대한 필드＃1의 움직임벡터로부터 수평방향의 줌계수(ah01,bh01)와 수직 방향의 줌계수(av01,bv01)를 줌계수산출부(102)에서 산출한다.

샘플링어드레스제어부(105)는, 줌계수산출부(102)로부터 수신된 줌계수에 따라서 어드레스를 생성하고, 생성된 어드레스를 확대·축소처리부(104)에 출력한다.

여기서 화소의 솎아내기에 대해서 설명한다. 제6도에 솎아내기의 일례로서, 수평방향의 라인을 솎아내는 상태를 표시한다.

제6도는 필드데이터의 상태를 표시하는 것이고, 숫자는 화소를 표시한다. 제6도(a)는 동일라인상의 화소를 전부 솎아내는 라인솎아내기의 상태를 표시한 도면이고, 화살표로 표시한 라인이 솎아내는 라인이다.

이 경우, 화소(10,11,12,13,14,15,16,17,18,19)를 솎아낸다.

제6도(b)는 화소를 솎아낸 후의 필드의 상태를 표시한 도면이다.

제6도에서, 사선부(61)는 솎아내는 처리에 의해서 화소가 존재하지 않게 된 라인을 표시한다. 이 필드데이터를 피부호화필드로 하여서 부호화를 행한다.

이 경우, 부호화효율의 열화를 억제하기 위하여, 화소가 존재하지 않게된 라인에 대해서는, 주변의 화소로부터 보간하는 처리등을 행한다.

예를 들면, 1라인상의 화소(30,31,32,33,34,35,36,37,38,39)로 치환하는 처리등을 행한다.

그러나, 이 방법에서는, 동일한 라인상의 화소(10,11,12,13,14,15,16,17,18,19)가 모두 상실하기 때문에, 상기 화소의 라인에 에지가 존재하는 경우, 에지가 완전히 상실한다.

이와 같은 동일한 라인상의 화소를 전부 솎아내는 솎아내기 방법과는 달리, 본 실시예의 샘플링어드레스제어부(105)는, 줌계수산출부(102)로부터 수신된 줌계수로 부터, 수평방향 및 수직방향으로 함께 인접하지 않는 화소를 솎아내는 샘플링어드레스를 생성하고, 생성된 샘플링어드레스를 확대·축소처리부(104)에 출력한다.

제7도는 본 발명의 솎아내기의 상태를 표시한 일실시예이며, 제7도(a)에서 는 본 실시예의 솎아내기의 상태를 표시한다.

제7도(a)에 표시한 바와 같이, 서로 인접하지 않는 비스듬한 방향의 화소를 솎아낸다. 즉, 이 경우에는 화소(10,21,12,23,14,25,16,27,18,29)를 솎아낸다.

이와 같이, 인접하지 않는 화소를 솎아냄으로써, 동일라인의 전체화소가 상실하는 것을 방지한다. 제7도(b)는 화소를 솎아낸후의 필드의 상태를 표시한다.

제7도(b)에서, 사선부(71)는 솎아내기 처리에 의해서 화소가 존재하지 않게된 라인을 표시하며, 이 필드데이터를 피부호화필드로 해서 부호화를 행한다.

예를 들면, 1라인상의 화소(30,31,32,33,34,35,36,37,38,39)로 치환하는 등의 처리를 행한다.

또, 이 샘플링어드레스제어부(105)에서 생성하는 어드레스는, 제7도(a)에 표시한 샘플링패턴에 한정되지 않고, 수평, 수직방향으로 함께 인접하는 화소를 보존하는 샘플링패턴이면 된다.

예를 들면, 제7도(e)에 표시한 바와 같이 3화소의 주기로 비스듬한 방향으로 솎아내어도 된다.

상기한 바와 같이, 확대·축소처리부(104)는, 샘플링어드레스제어부(105)의 샘플링어드레스에 따라서, 필드메모리(103)에 일시적으로 기억하고 있는 필드 #1의 데이터를 필드#1의 측소화상으로 생성하고, 피부호화필드로서 부호화부(108)에 출력한다.

필드 #1의 데이터는, 제 10도의 화상입력부(1000)로부터 입력된다.

이 경우, 필드＃1은 프레임메모리(1001)에 일시적으로 기억되고, 먼저 기억된 필드#0과 함께 프레임#0을 구성한다.

또, 필드#2, 필드#3 이후에 대해서도 마찬가지로, 기준필드#0에 대한 축소화상으로 생성하고, 부호화부(108)에 출력한다.

상기와 마찬가지로 부호화부(108)에 입력된, 필드#2, 및 필드#3은 제10도의 프레임메모리(1002)에 일시적으로 기억되고, 프레임#1을 구성한다.

이후, 프레임메모리(1001)에 기억되고 있는 프레임#0과, 프레임메모리(1002)에 기억되고 있는 프레임 ＃1의 가산을 가산부(1003)에 의하여 행한다.

셀렉터(1005)는, 가산부(1003)의 출력을 선택하고, DCT부(1006)에 출력한다.

DCT부(1006)는, 사이즈 8×8블록단위로 DCT변환을 행하여, 주파수영역으로 변환한다.

양자화부(1007)는, 예를 들면 제11도에 표시한 바와 같은 테이블을 사용해서 양자화를 행한다.

양자화후의 데이터는, VLC(1008)에서, 엔트로피부호화되어, (1009)로부터 출력된다.

다음에, 감산부(1004)는, 프레임메모리(1001)에 기억되어 있는 프레임#0과 프레임메모리(1002)에 기억되어 있는 프레임#1의 감산을 행한다.

셀렉터(1005)는, 감산부(1004)의 출력을 선택하고, DCT부(1006)에 출력한다. DCT부(1006)는, 사이즈 8×8블록단위로 DCT변환을 행하고, 주파수영역으로 변환한다. 양자화부(1007)는 양자화를 행한다.

양자화후의 데이터는, VLC(1008)에서 엔트로피부호화되어 (1009)로부터 출력된다(부호화방법으로서는 예를 들면 일본국특개평 4-8979호 공보에 개시되어 있음).

[실시예 2]

다음에 복호화의 처리에 대해서 설명한다. 제2도는 본 발명의 제2실시예에 의한 복호화장치의 블록도를 표시한 것이다.

제2도에서,(200)은 복호화된 데이터를 입력하는 입력부이고, (201)은 복호화데이터 입력부(200)로부터 입력된 필드를 일시적으로 기억하는 필드메모리이고, (202)는 줌계수입력부(207)로부터 입력된 줌계수를 일시적으로 기억하는 줌계수메모리부이고, (204)는 줌계수메모리부(202)로부터 판독한 줌계수에 따라서 샘플링어드레스를 생성하여 확대, 축소처리부(203)에 출력하는 샘플링어드레스제어부이다.

(203)은, 샘플링어드레스제어부(204)의 샘플링어드레스제어에 따라서, 필드메모리(201)에 기억된 필드데이터의 확대화상 또는 축소화상을 생성하는 확대·축소처리부이다.

(205)는 줌계수메모리로부터의 기준필드제어신호에 의해 필드메모리(201)로부터 판독한 필드데이터와, 확대·축소처리부(203)에 의해 생성된 확대화상 또는 축소화상을 절환해서 (206)에 출력하는 스위치부이다.

제2도의 블록도의 상세한 동작에 대하여 제3도, 제6도 및 제7도를 사용해서 설명한다.

제3도에서 필드#0내지 필드#3으로 구성되는 프레임군에 대해서, 부호화 전처리시에 생성된 피부호화필드를 각각 필드#0a∼#3a로하고, 부호화·복호화에 의해서 얻어진 복호화필드를 필드 #0b∼#3b로하고, 복호화필드에 대하여 복호화 후 처리에서 얻어진 필드를 필드 #0c∼#3c로 한다.

먼저, 복호화데이터로서 필드#0b가 복호화데이터입력부(200)로부터 입력된다.

주계수메모리부(202)에는 줌계수입력부(207)로부터 기준필드 #0의 줌계수((ah00,bh00),(av00,bv00)) = ((0, 0),(0,0))이 입력된다.

줌계수메모리부(202)는 기준필드제어신호를 유효화하고,스위치부(205)에 부여한다.

동일한 사이클에서, 복호화데이터입력부(200)로부터 입력된 데이터는 필드메모리(201)에 기록된다.

다음의 사이클에서, 필드메모리(201)로부터 필드#ob를 판독하고, 스위치부(205)에서는 기준필드#ob를 출력화상(206)으로서 출력한다.

또, 동일사이클에서, 필드#1b가 복호화데이터입력부(200)로부터 입력된다.

줌계수메모리부(202)는 기준필드제어신호를 무효화하고, 스위치부(205)에 부여하며, 필드#1b의 기록을 필드메모리(201)에서 행한다.

샘플링어드레스제어부(204)에서는, 줌계수메모리부(202)로부터 판독한 필드#1b의 줌계수((ah01,bh01),(av01, bv01))을 판독하고, 어드레스를 생성하여, 확대·축소처리부(203)에 출력한다.

확대·축소처리부(203)에서는 확대화상을 생성하여 출력한다.

제6도(c),(d)에서는, 동일라인상의 화소전부를 솎아내는 라인 솎아내기방법의 확대화상생성의 모양을 나타낸다.

제6도(c)는 복호화필드데이터를 표시하고 있고, 사서부(62)가 부호화처리시에 줌계수에 의한 솎아내기처리에 의해 데이터가 존재하지 않는 화소이고, 이 부분에 관해서는, 동일피드의 주변화소로부터 보간하는 처리등에 의해, 보간된 화소이다.

제6도(d)는 줌계수에 의해서 부호화전처리시에 솎아낸 화소위치에, 화소를 보간함으로써 얻어진 제6도(c)의 복호화필드의 확대화상이다.

화소(10∼19)는 주변화소, 예를 들면 상하의 화소(0표시)를 참조화소로서 보간한 화소이다.

그러나, 참조화소로 하는 화소가 동일한 라인상에 존재하고 있지 않으므로, 보간라인에 에지등이 존재하는 경우에는, 보간에 의한 화질열화가 커진다.

이와 같은 동일한 라인상의 화소를 전부 솎아내는 라인 솎아내기 방법과 달리, 본 실시예의 샘플링어드레스제어부(204)는, 줌계수메모리부(202)로부터 판독한 줌계수로부터, 어드레스를 생성하여, 확대·축소처리부(203)에 출력한다.

제7도는 본 발명의 확대화상생성의 상태를 표시한 일실시예이고, 제7도(c)는 복호화필드에이터를 표시하고 있고, 사선부(72)가 부호화 전 처리시에 솎아내기 처리에 의해 데이터가 존재하지 않게된 화소이고, 이 부분의 화소는, 동일한 필드의 주변화소로부터 보간하는 처리등에 의해, 보간된 화소이다.

제7도(d)는 줌계수에 의해서 부호화 전 처리시에 솎아낸 화소위치에, 화소를 보간함으로써 얻어진 제7도(c)의 복호화필드의 확대화상이다.

화소(10,21,12,23,14,25,16,27,18,29)는 주변화소, 예를 들면 상하좌우에 있는 (0으로 표시된)를 참조화소로서 보간한 화소이다.

이와 같이 참조화소가 동일한 라인상에도 존재하기 때문에, 보간에 의한 화질열화를 억제할 수 있다.

또, 동일한 프레임을 구성하는 다른 필드의 화소를 참조화소로 함으로써 열화를 억제하는 방법도 있다. 이 경우에는, 확대·출소처리부(203)가 2필드를 기억할 수 있는 필드메모리를 가짐으로써 실현할 수 있다.

제9도는 필드사이의 화소를 참조화소로 하여 보간하는 상태를 표시한다.

제9도(a)는 프레임을 표시한 것으로서, a0, b0, c0, d0, e0은 홀수필드의 라인데이터를 표시하고, a1, bl, c1, d1은 짝수필드의 라인데이터를 표시한다.

또, 사선부와 흰색부분의 사이는 에지의 경계를 나타내는 것으로 가정한다.

이때에, 솎아내기처리에 의해 홀수필드의 b0라인을 솎아내고, 축소화상을 생성하는 경우를 고려한다.

제9도(b)는 b0라인을 솎아내서 얻은 피부호화화상을 표시한다.

제9도(c)는 솎아낸 b0라인을 동일필드의 주변화소로부터 보간해서 얻은 제9도(b)의 확대화상을 표시한다. 여기서, b00라인은 보간된 라인이다.

이와 같이 프레임으로서 구성한 경우, a1라인과 b1라인의 사이에 b00라인과 같은 새로운 에지가 생성된다.

제9도(d)는 솎아낸 b0라인을 동일필드의 주변화소와 동일프레임을 구성하는 다른 필드의 주변화소로부터 보간해서 얻은 제9도(b)의 확대화상을 표시한다. 여기서, b000라인은 보간된 라인이다.

이와 같이 프레임으로서 구성한 경우, a1라인과 b1라인의 사이에 b000라인과 같은 새로운 에지가 생성되나, 동일필드의 화소만을 참조한 경우에 비교해서 열화를 한층더 억제할 수 있다.

이와 같은, 확대·축소처리부(203)는, 복호화필드#1b의 확대화상필드 #c를 생성한다.

스위치부(205)는, 출력화상(206)으로서, 확대·축소화상생성부(203)에서 생성한 필드#1c를 출력한다.

필드#2b이후에 대해서도 마찬가지로, 기준필드#0에 대한 확대화상필드#2c, 필드#3c가 생성되고, 출력화상으로서(206)으로부터 출력된다.

다음에, 축소줌의 경우에 대해서 제5도를 사용해서 설명한다. 기본적으로는 상기한 확대줌의 경우와 마찬가지이다.

제5도에 축소줌일 경우의 줌계수와 움직임벡터사이의 관계도를 표시한다.

제5도(a)는 기준필드(이 경우는 필드#0)에 대한 대상필드(이 경우는 필드#1)의 움직임벡터를 표시한 도면이다.

제5도에서, H는 수평방향을 표시하고, V는 수직방향을 표시하고, 왼쪽위가 기준점이고, 둥근표시 0는 줌의 중심을 표시한다.

제5도는 축소줌이므로 움직임벡터는 줌의 중심으로부터 바깥으로 향해서 방사형상으로 뻗어 있다.

제5도(b)는 제 5도(a)에 있어서의 수평방향의 움직임벡터를 1차함수로 근사한 모양을 표시한다. 기준점보다 수평방향으로 x화소떨어진 위치의 움직임벡터Vh(x)는 수평방향의 줌계수(ah, bh)를 사용해서 이하의 식 ③으로 표시할 수 있다.

마찬가지로 제5도(c)는 제5도(a)에 있어서의 수직방향의 움직임벡터를 1차함수로 근사한 상태를 표시한다.

기준점보다 수직방향으로 y화소 떨어진 위치의 움직임벡터 Vv(y)는 수직방향의 줌계수(av,bv)를 사용해서 이하의 식 ④로 표시할 수 있다.

이와 같이, 기준필드#0에 대한 필드#1의 움직임벡터로부터 수평방향의 줌계수(ah01,bh01)와 수직방향의 줌계수(av01,bv01)를 사용해서 확대화상을 생성한다.

제8도는 확대화상을 생성하는 상태를 표시한다. 제8도(b)는 입력필드데이터를 표시하고 있다. 제8도(b)는 확대후의 화상이다.

제8도에서, 사선부(81)는 보간처리에 의해 생성된 화소이고, 이 부분에 관해서는, 기준필드의 동일위치의 화소로 치환한다. 또는 동일한 필드의 주변화소(00∼09 및 10~19)를 참조화소로서 보간하는 처리등에 의해 이후의 부호화효을의 열화를 억제하는 처리를 행할 필요가 있다.

복호화시에는, 복호화데이터에 대하여, 부호화 전 처리시에 보간에 의해서 삽입한 화소를 솎아내는 처리를 행한다.

제8도(c)는 복호화필드데이터를 표시하고 있고, 사선부(82)는 부호화 전 처리시에 줌계수에 의해 삽입된 화소이며, 이 부분의 화소는, 기준필드의 동일위치의 화소로 치환하거나, 또는 동일필드의 주변화소로부터 보간하는 처리등에 의해 보간처리된 화소이다.

제8도(d)는 줌계수에 의해서 부호화 전 처리시에 삽입된 화소를 솎아냄으로써 얻어진 제8도(c)의 복호화필드의 축소화상이다.

사선부분(83)은 솎아내기처리에 의해 데이터가 존재하지 않는 화소이다.

이 화소에 판해서는 동일필드의 주변화소(20∼29)를 참조화소로 하고, 보간하는 처리등에 의해, 화질열화를 억제하는 처리를 행할 필요가 있다.

Claims

부호화를 행하기 전에, 화상프레임사이의 상관이나 화상필드사이의 상관을 이용하는 화상부호화방법에 있어서, 주밍에 의해 확대되거나 또는 축소된 화상이 화상계열중에 존재하는 경우, n개의 프레임(n는 자연수임)으로 구성되는 프레임군을 형성하는 단계와; 상기 프레임군에 속하는 각각 입력필드에 대해서, 제m필드(m은 0≤m≤2n-1의 조건을 만족하는 정수임)를 기준필드로 하고, 상기 기준필드에 대한 각 입력필드의 움직임벡터를 검출하는 단계와; 상기 움직임벡터로부터 줌계수를 산출하는 단계와; 상기 줌계수를 사용하여, 각 입력필드의 확대화상 또는 축소화상을 생성하는 단계와; 상기 확대화상 또는 축소화상을 피부호화필드로 하는 단계로 이루어진 것을 특징으로 하는 화상부호화방법.
제1항에 있어서, 피부호화필드로 하는 상기 단계는, 기준필드에 대한 입력필드가 확대화상인 경우에는, 상기 줌계수를 사용하여, 수평방향 및 수직방향으로 모두 인접하지 않은 화소를 솎아냄으로써, 입력필드의 축소화상을 생성하고, 이 축소화상을 피부호화필드로 하는 것을 특징으로 하는 화상부호화방법.
제1항에 있어서, 피부호화필드로 하는 상기 단계는, 기준필드에 대한 입력필드가 축소화상인 경우에는, 상기 줌계수를 사용하여, 수평방향 및 수직방향으로 화소를 보간하여 삽입함으로써, 입력필드의 확대화상을 생성하고, 이 확대화상을 피부호화필드로 하는 것을 특징으로 하는 화상부호화방법.
제3항에 있어서, 화소를 보간하여 삽입할때에, 상기 줌계수를 사용하여 보간화소위치를 산출하는 단계와; 상기 화소위치에 대해서, 동일한 필드의 상기 화소위치의 주변화소를 참조화소로하여 보간하는 단계로 이루어진 것을 특징으로 하는 화상부호화방법.
제3항에 있어서, 화소를 보간하여 삽입할때에, 상기 줌계수를 사용하여 보간화소위치를 산출하는 단계와; 상기 화소위치에 대해서, 동일한 필드의 상기 화소위치의 주변화소 및 동일한 프레임을 구성하는 다른 필드의 주변화소를 참조화소로하여 보간하는 단계로 이루어진 것을 특징으로 하는 화상부호화방법.
제1항에 있어서, 동일한 프레임군에 속하는 입력필드가 기준프레임에 대하여 확대화상인 경우, 복호화처리에 의해서 미리 얻은 복호화필드데이터에 대하여, 줌계수를 사용하여, 각 입력필드의 축소화상의 생성시에 솎아낸 화소를 산출하는 단계와; 상기 화소와 동일한 필드의 주변화소를 참조화소로 해서, 상기 화소를 보간하는 단계로 이루어진 것을 특징으로 하는 화상부호화방법.
제1항에 있어서, 우, 동일한 프레임군에 속하는 입력필드가 기준프레임에 대하여 확대화상인 경우, 복호화처리에 의해서 미리 얻은 복호화필드데이터에 대하여, 줌계수를 사용하여, 각 입력필드의 축소화상의 생성시에 솎아낸 화소를 산출하는 단계와; 상기 화소와 동일한 필드의 주변화소 및 동일한 프레임을 구성하는 다른 필드의 주변화소를 참조화소로 해서, 상기 화소를 보간하는 단계로 이루어진 것을 특징으로 하는 화상부호화방법.
부호화를 행하기 전에, 화상프레임사이의 상관이나 화상필드사이의 상관을 이용하는 화상부호화장치에 있어서, 기준이 되는 화상데이터에 대한 움직임벡터를 검출하는 움직임벡터검출수단과; 상기 움직임벡터검출수단에서 구한 움직임벡터에 의거해서, 줌계수를 산출하는 줌계수산출수단과; 입력된 화상데이터를 일시적으로 기억하는 메모리와; 상기 줌계수산출수단에서 산출된 줌계수에 의해, 화상데이터의 확대·축소처리를 위한 샘플링어드레스를 제어하는 샘플링어드레스제어수단과; 상기 샘플링어드레스제어수단의 어드레스제어에 따라서 상기 메모리에 기억된 화상데이터의 확대화상 또는 축소화상을 생성하는 확대·축소처리수단과; 제어신호에 의거하여 상기 메모리로부터 판독한 화상데이터와, 상기 확대·축소수단에 의해서 생성된 확대화상 또는 축소화상을 절환해서 피부호화화상으로 출력하는 스위치수단을 구비한 것을 특징으로 하는 화상부호화장치.
제8항에 있어서, 상기 샘플링어드레스제어수단은, 입력화상데이터가 기준화상데이터에 비해서 확대된 화상인 경우, 수평방향과 수직방향으로 모두 인접하지 않은 화소를 솎아냄으로써 축소화상을 생성하도록, 상기 확대·축소처리수단을 제어하는 것을 특징으로 하는 화상부호화장치.