KR900008456B1 - 벡터 양자화 부호화장치 - Google Patents
벡터 양자화 부호화장치 Download PDFInfo
- Publication number
- KR900008456B1 KR900008456B1 KR1019900009292A KR900009292A KR900008456B1 KR 900008456 B1 KR900008456 B1 KR 900008456B1 KR 1019900009292 A KR1019900009292 A KR 1019900009292A KR 900009292 A KR900009292 A KR 900009292A KR 900008456 B1 KR900008456 B1 KR 900008456B1
- Authority
- KR
- South Korea
- Prior art keywords
- vector
- output
- signal
- distortion
- index
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/24—Systems for the transmission of television signals using pulse code modulation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
내용 없음.
Description
제1도는 종래의 화상부호화장치의 전체구성도.
제2도는 일반적인 벡터 양자화의 원리를 설명하기위한 설명도.
제3도는 종래의 화상부호화장치에 있어서의 입력블록과 왜곡연산의 대상인 복수블록과의 위치관계를 표시한 도면.
제4도는 이 발명의 제1실시예의 전체기술인 벡터 양자부호화기의 구성을 표시하는 블록도.
제5도는 이 발명의 제1의 실시예의 구성을 표시하는 블록도.
제6도는 동제1실시예의 주요한 요소의 상세한 구성을 표시하는 블록도.
제7도는 이 발명의 제2실시예의 전제기술인 목탐색 벡터 양자화 부호화기의 일예를 표시하는 구성도.
제8도는 제2실시예의 전제기술인 목탐색 벡터 양자화 부호화기 제2단의 예를 표시하는 구성도.
제9도는 이 발명 제2실시예에 의한 목탐색 벡터 양자화 부호화기의 일실시예를 표시하는 구성도.
제10도는 이 발명의 제2실시예에 의한 목탐색 벡터 양자화 부호화기 제2단의 일실시예를 표시하는 구성도.
제11도는 이 발명의 제2실시예에 의한 출력벡터 코드테이블 #0, #1의 어드레스 매프(Map)표시도.
제12도는 이 발명의 제2실시예에 있어서 목탐색 벡터 양자화에서의 탐색설명도.
제13도는 이 발명의 제3실시예의 전제기술인 프레임간 벡터 양자화 부호화기를 표시하는 블록구성도.
제14도는 이 발명의 제3실시예인 프레임간 벡터 양자화 부호화기를 표시하는 블록구성도.
* 도면의 주요부분에 대한 부호의 설명
310 : 전탐색 벡터 양자화부 320 : 왜곡판정회로
330 : 가변길이 부호화회로 420, 440, 460 : 부호화기
500 : 벡터 양자화장치
이 발명은 예를들면 화상통신 시스템에 적용되는 벡터 양자화 부호화장치에 관한 것이다.
이 종류의 종래장치 특히 움직임 보상방식 화상부호화장치로서는 제1도에 표시하는 것이 있다.
제1도에 있어서, 1은 A/D 변환기로, 이 A/D 변환기(1)은 비데오 카메라(8)에서 출력된 화상신호를 입력하여 이것을 아날로그/디지탈변환하여 출력한다.
2는 블록구성부이며 상기 A/D 변환기(1)에서 출력된 디지털 신호계열을 입력하여 화상상에서 근접한 화소끼리를 K개(K는 2이상의 정수)마다 블록화하여 출력한다.
3은 프레임메모리이며 가산기(10)을 통하여 주어진 현 입력신호의 프레임보다도 1프레임전의 데이터를 기억한다.
4는 참조 신호생성부이며 상기 블록구성부(2)에 있어서 블록화된 현 입력신호계열을 포함하는 입력블록화 화상상에서 동일위치에 오는 블록을 포함하는 1프레임전의 신호계열에 의하여 형성되는 복수의 블록을 상기 프레임메모리(3)에 의하여 판독하는 것이다.
5는 왜곡연산부이며 상기 블록구성부(2)에서 출력된 입력블록의 신호계열과 상기 프레임메모리(3)에 기억되어 있는 복수블록의 신호계열의 왜곡을 연산하고 최소왜곡을 주는 블록의 위치정보 및 이 시점에서의 신호계열을 출력한다.
6은 감산기이며 상기 블록구성부(2)에서 출력된 입력블록의 신호계열과 상기 왜곡연산부(5)에서 출력된 최소왜곡을 주는 블록의 신호계열의 차신호계열로된 벡터를 구하여 출력한다.
7은 양자화 부호화부이며 상기 감산기(6)에서 출력된 차신호계열로된 벡터를 받아서 이것을 양자화 부호화하도록 구성되어 있다.
9는 양자화 복호(復號)화부이며 상기 양자화 부호화부(7)에서 출력된 양자화 부호화된 신호로부터 전기 차신호계열을 재생한다.
10은 가산기이며 상기 양자화 복호화부(9)로부터의 양자화 복호화출력과 상기 왜곡연산부(5)에서 출력된 최소왜곡을 주는 블록의 신호계열을 가산하여 화상신호를 재생하고 상기 프레임메모리(3)에 기록하도록 되어 있다.
여기서 제2도에 기준하여 벡터 양자화의 원리에 관하여 간단히 설명한다.
정보원 입력신호계열을 K개 합하여 입력벡터 X=〔X1, X2,…XK〕로 한다.
이때 K차원 유클릿 신호공간의 N개의 대표점(즉 출력벡터)의 세트를로 한다. 출력벅터를 대표점(예 : 중심)으로 하는 RK의 각 분할을 R1, R1R倻 면 벡터 양자화 Q는 다음식으로 정의된다.
Q : RK→Y ………………………………………………………………………(1)
상기 벡터 양자화 Q는 부호화 C와 복호화 D의 종속접속으로서 표시된다.
즉, C : RK→I, O : I→Y ………………………………………………………(4)
Q=D·C …………………………………………………………………(5)
이다.
벡터 양자화에 있어서는 전기부호화 출력 I가 전송 혹은 기록되는 것이 되기 때문에 극히 부호화 효율이 양호하다.
벡터 양자화는 입력벡터를 최단거리에 있는(최소왜곡으로된) 출력벡터 yi로 사상하는 것이다.
구체적으로는 입출력 벡터간의 거리(왜곡)를 d(x, yi)로 하면은 아래와 같이 된다.
제3도에 표시하는 것같은 출력벡터 yi의 세트 Y는 트레이닝모델(training model)로 되는 정보원 입력신호계열을 사용한 클러스터링(clustering)(대표점의 선출과 신호공간의 분할을 왜곡의 총화가 최소로 될 때까지 반복)에 의하여 구할수 있다.
상기 제1도의 구성의 동작을 이하 설명한다.
비데오 카메라(8)로부터 A/D 변환기(1)로 출력된 화상신호는 이 A/D 변환기(1)로 디지털 신호계열로 변환되고 블록구성부(2)에 출력된다. 이 디지털 신호계열은 블록구성부(2)에 있어서 화상상 근접한 화소끼리 K개마다 통상 화상상에서 장방형(또는 정방형)이 되도록 하여 블록화되는 동시에 신호계열의 열을 변환시켜서 왜곡연산부(5) 및 감산기(6)에 출력된다.
한편 프레임메모리(3)에 기억되고 참조신호생성부(4)에 의하여 판독된 전기복수블록의 신호계열은 상기 참조신호생성부(4)에 의하여 블록구성부(2)로부터 출력되는 블록화된 현 입력신호계열과 동기로 왜곡연산부(5)에 송출된다.
블록구성부(2)로부터 출력된 현 입력신호계열의 블록과 참조신호생성부(4)에 의하여 판독되는 복수블록의 위치관계의 일례는 제3도(a) 현재의 프레임, (b) 하나전의 프레임으로서 도시한 바와같다.
상술한 현 입력블록의 신호계열과 복수블록의 신호계열의 왜곡계산은 왜곡연산부(5)에 있어서 예를들면 유클릿 왜곡이나 절대치 왜곡 등을 사용하여 실시한다.
이 계산결과에 의하여 현 입력블록에 대하여 최소왜곡을 주는 블록이 상기 복수블록 중에서 선택된다.
여기서 계산대상이 되는 블록수를 M개(M는 2이상의 정수)로 하고 최소왜곡을 주는 블록이 이중의 ℓ번째(ℓ=1, 2,…M)의 것이라고 하면 상기 왜곡연산부(5)에서는 상기 ℓ의 값 및 이 블록의 신호계열을 감산기(6)에 출력하게 된다.
상술한 입력블록의 신호계열과 최소왜곡을 주는 신호계열과에 의하여 감산기(6)은 이들의 차신호계열로된 벡터를 구하여서 이것을 양자화 부호화(7)에 출력한다.
이 차신호계열로된 벡터는 양자화 부호화부(7)에 있어서 양자화 부호화되어 양자화 복호화부(9)에 출력된다.
이 양자화 복호화부(9)에 의하여 재생된 차신호계열과 전기 왜곡연산부(5)로부터 출력된 전기 최소왜곡을 주는 블록의 신호계열과는 가산기(10)에 각각 출력되고 가산기(10)에 의하여 가산되어서 화상신호로 재생된다.
그리고 이 화상신호는 전기가산기(10)에 의하여 프레임메모리(3)에 기록하게 된다.
상술한 양자화 부호화부(7)에서 가산기(10)에 이르는 프로세스에서의 신호처리는 요는 감산기(6)에 있어서 구한 전기차 신호계열로된 벡터에 의한 후처리에 관한 것이며, 상기 차신호의 크기 즉 벡터량이 작으면 작을수록 움직임보상의 효율이 제고된다.
이상과 같이하여 입력된 화상신호는 블록화되고 현 화상신호의 1프레임전의 프레임의 어느 위치의 블록과 가장 비슷한가의 정보와 이 블록과의 오차성분을 양자화 한것에 부호화가 되는 것이다.
종래의 화상부호화장치 특히 움직임 보상방식 화상부호화장치는 이상과 같이 구성되었으며 예를들면 비데오 카메라(8)의 목돌림운동과 같은 이동등으로 화면이동방향이 명백한 경우에 있어서도 왜곡연산 대상이 되는 프레임메모리(3)에 기억되어 있는 블록과 블록구성부(2)에서 출력되는 입력블록의 위치관계가 고정되어 있기 때문에 움직임보상의 효율을 제고할수 없는 문제점이 있었다.
이 발명의 제1의 목적은 부호화 효율을 현저하게 향상시킬수 있는 벡터 양자화 부호화기의 제공을 목적으로 한다.
이 발명의 제2의 목적은 각단의 출력벡터 코드테이블을 구성하는 기억내용을 공통화할수 있는 벡터 양자화 부호화기를 제공하는 것이다.
코드테이블을 구성하는 메모리의 접근되는 어드레스가 각단에서 중복되므로 불가능하게 되고 기억내용이 다품종(적어도 각단별) 필요하게 되는 등의 결정이 있었다.
이 발명의 제3의 목적은 화상신호에 있어서 블록상의 잡음을 감소시켜 고화질로서 화상신호의 대역압축이 가능한 프레임간 벡터양자화 부호화기를 얻는데 있다.
상기 제1목적은 입력신호벡터를 포함하는 다차원 신호공간을 복수로 분할한 각 대표점의 출력벡터세트에서 판독하고 상기 입력신호벡터와 최소왜곡관계에 있는 상기 출력벡터를 탐색하는 전탐색 벡터 양자화부와, 허용왜곡을 설정할수 있으며 상기 입력벡터 및 상기 출력벡터간의 왜곡이 상기 허용왜곡 이하가 된 것을 판정하여 유의신호를 발생하는 왜곡판정회로와, 이 왜곡판정회로가 유의신호를 발생한 시점에서 상기 출력벡터의 인덱스신호를 가변길이 부호화하여 부호화 출력을 발생하는 가변길이 부호화회로를 갖춤으로써 실현된다.
상기 제2의 목적은 벡터 코드테이블에 기억된 각 출력벡터인덱스와 입력신호벡터와의 왜곡을 계산하여 이 왜곡이 최소로 되는 출력벡터인덱스를 구하는 부호화기를 구비하고, 각 부호화기중 최초단의 부호화기에는 전기 각 부호화단의 출력벡터인덱스중 부호길이가 짧은 출력벡터인덱스의 상위에 0부호를 필요개 가하여서 부호길이를 일치시킨 의사(擬似)출력벡터의 인덱스가 서로 중복하지 않는 초기의사출력벡터인덱스가 입력되어 있는 동시에 전기 각단의 부호화기가 보유하는 벡터 코드테이블은 상기 의사출력벡터인덱스와 상기 초기의사출력벡터인덱스에 대응하는 출력벡터의 짝을 맞추어 구성함으로써 실현된다.
상기 제3의 목적은 입력화상 신호계열과 1프레임주기전의 화상신호계열을 예측신호계열로서 양자의 차분을 따서 이 차분신호를 송신버퍼로부터의 피드백제어신호에 의하여 설정된 임계치와 비교하여 유효/무효를 판정하고 유효화소만을 블록화하여 평균치 분리 정규화 벡터 양자화 부호화하여 가변길이 부호화하고 그의 부호화된 출력을 송신버퍼에 의하여 전송도로 출력하도록 구성함으로써 실현된다.
이하 이 발명의 각 실시예에 대하여 기술한다.
그런데 각 실시예의 구체적 설명을 기술하기전에 각 실시예의 개요를 개념적으로 기술한후 그 구성 및 동작을 기술하기로 한다.
제1실시예의 설명에 앞서 그 전체기술에 대하여 제4도를 참조하면서 기술한다.
제4도는 제1실시예의 전제기술의 벡터 양자화 부호화기의 구성을 표시하는 블록도이며 도중, 101은 입력신호계열을 블록화 한 것을 보지하는 입력벡터 레지스터, 102는 코드테이블의 어드레스를 작성하는 코드테이블 어드레스 계수기, 103은 출력벡터를 기억시켜 놓는 출력벡터 코드테이블 메모리, 104는 이 출력벡터 코드테이블 메모리로부터 판독된 데이터를 보지하는 출력벡터 코드테이블 레지스터, 105는 입력벡터 레지스터(101)의 값과 출력벡터 코드테이블 레지스터(104)의 값과의 차를 연산하는 병렬감산기, 106은 이 병렬감산기의 출력의 절대치를 연산하는 병렬 절대치 연산기, 107은 입출력 벡터의 절대치 왜곡을 검출하는 절대치 왜곡검출기, 108은 입출력 벡터의 절대치 왜곡이 최소로 되는 출력벡터를 검출하는 최소왜곡검출기, 109는 최소왜곡검출기(108)의 출력신호에 기준하여 왜곡이 최소로 되는 출력벡터의 인덱스를 보지하는 인덱스래치를 각각 표시한다.
다음에 동작에 대하여 설명한다.
부호화기의 입력신호계열을 K개 합하여 블록화되어 입력벡터=〔x1, x2, …, xk〕로 하여 입력벡터 레지스터(1)에 등록한다. 이 시점에서 코드테이블 어드레스 계수기 (102)에 대하여 i=1, 2,…,N까지 순차 계수시켜서 순번으로 출력벡터=〔yi1, yi2,…, yik〕를 출력벡터 코드테이블 메모리(103)으로부터 판독하고 출력벡터 코드테이블 레지스터(104)로 래치(latch)한다.
각 출력벡터 yi에 대하여 병렬감산기(105)와 병렬 절대치 연산기(106)과 절대치 왜곡검출기(107)은 아래 연산에 의하여 입출력 벡터의 절대치 di를 구한다.
다음에 최소왜곡검출기(108)은 절대치 왜곡 di가 최소로 되는 출력벡터로서 검출한다.
최소왜곡 d는
이다.
최소왜곡검출기(108)은 출력벡터 코드테이블 메모리(103)에서 순차 판독되는 출력벡터과 입력벡터의 왜곡 d()를 계산하여 과거의 최소치와 비교하여 보다 작은 값이 검출될 때 이것을 새로운 최소왜곡으로서 보존하여 그때마다 스트로브(strobe)신호를 인덱스 래치(109)에 송출하여 출력벡터의 코드테이블 어드레스인 인덱스신호 i를 인덱스 래치(109)로 송신한다.
이 시점에서 인덱스 래치(109)에 최소왜곡으로 되는 출력벡터의 인덱스 i가 남아 이것이 부호출력으로 된다.
이상이 벡터 양자화 부호화기를 구성하는 전탐색 벡터 양자화부이다.
다음에 제1실시예에 관하여 기술한다.
이 실시예에 있어서는 허용왜곡을 왜곡판정회로에 설정하고 최소왜곡의 출력벡터 탐색중에 입력벡터와 출력벡터와의 거리(왜곡)가 허용왜곡 이하로된 시점에서 출력벡터의 인덱스신호를 가변길이 부호화하여 부호화 출력을 얻음으로써 부호화 효율을 향상시킨다.
제5도는 이 제1실시예의 구성을 표시하는 블록도이며 도중, 310은 제4도에서 설명한 것과 대략 같은 구성의 전탐색 벡터 양자화부(제4도 전체를 포함하여 이하 FSVQ부로 양칭한다), 320은 절대치 왜곡 di가 미리 정한 허용왜곡 dθ 이하로된 것을 판정하는 왜곡판정회로, 330은 왜곡판정회로의 출력에 기준하여 절대치 왜곡 di와 허용왜곡 dθ가 didθ로된 시점에서 출력벡터의 인덱스신호 i를 가변길이 부호화하여 부호화출력을 얻는 가변길이 부호화회로이다.
제6도는 이 실시예의 FSVQ부(310)의 상세한 구성을 표시하는 블록도이며 제4도와 동일부호는 각각 동일요소를 표시한다.
그리고 제4도중의 코드테이블 어드레스 계수기(102)대신에 왜곡판정회로(320)의 출력에 의하여 재세트 할수 있는 재세트 기능부 코드테이블 어드레스 계수기(102)를 사용한 점이 제4도와 다르다.
상기와 같이 구성된 본 실시예의 동작을 이하 설명한다.
FSVQ부(310)에서는 입력벡터를 입력벡터 레지스터(101)에 등록하는 한편 재세트 기능부 코드테이블 계수기(102)에 대하여 순서대로 i=1∼N까지 계수시킴으로써 출력벡터 yi=〔yi·1, yi·2, …, yi·k〕를 출력벡터 코드테이블 메모리(103)에서 판독하여서 출력벡터 레지스터(104)에 순차 래치시킨다.
최소왜곡검출기(108)은 상기 절대치 왜곡 di를 과거의 최소치와 비교하여 보다 작은 값이 검출되었을때 이것을 새로운 최소왜곡으로서 받아들여 왜곡판정회로로 출력한다.
상기 수순은 재세트 기능부 코드테이블 어드레스 계수기(102)의 계수기가 i=1에서 N로 향하여 계수할때마다 실시되는 것이지만 최소왜곡검출기(108)의 출력 di를 받은 왜곡판정회로(320)은 미리 설정되어 있는 허용왜곡 dθ와 비교하여 dθdi의 관계가 성립한 시점에서 가변길이 부호화회로(330)로 인덱스래치신호를 발신하여 인덱스신호 i를 수신시킨다.
또 재세트기능부 코드테이블 어드레스 계수기(102)로 재세트신호를 보내 계수를 종료시켜서 i=1에 재세트한다.
인덱스신호 i를 수신한 가변길이 부호화회로 330은 인덱스신호 i의 최상위 비트에서 최하위 비트로 향하여 계속되는 모든 "0"를 삭제하며 부호길이를 단축한다.
이와같은 수순을 수신되는 i전부에 대하여 실시하여서 가변길이 부호화하고 부호화 출력을 얻는다.
이 실시예는 이상 설명한대로 입력벡터및 출력벡터의 왜곡 di와 설정된 허용 dθ를 비교하여 didθ로된 시점에서 탐색을 중지함과 동시에 그때의 출력벡터의 인덱스신호 i를 가변길이 부호화하여 부호화 출력으로하고 있으므로 부호화 효율이 대폭 향상되며 이에 의하여 고속처리가 실현된다.
제2실시예의 설명에 앞서 그 전체기술인 목탐색 벡터 양자화에 관하여 설명한다.
제12도에 표시한 바와같이 각 분기점 R로부터 2개의 가지가 분기하고 있는 2진목을 생각하면 목근은 K 차원신호공간 RK에 각 분기점은 공간 RK을 단계적으로 분할한 공간에 각각 대응하다.
각 공간에는 대표점(예 : 중심)이 정해져 있으며 전기대표점이 K차원의 출력벡터로 된다.
각 단의 출력벡터, 입력벡터의 분포에 기준하여 입출력벡터간의 왜곡의 종화가 최소로 되도록 구하여져 있다. 입력벡터가 주어졌을 때 제1단에서 최종단까지 분기하는 두 개의 분기점에 대응하는 출력벡터와의 왜곡을 비교하여 왜곡이 작은 쪽의 가지를 선택해가면 종단분기점에 대응하는 출력벡터가 선택된다. 최종단이제n단이라면 종단분기점은 2n개이다.
이상의 목탐색 벡터양자화(TSVQ : Tree search vetor quantiza-tion)의 설명이다. 제12도에서는 n=3의 예가 표시되어 있다.
제7도는 n=3의 경우의 목탐색벡터 양자화기의 구성예를 표시하고 있다. 제7도에 있어서 V1은 K개마다 블록화된 입력신호벡터, 420은 입력신호벡터가 입력되는 TSVQ 부호화기 제1단, V3는 TSVQ 부호화기 제1단에서 출력되는 제1단 출력벡터 인덱스, 440은 제1단 출력벡터 인덱스가 입력되는 종래의 TSVQ 부호화기 제2단, V5는 TSVQ 부호화기 제2단에서 출력되는 제2단 출력벡터 인덱스, 460은 제2단 출력벡터 인덱스가 입력되는 TSVQ 부호화기 제3단 V7은 TSVQ 부호화기 제3단에서 출력되는 제3단 출력벡터 인덱스이다.
또 제8도는 전기 TSVQ 부호화기 제2단(440)의 구성예를 더욱 상세하게 표시한 것이다.
제8도에 있어서, 441은 입력신호벡터 V1이 입력되는 입력벡터 레지스터, 442는 제1단 출력벡터 인덱스 V3이 입력되는 제2단 출력벡터 코드테이블, 443은 입력벡터 레지스터에서 출력되는 입력신호와 제2단 출력벡터 코드테이블(442)에서 출력되는 출력벡터 인덱스와의 왜곡을 계산하는 왜곡연산회로, 445는 왜곡연산회로(443)으로 계산된 왜곡의 최소치를 구하는 왜곡 비교회로, V9은 왜곡비교회로(445)에서 출력되는 왜곡비교결과신호, 446은 왜곡비교결과신호 V9와 제1단 출력벡터 인덱스의 신호 V3에 기준하여 제2단 출력벡터 인덱스 V5를 출력하는 인덱스 레지스터이다. 다음에 동작에 관하여 설명한다.
목탐색 벡터 양자화는 각단에 있어서 한쌍이 되는 2개의 출력벡터와 입력벡터와의 왜곡을 비교하여 다음단에서 비교할 짝이 되는 출력벡터를 결정하는 것의 반복이다.
제12도에 표시하는 목의 3단계의 왜곡연산은 제7도에 있어서의 TSVQ 부호화기 제1단(420), TSVQ 부호화기 제2단(440), TSVQ 부호화기 제3단(460)에 대응시키게 된다. 각단에서는 전단까지의 왜곡비교결과에 의하여 지정되는 출력벡터의 짝과 입력벡터와의 왜곡연산을 실시하여 왜곡의 작은 쪽을 결정하며 그 정보를 전단까지의 비교결과에 부가한 후 다음단에 보낸다.
제1단에서는 출력벡터의 짝이 하나밖에 없으므로 전단까지의 비교결과는 불필하며 존재하지 않는다.
제1단에 있어서 왜곡비교결과 출력되는 출력인덱스 V3을 i1이라 하면 제2단에서는 i1에 의하여 결정되는 출력벡터의 짝과 입력벡터와의 왜곡연산을 실시하며 그 비교결과를 i1에 부가하여 i25를 형성한다. 제3단에서는 i2와 입력에 의하여 i27을 출력한다.
제12도에 있어서 좌측의 가지를 선택하면은 0, 우측가지를 선택하면 1을 할당하는 것으로 하면 인덱스 i1, i2, O3는 각각 1자리, 2자리, 3자리의 2진수열이 되며 이 2진수열의 벡터 i3가 최종단의 출력벡터 인덱스로 된다.
이상이 목탐색벡터 양자화기의 동작 설명이다.
여기서 각단에 있어서 출력벡터 코드테이블은 전단결과에 의하여 지정되는 출력벡터의 짝으로서 제11도에 표시한대로 제1단에서는 y0, y1, 제2단에서는 y0, y1, y10, y11, 제3단에서는 y0, y1, y10, y11, y100, y101, y110, y111을 각각의 출력벡터 인덱스로서 기억하고 있지 않으면 안된다.
이하 제2실시예에 관하여 기술한다.
부호화기 초단에 입력되는 초기의사출력벡터 인덱스와 입력신호벡터에 기준하여 부호화기 초단의 벡터 코드테이블에 기억된 각 출력벡터 인덱스의 하나가 선택되어서 부호화기 초단에서 제1단 출력벡터 인덱스가 출력된다. 또 부호길이의 짧은 출력벡터의 상위에 0부호길이를 일치시킨 의사출력벡터 인덱스와 입력신호벡터 왜곡이 연산회로에 의하여 계산된다. 이에 의하여 각단의 부호화기를 보유하는 벡터코드테이블은 공통화 하는 것이 가능하게 된다.
이하 이 제2실시예로서 탐색이 3단계에 있어서 초기의사 인덱스가 "1"(BIN)의 경우를 제9도 내지 제11도에 의하여 설명한다. 제9도는 실시예인 목탐색 벡터양자화 부호화기의 탐색단수가 3단계의 경우를 블록도이며, 제7도와 동일부분은 동일부호 또는 대응하는 부호를 사용하여 표시하고 있다.
제9도에 있어서 V4는 초기의사출력벡터 인덱스, 420은 초기의사출력벡터 인덱스 V4와 입력신호벡터가 입력되는 이 실시예에 의한 TSVQ 부호화기 제1단, V6는 TSVQ부호화기 제1단(420)으로부터 출력되는 제1단 의사출력벡터 인덱스, 440은 입력신호 벡터 V1과 제1단 의사출력벡터 인덱스 V6가 입력되는 TSVQ 부호화기 제2단, V8은 TSVQ 부호화기 제2단(440)이 출력되는 제2단 의사출력벡터 인덱스, 460은 입력신호벡터 V1과 제2단출력벡터 인덱스 V8가 입력되는 TSVQ 부호화기 제3단이다.
제10도는 제9도에 있어서 이 실시예에 의한 TSVQ 부호화기 제2단을 더욱 상세히 표시한 블록도이다.
제10도에 있어서, TSVQ 부호화기 제2단(440)의 출력벡터 코드테이블(442)는 제2단 출력벡터 코드테이블 #0와 제2단 출력벡터 코드테이블 #1을 보유하고 있다.
입력신호벡터 V1은 입력신호벡터 레지스터(441)을 통하여 왜곡연산회로(443)에 입력되어 있어 이 왜곡연산회로(443)은 상기 제2단 출력벡터 코드테이블 #0 및 제2단 출력벡터 코드테이블 #1에 기억된 벡터 인덱스와 입력신호벡터 V1과의 왜곡을 계산하여 이 계산결과를 제2단 왜곡 비교회로(445)에 입력하고 있다.
이 제2단 왜곡비교회로(455)는 계산결과에 의하여 0 또는 1의 왜곡 비교결과신호 V9을 출력하고 있어 이 왜곡비교결과신호 V9과 출력벡터 코드테이블(442)에 입력되는 제1단 의사출력벡터 인덱스 V6와는 의사 인덱스 쉬프트 레지스터(446)은 제2단 의사출력벡터 인덱스(V8)을 출력한다. 여기서 TSVQ 부호화기 제1단(420), TSVQ 부호화기 제2단(440), TSVQ 부호화기(460)은 전체로서 벡터양자화장치(500)을 구성하고 있다.
다음에 상기한 이 일실시예의 동작을 초기의사 인덱스를 "1"(BIN)로 한 경우를 설명한다. 우선 각 탐색단에 공통인 출력벡터 코드테이블 #0, #1의 탐색이 3단계의 경우의 어드레스 매프(map)를 제11도의 표로 표시한다.
지금 TSVQ 제1단에 입력된 입력신호 벡터 1과 초기의사출력벡터 인덱스 V4"1"(BIN)에 의하여 출력벡터 코드테이블 #0, #1에서 출력되는 벡터 인덱스 y0, y1과의 왜곡이 왜곡연산회로(443)에서 계산되어 있다. 왜곡비교회로(445)는 왜곡연산회로(443)의 계산결과에 의하여 최소계곡이 되는 한쪽의 출력벡터를 선택하고 이 선택한 결과에 의하여 왜곡비교결과 신호 V9를 출력한다.
의사인덱스 쉬프트 레지스터(446)은 왜곡비교결과 신호 V9을 제1단 의사출력벡터 인덱스 V6의 최하위의 자리 LSB에 부가하며 또한 최상위의 자리 MSB를 잘라버리고 제2단 의사출력벡터 인덱스를 다음단으로 보낸다.
이와 같은 조작을 제2단, 제3단 실시하면 제3단 의사인덱스 쉬프트 레지스터에 있어서 최기의사출력벡터 인덱스의 최하위 자리 LSB인 "1"이 모두 잘리어 구할 제3단 출력인덱스 V7을 얻을 수 있다.
이것을 구체적으로 표시하면 입력벡터에 대하여 TSVQ 부호기 제1단에서는 초기의사출력벡터 인덱스 "1"(BIN)에 의하여 출력벡터 코드테이블 #0에서 벡터인덱스 y0, 출력벡터 코드테이블 #1에서 벡터인덱스 y1이 출력되어 출력벡터 코드테이블 #0의 벡터인덱스 y0가 선택되었다고 하면 왜곡비교결과신호 V9는 "0"로 되어 의사인덱스 쉬프트 레지스터(446)에서는 초기의사출력벡터 인덱스 V4"1"(BIN)의 최하위 자리 LSB"0"를 부가하고 또한 최상위의 자리 MSB의 "0"를 떼어 버린다.
이것을 식으로 표시하면 아래와 같다.
001(BIN)→ 0010(BIN)→ 010(BIN)
TSBQ 부호화기 제2단계에서는 제1단 의사출력벡터 인덱스 V6"10"(BIN)에 의하여 출력벡터 코드테이블 #0에서 출력벡터 y0, 출력벡터 코드테이블 #1에서 벡터인덱스 y1이 출력되어 출력벡터 코드테이블 #1의 벡터인덱스 y1이 선택되었다면 제2단 의사출력벡터 인덱스 V8는
010(BIN)→ 0101(BIN)→ 101(BIN)
이 된다.
또한 TSVQ 부호화기 제3단에서는 제2단 의사출력벡터 인덱스 V8"101"(BIN)에 의하여 출력벡터코드테이블 #0, #1에 의하여 벡터인덱스 y10, y11이 출력되어 출력벡터 코드테이블 #1의 벡터인덱스 y11이 선택되면 101(BIN)→1011(BIN)→011(BIN)으로 되어 초기의사출력벡터 인덱스가 사라져 벡터인덱스 y011의 인덱스 "11"(BIN)이 제3단 출력벡터 인덱스(부호화 출력) 7로서 얻게 된다.
이 탐색과정은 제9도에 있어서의 루트(Route)와 일치한다. 이상 설명한 바와 같이 이 실시예에 의하면 각 부호화기중 초단의 부호화기에는 상기 각 부호화단의 출력벡터 인덱스중 부호길이가 짧은 벡터인덱스와 윗자리에 0부호를 필요개 부가하여 부호길이를 맞춘 의사출력벡터 인덱스와 중복하지 않는 초기의사출력벡터 인덱스가 입력되고 있는 동시에 상기 각단의 부호화기가 보유하는 벡터 코드테이블은 상기 의사출력벡터 인덱스와 상기 초기의사출력벡터 인덱스를 맞추어 구성하였으므로 각단 출력벡터 코드테이블을 구성하는 기억내용을 공통화 할수 있으며 기억내용을 적게할 수 있다.
제3실시예의 설명에 앞서 그 전제기술에 관하여 제13도를 참고로 하여 기술한다. 제13도에 있어서 제1도-제12도와 동일부호는 동일 혹은 상단부분을 표시한다.
sg1은 화상신호, 6은 감산기, 3은 프레임메모리, 511은 송신버퍼, 7은 평균치분리정규화 벡터양자화부호화기, sg2는 양자화출력, 517은 가변길이부호화기, sg3는 부호화출력, 9는 평균치 분리정규화벡터 양자화복호화기, 522는 래스터(Raster)/블록 주사변환부, 523은 화상신호블록, 524는 예비신호블록, 525는 예측오차신호블록, 526은 재생예측오차 신호블록, 527은 재생화상신호블록, sg4는 귀환 제어신호이다.
다음에 제13도에 표시하는 프레임간 벡터양자화부호화기의 동작에 관하여 설명한다. 화상신호 sg1은 디지털화되어 래스터주사 방향의 순서로 부여되는 신호계열이다.
래스터/블록주사변환부(522)에서는 화상신호(sg1)을 K개(K는 정수)의 블록으로 구분하여 이 블록을 단위로 하는 순서로 주사변환한다.
지금 제f프레임에 있어 블록화된 화상신호블록(523)을 신호원 벡터 sf=(S1, S2,…Sk)로 표시하는 것으로 한다. 또한 감산기(6)으로 계산되는 화상신호블록(523)과 예측신호블록(524)의 차분인 예측오차신호블록(525)를 ef평균치분리정규화 벡터양자화 부호화기(7) 및 평균치 분리정규화 벡터양자화복호화기(9)에 의하여 형성되는 재생예측오차신호블록(526)을, 재생화상신호블록(527)을, 프레임메모리(3)에 의하여 1프레임주기의 지연을 받은 재생화상신호블록(527)로서 얻어지는 예측신호블록(524)를 pf로 하면 아래와 같은 식이 성립된다.
단 Q는 벡터약자화 오차, z-t은 프레임메모리(3)에 의한 1프레임주기의 지연을 표시한다.
이것은 기본적으로는 프레임간의 DPCM방식(차분펄스변조방식)이다. 평균치 분리정규화 벡터양자화부호화기(7)의 양자화 출력 sg2는 가변길이 부호화기(517)에서 가변길이 부호화되어서 송신버퍼(511)로 보내져 부호화출력 sg3로서 전송로로 출력된다.
송신버퍼(511)은 전송정보량을 감시하며 피드백제어신호 sg4에 의하여 평균치 분리정규화 벡터양자화부호화기(7)에 있어서의 임계치를 제어하여서 부호화 데이터량을 제어한다.
또 평균치 분리정규화 벡터 양자화부호화에 대하여는 일본인 무라가미도구미찌, 아사이 미쓰다로, 야마사끼 에이소의 제6회 정보이론과 그의 응용연구회 자료(1983년)의 77-82페이지의 "벡터양자화에 의한 화상고능율 부호화"(문헌 1) 및 일본인 무라가미 도구미찌, 아사이 미쓰다로의 일본 텔레비젼 학회발행(1984년) 452-457 페이지의 "화상신호의 벡터양자화기(문헌 2)에 상세한 기술이 되어 있으므로 그 설명은 생략한다.
이하 제3실시예에 관하여 설명한다. 이 실시예의 프레임간 벡터 양자화부호화기에 있어서는 화상신호의 프레임간의 차이분인 예측오차 신호계열에 대하여 유효 무효의 판정을 하며 유효화소만을 모아서 블록화하고 평균치 분리정규화 벡터 양자화부호화하도록하여 화상신호에 있어서의 블록상의 잡음을 저감하며 고화질로서 화상전송을 실현하고 있다.
이 발명의 일실시예인 프레임간 벡터양자화부호화기를 표시하는 블록구성도이다. 제14도에 있어서 제1도-제12도와 동일부호는 동일 또는 상당부분을 표시한다.
3은 프레임메모리, sg5는 예측신호계열, sg6는 예측오차 신호계열, 560은 래스터화회로, sg7은 재생예측오차 신호계열, sg8는 재생화상 신호계열, 590은 유효/무효 판정회로, 510은 블록화회로, 511은 송신버퍼, sg9는 피드백제어신호, sg10은 유효/무효정보, sg11은 블록신호, 7은 평균치분리 정규화 벡터양자화부호화기, sg2는 양자화 출력, 517은 가변길이부호화기, sg3는 부호화출력, 9는 평균치분리 정규화 벡터양자화복호화기, sg12는 재생블록신호, 10은 자산기이다.
다음에 제14도에 표시하는 이 일실시예인 프레임간 벡터 양자화부호화기의 동작에 관하여 설명한다.
지금 제f프레임에 있어서의 레스터주사의 화상신호 sg1을 입력신호계열 Srf로 하고 또한 감산기(6)으로 계산되는 입력신호계열 Srf와 프레임메모리(3)으로부터의 예측신호계열 sg5의 Prf와의 차이분인 예측오차 신호계열 sg6를 erf로 하여 래스터화회로(560)에 의하여 재생된 재생예측오차신호계열 sg7은로 하며 재생화상 신호계열 sg8을로하고 프레임메모리(3)에 의하여 1프레임주기 지연된 재생화상신호계열로서 얻게되는 예측신호계열 sg5를 Prf로 하면 다음같은 식이 성립된다.
단 Q는 벡터양자화오차, z-t은 프레임메모리(3)에 의한 1프레임주기의 지연을 표시한다. 이것은 기본적으로는 프레임간의 DPCM 방식이다.
이와 같은 프레임간의 DPCM 방식에 있어서 감산기(6)으로 계산된 예측오차 신호계열(5)는 유효/무효 판정회로(590)과 블록화회로(510)에 입력된다. 유효/무효 판정회로(590)에서는 송신버퍼(11)로부터의 피드백제어신호 sg9에 의하여 임계치를 설정하고 유효/무효정보 sg10(예 : 유효는「1」, 무효는「0」)을 출력한다.
블록화회로(510)은 예측오차 신호계열 sg6와 유효/무효정보 sg10을 받아서 유효로 판정된 화소만을 K개(K는 복수) 종합하여 블록신호 sg11을 x=(x1, x2,…,xk)로 하여 출력한다. 또한 1프레임내의 유효화소수가 K의 배수가 되지않는 경우는 모조데이터 (예 :「0」를 삽입하여 1블록을 형성한다.
블록신호 sg11을 수신한 평균치분리 정규화 벡터 양자화부호화기(7)은 블록신호 sg11을 평균치·분산 인덱스로 양자화하여 양자화출력 sg2로 한다.
가변길이 부호화기(517)에서는 양자화출력 sg2와 유효/무효정보 sg10과를 가변길이 부호화하는 것이지만 그 일례를 들면 유효/무효정보 sg10은 런렌구스(run length) 부호화하여 양자화출력 sg2는 각각 출현빈도가 많은 데이터에 대하여는 부호길이가 짧은 부호를 할당하고 반대로 빈도가 적은 데이터일수록 긴 부호를 할당하는 방법이 있다.
이들 부호를 입력한 송신버퍼(511)은 부호를 전송로에 부호화출력 sg3로서 출력함과 동시에 그 정보발생량을 임의의 주기(예 : 프레임단위, 피일드단위)로 집계하여 그에 의한 피드백제어신호 sg12를 유효/무효판정회로(590)으로 출력하여 정보발생량을 제어한다.
그리고 유효/무효정보 sg10을 받은 래스터화회로(560)에 의하여 재생블록신호 sg12의의 각 성분 가 유효화소에만 할당되어 가며 무효화소에는「0」가 할당되어 재생예측오차신호계열 sg7의가 재생된다. 이 재생예측오차신호계열 sg7의와 프레임메모리(3)로부터의 예측신호계열 sg5의가 가산기(10)에서 가산되어 재생화상신호계열(sg8)의로서 프레임메모리(3)에 기억된다.
이 실시예는 이상 설명한대로 프레임간 벡터 양자화부호화기에 있어서 화상신호의 프레임간의 차이분인 예측오차신호계열에 대하여 유효, 무효의 판정을 하여 유효화소만을 모아서 블록화하고 평균치분리정규화 벡터양자화부호화하도록 하고 화상신호에 있어서의 블록상의 잡음을 저감시켜 고화질로서의 화상전송이 실현된다.
Claims (4)
- 입력신호계열을 복수개마다 블록화한 입력신호벡터를 전탐색에 의하여 벡터양자화부호화하는 것에 있어서, 상기 입력신호벡터를 포함하는 다차원 신호공간을 복수로 분할한 각 대표점의 출력벡터 세트에서 판독하여 상기 입력신호벡터와 최소왜곡의 관계에 있는 상기 출력벡터를 탐색하는 전탐색벡터 양자화부(310)와 허용왜곡을 설정할 수 있고 상기 입력벡터 및 상기 출력벡터간의 왜곡이 상기 허용왜곡 이하로 된 것을 판정하여 유의신호를 발생하는 왜곡판정회로(320)와 이 왜곡판정회로(320)가 유의신호를 발생한 시점에서 상기 출력벡터의 인덱스신호를 가변길이 부호화하여 부호화출력을 얻는 가변길이 부호화회로(330)를 구비한 것을 특징으로 하는 벡터 양자화부호화장치.
- 각단의 각 분기점에서 2개의 가지가 단계적으로 분기하고 있고, n단째에 있어서 2n개의 분기점을 보유하는 K차원 벡터공간 RK의 분기점에 K개마다 블록화된 입력신호벡터와 이 분기점에 입력되어 있는 가지에 대응하는 출력벡터 인덱스가 입력되었을 때 이 분기점에서 분기되어 있는 각 가지의 어느 한쪽의 가지를 선택하여 이 선택한 가지에 대응하는 출력벡터 인덱스를 출력하며 또한 분기점에서 분기하고 있는 각 가지에 대응하는 출력벡터를 기억하고 있는 벡터 코드테이블과 이 벡터 코드테이블에 기억된 각 출력벡터 인덱스와 상기 입력신호벡터의 왜곡을 계산하여 이 왜곡이 최소로 되는 출력벡터 인덱스를 구하는 왜곡연산회로를 보유하는 부호화기(420), (440), (460)를 각 단마디에 구비하고 각 단의 부호화기(420), (440), (460)로부터 출력되는 상기 출력벡터 인덱스와 입력신호벡터에 기준하여 다음단의 부호화기로부터 출력벡터 인덱스를 출력하며 최종 n단째의 부호화기에서 출력되는 출력벡터 인덱스를 구하는 벡터양자화장치(500)에 있어서, 상기 부호화기(420), (440), (460)중 초단의 부호화기에는 상기 각 부호화단의 출력벡터 인덱스중 부호길이의 짧은 출력벡터 인덱스의 상위에 0부호를 필요개수 부가하여 부호길이를 일치시킨 의사출력벡터 인덱스가 서로 중복하지않는 초기의사출력벡터 인덱스가 입력되어 있는 동시에 전기 각단의 부호화기에 보유하는 벡터코드테이블은 상기 의사출력벡터 인덱스와 상기 초기의사출력벡터 인덱스의 대응하는 출력벡터의 짝을 맞추고 있는 것을 특징으로 하는 벡터양자화부호화장치.
- 제2항에 있어서, 상기 초기의사출력벡터 인덱스를 최하위에만 "1"(BIN)로 상위비트는 필요개수 모두 "0"(BIN)으로 하는 것을 특징으로하는 벡터양자화부호화장치.
- 화상신호를 부호화하여 전송하는 화상부호화 장치에 있어서, 입력화상신호계열(sg1)과 적어도 1프레임 기억할 수 있는 프레임메모리(3)에서 판독되는 1프레임주기전의 화상신호계열을 예측신호계열(sg5)로 하여 양자의 차분을 얻고 이차분인 예측오차신호계열(sg6)과, 부호를 전송로로 출력하는 동시에 정보발생량을 집계하는 송신버퍼(511)로부터의 피드백제어신호(sg9)에 의하여 설정된 임계치의 비교에 의하여 유효/무효를 판정하여 유효/무효정보를 발생하고 유효화소의 K개(K는 복수)를 1블록으로 하여 평균치분리 정규화 벡터 양자화부호화한 출력(sg2)을 상기 유효/무효 정보와 함께 가변길이 부호화하며 상기 송신버퍼(511)에 의하여 전송로로 출력하는 한편 전기평균치 분리 정규화 벡터양자화부호화한 출력(sg2)을 복호한 블록신호(sg12)를 상기 유효/무효정보에 의한 상기 유효화소에 할당하여 무효화소에는 "0"를 할당하여서 재생한 재생예측오차신호계열(sg7)과 상기 예측신호계열(sg5)를 가산하여 얻은 재생화상신호(sg8)를 상기 프레임메모리(3)에 기억시키는 것을 특징으로하는 벡터양자화부호화장치.
Applications Claiming Priority (15)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP60005453A JPS61164389A (ja) | 1985-01-16 | 1985-01-16 | 画像符号化装置 |
JP60-5453 | 1985-01-16 | ||
JP60-42905 | 1985-03-05 | ||
JP60042905A JPS61201522A (ja) | 1985-03-05 | 1985-03-05 | ベクトル量子化符号化器 |
JP60104505A JPS61262378A (ja) | 1985-05-16 | 1985-05-16 | ベクトル量子化装置 |
JP60-104505 | 1985-05-16 | ||
JP60127258A JPS61287389A (ja) | 1985-06-13 | 1985-06-13 | 画像符号化装置 |
JP60-127258 | 1985-06-13 | ||
JP60-156308 | 1985-07-16 | ||
JP60-156307 | 1985-07-16 | ||
JP60156307A JPS6218190A (ja) | 1985-07-16 | 1985-07-16 | 画像符号化装置 |
JP60-196207 | 1985-09-05 | ||
JP60196207A JPS6257384A (ja) | 1985-09-05 | 1985-09-05 | 画像符号化装置 |
JP60-255990 | 1985-11-15 | ||
JP60255990A JPS62116087A (ja) | 1985-11-15 | 1985-11-15 | 動画像伝送装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR900008456B1 true KR900008456B1 (ko) | 1990-11-22 |
Family
ID=27563309
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1019900009292A KR900008456B1 (ko) | 1985-01-16 | 1990-06-22 | 벡터 양자화 부호화장치 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR900008456B1 (ko) |
-
1990
- 1990-06-22 KR KR1019900009292A patent/KR900008456B1/ko not_active IP Right Cessation
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2125765C1 (ru) | Способ и устройство сжатия символов, стохастический кодер (варианты) | |
KR100411525B1 (ko) | 화상 부호화 장치 및 화상 부호화 방법 | |
JP3406546B2 (ja) | 連続画像の復号化方法 | |
US6639945B2 (en) | Method and apparatus for implementing motion detection in video compression | |
KR930004311B1 (ko) | 동화상 부호화 복호화장치 | |
US5228098A (en) | Adaptive spatio-temporal compression/decompression of video image signals | |
US4809067A (en) | Method and apparatus for encoding transmitting and receiving image by pulse code modulation | |
US20060291563A1 (en) | Interpolation apparatus and method for motion vector compensation | |
US20020163965A1 (en) | Video frame compression/decompression hardware system | |
JP2000013799A (ja) | 動き補償符号化復号化装置及びその方法 | |
KR20030096443A (ko) | 부호화 방법 및 장치와 복호화 방법 및 장치 | |
US4870695A (en) | Compression and de-compression of column-interlaced, row-interlaced graylevel digital images | |
JPH08340553A (ja) | 映像信号符号化装置 | |
US5631849A (en) | Decompressor and compressor for simultaneously decompressing and compressng a plurality of pixels in a pixel array in a digital image differential pulse code modulation (DPCM) system | |
US8218644B1 (en) | System for compressing and de-compressing data used in video processing | |
US5654762A (en) | Block matching for picture motion estimation using gray codes | |
KR900008456B1 (ko) | 벡터 양자화 부호화장치 | |
JPH05103212A (ja) | データ伝送装置 | |
AU606816B2 (en) | Method for encoding/transmitting images | |
Brunello et al. | Lossless video coding using optimal 3D prediction | |
KR0126662B1 (ko) | 움직임화상신호의 부호화장치 | |
JPS6326951B2 (ko) | ||
JPH0748859B2 (ja) | テレビジヨン信号の予測符号化方式 | |
JP2934603B2 (ja) | 可変長さコードの復号化方法及びその装置 | |
JPS6359187A (ja) | 高能率符号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
A201 | Request for examination | ||
G160 | Decision to publish patent application | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 19961112 Year of fee payment: 7 |
|
LAPS | Lapse due to unpaid annual fee |