KR100346202B1 - 변환계수예측부호화방법 - Google Patents

변환계수예측부호화방법 Download PDF

Info

Publication number
KR100346202B1
KR100346202B1 KR1019980020838A KR19980020838A KR100346202B1 KR 100346202 B1 KR100346202 B1 KR 100346202B1 KR 1019980020838 A KR1019980020838 A KR 1019980020838A KR 19980020838 A KR19980020838 A KR 19980020838A KR 100346202 B1 KR100346202 B1 KR 100346202B1
Authority
KR
South Korea
Prior art keywords
transform coefficient
encoded
block
prediction
prediction direction
Prior art date
Application number
KR1019980020838A
Other languages
English (en)
Other versions
KR20000000900A (ko
Inventor
함철희
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1019980020838A priority Critical patent/KR100346202B1/ko
Publication of KR20000000900A publication Critical patent/KR20000000900A/ko
Application granted granted Critical
Publication of KR100346202B1 publication Critical patent/KR100346202B1/ko

Links

Classifications

    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3068Precoding preceding compression, e.g. Burrows-Wheeler transformation
    • H03M7/3071Prediction
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43Hardware specially adapted for motion estimation or compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

가. 청구범위에 기재된 발명이 속한 기술분야:데이터 압축을 위한 변환계수 예측 부호화방법에 관한 것이다.
나. 발명이 해결하려고 하는 기술적 과제:변환계수 부호화시 데이터 압축효율을 증가시킬 수 있는 변환계수 예측 부호화방법을 제공함에 있다.
다. 그 발명의 해결방법의 요지:변환계수 예측 부호화방법에 있어서, 부호화하려는 현재 블럭의 주변에 양자화되었던 변환계수값들의 차를 이용하여 부호화 하려는 변환계수의 예측방향을 결정하고, 결정된 예측방향으로 부호화하려는 현재 블럭의 변환계수에 가장 가까운 변환계수를 선정한다. 그리고 상기 결정된 예측방향에서 양자화되었던 변환계수값들의 차이를 구하여 상기 선정된 변환계수에 가산하여 부호화하려는 변환계수의 예측값을 출력함으로써 데이터 압축효율을 향상시킨다.
라. 발명의 중요한 용도:예측 부호화에 사용할 수 있다.

Description

변환계수 예측 부호화방법
본 발명은 영상신호 혹은 음성신호의 데이터 압축방식의 하나인 예측 부호화에 관한 것으로, 특히 주변블럭의 양자화된 변환계수차를 이용하여 데이터 레이트(Data Rate)를 효율적으로 줄일 수 있는 변환계수 예측 부호화방법에 관한 것이다.
아날로그신호를 디지털신호로 변환한 후, 디지털신호에 포함된 모든 정보를 그대로 전송, 기록하기 위해서는 높은 전송 레이트를 필요로 한다. 전송 레이트가높으면 원신호의 품질을 그대로 전송, 기록할 수 있는 장점은 있지만 제한된 전송로에 많은 채널을 수용할 수 없는 단점이 있게 된다. 따라서 경제성이 중요시되는 통신, DAB(Digital Audio Broadcasting), 코덱(CODEC) 및 디지털 녹화장비에서는 디지털화된 신호의 전송 또는 기록에 필요한 단위시간당 비트수를 어떠한 기법을 가해서라도 절감할 필요가 있다. 이와 같이 디지털화된 신호를 압축하기 위한 기법의 하나로서 예측 부호화(DPCM)방식을 들 수 있다. 예측 부호화방식이란 영상신호나 음성신호의 데이터 압축방식의 하나로서, 이미 전송된 신호에서 현재 전송하고자 하는 신호의 값을 예측하여 예측값과 실제값의 차를 부호화하여 전송하는 방식이다.
한편, 최근에는 다양한 형태의 영상/음성 데이터를 효과적으로 부호화하는 엠펙(MPEG)-4가 표준화되어 가고 있는데, 이러한 엠펙-4의 연구 분야에서 화면내 부호화 블럭(intra coded block)의 효과적인 비트율을 감축하기 위해 DC 및 AC 변환계수 예측 부호화방법이 채택되고 있다는 것이다. 더욱이 화면내 부호화 블럭에 관한 연구는 현재 JPEG-2000과 같은 정지영상 부호화 방법의 표준화가 진행되는 시점에서 그 중요성이 더욱 크다고 할 수 있다.
도 1은 부호화된 이전 블럭의 DC 변환계수값들로부터 예측값을 얻어 부호화할 블럭의 DC 변환계수값을 부호화하여 전송하는 과정을 설명하기 위한 화면내의 부호화 블럭 예시도를 도시한 것이다. 도 1의 (a),(b),(c),(d) 각각에서 DC1, DC2, DC3는 양자화된 3개의 주변블럭을 나타내고 있으며, ①은 매크로 블럭(macro block)내의 부호화할 블럭을 나타낸 것이다. 통상적으로 하나의 매크로 블럭의 크기는 가로×세로의 샘플 수가 16×16이고, 예측 부호화는 8×8 크기의 블럭 단위로 이루어진다. 그러므로 부호화할 블럭(①)과 주변 블럭들 DC1, DC2, DC3의 크기는 8×8이며 하나의 매크로 블럭내의 부호화할 블럭(①)은 4개가 된다. 그리고 도 1의 (a), (b), (c), (d)는 하나의 매크로 블록내의 4개의 8×8 블럭 중에 부호화할 블럭 (①)의 위치에 따라 DC1, DC2, DC3가 정해지는 것을 보인 것이다. 즉, 도 1(a)는 하나의 매크로 블록 내의 4개의 8×8 블럭 중에 부호화할 블럭(①)이 좌측 상단에 있는 8×8 블럭인 경우에 DC1, DC2, DC3가 정해지는 것을 보인 것이고, 도 1(b)는 하나의 매크로 블록 내의 4개의 8×8 블럭 중에 부호화할 블럭(①)이 우측 상단에 있는 8×8 블럭인 경우에 DC1, DC2, DC3가 정해지는 것을 보인 것이며, 도 1(c)는 하나의 매크로 블록내의 4개의 8×8 블럭 중에 부호화할 블럭(①)이 좌측 하단에 있는 8×8 블럭인 경우에 DC1, DC2, DC3가 정해지는 것을 보인 것이며, 도 1(d)는 하나의 매크로 블록내의 4개의 8×8블럭 중에 부호화할 블럭(①)이 우측 하단에 있는 8×8 블럭인 경우에 DC1, DC2, DC3가 정해지는 것을 보인 것이다.
상기한 바와 같은 도 1을 참조하여 종래의 예측 부호화방법을 설명하면, 우선 양자화된 3개의 주변블럭의 DC 변환계수값을 하기 수학식 1에 따라 그 중간값을 DC 변환계수 예측값(pred_DC)으로 선정한다.
그리고 선정된 DC 변환계수 예측값(pred_DC)을 부호화할 블럭(①)의 실제 DC변환 계수값(cur_DC)에서 차감하여 얻어진 값(coded_DC)을 부호화하여 전송한다.
그러나 상술한 방법은 블럭단위로 발생하는 변환계수의 방향성을 고려함이 없이 단순히 양자화된 주변블럭의 DC 변환계수값중 하나를 예측값으로 선정하기 때문에, 실제 DC 변환계수값(cur_DC)과 상기 DC 변환계수 예측값(pred_DC) 사이의 차(差)가 커질 수 있고, 이러한 차이는 곧 데이터 레이트를 증가시켜 결과적으로 데이터 압축효율이 저하되는 결과를 초래하게 된다.
따라서 본 발명의 목적은 변환계수 부호화시 데이터 압축효율을 증가시킬 수 있는 변환계수 예측 부호화방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명은 변환계수 예측 부호화방법에 있어서,
부호화하려는 현재 블럭의 주변에 양자화되었던 변환계수값들의 차를 이용하여 부호화하려는 변환계수의 예측방향을 결정하는 예측방향 결정단계와,
결정된 예측방향으로 부호화하려는 현재 블럭의 변환계수에 가장 가까운 변환계수를 선정하는 변환계수 선정단계와,
상기 결정된 예측방향에서 양자화되었던 변환계수값들의 차이를 구하여 상기 선정된 변환계수에 가산하여 부호화하려는 변환계수의 예측값으로 출력하는 예측값 출력단계로 이루어짐을 특징으로 한다.
도 1은 부호화된 이전 블럭의 DC 변환계수값들로부터 예측값을 얻어 부호화할 블럭의 DC 변환계수값을 부호화하여 전송하는 과정을 설명하기 위한 화면내의 부호화 블럭 예시도.
도 2는 본 발명의 실시예에 따른 DPCM(Differential Pulse Code Modulation)인코더의 블럭구성도.
도 3은 도 2중 예측기(300)의 동작흐름도.
도 4는 도 3의 동작흐름도를 부연 설명하기 위한 화면구성 블럭예시도.
이하 첨부한 도면을 참조하여 본 발명의 실시예에 따른 동작을 상세히 설명하기로 한다. 하기 설명 및 첨부 도면에서 DC 변환계수, 부호화할 블럭의 주변블럭배치와 같은 많은 특정 상세들이 본 발명의 보다 전반적인 이해를 제공하기 위해 나타나 있다. 이들 특정 상세들없이 본 발명이 실시될 수 있다는 것은 이 기술분야에서 통상의 지식을 가진자에게 자명할 것이다. 그리고 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략하기로 한다.
우선 일반적인 변환계수 예측 부호화방법에서는 변환계수의 예측값으로 가장 최근에 양자화된 변환계수값을 이용하지만, 본 발명의 실시예에서는 변환계수(DC변환계수 및 AC변환계수)의 예측값으로 이전에 양자화되었던 변환계수값과 그 변환계수값들의 차이를 이용한다. 즉, 주변에 양자화되었던 변환계수값들을 이용하여 부호화하려는 변환계수의 예측방향을 결정하고, 결정된 예측방향으로 현재 부호화하려는 변환계수에 가장 가까운 변환계수를 선정한다. 그리고 결정된 예측방향으로 변환계수 차이를 구하여 상기 선정된 변환계수에 가산하여 이를 부호화하려는 변환계수의 예측값으로 사용한다. 이와 같은 내용을 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다.
우선 도 2는 본 발명의 실시예에 따른 DPCM(Differential Pulse Code Modulation) 인코더의 블럭구성도를 도시한 것이며, 도 3은 도 2중 예측기(300)의 동작흐름도를 도시한 것이다. 그리고 도 4는 도 3의 동작흐름도를 부연 설명하기 위한 화면구성 블럭예시도를 도시한 것이다.
우선 도 2를 참조하면 샘플 & 홀드회로(100)는 입력되는 아날로그형태의 신호를 샘플링펄스 입력에 따라 샘플 & 홀드하여 출력하고, ADC(Analog-to-Digital Converter)(200)는 클럭펄스에 따라 상기 샘플 & 홀드회로(100)로부터 출력되는 신호를 디지털변환하여 예측기(300) 및 부호감산기(400)로 출력한다. 본 발명의 실시예에서 예측기(300)는 펌웨어로 구현가능하며 도 3에 도시한 바와 같은 동작흐름에 따라 현재 부호화되는 변환계수의 예측값을 산출하여 출력한다. 그리고 상기 ADC(200)에서 전송된 다음 부호를 저장한다. 부호감산기(400)는 ADC(200)와 예측기(300)에서 전송된 부호를 감산하여 DPCM부호로 최종 출력한다.
이하 도 3과 도 4를 참조하여 예측기(300)의 동작을 상세히 설명하기로 한다. 우선 부호화할 블럭(C)과 그 주변블럭의 배치가 도 4에 도시한 바와 같다고 가정하기로 한다. 도 4에서 C는 부호화할 현재의 블럭을 나타낸 것이며, Q_D, Q_U, Q_L은 부호화할 현재 블럭(C)의 양자화된 주변블럭들을 D,U,L이라고 할 때, 양자화된 주변블럭의 변환계수들을 나타낸 것이다. 그리고 화살표는 부호화할 현재 블럭(C)의 변환계수 예측값 계산을 위해 우선적으로 결정되어야 하는 방향성을 나타낸 것이다. 이러한 방향성은 도 4에서 수평방향과 수직방향으로 구분된다.
또한 상기한 Q D는 부호화할 현재 블럭(C)의 대각선 방향에 있는 양자화된 주변 블럭(D)의 변환계수를 나타내고, Q U는 부호화할 현재 블럭(C)의 수직방향에 있는 양자화된 주변블럭(U)의 변환계수를 나타내며, Q L은 부호화할 현재 블럭(C)의 수평방향에 있는 양자화된 주변블럭(L)의 변환계수를 나타낸다. 그리고 종래에는 전술한 도 1에 보인바와 같이 하나의 매크로 블럭내에서 부호화할 블럭(①)의 위치에 따라 DC1, DC2, DC3가 다르게 정해졌으나, 본 발명에서는 매크로 블럭내에서 부호화할 블럭(C)의 위치에 관계없이 항상 도 4와 같은 위치에 있는 양자화된 주변블럭들 D,U,L의 변환계수 Q D, Q U, Q L를 이용한다. 이는 본 발명은 종래와달리 부호화하려는 현재 블럭(C)의 변환계수의 방향성에 따라 수평방향의 주변블럭(L)의 변환계수 Q L 또는 수직방향의 주변블럭(U)의 변환계수 Q U 를 선정하여, 후술하는 바와 같이 현재 블럭(C)의 변환계수 예측값을 얻기 때문이다.
이하 예측기(300)의 동작을 설명하면, 우선 도 3의 500단계에서 부호화하려는 현재 블럭의 변환계수 예측방향을 결정한다. 이러한 예측방향 결정은 부호화하려는 현재 블럭(C) 주변에 수평방향으로 위치한 블럭들(D와 U)의 변환계수 차의 절대치(|Q_D - Q_U|)와 수직방향으로 위치한 주변블럭들(D와 L)의 변환계수 차의 절대치(|Q_D - Q_L|)비교에 의해 이루어진다. 이러한 비교과정을 통해 수평방향으로 위치한 블럭들(D와 U)의 변환계수 차의 절대치(|Q_D - Q_U|)가 수직방향으로 위치한 주변블럭들(D와 L)의 변환계수 차의 절대치(|Q_D - Q_L|) 보다 작다면 예측방향으로 수평방향을 결정하고, 그 반대이면 예측방향으로 수직방향을 결정한다. 그이 이유는 주변블럭들 상호간의 변환계수 차가 적을수록 변환계수 예측값의 비트율을 낮추는데 효과적이기 때문이다.
상술한 바와 같이 500단계에서 부호화하려는 현재 블럭(C)의 변환계수의 예측방향을 결정하였으면, 이후 예측기(300)는 600단계에서 이미 결정된 예측방향에서 현재 부호화하려는 블럭(C)의 변환계수에 가장 가까운 변환계수를 선정한다. 즉, 500단계에서 수평방향이 결정되었다면 600단계에서 선정되는 변환계수는 Q_L이 될 것이고, 500단계에서 수직방향이 결정되었다면 600단계에서 선정되는 변환계수는 Q_U가 될 것이다. 그리고 예측기(300)는 700단계에서 예측방향에 따라 부호화하려는 현재 블럭(C)의 변환계수 예측값을 하기 수학식 2 혹은 수학식 3에 의해 산출한다.
상기 수학식 2와 수학식 3은 부호화하려는 블럭(C)에 대하여 각각 수평방향 및 수직방향에 따라 산출된 변환계수의 예측값(pred_C)을 나타낸 것이다.
상술한 단계들을 통해 현재 부호화하려는 블럭(C)의 예측값(pred_C)을 산출한 예측기(300)는 이후 800단계에서 산출된 예측값(pred_C)을 출력함에 따라, 부호감산기(400)에서는 ADC(200)에서 출력되는 실제 변환계수값(cur_DC)에서 상기 예측값(pred_C)이 감산되어 얻어진 값(coded_C)이 부호화되어 전송되게 되는 것이다.
한편 본 발명의 실시예에서는 예측방향으로 수평 및 수직방향만을 고려하여 설명하였으나, 별다른 변형없이 3개 이상의 방향에 대해서도 예측방향을 결정할 수 있다. 따라서 발명의 범위는 설명된 실시예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위의 균등한 것에 의해 정하여져야 한다.
상술한 바와 같이 본 발명은 변환계수 예측 부호화시 변환계수간의 차이에 따라 예측방향을 결정하고, 이와 같이 결정된 예측방향에 따라 부호화하려는 블럭의 변환계수 예측값을 산출함으로서, 변환계수 예측값의 비트율을 낮추어 결과적으로 데이터 압축효율을 향상시킬 수 있는 장점이 있다.

Claims (2)

  1. 변환계수 예측 부호화방법에 있어서,
    부호화하려는 현재 블럭의 주변에 양자화되었던 변환계수값들의 차를 이용하여 부호화하려는 변환계수의 예측방향을 결정하는 예측방향 결정단계와,
    결정된 예측방향으로 부호화하려는 현재 블럭의 변환계수에 가장 가까운 변환계수를 선정하는 변환계수 선정단계와,
    상기 결정된 예측방향에서 양자화되었던 변환계수값들의 차이를 구하여 상기 선정된 변환계수에 가산하여 부호화하려는 변환계수의 예측값으로 출력하는 예측값 출력단계로 이루어지며,
    상기 예측방향 결정단계는,
    상기 부호화하려는 현재 블럭 주변에 각각 수평방향으로 위치한 블럭들의 변환계수 차의 절대치(A)와 수직방향으로 위치한 블럭들의 변환계수 차의 절대치(B)의 비교결과에 따라 예측방향을 수평 혹은 수직방향으로 결정함을 특징으로 하는 변환계수 예측 부호화 방법.
  2. 제1항에 있어서, 상기 절대치들(A,B)중 작은 값을 가지는 방향을 예측방향으로 결정함을 특징으로 하는 변환계수 예측 부호화방법.
KR1019980020838A 1998-06-05 1998-06-05 변환계수예측부호화방법 KR100346202B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019980020838A KR100346202B1 (ko) 1998-06-05 1998-06-05 변환계수예측부호화방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019980020838A KR100346202B1 (ko) 1998-06-05 1998-06-05 변환계수예측부호화방법

Publications (2)

Publication Number Publication Date
KR20000000900A KR20000000900A (ko) 2000-01-15
KR100346202B1 true KR100346202B1 (ko) 2002-10-25

Family

ID=19538436

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019980020838A KR100346202B1 (ko) 1998-06-05 1998-06-05 변환계수예측부호화방법

Country Status (1)

Country Link
KR (1) KR100346202B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6468024A (en) * 1987-09-08 1989-03-14 Fujitsu Ltd Predictive coding method
JPS6482711A (en) * 1987-09-25 1989-03-28 Hitachi Ltd Encoding device
JPH03265220A (ja) * 1990-03-14 1991-11-26 Nec Corp データ圧縮装置及びその方法
JPH07212752A (ja) * 1994-01-18 1995-08-11 Sony Corp ディジタル画像信号の処理装置
JPH08116262A (ja) * 1994-10-14 1996-05-07 Matsushita Electric Ind Co Ltd データ符号化装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6468024A (en) * 1987-09-08 1989-03-14 Fujitsu Ltd Predictive coding method
JPS6482711A (en) * 1987-09-25 1989-03-28 Hitachi Ltd Encoding device
JPH03265220A (ja) * 1990-03-14 1991-11-26 Nec Corp データ圧縮装置及びその方法
JPH07212752A (ja) * 1994-01-18 1995-08-11 Sony Corp ディジタル画像信号の処理装置
JPH08116262A (ja) * 1994-10-14 1996-05-07 Matsushita Electric Ind Co Ltd データ符号化装置

Also Published As

Publication number Publication date
KR20000000900A (ko) 2000-01-15

Similar Documents

Publication Publication Date Title
US6393059B1 (en) Conversion of video data bit stream
KR100324610B1 (ko) 화상예측 복호화장치 및 방법
KR100263627B1 (ko) 화상 부호화 장치와 화상 복호화장치 및 부호화.복호화 시스템
US6625215B1 (en) Methods and apparatus for context-based inter/intra coding mode selection
US6625214B1 (en) Apparatus and method for fade detecting and information encoding
JP2004343280A (ja) 画像処理装置および画像処理方法、情報処理装置、記録媒体、並びに、プログラム
KR100364312B1 (ko) 블록간예측부호화복호화장치및그방법
JPH08111870A (ja) 画像情報の再符号化方法及び装置
KR100950525B1 (ko) 트랜스코딩 장치 및 방법, 이에 사용되는 타겟비트할당 및픽처 복잡도 예측 장치 및 방법
JP3857298B2 (ja) 画像予測符号化装置及び方法、並びに画像予測復号化装置及び方法
KR100327952B1 (ko) 영역분할기반동영상압축부호화방법및장치
KR100346202B1 (ko) 변환계수예측부호화방법
KR100982514B1 (ko) 영상의 인트라 예측 부호화 방법 및 그 장치
JP2900999B2 (ja) ブロック間適応内挿予測符号化装置、復号化装置、符号化方法及び復号化方法
JP3851317B2 (ja) 画像予測符号化方法及び装置
JP3857297B2 (ja) 画像予測符号化方法及び装置
JP3770466B2 (ja) 画像符号化レート変換装置及び画像符号化レート変換方法
JPH11234675A (ja) 動画像符号化装置及び方法、動画像復号装置及び方法並びに記録媒体
JP2000059789A (ja) 動画像符号列変換装置及びその方法
JPH02114768A (ja) 予測符号化装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130627

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20140627

Year of fee payment: 13

LAPS Lapse due to unpaid annual fee