KR100677446B1 - 휴대단말기의 영상신호 압축 코딩장치 및 방법 - Google Patents

휴대단말기의 영상신호 압축 코딩장치 및 방법 Download PDF

Info

Publication number
KR100677446B1
KR100677446B1 KR1020050027348A KR20050027348A KR100677446B1 KR 100677446 B1 KR100677446 B1 KR 100677446B1 KR 1020050027348 A KR1020050027348 A KR 1020050027348A KR 20050027348 A KR20050027348 A KR 20050027348A KR 100677446 B1 KR100677446 B1 KR 100677446B1
Authority
KR
South Korea
Prior art keywords
unit
video signal
stripe
block
image signal
Prior art date
Application number
KR1020050027348A
Other languages
English (en)
Other versions
KR20060104863A (ko
Inventor
박원배
강태익
알렉산드르 엘 마이보로다
세르게이 엔 그램니츠스키
알렉산드르 브이 이바노프
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020050027348A priority Critical patent/KR100677446B1/ko
Priority to US11/394,468 priority patent/US8249367B2/en
Publication of KR20060104863A publication Critical patent/KR20060104863A/ko
Application granted granted Critical
Publication of KR100677446B1 publication Critical patent/KR100677446B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/645Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission by grouping of coefficients into blocks after the transform
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 휴대단말기의 영상신호를 다수의 스트라이프로 분할하여 웨이브릿 코딩과 엔트로피 코드 방식을 적용하므로써 계산량과 연산에 필요한 메모리 크기를 줄이는 것으로, 휴대단말기에 의하여 촬영된 영상신호를 스트라이프 블록부에 의하여 임의 선택된 다수 스트라이프 블록으로 분할하고, 상기 영상신호를 색상변환부에 의하여 색상에 민감한 알지비 색상으로부터 밝기에 민감한 와이유브이 색상으로 변환하며, 스트라이프 인코더부에 의하여 선택된 스텝으로 웨이브릿 변환하여 압축하는 동시에 허프만 코드로 압축하여 출력하며, 궤환부에 의하여 상기 스트라이프 인코더부의 출력신호를 입력으로 궤환하여 압축오차를 줄이는 구성으로 이루어지는 것을 특징으로 하고, 또한, 휴대단말기에 입력되는 영상신호를 다수의 스트라이프 블록으로 분할하고 설정된 단계에 의하여 웨이브릿 변환하므로 저주파 블록의 영상신호와 다수 고주파 블록의 영상신호로 구분하고, 상대적으로 영상의 중요 부분을 포함하고 있는 상기 저주파 블록의 영상신호는 디피시엠 방식으로 압축하며, 상기 고주파 블록의 영상신호는 그래뉼러 방식으로 압축하고, 상기 압축된 스트라이프 블록을 압축하여 출력하는 일련의 과정으로 이루어지는 영상신호 코딩을 위한 장치 및 방법을 특징으로 한다.

Description

휴대단말기의 영상신호 압축 코딩장치 및 방법{METHODS AND APPARATUS' OF ABSTRACTING IMAGE SIGNAL FOR MOBILE PHONE}
도1 은 본 발명 휴대단말기의 영상신호 압축 코딩장치 기능 구성도,
도2 는 본 발명 휴대단말기의 스트라이프 인코더부 상세 기능 구성도,
도3 은 본 발명 스트라이프 인코더부의 그래뉼러 양자부 상세 기능 구성도,
도4 는 본 발명 스트라이프 인코더부의 디피시엠부 상세 기능 구성도,
도5 는 본 발명 휴대단말기의 영상신호 압축 코딩방법 순서도,
도6 은 본 발명 스트라이프 분할과 웨이브릿 변환 설명도.
** 도면의 주요 부분에 대한 부호 설명 **
10 : 스트라이프 블록부 20 : 색상변환부 30 : 스트라이프 인코더부
31 : 스텝설정부 32 : 웨이브릿 변환부 33 : 초기양자부
34 : 디피시엠부 35 : 그래뉼러양자부 36 : 비트매트릭스인코더부
37 : 엔트로피 인코더부 40 : 궤환부 341 : 블록선형예측부
342 : 계수양자부 343 : 픽셀선형예측부 344 : 순화부
345 : 정정부 346 : 차등부 347 : 스칼라양자부
348 : 블록오류정정부 351 : 분배부 352 : 분류부
353 : 양자부
본 발명은 휴대단말기의 영상신호 코딩에 관한 것으로, 특히, 영상신호를 스트라이프로 분할하여 웨이브릿(WAVELET) 코딩 방식을 적용하므로 계산량과 저장되는 메모리 크기를 줄이고 영상신호의 품질을 높이는 휴대단말기의 영상신호 압축 코딩장치 및 방법에 관한 것이다.
이동통신용 휴대단말기(MS: MOBILE STATION)는 가입 등록된 시스템의 해당 기지국(RAN: RADIO ACCESS NETWORK)이 형성하는 서비스 영역(SERVICE AREA) 안을 자유롭게 이동하면서 이동교환국(MSC: MOBILE SWITCHING CENTER)의 감시와 제어와 스위칭(SWITCHING)에 의하여 설정된 통신경로를 경유하고, 언제 어디서나 원하는 상대방과 즉시 무선접속하여 통신하는 것으로, 개인이 항상 직접 휴대하면서 어디든지 이동하는 첨단 무선통신장비 이다.
상기 휴대단말기(MS)는, 초기의 음성급 신호를 이용하는 통신방식으로부터 시작하여, 현재의 3세대(3GPP)에서는, 문자신호와 영상신호가 포함되는 멀티미디어급 신호를 이용하는 통신방식을 발전하고 있다.
상기 이동통신 시스템은, 제한된 무선주파수 자원을 할당받고 분할한 채널을 휴대단말기가 점유하여 무선통신하는 것으로, 상기 각 채널에 할당된 대역폭이 한정되므로, 동시 전송할 수 있는 데이터 량도 제한된다.
상기 멀티미디어 통신을 위한 영상신호는 데이터 량이 많고, 점유된 채널의 한정된 대역폭을 통하여 전송하기 위하여서는 압축 코딩방식으로 데이터 량을 줄이어야 하며, 상기 데이터 크기를 줄이는 압축 코딩방식은 계산량이 증가하므로, 처리시간이 필요한 동시에 복구된 영상신호의 품질이 떨어지는 등의 문제가 있다.
따라서, 데이터 량을 줄이면서도 계산량을 줄이고, 영상신호의 품질을 높이는 압축 코딩 기술을 개발할 필요가 있다.
상기 영상신호를 압축하는 종래 기술로, 웨이브릿(WAVELET) 코딩 기술이 잘 알려져 있으며, 일 예로, J. SHAPIRO의 "EMBEDDED IMAGE CODING USING ZERO-TREE OF WAVELET COEFFICIENTS."와 A. SAID AND W.A. PEARLMAN의 "A NEW FAST AND EFFICIENT IMAGE CODEC BASED ON SET PARTITIONING IN HIERARCHICAL TREES." IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL. 6, PP. 243-250, JUNE 1996.에 서로 다른 방식에 의한 영상신호 웨이브릿 코딩 기술을 설명하고 있다.
상기와 같이 웨이브릿 코딩 방식은 압축특성이 우수하여 JPEG의 새로운 기술표준으로 적용될 정도이다.
그러나, 상기 웨이브릿 코딩 방식은, 영상신호의 압축을 위한 연산량이 많으므로, 실제 적용되지 못하고 있는 문제가 있다.
본 발명은, 영상신호의 압축에 웨이브릿 코딩방식을 사용하면서 스트라이프 블록으로 나누어 연산하므로, 필요한 메모리의 크기와 계산량을 줄이고, 영상신호의 품질을 유지하는 휴대단말기의 영상신호 압축 코딩장치 및 방법을 제공하는 것 이 그 목적이다.
상기와 같은 목적을 달성하기 위하여 안출한 본 발명은, 휴대단말기가 촬영한 영상신호를 입력하고 선택된 숫자의 스트라이프 블록으로 분할하여 순차 출력하는 스트라이프 블록부와; 상기 스트라이프 블록부로부터 인가되는 영상신호의 색상을 인간의 시각특성에 적합하게 변환하는 색상변환부와; 상기 색상변환부로부터 인가되는 스트라이프 블록 단위의 영상신호를 웨이브릿 변환 압축하여 출력하는 스트라이프 인코더부와; 상기 스트라이프 인코더부로부터 출력되는 신호를 궤환시켜 다시 입력하므로 압축 오차를 줄이는 궤환부가 포함되는 장치에 특징이 있다.
또한, 상기와 같은 목적을 달성하기 위하여 안출한 본 발명은, 휴대단말기에 입력되는 영상신호를 다수의 스트라이프 블록으로 분할하고 설정된 단계에 의하여 웨이브릿 변환하므로 저주파 블록의 영상신호와 다수 고주파 블록의 영상신호로 구분하고, 상대적으로 영상의 중요정보를 많이 포함하고 있는, 상기 저주파 블록의 영상신호는 디피시엠 방식으로 압축하고, 상기 고주파 블록의 영상신호는 그래뉼러 방식으로 압축하며, 상기 압축된 스트라이프 블록을 허프만 코드 방식으로 압축하여 출력하는 일련의 과정으로 이루어지는 방법에 그 특징이 있다.
또한, 상기와 같은 목적을 달성하기 위하여 안출한 본 발명은, 휴대단말기가 입력되는 영상신호를 압축하는 경우에 다수의 스트라이프로 분할하는 스트라이프 과정과; 상기 과정에서 분할된 스트라이프 영상신호의 웨이브릿 변환 단계를 설정하여 변환하고 고주파와 저주파 블록의 영상신호로 구분 출력하는 웨이브릿 과정과; 상기 과정의 저주파 블록 영상신호는 디피시엠 방식으로 양자처리하며 고주파 블록 신호는 그래뉼러 방식 양자처리하고 허프만 코드로 압축 출력하는 허프만과정으로 이루어지는 방법에 그 특징이 있다.
이하, 본 발명에 의한 것으로, 휴대단말기의 영상신호 압축 코딩장치 및 방법을 첨부된 도면을 참조하여 설명한다.
본 발명을 설명하기 위하여 첨부된 것으로, 도1 은 본 발명에 의한 휴대단말기의 영상신호 압축 코딩장치 기능 구성도 이고, 도2 는 본 발명에 의한 휴대단말기의 스트라이프 인코더부 상세 기능 구성도 이며, 도3 은 본 발명에 의한 스트라이프 인코더부의 그래뉼러 양자부 상세 기능 구성도 이고, 도4 는 본 발명에 의한 스트라이프 인코더부의 디피시엠부 상세 기능 구성도 이며, 도5 는 본 발명에 의한 휴대단말기의 영상신호 압축 코딩방법 순서도 이고, 도6 은 본 발명에 의한 스트라이프 분할과 웨이브릿 변환 설명도 이다.
상기 첨부된 도1 내지 도4를 참조하여 본 발명에 의한 휴대단말기의 영상신호 압축 코딩장치를 설명하면, 이동통신용 휴대단말기에 의하여 촬영된 영상신호를 스트라이프(STRIPE) 블록부에 의하여 임의 선택된 다수 스트라이프 블록으로 분할하고, 상기 영상신호를 색상변환부에 의하여 알지비(RGB)-와이유브이(YUV) 변환하며, 스트라이프 인코더부에 의하여 선택된 스텝(STEP)으로 웨이브릿(WAVELET) 변환하여 압축하는 동시에 허프만 코드(HUFFMAN CODE)로 압축하여 출력하며, 궤환부에 의하여 상기 스트라이프 인코더부의 출력신호를 입력으로 궤환하여 압축오차를 줄이는 구성이다.
상기 구성을 좀더 상세히 설명하면, 휴대단말기가 촬영한 영상신호를 입력하고 선택된 숫자의 스트라이프 블록(STRIPE BLOCK)으로 분할(SEPARATE)하여 순차 출력하는 것으로, 입력 영상신호를 사용자가 선택한 숫자의 스트라이프 블록으로 분할하고 해당 순차에 의하여 모두 출력하는 스트라이프 블록부(10)와,
상기 스트라이프 블록부(10)로부터 인가되는 영상신호의 색상을 인간의 시각특성에 적합하게 변환하는 것으로, 분할되어 입력되는 스트라이프 블록 영상신호를 색상 변화에 민감한 알지비(RGB: RED GREEN BLUE) 색상으로부터 밝기에 민감하고 인간의 시각적 특성에 적합한 와이유브이(YUV) 색상으로 변환 출력하는 색상변환부(20)와,
상기 색상변환부(20)로부터 인가되는 스트라이프 블록 단위의 영상신호를 웨이브릿 변환(WAVELET TRANSFORM) 압축하여 출력하는 스트라이프 인코더부(30)와,
상기 스트라이프 인코더부(30)로부터 출력되는 신호를 궤환시켜 다시 입력하므로 압축 오차를 줄이는 궤환부(40)가 포함되는 구성이다.
특히, 상기 스트라이프 인코더부(30)는, 상기 색상변환부(20)에 접속하고 입력되는 영상신호의 크기에 의하여 웨이브릿 스텝(WAVELET STEP)을 자동 설정하는 스텝설정부(31)와,
상기 색상변환부(20)로부터 스트라이프 영상신호와 스트라이프 상태 신호를 인가받고, 상기 스텝설정부(31)로부터 설정 인가되는 스텝 값으로 웨이브릿 변환하며, 저주파(LOW FREQUENCY) 블록 영상신호와 고주파(HIGH FREQUENCY) 블록 영상신호로 분리하여 각각 출력하는 웨이브릿 변환부(32)와,
상기 색상변환부(20)로부터 양자화 레벨을 인가받고, 상기 스텝설정부(31)로부터 설정 인가되는 스텝 값으로 양자화하며, 저주파 블록 영상신호와 고주파 블록 영상신호로 분리하여 각각 출력하는 초기양자부(33)와,
상기 웨이브릿 변환부(32)와 초기양자부(33)로부터 저주파 블록 영상신호를 인가받고 디피시엠(DPCM: DIFFERENTIAL PULSE CODE MODULATION) 방식으로 처리하여 압축하는 디피시엠부(34)와,
상기 웨이브릿 변환부(32)와 초기양자부(33)로부터 고주파 블록 영상신호를 인가받고 그래뉼러 양자화(GRANULAR QUANTIZE) 방식으로 처리하여 압축하는 것으로, 고주파 블록 영상신호를 다수의 서브 블록으로 나누는 분배부(351); 상기 분배부(351)로부터 인가되는 영상신호를 중요한(SIGNIFICANT) 블록과 중요하지 않은(IN-SIGNIFICANT) 블록으로 구분하여 출력하는 분류부(352); 상기 분류부(351)로부터 인가되는 영상신호를 양자화하여 출력하는 양자부(353)로 이루어지는 그래뉼러 양자부(35)와,
상기 디피시엠부(34)와 그래뉼러 양자부(35)로부터 입력된 영상신호의 위치정보를 선택된 기준에 의한 중요도(SIGNIFICANT)를 판단 변환하는 비트 매트릭스 인코더부(36)와,
상기 비트 매트릭스 인코더부(36)의 영상신호를 입력하고 허프만 코드(HUFFMAN CODE) 방식으로 압축하는 엔트로피(ENTROPY) 인코더부(37)가 포함되는 구성이다.
상기 디피시엠부(34)는, 상기 웨이브릿 변환부(32)와 초기 양자부(33)로부터 인가되는 저주파 블록 영상신호를 입력하고 계수값(COEFFICIENT VALUE)을 구하여 선형성(LINEARITY)을 예측(PREDICTION)하는 블록선형예측(BLOCK OPTIMAL LINEAR PREDICTOR)부(341); 상기 블록선형예측부(341)로부터 인가되는 계수값을 양자화(QUANTIZATION)하여 출력하는 계수양자부(342); 상기 계수양자부(342)로부터 인가되는 신호를 분석하여 픽셀(PIXEL)에 대한 선형 예측값을 구하는 픽셀선형예측부(343); 상기 웨이브릿 변환부(32)와 초기 양자부(33)로부터 인가되는 저주파 블록 영상신호를 입력하고 이전의 값과 현재의 값이 유사한 값인지를 대비 판단하는 순화부(344); 상기 순화부(344)로부터 인가되는 신호에 의하여 상기 픽셀선형예측부(343)의 신호를 선택하는 정정부(345); 상기 웨이브릿 변환부(32)와 초기 양자부(33)로부터 인가되는 저주파 블록 영상신호를 상기 정정부(345)의 신호와 대비하여 차이값을 연산하는 차등부(346); 상기 차등부(346)로부터 인가되는 영상신호의 각 픽셀을 독립적으로 양자화하여 출력하는 스칼라양자부(347); 상기 스칼라양자부(347)로부터 인가되는 신호의 블록 오류를 정정하여 오류가 발생한 데이터를 출력하는 블록오류정정부(348)가 포함되는 구성이다.
이하, 상기와 같은 구성에 의한 것으로, 본 발명 휴대단말기의 영상신호 압축 코딩장치를 첨부된 도면을 참조하여 상세히 설명한다.
상기 이동통신용 휴대단말기가 촬영하여 입력한 영상신호는, 데이터 크기가 크므로 압축 처리하는 계산량이 많고, 시간이 많이 소요되는 동시에 영상처리를 위한 메모리를 많이 필요로 하는 등의 문제가 있다.
따라서, 상기와 같이 입력되는 영상신호를 다수의 스트라이프(STRIPE)로 분 할 처리하므로, 메모리의 크기를 줄이고, 계산량과 계산시간을 줄이도록 하는 것이 본 발명 기술이다.
상기 스트라이프 블록부(10)는, 휴대단말기가 입력하는 영상신호를 설정된 임의 숫자 블록으로 분할하므로, 처리할 데이터 크기를 작게하며, 상기 분할된 각 스트라이프를 해당 순서에 의하여 순차 출력한다.
상기와 같이 출력되는 스트라이프 블록을 인가받은 색상변환부(20)는, 상기 영상신호의 알지비(RGB) 색상구조를 사람의 시각적 구조와 비슷한 와이유브이(YUV) 색상구조로 변환하여 출력한다.
상기와 같이 색상변환부(20)에 의하여 와이유브이 색상구조로 변환된 영상신호는, 스트라이프 인코더부(30)에 인가되어 압축 출력된다.
상기 스트라이프 인코더부(30)는 상기 색상변환부(20)로부터 와이유브이 색상구조로 변환된 영상신호를 인가 받는 동시에 스트라이프 분할된 상태 정보와 영상신호의 크기 정보와 양자화하는 레벨 정보를 인가 받는다.
상기 스트라이프 인코더부(30)에 구비되는 스텝설정부(31)는, 입력된 영상신호의 크기에 비례하여 웨이브릿 변환할 스텝 또는 단계를 자동 설정하고, 웨이브릿 변환부(32)와 초기양자부(33)에 각각 출력한다.
상기 웨이브릿 변환부(32)는, 상기 색상변환부(20)를 통하여 인가되는 스트라이프 영상신호 및 스트라이프 상태 정보를, 상기 스텝설정부(31)로부터 설정되어 인가되는 스텝(STEP) 값으로 웨이브릿 변환(WAVELET TRANSFORM)한다.
일 예로, 상기 스텝설정부(31)로부터 인가되는 스텝(STEP) 값이 1의 값이면, 상기 웨이브릿 변환부는 1 단계로 웨이브릿 변환하며, 상기 1 단계의 웨이브릿 변환은, 입력되는 영상신호를 완전한 저주파 성분(LL)의 블록과, 저주파에 근거한 고주파 성분(LH)의 블록과, 고주파에 근거한 저주파 성분(HL)의 블록과, 완전한 고주파 성분(HH)의 블록에 의한 4개 블록으로 구분한다.
상기 4개의 블록(LL, LH, HL, HH)에서, 완전한 저주파 성분으로 이루어진 LL 블록을 저주파 블록으로 분류하며, 표현하고자 하는 이미지의 신호성분이고, 고주파 성분이 포함된 나머지 블록(LH, HL, HH)은 고주파 블록으로 분류되며 이미지의 윤곽을 나타내는 경계부분의 신호성분이 된다.
다른 일 예로, 2 단계의 웨이브릿 변환은, 상기 저주파 블록(LL)을 다시 한번, 완전한 저주파 성분(LL2)의 블록과, 가로방향은 저주파 성분이고 세로방향이 고주파 성분(LH2)의 블록과, 가로방향은 고주파 성분이고 세로방향은 저주파 성분(HL2)의 블록과, 가로방향과 세로방향이 모두 고주파 성분(HH2)의 블록에 의한 4개 블록으로 구분하므로, 총 7개의 블록(LL2, LH2, HL2, HH2, LH, HL, HH)으로 분류된다.
또 다른 일 예로, 3 단계의 웨이브릿 변환은, 상기 2 단계에서 완전한 저주파 성분으로 분류된 블록(LL2)을 또 다시 한번, 완전한 저주파 성분(LL3)의 블록과, 가로방향은 저주파 성분이고 세로방향은 고주파 성분(LH3)의 블록과, 가로방향은 고주파 성분이고 세로방향은 저주파 성분(HL3)의 블록과, 가로방향과 세로방향이 모두 고주파 성분(HH3)의 블록에 의한 4개 블록으로 구분하므로, 총 10개의 블록(LL3, LH3, HL3, HH3, LH2, HL2, HH2, LH, HL, HH)으로 분류된다.
또 다른 일 예로, 3 단계의 웨이브릿 변환은, 상기 2 단계에서 완전한 저주파 성분으로 분류된 블록(LLL)을 또 다시 한번, 완전한 저주파 성분(LLLL)의 블록과, 저주파에 근거한 고주파 성분(LLLH)의 블록과, 고주파에 근거한 저주파 성분(LLHL)의 블록과, 완전한 고주파 성분(LLHH)의 블록에 의한 4개 블록으로 구분하므로, 총 10개의 블록(LLLL, LLLH, LLHL, LLHH, LLH, LHL, LHH, LH, HL, HH)으로 분류된다.
상기와 같이 각 스텝에 의한 웨이브릿 변환상태는, 상기 첨부된 도6에 상세히 도시되어 있으며, 상기와 같이 스텝을 높일수록 순수한 저주파 영역의 에너지를 집중시킬 수 있어 압축률을 높일 수 있으나, 압축계산량이 많아지고 압축시간이 많이 소요되므로, 반복된 시험결과 적정한 스텝값을 결정하여 제한 설정한다.
본 발명의 실험 예에 의하면, 일반적으로 3 내지 5의 스텝값이 적정하지만, 영상의 크기에 따라 변한다.
상기 웨이브릿 변환부(32)에 의하여 분리된 저주파 블록의 영상신호는 디피시엠부(34)에 인가되고 고주파 블록의 영상신호는 그래뉼러 양자부(35)에 인가되며, 상기와 같이 초기양자부(33)에서도 스텝값과 양자화 레벨값을 인가받고 저주파 블록과 고주파 블록의 양자화값을 각각 디피시엠부(34)와 그래뉼러양자부(35)에 출력한다.
상기 첨부된 도4를 참조하여, 상기 디피시엠부를 설명하면, 인가되는 저주파 블록 영상신호는 블록선형예측부(341)에 인가되어 다음 식을 이용한 계수값을 연산 출력하고, 상기 계수값은 계수양자부(342)에 인가되어 양자화 상태로 출력된다.
(수학식)
Px = aㆍL + bㆍUp + cㆍUpL
상기 식에서 a,b,c 는 선형 예측 계수값이고, a+b+c=1의 값이 되며, L은 왼쪽에 인접한 픽셀(PIXEL)의 값이며, Up는 위쪽에 인접한 픽셀의 값이고, UpL은 위 왼쪽에 인접한 픽셀의 값을 나타낸다.
상기와 같이 구한 계수값을 인가받은 픽셀선형예측부(343)는, 현재 픽셀의 예측값을 구하여 정정부(345)에 인가하며, 상기 순화부(344)는 입력되는 저주파 블록 영상신호의 x 축 픽셀과 인접한 픽셀이 유사한지 유사하지 않은지를 분석 판단하여 차등부(346)에 인가하는 동시에 상기 정정부(345)에 인가한다.
상기 정정부(345)는 상기 선형 예측한 값과 순화부(344)로부터 인가된 값을 대비 연산하여 예측된 픽셀값을 사용할지 또는, 사용하지 않을지를 결정하여 상기 차등부(346)에 인가하고, 상기 차등부(346)는, 저주파 블록으로 입력된 영상신호와 예측된 픽셀에 의한 영상신호값의 차이를 연산하여 출력한다.
상기 차등부(346)로부터 출력되는 저주파 블록의 영상신호는, 스칼라양자부(347)에 인가되며, 상기 스칼라 양자부(347)는 인접한 픽셀에 관계없이 자체 픽셀의 값을 양자화하여 출력하며, 상기 블록오류정정부(348)는, 양자화 오류 데이터 값을 검출하여 출력한다.
상기 그래뉼러 양자부(35)는 인가되는 고주파 블록 영상신호를 서브블록 분배부(351)에서 입력하여 다수의 서브블록으로 분배하며, 상기 서브블록은, 일 예로, 4개의 픽셀로 구성되지만 가변적이다.
상기와 같이 다수의 서브블록으로 나누어진 고주파 블록의 영상신호는 분류부(352)에 인가되어 해당 양자화 값을 연산하므로, 시그니피컨트(SIGNIFICANT) 블록과 인시그니피컨트(IN-SIGNIFICANT) 블록으로 분류하며, 시그니피컨트 블록으로 분류된 영상신호만을 양자부(353)에 인가하여 양자화 처리 및 출력한다.
상기와 같이 디피시엠부(34)와 그래뉼러양자부(35)로부터 양자화되어 출력된 영상신호는 비트 매트릭스 인코더부(36)에 인가되어 설정된 양자화 값 이상의 값을 갖는 픽셀을 디지털 1의 값으로 변환하고, 그렇지 않은 픽셀은 디지털 0의 값으로 변환하므로 압축상태로 출력하며, 상기와 같이 압축되어 출력되는 영상신호는 엔트로피 인코더부(37)에 인가되어 허프만 코더(HUFFMAN CODER)를 사용한 최종 압축된 영상신호로 출력된다.
상기 궤환부(40)는 상기 스트라이프 인코더부(30)로부터 출력되는 영상신호를 입력단에 다시 궤환 인가하고, 현재의 정보를 예측하는데 사용하도록 하므로, 압축의 오차 발생을 줄이는 동시에 압축률과 화질을 높인다.
따라서, 상기와 같은 구성의 본 발명은, 입력되는 영상신호를 다수의 스트라이프 블록으로 분배하고, 각 스트라이프 블록을 설정된 스텝에 의하여 웨이브릿 변환하는 동시에 허프만 코더 변환하므로, 압축에 사용되는 메모리의 크기를 줄이고, 계산량을 줄이며 영상신호의 품질을 유지하는 장점이 있다.
이하, 상기 첨부된 도5를 참조하여, 본 발명에 의한 휴대단말기의 영상신호 압축 코딩방법을 설명한다.
이동통신용 휴대단말기에 입력되는 영상신호를 다수의 스트라이프 블록 (STRIPE BLOCK)으로 분할하고 설정된 단계에 의하여 웨이브릿 변환(WAVELET TRANSFORM)하므로 저주파(LOW FREQUENCY) 블록의 영상신호와 다수 고주파(HIGH FREQUENCY) 블록의 영상신호로 구분하고, 상기 저주파 블록의 영상신호는 디피시엠(DPCM) 방식으로 압축하고, 상기 고주파 블록의 영상신호는 그래뉼러(GRANULAR) 방식으로 압축하며, 상기 압축된 스트라이프 블록을 허프만 코드(HUFFMAN CODE) 방식으로 압축하여 출력하는 일련의 과정으로 이루어진다.
상기 일련의 과정을 다시 설명하면, 휴대단말기가 입력되는 영상신호를 압축하는 경우에 다수의 스트라이프로 분할하는 것으로, 영상신호를 입력하고 압축할 것인지 판단하는 과정(S100); 상기 과정(S100)에서 입력되는 영상신호를 압축하는 경우, 임의 설정된 숫자의 블록으로 분할하는 과정(S110)으로 이루어지는 스트라이프 과정과,
상기 스트라이프 과정에서 분할된 스트라이프 영상신호의 웨이브릿 변환 단계를 설정하여 변환하고 고주파와 저주파 블록의 영상신호로 구분 출력하는 것으로, 인가되는 스트라이프 영상신호의 크기에 비례하여 웨이브릿 변환 단계(STEP)를 자동 설정하는 과정(S120); 상기 과정(S120)에서 설정된 단계에 의하여 스트라이프 영상신호를 웨이브릿 변환하여 고주파 블록 영상신호와 저주파 블록 영상신호로 구분하는 과정(S130)으로 이루어지는 웨이브릿 과정과,
상기 웨이브릿 과정의 저주파 블록 영상신호는 디피시엠 방식으로 양자처리하며 고주파 블록 신호는 그래뉼러 방식 양자처리하고 허프만 코드로 압축 출력하는 것으로, 저주파(LOW FREQUENCY) 블록 영상신호를 디피시엠(DPCM) 방식으로 양자 화 처리하고, 고주파(HIGH FREQUENCY) 블록 영상신호는 그래뉼러(GRANULAR) 방식으로 양자화 처리하여 압축하는 과정(S140); 상기 과정(S140)에서 압축된 영상신호를 허프만 코드(HUFFMAN CODE) 방식으로 압축하여 출력하는 과정(S150)으로 이루어지는 허프만과정으로 구성된다.
이하, 상기와 같은 구성의 본 발명에 의한 것으로, 휴대단말기의 영상신호 압축 코딩방법을 첨부된 도면을 참조하여 상세히 설명한다.
휴대단말기에서 입력되는 영상신호를 압축하고자 하는 경우(S100), 입력되는 영상신호를 다수의 스트라이프(STRIPE)로 분할하여 순차 출력하고(S110), 상기 분할된 각 스트라이프의 데이터 크기를 분석하여 웨이브릿 변환할 스텝(STEP) 값을 제한된 범위 안에서 자동으로 설정한다(S120).
상기 스텝값의 최고값 제한은, 스텝값이 높을수록 압축률을 높일 수 있으나, 계산량이 많아지고, 압축시간이 길어지므로 반복된 실험에 의하여 얻어진 적정값이 넘지 않도록 제한한다.
상기 과정(S120)에서 설정된 스텝값으로 입력된 스트라이프 블록을 웨이브릿 변환하여 고주파 블록과 저주파 블록의 영상신호로 구분 출력하며(S130), 상기 저주파 블록으로 구분된 영상신호는 디피시엠 방식으로 양자화 처리하고, 고주파 블록으로 구분된 영상신호는 그래뉼러 양자화 처리 및 압축하고(S140), 상기 과정(S140)에 의하여 양자화 처리되고 압축된 영상신호는 허프만 코드 방식으로 또 한번 압축하여 출력한다(S150).
따라서, 상기와 같은 구성의 본 발명은, 휴대단말기에서 입력되는 영상신호 를 다수의 스트라이프로 분류하고, 자동 설정된 스텝값에 의하여 웨이브릿 변환하며 고주파 블록은 그래뉼러 양자화 방식으로, 저주파 블록은 디피시엠 방식으로 양자화하고, 다시 허프만 코드 방식으로 압축하므로, 소요되는 메모리의 크기를 작게하고, 영상신호의 품질을 유지하면서 압축 계산량을 줄이는 장점이 있다.
상기와 같은 구성의 본 발명은, 휴대단말기에 입력되는 영상신호를 다수의 스트라이프로 분리하고, 웨이브릿 변환과 호프만 코더 방식을 이용하여 압축하므로 소요되는 메모리의 크기를 작게하고 압축계산량을 줄이는 산업적 이용효과가 있다.
또한, 메모리를 작게 사용하므로, 휴대단말기의 크기를 줄이고, 계산량을 줄이므로, 영상신호의 품질을 유지한 상태에서 압축을 신속하게 하여 압축의 신뢰성을 제고하는 사용상 편리한 효과가 있다.

Claims (10)

  1. 휴대단말기가 촬영한 영상신호를 입력하고 선택된 숫자의 스트라이프 블록으로 분할하여 순차 출력하는 스트라이프 블록부와,
    상기 스트라이프 블록부로부터 인가되는 영상신호의 색상을 인간의 시각특성에 적합하게 변환하는 색상변환부와,
    상기 색상변환부로부터 인가되는 스트라이프 블록 단위의 영상신호를 웨이브릿 변환 압축하여 출력하는 스트라이프 인코더부와,
    상기 스트라이프 인코더부로부터 출력되는 신호를 궤환시켜 다시 입력하므로 압축 오차를 줄이는 궤환부가 포함되어 이루어지는 구성을 특징으로 하는 휴대단말기의 영상신호 압축 코딩장치.
  2. 제1 항에 있어서,
    상기 스트라이프 블록부는, 휴대단말기가 촬영하여 입력한 영상신호를 사용자가 선택한 숫자의 스트라이프 블록으로 분할하고 해당 순차에 의하여 모두 출력하는 구성이고,
    상기 색상변환부는, 상기 스트라이프 블록부에 접속하고, 분할되어 입력되는 스트라이프 블록 영상신호를 색상 변화에 민감한 알지비 색상으로부터 밝기에 민감하고 인간의 시각적 특성에 적합한 와이유브이 색상으로 변환하여 출력하는 구성으로 이루어지는 것을 특징으로 하는 휴대단말기의 영상신호 압축 코딩장치.
  3. 제1 항에 있어서, 상기 스트라이프 인코더부는,
    상기 색상변환부에 접속하고 입력되는 영상신호의 크기에 의하여 웨이브릿 스텝을 자동 설정하는 스텝설정부와,
    상기 색상변환부로부터 스트라이프 영상신호와 스트라이프 상태 신호를 인가받고, 상기 스텝설정부로부터 설정 인가되는 스텝 값으로 웨이브릿 변환하며, 저주파 블록 영상신호와 고주파 블록 영상신호로 분리하여 각각 출력하는 웨이브릿 변환부와,
    상기 색상변환부로부터 양자화 레벨을 인가받고, 상기 스텝설정부로부터 설정 인가되는 스텝 값으로 양자화하며, 저주파 블록 영상신호와 고주파 블록 영상신호로 분리하여 각각 출력하는 초기양자부와,
    상기 웨이브릿 변환부와 초기양자부로부터 저주파 블록 영상신호를 인가받고 디피시엠 방식으로 처리하여 압축하는 디피시엠부와,
    상기 웨이브릿 변환부와 초기양자부로부터 고주파 블록 영상신호를 인가받고 그래뉼러 양자화 방식으로 처리하여 압축하는 그래뉼러 양자부와,
    상기 디피시엠부와 그래뉼러 양자부로부터 입력된 영상신호의 위치정보를 선택된 기준에 의한 중요도를 판단 변환하는 비트 매트릭스 인코더부와,
    상기 비트 매트릭스 인코더부의 영상신호를 입력하고 허프만 코드 방식으로 압축하는 엔트로피 인코더부가 포함되어 이루어지는 구성을 특징으로 하는 휴대단말기의 영상신호 압축 코딩장치.
  4. 제3 항에 있어서, 상기 디피시엠부는,
    상기 웨이브릿 변환부와 초기 양자부로부터 인가되는 저주파 블록 영상신호를 입력하고 계수값을 구하여 선형성을 예측하는 블록선형예측부와,
    상기 블록선형예측부로부터 인가되는 계수값을 양자화하여 출력하는 계수양자부와,
    상기 계수양자부로부터 인가되는 신호를 분석하여 픽셀에 대한 선형 예측값을 구하는 픽셀선형예측부와,
    상기 웨이브릿 변환부와 초기 양자부로부터 인가되는 저주파 블록 영상신호를 입력하고 이전의 값과 현재의 값이 유사한 값인지를 대비 판단하는 순화부와,
    상기 순화부로부터 인가되는 신호에 의하여 상기 픽셀선형예측부의 신호를 선택하는 정정부와,
    상기 웨이브릿 변환부와 초기 양자부로부터 인가되는 저주파 블록 영상신호를 상기 정정부의 신호와 대비하여 차이값을 연산하는 차등부와,
    상기 차등부로부터 인가되는 영상신호의 각 픽셀을 양자화하여 출력하는 스칼라양자부와,
    상기 스칼라양자부로부터 인가되는 신호의 블록 오류를 정정하여 오류가 발생한 데이터를 출력하는 블록오류정정부가 포함되어 이루어지는 구성을 특징으로 하는 휴대단말기의 영상신호 압축 코딩장치.
  5. 제3 항에 있어서, 상기 그래뉼러 양자부는,
    상기 웨이브릿 변환부와 초기 양자부로부터 인가되는 고주파 블록 영상신호를 다수의 서브 블록으로 나누는 분배부와,
    상기 분배부로부터 인가되는 영상신호를 중요한 블록과 중요하지 않은 블록으로 구분하여 출력하는 분류부와,
    상기 분류부로부터 인가되는 영상신호를 양자화하여 출력하는 양자부가 포함되어 이루어지는 구성을 특징으로 하는 휴대단말기의 영상신호 압축 코딩장치.
  6. 휴대단말기에 입력되는 영상신호를 다수의 스트라이프 블록으로 분할하고 설정된 단계에 의하여 웨이브릿 변환하므로 저주파 블록의 영상신호와 다수 고주파 블록의 영상신호로 구분하고, 상대적으로 영상의 중요 부분을 포함하는 상기 저주파 블록의 영상신호는 디피시엠 방식으로 압축하고, 상기 고주파 블록의 영상신호는 그래뉼러 방식으로 압축하며, 상기 압축된 스트라이프 블록을 압축하여 출력하는 일련의 과정으로 이루어지는 것을 특징으로 하는 휴대단말기의 영상신호 압축 코딩방법.
  7. 휴대단말기가 입력되는 영상신호를 압축하는 경우에 다수의 스트라이프로 분할하는 스트라이프 과정과,
    상기 과정에서 분할된 스트라이프 영상신호의 웨이브릿 변환 단계를 설정하여 변환하고 고주파와 저주파 블록의 영상신호로 구분 출력하는 웨이브릿 과정과,
    상기 과정의 저주파 블록 영상신호는 디피시엠 방식으로 양자화 처리하며 고주파 블록 신호는 그래뉼러 방식 양자화 처리하고 압축하여 출력하는 허프만과정으로 이루어지는 것을 특징으로 하는 휴대단말기의 영상신호 압축 코딩방법.
  8. 제7 항에 있어서, 상기 스트라이프 과정은,
    상기 휴대단말기에 의하여 영상신호를 입력하고 압축할 것인지 판단하는 과정과,
    상기 과정에서 입력되는 영상신호를 압축하는 경우, 임의 설정된 숫자의 블록으로 분할하는 과정으로 이루어지는 것을 특징으로 하는 휴대단말기의 영상신호 압축 코딩방법.
  9. 제7 항에 있어서, 상기 웨이브릿 과정은,
    상기 스트라이프 과정에서 분할되어 인가되는 스트라이프 영상신호의 크기에 비례하여 웨이브릿 변환 단계를 자동 설정하는 과정과,
    상기 과정에서 설정된 단계에 의하여 스트라이프 영상신호를 웨이브릿 변환하여 고주파 블록 영상신호와 저주파 블록 영상신호로 구분하는 과정으로 이루어지는 것을 특징으로 하는 휴대단말기의 영상신호 압축 코딩방법.
  10. 제7 항에 있어서, 상기 허프만 과정은,
    상기 웨이브릿 과정에서 변환된 저주파 블록 영상신호를 디피시엠 방식으로 양자화 처리하고, 고주파 블록 영상신호는 그래뉼러 방식으로 양자화 처리하여 압축하는 과정과,
    상기 과정에서 압축된 영상신호를 허프만 코드 방식으로 압축하여 출력하는 과정으로 이루어지는 것을 특징으로 하는 휴대단말기의 영상신호 압축 코딩방법.
KR1020050027348A 2005-03-31 2005-03-31 휴대단말기의 영상신호 압축 코딩장치 및 방법 KR100677446B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020050027348A KR100677446B1 (ko) 2005-03-31 2005-03-31 휴대단말기의 영상신호 압축 코딩장치 및 방법
US11/394,468 US8249367B2 (en) 2005-03-31 2006-03-30 Apparatus and method for encoding an image for a mobile telecommunication handset

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050027348A KR100677446B1 (ko) 2005-03-31 2005-03-31 휴대단말기의 영상신호 압축 코딩장치 및 방법

Publications (2)

Publication Number Publication Date
KR20060104863A KR20060104863A (ko) 2006-10-09
KR100677446B1 true KR100677446B1 (ko) 2007-02-02

Family

ID=37186971

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050027348A KR100677446B1 (ko) 2005-03-31 2005-03-31 휴대단말기의 영상신호 압축 코딩장치 및 방법

Country Status (2)

Country Link
US (1) US8249367B2 (ko)
KR (1) KR100677446B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8588536B2 (en) * 2010-02-22 2013-11-19 Texas Instruments Incorporated Guaranteed-rate tiled image data compression
JP5875236B2 (ja) * 2011-03-09 2016-03-02 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
WO2020006293A1 (en) 2018-06-28 2020-01-02 Apple Inc. Video encoding system

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR960028470A (ko) * 1994-12-28 1996-07-22 배순훈 웨이브렛 변환을 이용한 영상신호의 계층적 대역분활 부호화장치

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5212742A (en) * 1991-05-24 1993-05-18 Apple Computer, Inc. Method and apparatus for encoding/decoding image data
US6229927B1 (en) * 1994-09-21 2001-05-08 Ricoh Company, Ltd. Reversible embedded wavelet system implementation
US5881176A (en) * 1994-09-21 1999-03-09 Ricoh Corporation Compression and decompression with wavelet style and binary style including quantization by device-dependent parser
JPH11330975A (ja) * 1998-05-21 1999-11-30 Rohm Co Ltd Wavelet符号化方式及び装置
US6944350B2 (en) * 1999-12-17 2005-09-13 Utah State University Method for image coding by rate-distortion adaptive zerotree-based residual vector quantization and system for effecting same
JP4208378B2 (ja) * 2000-03-10 2009-01-14 キヤノン株式会社 画像処理装置及び方法及び記録媒体
KR100355829B1 (ko) * 2000-12-13 2002-10-19 엘지전자 주식회사 영상의 공간적 유사성을 이용한 dpcm 영상 부호화 장치
US7057671B2 (en) * 2002-01-30 2006-06-06 At & T Corp Image and video processing with chrominance attenuation
JP3743384B2 (ja) * 2002-04-19 2006-02-08 ソニー株式会社 画像符号化装置及び方法、並びに画像復号装置及び方法
US7330596B2 (en) * 2002-07-17 2008-02-12 Ricoh Company, Ltd. Image decoding technique for suppressing tile boundary distortion
FI114071B (fi) * 2003-01-13 2004-07-30 Nokia Corp Kuvien käsitteleminen rajoitetulla bittimäärällä
JP2005229441A (ja) * 2004-02-13 2005-08-25 Sony Corp 画像符号化装置及び方法、並びに画像復号装置及び方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR960028470A (ko) * 1994-12-28 1996-07-22 배순훈 웨이브렛 변환을 이용한 영상신호의 계층적 대역분활 부호화장치

Also Published As

Publication number Publication date
US20060239565A1 (en) 2006-10-26
US8249367B2 (en) 2012-08-21
KR20060104863A (ko) 2006-10-09

Similar Documents

Publication Publication Date Title
KR100880039B1 (ko) 웨이블릿 기반 이미지 코덱에서의 부호화 이득을 달성하는방법 및 시스템
RU2434360C2 (ru) Адаптивное кодирование режима прогнозирования видеоблоков
US8588536B2 (en) Guaranteed-rate tiled image data compression
US7970224B2 (en) Efficient rate allocation for multi-resolution coding of data
US8463056B2 (en) Information processing apparatus and information processing method that decode a portion of a code stream
JP4084826B2 (ja) イメージ圧縮デバイス及びその方法
EP1216454B1 (en) Method and system for compressing image data, with wavelet transform and quadtree coding, for telecommunication
JP2000506686A (ja) オーバラップブロック動き補償及びゼロツリーウェーブレット符号化を用いる低ビットレートビデオ符号化器
US6993199B2 (en) Method and system for improving coding efficiency in image codecs
US20080137738A1 (en) Line-based video compression
KR100317279B1 (ko) 무손실부호화방법및장치
CN101964910A (zh) 基于码率型转码辅助的视频空间分辨率转换方法
KR100677446B1 (ko) 휴대단말기의 영상신호 압축 코딩장치 및 방법
US20030012431A1 (en) Hybrid lossy and lossless compression method and apparatus
US20050244068A1 (en) Encoding method, decoding method, encoding device, and decoding device
KR101421231B1 (ko) 웨이블릿 변환을 이용한 영상 압축 장치
KR100938498B1 (ko) 코드블록 노이즈 분산의 변화를 최소화하는 jpeg2000스테가노그라피 장치 및 그 방법
WO2010064569A1 (ja) 動画像データの圧縮方法
JP2004048212A (ja) デジタル画像符号化装置および符号化方法ならびにプログラム
Chou et al. Perceptually optimized rate control for JPEG2000 coding of color images
Gershikov et al. Correlation VS. decorrelation of color components in image compression—Which is preferred?
JPH09107548A (ja) 画像圧縮装置および画像圧縮方法
CN1843035A (zh) 使用预解码器的可伸缩视频编码方法和设备
Watanabe et al. Lossless JPEG2000 coding for lossy images and its applications

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121227

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20131224

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20141224

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20151224

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee