JPH05191770A - 撮像装置 - Google Patents

撮像装置

Info

Publication number
JPH05191770A
JPH05191770A JP4018453A JP1845392A JPH05191770A JP H05191770 A JPH05191770 A JP H05191770A JP 4018453 A JP4018453 A JP 4018453A JP 1845392 A JP1845392 A JP 1845392A JP H05191770 A JPH05191770 A JP H05191770A
Authority
JP
Japan
Prior art keywords
data
image pickup
signal
solid
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP4018453A
Other languages
English (en)
Other versions
JP3095507B2 (ja
Inventor
Akira Suga
章 菅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP04018453A priority Critical patent/JP3095507B2/ja
Publication of JPH05191770A publication Critical patent/JPH05191770A/ja
Application granted granted Critical
Publication of JP3095507B2 publication Critical patent/JP3095507B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

(57)【要約】 【目的】 記憶手段の容量を大幅に縮小し、装置のコス
トを削減する。 【構成】 固体撮像素子101に蓄積した露光電荷信号
をAD変換し、可逆的なデータ圧縮手段3によって符号
化したデータを一旦記憶手段2に記憶し、所定量毎デー
タを復号化して信号処理を施した後、記録手段207に
記録する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は撮像装置に係り、特に静
止画の撮像に適した撮像装置に関する。
【0002】
【従来の技術】図6は静止画をメモリカードに記録する
従来の撮像装置の構成例を示した図である。図6におい
て、101は光学像を電気信号に変換するセンサーとし
て用いる固体撮像素子、300は固体撮像素子101に
光学像を結像するレンズ、201は固体撮像素子101
に入射する光量を調整する絞り、202は固体撮像素子
101の露光時間を調整するシャッター、203は固体
撮像素子101の出力をデジタル信号に変換するAD変
換回路、204はデジタル信号に変換された固体撮像素
子101の1フレーム分の信号を一旦記憶する記憶手段
となるフレームメモリ、205はフレームメモリ204
に記憶された固体撮像素子101の出力信号からとなり
あう少なくとも2ライン以上のデータを取り出して輝度
信号と色差信号とを演算によって作る記録信号処理回
路、206は記録信号処理回路205によって作られた
輝度信号および色差信号を符号化し、データ圧縮する画
像圧縮回路、207は画像を記録するために半導体メモ
リによって構成された記録手段となるメモリカード、2
08はメモリカード207から読みだした符号化された
画像データを伸長する画像伸長回路、209は伸長され
た輝度信号及び色信号を外部のモニタに表示するための
再生信号処理回路である。210は撮像素子の動作を制
御するシステムコントローラであり、211は撮影シー
クエンスを開始するトリガスイッチである。
【0003】図7は図6の撮像装置によって、静止画を
記録するシークエンスを示した図である。時刻T0でト
リガスイッチ211がオンされると、一連の静止画記録
シークエンスが開始される。まず、時刻T0からT1の
間に、固体撮像素子101に蓄積されていた暗電荷の転
送除去が行われ、次に図示されない測光素子による測光
動作が行われ、適正な露光秒時と露光絞りが設定され
る。次に時刻T2からT3において、シャッター202
が開かれ固体撮像素子101への露光動作が行われる。
次にシャッター202が時刻T3に閉じられると固体撮
像素子101より露光信号電荷の読みだしが行われる。
固体撮像素子101より読み出された信号はAD変換回
路203によってデジタル信号に変換され、1フレーム
分の信号は一旦フレームメモリ204に記憶される。次
に時刻T4にて露光信号の読みだしが終了すると、時刻
T4からT5にかけて一旦フレームメモリ204に記憶
された信号が読み出され、記録信号処理回路205によ
って固体撮像素子101のとなりあう数画素のデータよ
り、輝度信号及び色差信号が演算によって求められる。
この輝度信号及び色差信号は画像圧縮回路206によっ
てJPEG規格によって規定される手段などによって符
号化データ圧縮され、メモリカード207に記録され
る。
【0004】図8は、よく用いられる固体撮像素子の一
例としてのインターライン型CCDの説明図である。図
8において、101はインターライン型CCDである固
体撮像素子、102は光を電荷に変えて蓄積するフォト
ダイオード、103はフォトダイオード102から移さ
れた電荷を1Hに1段ずつ垂直に転送する垂直CCDで
ある。V1〜V4は垂直CCD103の転送電極であ
り、V1はフォトダイオード102の奇数行の電荷を垂
直CCD103に転送する転送ゲートをかねている。ま
た、V3は同様に偶数行のフォトダイオード102に対
応する転送ゲートとなっている。垂直CCD103は転
送電極V1〜V4に加えられる4相の転送パルスで駆動
される。104は垂直CCD103より1Hに1段転送
されてくる電荷を水平に転送する水平CCDである。H
1,H2は水平CCD104の転送電極であり、2相の
パルスで駆動される。105は電荷を電圧に変換し出力
する出力アンプ(FDA)である。VOUTは出力端子
である。106は不要電荷を掃き捨てるためのトップド
レインである。
【0005】図9は図8のインターライン型CCDの読
みだしタイミングを示した図である。時刻t1に垂直ブ
ランキング期間になり、時刻t2に転送電極V1の電位
がHiレベルになって転送ゲートが開くことによってフ
ォトダイオード102の奇数行の電荷が垂直CCD10
3に転送される。時刻t3から垂直CCD103の電荷
が1水平期間に1段水平CCD104の方向へ転送さ
れ、水平CCD104に転送された電荷は高速転送され
てFDA105で電圧に変換されて出力される。全奇数
ラインの電荷の読みだしは時刻t4に終了する。
【0006】次に垂直ブランキング期間の時刻t5から
転送電極V3の電位がHiレベルになって偶数ラインの
フォトダイオード102の電荷が垂直CCD103に転
送され、時刻t6から1水平期間に1ライン水平CCD
104に転送され同様に高速転送されて出力される。
【0007】図10はカラー信号を撮像するために固体
撮像素子101の各受光素子上に一色づつ対応されて設
けられるカラーフィルタの色配列を示す図であり、一般
的によく用いられる色配列を図10(a)に示す。
【0008】図10(a)において、記号Yeは黄色、
Cyはシアン、Mgはマゼンタ、Gは緑を示している。
またF1:nは第1フィールドのnライン目の信号とし
て読み出されることを示し、F2:nは第2フィールド
のnライン目に読み出される信号であることを示してい
る。同様にF1:n+1は第1フィールドのn+1ライ
ン目の信号として読み出されることを示し、F2:n+
1は第2フィールドのn+1ライン目に読み出される信
号であることを示している。輝度信号及び色差信号を取
り出すために必要な演算の例を図10(b)に示してい
る。輝度信号および色差信号はYe,Cy,Mg,Gの
4色の信号より得られるため、フレームメモリ204か
ら信号を読み出す際に、例えば第1フィールドのnライ
ン目の信号と第2フィールドのnライン目の信号とを同
時に読みだして演算することによってn′ライン目の輝
度信号および色差信号を、第2フィールドのnライン目
の信号と第1フィールドのn+1ライン目の信号とを同
時に読みだして演算することによってn′+1ライン目
の輝度信号および色差信号を順次得て、n′,n′+
1,n′+2,…というノンインターレースの走査線に
対応した輝度信号及び色差信号を得る。このように固体
撮像素子101からインターレースで読み出された信号
をノンインターレースに変換し、となりあう走査線の画
素情報を得るためにフレームメモリ204が必要になる
のであるが、このフレームメモリ204は固体撮像素子
101の全画素情報を記憶すること、1画素毎の画素情
報のAD変換の精度は10bit必要であること等から
大容量なものとなり、撮像装置のコストを増大させる原
因となっている。
【0009】
【問題点を解決するための手段】本願第1の発明の撮像
装置は、固体撮像素子に蓄積した露光電荷信号をAD変
換し、可逆的なデータ圧縮手段によって符号化したデー
タを一旦記憶手段に記憶し、所定量毎データを復号化し
て信号処理を施した後、記録手段に記録することを特徴
とする。
【0010】本願第2の発明の撮像装置は、固体撮像素
子に蓄積した露光電荷信号をAD変換し、第1の可逆的
なデータ圧縮手段によって符号化したデータを一旦記憶
手段に記憶し、所定量毎データを復号化して信号処理を
施した後、第2の可逆的なデータ圧縮手段もしくは非可
逆的なデータ圧縮手段により、可逆的なデータ圧縮もし
くは非可逆的なデータ圧縮を行った後に、記録手段に記
録することを特徴とする。
【0011】
【作用】本願第1の発明は、固体撮像素子の画素情報を
記憶手段に記憶する際に、可逆的なデータ圧縮手段によ
ってデータ量を圧縮して一旦記憶手段に記憶し、処理に
必要なデータを記憶手段より読みだしデータ伸長を行っ
た後に、信号処理を行って輝度信号および色差信号の演
算を行うようにすることによって記憶手段の容量を小さ
くするものである。
【0012】本願第2の発明は、固体撮像素子の画素情
報を記憶手段に記憶する際に、可逆的なデータ圧縮手段
によってデータ量を圧縮して一旦記憶手段に記憶し、処
理に必要なデータを記憶手段より読みだしデータ伸長を
行った後に、信号処理を行って輝度信号および色差信号
の演算を行うようにし、更に可逆的データ圧縮もしくは
非可逆的データ圧縮を行った後に、記録手段に記録する
ことで、記憶手段及び記録手段の容量を小さくするもの
である。
【0013】
【実施例】以下、本発明の実施例について図面を用いて
詳細に説明する。
【0014】図1は本発明の撮像装置の一実施例を示す
ブロック図である。なお、図6と同一機能を有するブロ
ック構成部には同一番号を付し、説明を一部省略する。
【0015】図1において、3は可逆的にデータを圧縮
する手段を備えた画像圧縮回路である。SW1は画像圧
縮回路3の入力を切り替えるスイッチで、a側では記録
信号処理回路205の出力が、b側ではAD変換回路2
03の出力が接続される。2は画像圧縮回路3で可逆的
に圧縮されたデータを記憶する記憶手段となるフレーム
メモリである。SW2は画像圧縮回路3の出力を切り替
えるスイッチであり、a側ではフレームメモリ2に、b
側では記録手段となるメモリカード207に接続され
る。
【0016】また、4は圧縮されたデータを伸長する画
像伸長回路である。1は隣接する2ライン分の伸長され
たデータを記憶する2ラインバッファメモリである。S
W3は画像伸長回路4の入力を切り替えるスイッチであ
り、a側ではメモリカード207の出力が、b側ではフ
レームメモリ2の出力が画像伸長回路4に接続される。
SW4は画像伸長回路4の出力を切り替えるスイッチで
あり、a側では2ラインバッファメモリ1に、b側では
再生信号処理回路209に接続される。
【0017】図3は画像圧縮回路3と画像伸長回路4の
構成を示した図である。図3において、画像圧縮回路3
は可逆な圧縮を行う系と非可逆な圧縮を行う系で構成さ
れる。5は入力画像に2次元DCT演算を行って画像を
2次元の空間周波数成分に分けるDCT演算回路であ
る。6はDCT係数を量子化する量子化回路、7は量子
化されたDCT係数をハフマン符号化するエントロピー
エンコーダである。DCT演算回路5、量子化回路6、
エントロピーエンコーダ7によって非可逆的な画像圧縮
が行われる。また、8は予測器であり、ある画素のデー
タの予測を1画素前のデータによって行う、9はエント
ロピーエンコーダであり、ある画素と予測器8によって
予測した画素の差分をハフマン符号化する。このように
予測器8とエントロピーエンコーダ9とによって可逆的
なデータ圧縮が行われる。SW5は可逆な圧縮動作を行
うか非可逆的な圧縮動作を行うかを選択するスイッチ
で、a側では可逆的な圧縮が、b側では非可逆的な圧縮
動作が選択される。
【0018】画像伸長回路4は可逆な伸長を行う系と非
可逆な伸長を行う系で構成される。エントロピーデコー
ダ10と復号器11は可逆圧縮されたデータをエントロ
ピーエンコーダ9、予測器8と逆の動作で復号化する。
またエントロピーデコーダ12と逆量子化回路13、逆
DCT演算回路14はDCT演算回路5、量子化回路
6、エントロピーエンコーダ7と逆の動作で圧縮された
データを復号化する。SW6は可逆な伸長動作を行うか
非可逆的な伸長動作を行うかを選択するスイッチで、a
側では可逆的な伸長が、b側では非可逆的な伸長動作が
選択される。
【0019】図2は上記実施例の動作タイミングを説明
する図である。図2と図1、図3に基づいて上記実施例
の動作について説明する。図2において、時刻T0にト
リガスイッチ211がオンされると、まず固体撮像素子
101の暗電荷が除去され撮影動作が開始される。時刻
T1からT2にかけて図示されない測光センサーによっ
て測光動作が行われ適正な絞りとシャッタースピードが
設定される。時刻T2からT3にかけてシャッター20
2が開かれ露光信号電荷が蓄積される。時刻T3にはシ
ャッター202が閉じられて、時刻T3からT4にかけ
固体撮像素子101から露光信号電荷が読み出されるが
その際、スイッチSW1をb側に、スイッチSW2をa
側に、スイッチSW5をa側に設定することによって、
固体撮像素子101の出力信号は図4に示すような方法
で可逆的にデータ圧縮されフレームメモリ2に記憶され
る。
【0020】図4は固体撮像素子101の画素データの
可逆的な圧縮方法を施す方法の説明図であり、図4
(a)は図10と同じ配列の色フィルタであるが第1フ
ィールドのnライン目の信号と第2フィールドのnライ
ン目の信号とに説明のための番号が付してある。図4
(b)は可逆的な圧縮を行う手法の例で1画素前のデー
タを予測値とし隣接画素間の値の差をとってさらにハフ
マン符号化を行いデータ量を圧縮する。画素間の差分を
とる際は、図4(c)に示すように相関の高い同色同士
の差をとる。次に時刻T4からT5にかけてフレームメ
モリ2に一旦記憶された圧縮データから隣接する2ライ
ンのデータ、例えば第1フィールドのnライン目の信号
と第2フィールドのnライン目の信号とを読みだし圧縮
と逆の動作によって伸長し2ラインバッファメモリ1に
読みだし、図10(b)に示したような演算を行って輝
度信号及び色差信号を演算し可逆的もしくは非可逆的な
手段によってデータ圧縮を行った後、メモリカード20
7に記録する。スイッチSW1はa側に、スイッチSW
2はb側に、スイッチSW3はb側に、スイッチSW4
はa側に、スイッチSW5は可逆的な圧縮を行うときは
a側に、非可逆的な圧縮を行うときはb側に設定され
る。再生出力を得る場合は、スイッチSW3をa側に、
スイッチSW4をb側に、スイッチSW6を可逆的なデ
ータ伸長を行うときはa側に、非可逆的な圧縮を行うと
きはb側にして、メモリカード207から符号化された
データを読み出し、再生信号処理回路209に入力す
る。
【0021】なお、通常前述したような可逆的な圧縮で
は圧縮後のデータ量は画像によって異なるがほとんどの
画像においては圧縮前のデータ量半分以下になるためフ
レームメモリの2の容量を従来例に比べて半分程度にす
ることができる。しかしながらフレームメモリ2の容量
を従来例の1/2以下しか持たない場合や、特殊なパタ
ーンの画像においては全データを書き込めなくなる可能
性がある。
【0022】図5は万が一フレームメモリ2の容量が不
足するようなことがあっても撮影ができるように改良し
た実施例のフローチャートである。すなわちフレームメ
モリ2の容量が不足した場合はメモリカード207の空
き容量にデータを書き込むようにすることによって、撮
影が可能になるようにしている。将来メモリカードのア
クセススピードが増大すれば、フレームメモリをなくし
常時一旦メモリカードに圧縮した固体撮像素子のデータ
を記憶するようにしてもよい。
【0023】
【発明の効果】本発明によれば、固体撮像素子の出力に
信号処理を施すために一時的に画素データを記憶するた
めの記憶手段(又は一時的に画素データを記憶するため
の記憶手段と信号処理されたデータを記録する記録手
段)の容量を大幅に縮小することができ装置のコストを
削減することが可能になる。
【図面の簡単な説明】
【図1】本発明の撮像装置の一実施例を示すブロック図
である。
【図2】上記実施例の動作タイミングを説明する図であ
る。
【図3】画像圧縮回路と画像伸長回路の構成を示した図
である。
【図4】固体撮像素子の画素データの可逆的な圧縮を施
す方法の説明図である。
【図5】フレームメモリの容量が不足する場合でも撮影
ができるように改良した実施例のフローチャートであ
る。
【図6】静止画をメモリカードに記録する従来の撮像装
置の構成例を示した図である。
【図7】図6の撮像装置によって、静止画を記録するシ
ークエンスを示した図である。
【図8】固体撮像素子の一例としてのインターライン型
CCDの説明図である。
【図9】図8のインターライン型CCDの読みだしタイ
ミングを示した図である。
【図10】固体撮像素子の各受光素子上に一色づつ対応
されて設けられるカラーフィルタの色配列を示す図であ
る。
【符号の説明】
2 フレームメモリ 3 画像圧縮回路 4 画像伸長回路 101 固体撮像素子 201 絞り 202 シャッター 203 AD変換回路 205 記録信号処理回路 207 メモリカード 209 再生信号処理回路 210 システムコントローラ 211 トリガスイッチ 300 レンズ

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 固体撮像素子に蓄積した露光電荷信号を
    AD変換し、可逆的なデータ圧縮手段によって符号化し
    たデータを一旦記憶手段に記憶し、所定量毎データを復
    号化して信号処理を施した後、記録手段に記録すること
    を特徴とする撮像装置。
  2. 【請求項2】 請求項1の撮像装置において、前記固体
    撮像素子は画素に対応してカラーフィルターアレーを備
    えており、前記可逆的なデータ圧縮手段による可逆的な
    圧縮は各色毎に予測符号化されることを特徴とする撮像
    装置。
  3. 【請求項3】 固体撮像素子に蓄積した露光電荷信号を
    AD変換し、第1の可逆的なデータ圧縮手段によって符
    号化したデータを一旦記憶手段に記憶し、所定量毎デー
    タを復号化して信号処理を施した後、第2の可逆的なデ
    ータ圧縮手段もしくは非可逆的なデータ圧縮手段によ
    り、可逆的なデータ圧縮もしくは非可逆的なデータ圧縮
    を行った後に、記録手段に記録することを特徴とする撮
    像装置。
  4. 【請求項4】 請求項3記載の撮像装置において、第1
    の可逆的なデータ圧縮手段が第2の可逆的なデータ圧縮
    手段を兼ねることを特徴とする撮像装置。
JP04018453A 1992-01-08 1992-01-08 データ圧縮・記録方法 Expired - Fee Related JP3095507B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP04018453A JP3095507B2 (ja) 1992-01-08 1992-01-08 データ圧縮・記録方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP04018453A JP3095507B2 (ja) 1992-01-08 1992-01-08 データ圧縮・記録方法

Publications (2)

Publication Number Publication Date
JPH05191770A true JPH05191770A (ja) 1993-07-30
JP3095507B2 JP3095507B2 (ja) 2000-10-03

Family

ID=11972052

Family Applications (1)

Application Number Title Priority Date Filing Date
JP04018453A Expired - Fee Related JP3095507B2 (ja) 1992-01-08 1992-01-08 データ圧縮・記録方法

Country Status (1)

Country Link
JP (1) JP3095507B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6188793B1 (en) 1996-03-19 2001-02-13 Mitsubishi Denki Kabushiki Kaisha Encoding apparatus, decoding apparatus, encoding method and decoding method
JP2002300591A (ja) * 2001-03-30 2002-10-11 Hitachi Ltd 半導体集積回路および撮像システム
US6636641B1 (en) 1996-03-19 2003-10-21 Mitsubishi Denki Kabushiki Kaisha Encoding apparatus, decoding apparatus, encoding method and decoding method
US6744925B2 (en) 1996-03-19 2004-06-01 Mitsubishi Denki Kabushiki Kaisha Encoding apparatus, decoding apparatus, encoding method, and decoding method
JP2008294689A (ja) * 2007-05-24 2008-12-04 Sony Corp 撮像装置、撮像回路、および撮像方法
JP2013012685A (ja) * 2011-06-30 2013-01-17 Canon Inc 半導体装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6188793B1 (en) 1996-03-19 2001-02-13 Mitsubishi Denki Kabushiki Kaisha Encoding apparatus, decoding apparatus, encoding method and decoding method
US6636641B1 (en) 1996-03-19 2003-10-21 Mitsubishi Denki Kabushiki Kaisha Encoding apparatus, decoding apparatus, encoding method and decoding method
US6744925B2 (en) 1996-03-19 2004-06-01 Mitsubishi Denki Kabushiki Kaisha Encoding apparatus, decoding apparatus, encoding method, and decoding method
US6754393B2 (en) 1996-03-19 2004-06-22 Mitsubishi Denki Kabushiki Kaisha Encoding apparatus, decoding apparatus, encoding method, and decoding method
JP2002300591A (ja) * 2001-03-30 2002-10-11 Hitachi Ltd 半導体集積回路および撮像システム
JP4574045B2 (ja) * 2001-03-30 2010-11-04 ルネサスエレクトロニクス株式会社 半導体集積回路および撮像システム
JP2008294689A (ja) * 2007-05-24 2008-12-04 Sony Corp 撮像装置、撮像回路、および撮像方法
US8013910B2 (en) 2007-05-24 2011-09-06 Sony Corporation Imaging apparatus, imaging circuit and imaging method
JP2013012685A (ja) * 2011-06-30 2013-01-17 Canon Inc 半導体装置

Also Published As

Publication number Publication date
JP3095507B2 (ja) 2000-10-03

Similar Documents

Publication Publication Date Title
US10986323B2 (en) Image capturing apparatus and image capturing method
US8194143B2 (en) Digital camera apparatus and recording method thereof
KR100347508B1 (ko) 촬상 장치
JP4508132B2 (ja) 撮像装置、撮像回路、および撮像方法
JPH06253251A (ja) デジタル電子カメラ装置
KR20070050822A (ko) 촬상 장치, 화상 처리 방법, 및 프로그램
KR101046012B1 (ko) 동화상 처리 장치 및 동화상 처리 방법, 동화상 처리 프로그램을 기록한 컴퓨터로 판독가능한 기록매체
US5194944A (en) Image signal processing apparatus for successively transferring a series of color signals obtained as image signals
JP2000278589A (ja) 画像信号処理装置
US7236194B2 (en) Image signal processing apparatus
JP3095507B2 (ja) データ圧縮・記録方法
JPH0575911A (ja) 画像処理のためのフイールド補間回路及び方式
US7154539B1 (en) Image pickup device for still and motion images
JP3406924B2 (ja) 画像処理装置及びその方法
JP3152258B2 (ja) 画像処理装置及びその方法
JPH0457482A (ja) カメラ一体型記録装置
JPH02301293A (ja) 電子スチルカメラ
JPH03288831A (ja) ディジタル電子スチルカメラ
JPH09214878A (ja) 撮像装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070804

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080804

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080804

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090804

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090804

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100804

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110804

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees