JP3667784B2 - 映像信号処理装置 - Google Patents

映像信号処理装置 Download PDF

Info

Publication number
JP3667784B2
JP3667784B2 JP03977394A JP3977394A JP3667784B2 JP 3667784 B2 JP3667784 B2 JP 3667784B2 JP 03977394 A JP03977394 A JP 03977394A JP 3977394 A JP3977394 A JP 3977394A JP 3667784 B2 JP3667784 B2 JP 3667784B2
Authority
JP
Japan
Prior art keywords
video
signal processing
period
circuit
video signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP03977394A
Other languages
English (en)
Other versions
JPH07250266A (ja
Inventor
一男 石本
透 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP03977394A priority Critical patent/JP3667784B2/ja
Publication of JPH07250266A publication Critical patent/JPH07250266A/ja
Application granted granted Critical
Publication of JP3667784B2 publication Critical patent/JP3667784B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Picture Signal Circuits (AREA)

Description

【0001】
【産業上の利用分野】
本発明は、固体撮像素子から得られる映像信号をデジタルデータに変換して各種の信号処理を施す映像信号処理装置に関する。
【0002】
【従来の技術】
CCD固体撮像素子を用いたテレビカメラ等の撮像装置では、撮像素子にクロックパルスを与えて駆動する駆動回路と共に、撮像素子の出力に対して各種の信号処理を施して所定のフォーマットに従う映像信号を生成する映像信号処理回路が設けられる。このような映像信号処理回路の場合、各種処理の条件設定を簡素化するため、アナログ信号処理からデジタル信号処理への移行が進められている。特に、カラー映像信号を取り扱う際には、ホワイトバランスの調整や高輝度擬信号の抑圧等信号処理条件の設定項目が多くなり、信号処理のデジタル化によって条件設定を大幅に簡素化することができる。
【0003】
図4は、映像信号処理の一部をデジタル化した撮像装置の構成を示すブロック図である。
撮像素子1は、行列配置された複数の受光画素を有し、各受光画素に発生する情報電荷が駆動クロックφV、φHにより転送出力されて各受光画素の情報電荷量に対応した映像信号Y1(t)を1画面単位で出力する。また、カラー映像を得る際には、各受光画素がそれぞれ三原色(赤、緑、青)またはその補色(黄、マゼンダ、シアン)のカラーフィルタに対応付けられ、各受光画素に所定の色成分を表す情報電荷が蓄積される。タイミングパルス生成回路2は、基準クロックに基づいて水平走査周期及び垂直走査周期のタイミングパルスVD、HDを発生し、ドライバ3に与える。ドライバ3は、タイミングパルス発生回路2から供給されるタイミングパルスVD、HDに応答して固体撮像素子1に垂直転送及び水平転送のための多相の駆動クロックφV、φHを供給する。これにより、撮像素子は、垂直走査の始まで1画面分の情報電荷の転送出力を開始すると共に、水平走査の始まりで1水平ラインの情報電荷の転送出力を開始することになる。
【0004】
アナログ信号処理部4は、主に、撮像素子1から出力される映像信号Y1(t)に対するサンプリング処理、信号レベルの平均を一定に維持する利得制御処理及び映像信号の再生側での信号レベルに対する発光輝度の非線形性に対応させるためのガンマ補正処理を行い、映像信号Y2(t)を出力する。A/D変換回路5は、アナログ信号処理部4から出力される映像信号Y2(t)をデジタルデータに変換し、各受光画素毎の映像情報に対応する映像データYD1を出力する。デジタル信号処理部6は、A/D変換回路5から出力される映像データYD1に対し、色成分毎に分離する色分離処理、ホワイトバランス調整のための各色成分毎の増幅処理等を行い、映像データYD2を出力する。このデジタル信号処理部6においては、各種同期信号に対応したデータの合成も行われる。D/A変換回路7は、デジタル信号処理部6から出力される映像データYD2をアナログ値に変換し、所定のフォーマットに従う映像信号Y3(t)を出力する。そして、制御マイコン8は、アナログ信号処理部4での利得制御の基準レベル設定やデジタル信号処理部6でのホワイトバランス制御の条件設定等を行う。同時に、制御マイコン8は、各信号処理部4、6から得られる信号レベル情報に基づいて、タイミングパルス生成回路2の動作タイミングを制御することにより、撮像素子1のアイリス制御を行う。撮像素子1のアイリス制御は、撮像素子1に1画面分の情報電荷が蓄積される時間を出力信号の平均レベルに応答して伸縮することにより実現される。
【0005】
D/A変換回路7から出力される映像信号Y3(t)は、図5に示すように、1水平ライン単位で連続しており、各水平ラインの信号の間には水平走査の帰線消去期間となる水平ブランキング期間が設定される。再生側において画面上に現れない水平ブランキング期間には、再生側の水平走査のタイミングを映像信号に同期させる水平同期信号が重畳され、カラー映像信号の場合には、さらにカラーバーストと称される色同期信号が重畳される。また、水平ラインの信号が水平走査線の数だけ連続すると、映像信号Y1(t)は次の画面に切り換わり、その切り換わりを示す期間には垂直走査の帰線消去期間となる垂直ブランキング期間が設定される。この垂直ブランキング期間にも、水平ブランキング期間と同様に、垂直同期信号や等価パルスが重畳されることになる。
【0006】
【発明が解決しようとする課題】
アナログ信号処理部4及びデジタル信号処理部6からそれぞれ出力される映像信号Y2(t)及び映像データYD2は、各信号処理の過程において生じる遅延により、それぞれに入力される映像信号Y1(t)及び映像データYD1に対して一定期間のずれを有している。特に、映像信号処理のデジタル化が進むと、デジタル信号処理部6での処理項目が多くなり、映像データYD1に対する映像データYD2の遅延が大きくなる。このため、アナログ信号処理部4から出力される映像信号Y2(t)とD/A変換回路7から出力される映像信号Y3(t)とで水平ブランキング期間が一致しなくなる。測定によれば、14.32MHzの基準クロックを用いたときで5μsec程度の遅延を生じることが確認されており、NTSC方式では、水平走査期間(63.5μsec)の約1/12の期間だけずれることになる。
【0007】
映像信号Y2(t)と映像信号Y3(t)とで水平ブランキング期間が一致しなくなると、A/D変換回路5またはD/A変換回路7で生じるスイッチングノイズが各映像信号Y2(t)、Y3(t)に混入し易くなる。即ち、水平ブランキング期間内に重畳されている水平同期信号や色同期信号は、同一のパターンを繰り返すため、A/D変換回路5及びD/A変換回路7での変換動作の際のスイッチングノイズがパターンノイズとなり、映像信号Y2(t)、Y3(t)の映像成分に混入して再生画面の画質の劣化を招くことになる。さらには、各信号処理部4、6やタイミングパルス生成回路2において水平ブランキング期間内に設定される水平走査周期のタイミングパルスに起因して発生するノイズが映像信号の映像期間に混入し易くなる。尚、映像成分については、各水平ライン毎の規則性がないことから、A/D変換回路5及びD/A変換回路7による変換動作で生じるスイッチングノイズがパターンノイズとはならず、映像成分に混入しても再生画面の画質を大きく劣化させることはない。
【0008】
そこで本発明は、水平ブランキング期間に発生するノイズが映像信号の映像期間に混入するのを防止した映像信号処理装置の提供を目的とする。
【0009】
【課題を解決するための手段】
本発明は、上述の課題を解決するためのなされたもので、その特徴とするところは、水平走査及び垂直走査の各タイミングに対応して駆動される固体撮像素子の出力を取り込み、所定のフォーマットに従う映像信号を生成する映像信号処理装置において、水平ライン単位で連続する上記固体撮像素子の出力に対して第1の信号処理を施して第1の水平ブランキング期間及び第1の映像期間を含む第1の映像信号を得る第1の信号処理回路と、上記第1の映像信号をデジタル情報に変換して第1の映像データを得るA/D変換回路と、上記第1の映像データを少なくとも1水平ライン単位で記憶し、所定の期間経過した後に読み出して出力する記憶回路と、出力される上記第1の映像データに対して第2の信号処理を施して第2の映像データを得る第2の信号処理回路と、上記第2の映像データをアナログ値に変換して第2の水平ブランキング期間及び第2の映像期間を含む第2の映像信号を得るD/A変換回路と、を備え、上記記憶回路が水平走査期間の整数倍の期間より上記第2の信号処理の期間分短く上記第1の映像データの出力を遅延させることにより、前記第2の水平ブランキング期間で発生するノイズが前記第1の映像期間に混入しないようにすることにある。
【0010】
【作用】
本発明によれば、記憶回路が水平走査期間の整数倍の期間より上記第2の信号処理の期間分短く第1の映像データを遅延することで、第2の信号処理回路での信号処理過程での遅延が加えられた第2の映像データは、記憶回路で遅延される前の第1の映像データに対して水平走査期間の整数倍の期間遅れることになる。このため、A/D変換回路に入力される第1の映像信号の水平ブランキング期間とD/A変換回路から出力される第2の映像信号の水平ブランキング期間とが互いに一致し、各変換回路で生じるパターンノイズや、水平ブランキング期間に設定されるタイミング信号に起因するノイズが映像期間に混入しなくなる。
【0011】
【実施例】
図1は、本発明の映像信号処理装置の構成を示すブロック図である。この図において、撮像素子1、タイミングパルス生成回路2及びドライバ3は図4と同一であり、タイミングパルス生成回路2から出力される垂直走査周期及び水平走査周期のタイミングパルスVD、HDに応答してドライバ3が駆動クロックφV、φHを撮像素子1に与え、映像信号Y1(t)を得るように構成される。
【0012】
アナログ信号処理部11は、撮像素子1から出力される映像信号Y1(t)を取り込んでサンプリングした後、後述するアイリス/ゲイン制御回路14からの指示に基づいてゲインを調整し、映像信号Y1(t)の平均レベルを一定範囲内に維持する。さらに、再生側での信号レベルに対する発光輝度の非線形性に対応させるようにガンマ補正を行い、所定のフォーマットに従う映像信号Y2(t)を出力する。A/D変換回路12は、映像信号Y2(t)を取り込んでデジタルデータに変換し、各データが撮像素子1の各受光画素の映像情報に対応する映像データYD1を出力する。ラインメモリ13は、アナログデジタル変換回路12から出力される映像データYD1を1水平ライン単位で記憶し、一定の期間経過した後に読み出して出力する。この読み出しのタイミングについては、後に詳述する。アイリス/ゲイン制御回路14は、ラインメモリ13から出力される映像データYD1を1画面単位で積分し、その積分値に基づいてタイミングパルス生成回路2にアイリスの制御指示を与えると共に、アナログ信号処理部11にゲインの制御指示を与える。タイミングパルス生成回路2に与えられる制御指示によれば、映像データYD1の1画面分の積分値の増減に対応して撮像素子1の情報電荷の蓄積期間を伸縮制御する自動露光制御が実現される。アナログ信号処理部11に与えられる制御指示によれば、映像データYD1の1画面分の積分値に対応して映像信号Y1(t)のゲインを可変設定する自動利得制御が実現される。
【0013】
クランプ回路15は、ラインメモリ13から出力される映像データYD1の基準レベルをクランプし、その基準レベルと映像データYD1との差を取り出して出力する。色信号処理部16は、まず映像データYD1を色成分(赤、緑、青)毎に分離し、各成分の色データ(R、G、B)に対して固有のゲイン係数を乗じてホワイトバランスを調整する。その後、マトリクス処理を経て色データ(R、B)から輝度データ(Y)が差し引かれた色差データ(R−Y、B−Y)を生成し、エンコーダ回路18に供給する。輝度信号処理部17は、各色データ(R、G、B)を所定の割合〔R:30%、G:59%、B:11%〕で合成して得られる輝度データ(Y)に対して、輪郭補正、ガンマ補正等の処理を施し、エンコーダ回路18に供給する。エンコーダ回路18は、各色差データ(R−Y、B−Y)に対して平衡変調処理を施して搬送色データを生成し、この搬送色データを輝度信号処理部17から供給される輝度データ(Y)に加算することにより所定のテレビジョンフォーマットに対応した映像データYD2を出力する。また、エンコーダ回路18では、色同期信号に対応した色同期データを加算することにより、映像データYD2の水平ブランキング期間に色同期信号を重畳させている。そして、D/A変換回路19は、エンコーダ回路18から出力される映像データYD2をアナログ値に変換し、映像信号Y3(t)として出力する。このようにして得られる映像信号Y3(t)は、輝度信号に所定の色副搬送波により変調された色差信号が重畳され、水平ブランキング期間に色同期信号及び水平同期信号が重畳されている。尚、色信号処理部16及び輝度信号処理部17の処理動作については、NTCS方式の場合を例示しており、その他のテレビジョン方式では異なった処理動作となる。
【0014】
ここで、ラインメモリ13からの映像データYD1の読み出しは、映像データYD1が書き込まれるタイミングに対し、1水平走査期間よりクランプ回路15の入力からエンコーダ回路18の出力までに生じる遅延分だけ短い期間遅れたタイミングに設定される。即ち、クランプ回路15に映像データYD1が入力されてからエンコーダ回路18から映像データYD2が出力されるまでに生じる遅延と、ラインメモリ13に映像データYD1が書き込まれてから読み出されるまでに生じる遅延とを合わせて1水平走査期間となるようにしている。従って、D/A変換回路19から出力される映像信号Y3(t)は、A/D変換回路12に入力される映像信号Y2(t)に対して1水平走査期間だけずれ、互いの水平ブランキング期間が一致する。このため、A/D変換回路12及びD/A変換回路19のスイッチングノイズや水平ブランキング期間に設定される水平走査周期のタイミングパルスに起因するノイズが各映像信号Y2(t)、Y3(t)の映像期間に混入することがなくなる。
【0015】
以上のように映像信号の水平ブランキング期間に発生するノイズが映像信号Y2(t)、Y3(t)の映像期間に混入しなくなれば、各部を同一基板上に集積回路として構成することが可能になる。具体的には、アナログ信号処理部11、A/D変換回路12、ラインメモリ13、アイリス/ゲイン制御回路14及びD/A変換回路19をアナログ/デジタル混載の第1の集積回路Aとし、クランプ回路15、色信号処理部16、輝度信号処理部17及びエンコーダ回路18をデジタル部のみとなる第2の集積回路Bとして構成する。尚、第1の集積回路Aにタイミングパルス生成回路2を加えるようにしてもよい。従って、2つの集積回路A、Bにより信号処理装置を構成することができるようになる。
【0016】
図2は、本発明の映像信号処理装置の動作を説明するタイミング図で、撮像素子1を連続的に動作させる場合を示す。
A/D変換回路12から出力される映像データYD1は、水平同期信号に同期して1水平ライン分が連続しており、1水平ライン単位で順次ラインメモリ13に書き込まれる。ラインメモリ13に書き込まれた映像データYD1は、書き込まれてから一定の期間(1水平走査期間よりもクランプ回路15からエンコーダ回路18までの信号処理で生じる遅延分だけ短い期間)経過した後に読み出され、クランプ回路15に供給される。このラインメモリ13の読み出しタイミングは、水平走査周期を計測するカウンタにより設定される。例えば、14.32MHzの基準クロックを用いるNTSC方式の場合、1水平走査期間が910クロック期間で定義されることから、クランプ回路15からエンコーダ回路18の間に生じる遅延を5μsecと仮定したときには、910クロックから5μsecに相当する72クロックを差し引いた838クロック期間経過した時点でラインメモリ13から映像データYD1を読み出すようにする。また、1水平ライン分の映像データYD1を読み出している途中で次の水平ラインの映像データYD1が入力されると、ラインメモリ13は、映像データYD1の読み出しと書き込みとを並行して行うことになる。ラインメモリ13で書き込みと読み出しとを並行処理できるようにするには、映像データYD1の書き込み及び読み出しを2倍の周期で繰り返すことや、書き込み回路と読み出し回路とを並列に設けるデュアルポート型とすることが考えられる。
【0017】
そして、映像データYD1がクランプ回路15に入力されると、色信号処理部16及び輝度信号処理部17で所定の処理が施された後にエンコーダ回路18から映像データYD2として出力される。このときの映像データYD2は、クランプ回路15に入力される映像データYD1に対してクランプ回路15からエンコーダ回路18までの信号処理により生じる遅延分だけ遅れることになる。ところが、クランプ回路15に入力される映像データYD1が予め1水平走査期間よりもクランプ回路15からエンコーダ回路18までの信号処理で生じる遅延分だけ短く遅延されていることから、映像データYD2は、ラインメモリ13に書き込まれる映像データYD1に対してちょうど1水平走査期間遅れることになる。従って、A/D変換回路12に入力される映像信号Y2(t)とD/A変換回路19から出力される映像信号 3(t) との水平ブランキング期間が一致し、水平ブランキング期間に重畳される水平同期信号や色同期信号に起因するA/D変換回路12やD/A変換回路19のスイッチングノイズ及び水平走査周期のタイミングパルスに起因するノイズが映像期間に混入しにくくなる。
【0018】
図3は、本発明の映像信号処理装置の動作を説明するタイミング図で、撮像素子1を1水平走査期間おきに間欠的に動作させる場合を示す。
A/D変換回路12から出力される映像データYD1は、1水平走査期間おきに1水平ライン分が連続しており、1水平ライン単位でそれぞれラインメモリ13に書き込まれる。ラインメモリ13に書き込まれた映像データYD1は、書き込まれてから一定の期間経過した後に読み出され、クランプ回路15に供給される。そして、クランプ回路15に入力された映像データYD1は、色信号処理部16及び輝度信号処理部17で所定の処理が施された後にエンコーダ回路18から映像データYD2として出力される。ここで、ラインメモリ13からの映像データYD1の読み出しのタイミング及びクランプ回路15からエンコーダ回路18までの信号処理によって生じる遅延については、図2に示す連続動作の場合と同一となる。従って、撮像素子1を間欠動作させる場合でも、A/D変換回路12に入力される映像信号Y1(t)とD/A変換回路19から出力される映像信号Y3(t)との水平ブランキング期間が一致することになる。
【0019】
以上の実施例においては、映像データYD2を映像データYD1に対して1水平走査期間遅らせる場合を例示したが、遅延期間は、水平走査期間の整数倍であればよく、1水平走査期間に限られるものではない。
【0020】
【発明の効果】
本発明によれば、映像信号をデジタルデータとして処理するようにした映像信号処理装置において、映像信号をデジタルデータに変換するためのA/D変換回路あるいはデジタルデータから映像信号を再生するD/A変換回路で生じるスイッチングノイズが映像信号の映像期間に混入しにくくなる。同時に、映像信号の水平ブランキング期間に設定される各種のタイミングパルスに起因するノイズが映像期間に混入しにくくなることから、ノイズ低減の効果は大きい。
【0021】
そして、映像信号の映像期間にノイズが混入しにくくなることから、信号処理回路をA/D変換回路あるいはD/A変換回路と共に集積回路として構成することが可能になり、映像信号処理装置を僅かな構成部品によって実現することができる。
【図面の簡単な説明】
【図1】本発明の映像信号処理装置の構成を示すブロックである。
【図2】本発明の映像信号処理装置の第1の動作を説明するタイミング図である。
【図3】本発明の映像信号処理装置の第2の動作を説明するタイミング図である。
【図4】映像信号処理の一部がデジタル化された撮像装置の構成を示すブロック図である。
【図5】映像信号の水平走査期間の波形図である。
【符号の説明】
1 撮像素子
2 タイミングパルス生成回路
3 ドライバ
4、11 アナログ信号処理部
5、12 A/D変換回路
6 デジタル信号処理部
7、19 D/A変換回路
8 制御マイコン
13 ラインメモリ
14 アイリス/ゲイン制御回路
15 クランプ回路
16 色信号処理部
17 輝度信号処理部
18 エンコーダ回路

Claims (1)

  1. 水平走査及び垂直走査の各タイミングに対応して駆動される固体撮像素子の出力を取り込み、所定のフォーマットに従う映像信号を生成する映像信号処理装置において、水平ライン単位で連続する上記固体撮像素子の出力に対して第1の信号処理を施して第1の水平ブランキング期間及び第1の映像期間を含む第1の映像信号を得る第1の信号処理回路と、上記第1の映像信号をデジタル情報に変換して第1の映像データを得るA/D変換回路と、上記第1の映像データを少なくとも1水平ライン単位で記憶し、所定の期間経過した後に読み出して出力する記憶回路と、出力される上記第1の映像データに対して第2の信号処理を施して第2の映像データを得る第2の信号処理回路と、上記第2の映像データをアナログ値に変換して第2の水平ブランキング期間及び第2の映像期間を含む第2の映像信号を得るD/A変換回路と、を備え、上記記憶回路が水平走査期間の整数倍の期間より上記第2の信号処理の期間分短く上記第1の映像データの出力を遅延させることにより、前記第2の水平ブランキング期間で発生するノイズが前記第1の映像期間に混入しないようにすることを特徴とする映像信号処理装置。
JP03977394A 1994-03-10 1994-03-10 映像信号処理装置 Expired - Lifetime JP3667784B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP03977394A JP3667784B2 (ja) 1994-03-10 1994-03-10 映像信号処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP03977394A JP3667784B2 (ja) 1994-03-10 1994-03-10 映像信号処理装置

Publications (2)

Publication Number Publication Date
JPH07250266A JPH07250266A (ja) 1995-09-26
JP3667784B2 true JP3667784B2 (ja) 2005-07-06

Family

ID=12562261

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03977394A Expired - Lifetime JP3667784B2 (ja) 1994-03-10 1994-03-10 映像信号処理装置

Country Status (1)

Country Link
JP (1) JP3667784B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3777901B2 (ja) 1999-09-03 2006-05-24 日本ビクター株式会社 映像情報処理装置
JP4481758B2 (ja) 2004-07-28 2010-06-16 株式会社東芝 信号処理装置及びデータ処理装置

Also Published As

Publication number Publication date
JPH07250266A (ja) 1995-09-26

Similar Documents

Publication Publication Date Title
JP4212134B2 (ja) 画像信号処理装置
EP0746166B1 (en) Image sensing apparatus and method
JP3913388B2 (ja) 固体撮像装置
KR100525690B1 (ko) 촬상 장치
JP3667784B2 (ja) 映像信号処理装置
JP3359078B2 (ja) 撮像装置
JP3499985B2 (ja) 撮像装置
EP0415756A2 (en) Electronic still camera
JPH08307649A (ja) 撮像装置
JP3059920B2 (ja) 撮像装置
JP3530403B2 (ja) ビデオカメラ
JP2698385B2 (ja) 固体撮像装置
JP3244444B2 (ja) 固体撮像装置
JP3485745B2 (ja) 固体撮像装置
JP3059921B2 (ja) 撮像装置
JP3758230B2 (ja) 撮像装置
JP3239029B2 (ja) 固体撮像装置
JP2931531B2 (ja) 固体撮像装置
JPH08331574A (ja) 固体撮像装置
JPH05183913A (ja) カラ−撮像装置の色分離回路
JPH0946714A (ja) 撮像装置の色信号処理回路
JP3003760B2 (ja) 撮像装置
JP2001061097A (ja) 撮像装置
JPS59158693A (ja) 撮像装置
JPH0918888A (ja) リニアセンサカメラを用いた撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050407

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090415

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100415

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110415

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120415

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130415

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140415

Year of fee payment: 9

EXPY Cancellation because of completion of term