JP3644256B2 - 画像監視装置および画像監視方法 - Google Patents

画像監視装置および画像監視方法 Download PDF

Info

Publication number
JP3644256B2
JP3644256B2 JP17285098A JP17285098A JP3644256B2 JP 3644256 B2 JP3644256 B2 JP 3644256B2 JP 17285098 A JP17285098 A JP 17285098A JP 17285098 A JP17285098 A JP 17285098A JP 3644256 B2 JP3644256 B2 JP 3644256B2
Authority
JP
Japan
Prior art keywords
image processing
image
exposure amount
monitoring
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP17285098A
Other languages
English (en)
Other versions
JP2000013783A (ja
Inventor
丈嗣 内藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP17285098A priority Critical patent/JP3644256B2/ja
Publication of JP2000013783A publication Critical patent/JP2000013783A/ja
Application granted granted Critical
Publication of JP3644256B2 publication Critical patent/JP3644256B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Television Signal Processing For Recording (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、例えばテレビカメラにより自動車専用道路のトンネル内部を監視する場合のように、所定の領域を画像を基に監視する画像監視装置および画像監視方法に関する。
【0002】
【従来の技術】
現在、自動車専用道路上にある長大なトンネルには、内部の交通流を監視するために、画像監視装置が設けられている。
【0003】
従来のこの種の画像監視装置では、図3に示すように、監視領域Tであるトンネル内部にテレビカメラ21が多数設置され、これらのテレビカメラ21は分配器22や切り換えスイッチ23を介してモニタ表示器24に接続されており、各テレビカメラ21で得られた映像がモニタ表示器24に表示されるようになっている。係員は、モニタ表示器24の画面を目視することで、トンネル内部の交通渋滞や事故、火災等の異状を検知し監視することができる。
【0004】
この場合、係員の目視による監視だけでは、係員への負担が大きいので、従来の装置では、モニタ表示器24とは別に、画像処理部25が設けられており、この画像処理部25にテレビカメラ21からの映像信号が入力するようになっている。画像処理部25は、テレビカメラ21の映像信号に対してフレームによる画像エリアの限定、エリアの画像の今回分と前回分との差分算出等、種々の画像処理をすることにより、異状を自動的に検知するものである。
【0005】
この画像処理部25の処理により、監視業務の多くの部分が自動化され、係員の負担が軽減される。
【0006】
なお、監視領域に設置されるテレビカメラ21は、通常、光学系のメカニカル絞り機構のような露光量調整部を有しており、露光量の調整が可能である。
【0007】
【発明が解決しようとする課題】
ところで、従来の画像監視装置では、係員によるモニタ監視を行いやすくするために、テレビカメラ21での露光量を多めに設定して、モニタ画面に明るい画像が表示されるようにしているのが普通である。モニタ画面の画像を明るくすることで、係員は目を疲れさせることなく、長時間にわたって全体的な監視をすることができる。
【0008】
この場合、テレビカメラ21からの映像信号は画像処理部25にも入力するから、前記のようにテレビカメラ21での露光量が多めに設定されていれば、画像処理部25には輝度レベルが高い映像信号が入力することになる。
【0009】
ところが、画像処理部25は、自動車のテールランプの追跡のように、特定のエリアで高輝度となる特定物の画像を監視するもので、全体的な監視ではないから、明るい画像を必要とせず、周辺画像が黒に塗り潰された比較的暗い画像を必要とする。このような画像処理部25に明るい画像の信号が入力すれば、画像処理上のノイズ成分となる周辺画像が際立って画像処理部25では高精度の画像処理が難しくなる結果、異状の検知が的確に行われなくなるおそれがある。
【0010】
このように、係員によるモニタ監視と、画像処理部25での画像処理とでは、必要とする映像信号の輝度レベルにかなりの差があるにもかかわらず、従来では、テレビカメラ21の露光量を多めに設定して、映像信号の輝度レベルを係員によるモニタ監視に適合させているのが実情である。
【0011】
これに対しては、画像処理部25に入力する映像信号の輝度レベルを、入力する段階で適当な回路により低く抑えることも考えられるが、この段階で調整できるレベル範囲は広いものではなく、必要とする輝度レベルにまで調整することは難しい。また、入力する映像信号の輝度レベルを低く抑えたとしても、モニタ監視の都合で係員がテレビカメラ21の露光量(絞りの開度)を変えた場合には、画像処理部25に入力する映像信号の輝度レベルが大きく変化することになるから、その時点で精度のよい異状検知が難しくなる。
【0012】
本発明は、上記従来の問題点に鑑み、撮像手段での露光量が画像処理部での映像信号の処理に合わせて調整されるようにして、画像処理部による異状検知が高精度、的確に行われるようにすることを課題とする。
【0013】
【課題を解決するための手段】
本発明は、上記課題を達成するために、次のような構成を有する。
【0014】
請求項1記載の発明は、監視領域を撮像する撮像手段と、前記撮像手段で得られる映像を表示するモニタ表示器と、前記撮像手段からの映像信号を画像処理する画像処理部と、前記撮像手段の露光量を、前記画像処理部での処理に適した露光量と、前記モニタ表示器でのモニタ表示に適した露光量とに選択的に切り換える切り換え手段とを有している。
【0015】
請求項2記載の発明は、監視領域を撮像する撮像手段と、前記撮像手段で得られる映像を表示するモニタ表示器と、前記撮像手段からの映像信号を画像処理する画像処理部と、前記画像処理部での画像処理に適した露光量を、画像処理結果に基づいて設定する画像処理用露光量設定手段と、前記撮像手段の露光量を、前記画像処理用露光量設定手段で設定された露光量と、前記モニタ表示器でのモニタ表示に適した露光量とを選択的に切り換える切り換え手段とを有している。
【0016】
請求項1,2によれば、モニタ表示切り換え手段により、主として行うモニタ表示操作ないし画像処理部での処理操作の交代毎、もしくは択一的に行う前記操作の交代毎に、撮像を行う撮像手段の露光量を、交代後の操作に適した値に切り換えることができ、露光量を常時最適な値に維持することができる。
【0017】
なお、請求項3に記載したごとく、これら画像監視装置における前記画像処理部は、前記映像信号の画像処理によって前記監視領域内から監視対象を抽出して監視するものであるのが好ましく、そうすれば、画像監視装置にとって最適な露光量と、モニタ表示にとって最適な露光量とが大きく異なっているので、このような画像監視装置に本発明を実施できれば、その作用効果は顕著なものとなる。また、請求項4に記載したごとく、これら画像監視装置における前記切り換え手段は、前記撮像手段の絞り値を、前記画像処理部での処理に適した値と、前記モニタ表示器でのモニタ表示に適した値とに選択的に切り換えるものであるのが好ましい。
【0018】
また、請求項5に記載したごとく、これら画像監視装置における前記切り換え手段は、前記撮像手段の露出時間を、前記画像処理部での処理に適した値と、前記モニタ表示器でのモニタ表示に適した値とに選択的に切り換えるものであるのが好ましい。
【0019】
請求項6記載の発明は、監視領域を撮像して得られる映像の表示を行う操作と、前記監視領域を撮像した映像信号の画像処理により前記監視領域内から監視対象を抽出して監視する操作とを、同時ないしは択一的に行うことで前記監視領域の監視を行う画像監視方法であって、主として行う前記操作の交代毎、もしくは択一的に行う前記操作の交代毎に、撮像を行う撮像手段の露光量を、交代後の操作に適した値に切り換えることに特徴を有しており、これにより、露光量を常時最適な値に維持することができるようになる。
【0020】
【発明の実施の形態】
図1および図2に基づいて本発明の実施の形態を説明する。図1は、本発明の一実施の形態に係る画像監視装置の構成図で、図2は、その一部である画像処理部での露光量設定動作を示すフローチャートである。
【0021】
本実施の形態に係る画像監視装置は、トンネル内の交通流監視用で、図1に示すように、撮像手段としてのテレビカメラ1と、モニタ表示器2と、画像処理部3とを有している。
【0022】
テレビカメラ1は、監視領域Tであるトンネル内部に多数設置される。各テレビカメラ1は、光学系のメカニカル絞り機構のように、露光量を調整しうる露光量調整部4を有するものとする。また、CCDカメラでは、CCDの電子シャッター機能を担う部分がもう一つの露光量調整部となる。
【0023】
テレビカメラ1は、分配器5と切り換えスイッチ6とを介してモニタ表示器2に接続されており、いずれかのテレビカメラ1で得られた映像がモニタ表示器2に選択的に表示されるようになっている。
【0024】
モニタ表示器2に入力する映像信号は、モニタ用露光量設定手段7にも入力する。このモニタ用露光量設定手段7は、テレビカメラ1の露光量の値をモニタ表示に適した値に設定するものである。その設定信号がテレビカメラ1の露光量調整部4に送られ、その設定信号に基づいて絞りの開閉等の処理を行ってテレビカメラ1の露光量が多めに調整され、テレビカメラ1からはモニタ表示に適した輝度レベル(比較的高い輝度レベル)の映像信号が得られるようになる。
【0025】
テレビカメラ1からの映像信号は画像処理部3にも入力する。画像処理部3は、テレビカメラ1の映像信号に対して、フレームによる画像エリアの限定と、限定した画像エリアにおける画像の差分算出等の画像処理をすることにより、例えば自動車のテールランプのような特定物の画像を注視し、異状を自動的に検知するものである。
【0026】
この画像処理部3には、画像処理用露光量設定手段8がある。画像処理用露光量設定手段8とは、テレビカメラ1の露光量の値を画像処理部3での処理に適した値に設定するものであって、その設定信号がテレビカメラ1の露光量調整部4に送られることで、絞りを開閉する等の処理によりテレビカメラ1の露光量が少なめに調整され、テレビカメラ1からは画像処理に適した輝度レベル(比較的低い輝度レベル)の像信号が得られる。
【0027】
この実施の形態では、画像処理用露光量設定手段8は、ソフトウェア上に機能的に存在するもので、画像処理部3の中央制御手段であるCPUが、画像処理に併せて、後に詳述する図2のルーチンにより、テレビカメラ1での露光量を設定する動作をすることで、画像処理用露光量設定手段8として機能する。
【0028】
画像処理用露光量設定手段8からの設定信号、およびモニタ用露光量設定手段7からの設定信号は切り換え器9に入力する。この切り換え器9は係員により適宜操作されるもので、その切り換えにより、いずれかの設定信号がテレビカメラ1のメカニカル絞り機構等の露光量調整部4に送られる。
【0029】
なお、図示の実施の形態の構成において、モニタ用露光量設定手段7は、モニタ表示器2に入力する映像信号に基づいてモニタ表示に適した露光量設定値を設定し出力するようにしたが、モニタ監視のためには肉眼で見やすい明るい画像が得られればよく、細かい輝度調整は特に要しないから、モニタ用露光量設定手段7としては、固定の値を示す一定の設定信号を出力するものでもよく、また、可変抵抗器のように係員に操作される設定器でもよい。
【0030】
次に、上記構成の動作を説明すると、まず、テレビカメラ1からの映像信号はモニタ表示器2にも画像処理部3にも入力される。
【0031】
この場合、設定信号の切り換え器9が画像処理部3の側に切り換わっていれば、画像処理用露光量設定手段8からの設定信号が、この切り換え器9を通じてテレビカメラ1の露光量調整部4に送られるから、露光量調整部4は、画像処理用の露光量設定値で制御されることになり、テレビカメラ1の露光量は少なめに調整され、テレビカメラ1からは、画像処理に適した輝度レベル(比較的低い輝度レベル)の映像信号が得られる。
【0032】
このとき、モニタ表示器2には、輝度レベルの低い映像信号により暗い画像が表示されることになるが、この間は、画像処理部3が輝度レベルの低い映像信号により高精度で異状の検知を行っているから、特に問題はない。
【0033】
設定信号の切り換え器9は、係員の判断で、または画像処理部3が異状を検知し、そのことを示す信号を出力したようなときに、モニタ用露光量設定手段7の側に切り換えればよい。
【0034】
切り換え器9がモニタ用露光量設定手段7の側に切り換われば、モニタ表示に適した露光量値を示す設定信号がテレビカメラ1の露光量調整部4に送られるから、露光量調整部4は、モニタ表示に適した設定値で制御されることになり、テレビカメラ1の露光量は多めに調整される。これで、テレビカメラ1からは、モニタ表示に適した輝度レベル(比較的高い輝度レベル)の映像信号が得られて、モニタ表示器2の画面には明るい画像が表示され、目視による全体観察が行いやすくなる。
【0035】
ところで、画像処理部3の中央制御手段であるCPUは、トンネル内の交通流監視のために所要の画像処理を行うとともに、図2に示すようなルーチンにより、画像処理用露光量設定手段8として機能し、テレビカメラ1の絞りを開閉制御してその露光量を画像処理部3での処理に適した値に制御する。
【0036】
まず、CPUはステップS1で1画面分の映像信号を取り込み、ステップS2でその画像にフレームをかぶせて計測エリアをトンネル内の道路面に限定する。ステップS3では、計測エリアについて予め生成しておいた背景画像と入力画像との差分を取り、差分があるか否かを判断する。差分がなければ、それは道路面に車両が存在しないことを示しており、画像的にも変化がないから、元のステップに戻るが、差分があれば、道路面に車両が存在しているから、ステップS4に進み、車両存在エリアを限定し、これを計測エリアから除去する。
【0037】
次のステップS5では、車両存在エリアを除外した計測エリアについて平均輝度を算出し、ステップS6で、この平均輝度と、予め算出してある画像処理に最適の平均輝度とを比較し、その差が許容範囲に収まるか否かを判断する。
【0038】
実際の平均輝度と最適の平均輝度との差が許容範囲に収まるものであれば、テレビカメラ1の露光量を変える必要はないから、ステップS1に戻るが、輝度の差が許容範囲に収まらない場合は、ステップS7に進み、輝度の差の正負を調べる。
【0039】
最適の平均輝度より実際の輝度が低く、その差がプラスである場合は、ステップS8で、テレビカメラ1の絞りを一定量開いて露光量を増やす。最適の平均輝度より実際の輝度が高く、その差がマイナスである場合は、ステップS9でテレビカメラ1の絞りを一定量閉じて露光量を減らす。
【0040】
これで、テレビカメラ1の絞り機構は、画像処理に最適の平均輝度に向けて、露光量が増減制御されることになり、結局、テレビカメラ1の露光量は、画像処理に最適の値に落ち着く。
【0041】
なお、上記の実施の形態では、テレビカメラ1の露光量の調整のために、平均測光方式により画像の平均輝度を算出するようにしたが、ピーク測光方式により画像の輝度のピーク値を検出して、そのピーク値に応じてテレビカメラ1の露光量を調整するようにしてもよい。また、平均測光方式とピーク測光方式とを折衷した方式も可能である。
【0042】
また、上記の実施の形態では、光学系のメカニカル絞り機構により露光量を調整することとしたが、CCDの電子シャッター機能を有するテレビカメラでは、この機能を利用することで、露光量の調整を行うことができる。
【0043】
メカニカル絞り機構と電子シャッター機能とを併せ有するテレビカメラでは、両者の組み合わせ制御により露光量を調整できる。この場合、メカニカル絞り機構により得られるダイナミックレンジは、電子シャッター機能により得られるダイナミックレンジに比べ大幅に広いから、メカニカル絞り機構により大まかに段階的に露光量調整を行い、そののち電子シャッター機能により小幅に露光量調整を行うようにすればよい。
【0044】
さらに、本発明の画像監視装置は、トンネル内の交通流の監視に限らず、建物の内部や各種施設の構内の防災や防犯用の監視にも用いることができる。
【0045】
【発明の効果】
本発明によれば、画像処理部での処理に合わせて撮像手段の露光量が調整されることになり、撮像手段からは、画像処理に適した比較的低輝度の映像信号が得られるから、画像処理部において高精度の画像処理を行い、的確に異状を検知することができる。
【0046】
しかも、詳しいモニタ監視が必要な場合は、切り換え手段の切り換えにより、撮像手段からはモニタ表示に適した比較的高輝度の映像信号が得られ、モニタ画面に明るい画像が表示されることになるから、係員はこの明るい画像を目視して的確な監視をすることができる。
【0047】
特に、画像処理部は、前記映像信号の画像処理によって前記監視領域内から監視対象を抽出して監視する画像処理部を備えた画像監視装置においては、画像処理部にとって最適な露光量と、モニタ表示にとって最適な露光量とが大きく異なっているので、このような画像監視装置に本発明を実施すれば、上記効果は顕著なものとなり、より的確に異常を検知することができるようになる。
【図面の簡単な説明】
【図1】本発明の一実施の形態に係る画像監視装置の構成図である。
【図2】上記装置の一部である画像処理部での露光量設定動作を示すフローチャートである。
【図3】従来の画像監視装置の構成図である。
【符号の説明】
1 テレビカメラ(撮像手段)、2 モニタ表示器、 3 画像処理部、
4 露光量調整部、
7 モニタ用露光量設定手段、 8 画像処理用露光量設定手段、
9 切り換え器、

Claims (6)

  1. 監視領域を撮像する撮像手段と、
    前記撮像手段で得られる映像を表示するモニタ表示器と、
    前記撮像手段からの映像信号を画像処理する画像処理部と、
    前記撮像手段の露光量を、前記画像処理部での処理に適した露光量と、前記モニタ表示器でのモニタ表示に適した露光量とに選択的に切り換える切り換え手段と、
    を有することを特徴とする画像監視装置。
  2. 監視領域を撮像する撮像手段と、
    前記撮像手段で得られる映像を表示するモニタ表示器と、
    前記撮像手段からの映像信号を画像処理する画像処理部と、
    前記画像処理部での画像処理に適した露光量を、画像処理結果に基づいて設定する画像処理用露光量設定手段と、
    前記撮像手段の露光量を、前記画像処理用露光量設定手段で設定された露光量と、前記モニタ表示器でのモニタ表示に適した露光量とを選択的に切り換える切り換え手段と、
    を有することを特徴とする画像監視装置。
  3. 請求項1または2記載の画像監視装置であって、
    前記画像処理部は、前記映像信号の画像処理によって前記監視領域内から監視対象を抽出して監視するものであることを特徴とする画像監視装置。
  4. 請求項1ないし3のいずれか記載の画像監視装置であって、
    前記切り換え手段は、前記撮像手段の絞り値を、前記画像処理部での処理に適した値と、前記モニタ表示器でのモニタ表示に適した値とに選択的に切り換えるものであることを特徴とする画像監視装置。
  5. 請求項1ないし3のいずれか記載の画像監視装置であって、
    前記切り換え手段は、前記撮像手段の露出時間を、前記画像処理部での処理に適した値と、前記モニタ表示器でのモニタ表示に適した値とに選択的に切り換えるものであることを特徴とする画像監視装置。
  6. 監視領域を撮像して得られる映像の表示を行う操作と、前記監視領域を撮像した映像信号の画像処理により前記監視領域内から監視対象を抽出して監視する操作とを、同時ないしは択一的に行うことで前記監視領域の監視を行う画像監視方法であって、
    主として行う前記操作の交代毎、もしくは択一的に行う前記操作の交代毎に、撮像を行う撮像手段の露光量を、交代後の操作に適した値に切り換えることを特徴とする画像監視方法。
JP17285098A 1998-06-19 1998-06-19 画像監視装置および画像監視方法 Expired - Fee Related JP3644256B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP17285098A JP3644256B2 (ja) 1998-06-19 1998-06-19 画像監視装置および画像監視方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP17285098A JP3644256B2 (ja) 1998-06-19 1998-06-19 画像監視装置および画像監視方法

Publications (2)

Publication Number Publication Date
JP2000013783A JP2000013783A (ja) 2000-01-14
JP3644256B2 true JP3644256B2 (ja) 2005-04-27

Family

ID=15949469

Family Applications (1)

Application Number Title Priority Date Filing Date
JP17285098A Expired - Fee Related JP3644256B2 (ja) 1998-06-19 1998-06-19 画像監視装置および画像監視方法

Country Status (1)

Country Link
JP (1) JP3644256B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006092097A (ja) * 2004-09-22 2006-04-06 Sumitomo Electric Ind Ltd 車両感知装置
JP4782491B2 (ja) * 2005-07-01 2011-09-28 株式会社豊田中央研究所 撮像装置
JP6024480B2 (ja) * 2013-01-28 2016-11-16 サクサ株式会社 撮影装置及び撮影システム

Also Published As

Publication number Publication date
JP2000013783A (ja) 2000-01-14

Similar Documents

Publication Publication Date Title
US7304681B2 (en) Method and apparatus for continuous focus and exposure in a digital imaging device
KR101367637B1 (ko) 감시장치
EP2360910B1 (en) Image capture apparatus
US7817190B2 (en) Method and apparatus for processing an image exposed to backlight
EP0878965A3 (en) Method for tracking entering object and apparatus for tracking and monitoring entering object
KR20080076740A (ko) 이동 검출 장치, 이동 검출 방법, 촬상 장치 및 감시시스템
US8363108B2 (en) Autofocus system
JPH03204281A (ja) 撮像装置
JP6000133B2 (ja) 撮像装置、撮像システム及び撮像方法
JP3644256B2 (ja) 画像監視装置および画像監視方法
TWI630818B (zh) Dynamic image feature enhancement method and system
JP7315006B2 (ja) モニタリング装置
JP5585808B2 (ja) 監視装置
JP2003110935A (ja) Ccdカメラ
JPH10322684A (ja) カメラ装置
JPH04270571A (ja) 画面表示装置
JP2001083474A (ja) 液晶表示パネルの検査方法
JP2010219864A (ja) 撮像装置
JPS63208387A (ja) カラ−カメラ装置
JPH10200883A (ja) 被写体の監視表示装置
JPH0589378A (ja) 監視装置
JP2016200742A (ja) 撮像装置
KR101531195B1 (ko) 카메라 영상의 블루밍 제거장치 및 방법
JPH09167286A (ja) 火災検出装置
KR20040035431A (ko) 디지털 영상 감시장치의 영상 변화 검지방법

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050124

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090210

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100210

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110210

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110210

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120210

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120210

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130210

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140210

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees