JP2005070980A - バーコード読み取り装置、バーコード読み取り方法及びバーコード読み取りプログラム - Google Patents
バーコード読み取り装置、バーコード読み取り方法及びバーコード読み取りプログラム Download PDFInfo
- Publication number
- JP2005070980A JP2005070980A JP2003297825A JP2003297825A JP2005070980A JP 2005070980 A JP2005070980 A JP 2005070980A JP 2003297825 A JP2003297825 A JP 2003297825A JP 2003297825 A JP2003297825 A JP 2003297825A JP 2005070980 A JP2005070980 A JP 2005070980A
- Authority
- JP
- Japan
- Prior art keywords
- corner
- dot
- corner dot
- dots
- barcode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【解決手段】 複数のドットにより構成されるバーコードが撮影された射影画像から、バーコードを構成するドットを検出するドット検出手段を有し、前記ドット検出手段により検出されたドットに基づきバーコードが表す情報を読み取るバーコード読み取り装置において、前記ドット検出手段により検出されたドットがバーコードのコード枠のコーナードットに相当することを検出するコーナードット検出手段と、前記コーナードット検出手段により検出されたコーナードットに基づきバーコードのコード枠を検出するコード枠検出手段1101とを有する。
【選択図】 図11
Description
前記コーナードット検出手順により検出されたコーナードットに基づきバーコードのコード枠を検出するコード枠検出手順とを有することを特徴とする。
始めに本実施例で用いる2次元バーコード(以下、単に2次元コードという)について説明する。図1は、本実施例で用いる印刷された文書の所定領域の一部が拡大された例を示す。点線で囲まれた領域2a、2b、2c及び2dは、それぞれが1つの2次元コードである。2次元コードは、光学的に読み取り可能な複数の黒ドットで構成されており、各2次元コードは縦横にマトリクス状に並べられている。図1の連続したドットで構成されたH1、H2及びH3のラインとV1、V2及びV3のラインは、各2次元コードの縦横の境界となる。なお、垂直線H1と水平線V1の交点、例えばドット15を2次元コードのコーナー(角)と称す。
続いて、2次元コードを用いた文書管理システムについて説明する。図5は、2次元コードを用いた文書管理システムの概略構成図を示す。図5の文書管理システムは、プリンタ601、複写機602、スキャナ603、パソコンなど情報処理装置604及び609、記憶装置605、携帯情報端末608、ペン型座標入力装置607、を有し、ネットワークを介しそれぞれが接続されている。また、記憶装置605は、文書管理データベース606及び印刷される文書を有する。文書管理データベース606は、各文書に識別のためのIDを付加するなど、各文書を管理するためのデータベースである。
さらに、マイコン808には、LCD表示装置809、LED810、あるいはブザー811が接続され、情報処理装置604から受信した情報をLCD表示装置809に表示したり、あるいは特定の情報を受信した場合にはLED810を点滅させたり、ブザー811を鳴らしたりして外部に通知することが可能である。
ペン型座標入力装置607を用いることで、印刷文書上での先端部805の位置検出を連続的に行えば、印刷文書上での先端部805の移動軌跡を求めることができる。また、前述のように先端部805が筆記面に接触しているかどうかを検出する圧力センサによって、紙面上に筆記を行ったときの筆記軌跡を忠実に求めることができる。
続いて、2次元コードが印刷された文書の印刷例について図5及び図7を用いて説明する。図7は、2次元コードを作成し、生成された2次元コードを印刷すべき文書に重畳し、文書を印刷するまでの処理のフローチャート図を示す。
図11は、図6で説明した2次元コード読み取り装置884の機能構成図を示す。まず、図5の画像読み取り装置806で読み取られた紙面の画像(白黒8ビット画像)が入力され、コード位置検出器1101で、画像内にある複数の2次元コードから一つの2次元コードの枠を検出する。詳細は後述する。撮影された画像の一例を図12に示す。図12においては、ドットで構成される複数の2次元コードが撮影されている。
コード位置検出器1101の詳細を説明する。コード位置検出器1101の機能構成図の一例を図14に示す。コード位置検出器1101は、図14に示すように、入力画像からドットおよびその位置を検出するドット検出器1401と、検出したドット画像からコード枠を構成するドットを検出し、コードの位置を決定するコード枠検出器1402とからなる。
ドット検出器1401がドットを検出する方法を図15を用いて説明する。撮影された画像の中から所定の画素を決定し、該画素を注目画素Zとする。注目画素Zにドットが存在するか否かは、次のように判定する。
画素(A〜H)にすでに検出されたドットが存在しない
且つ
Zの画素値<周囲画素(I〜X)− 所定の値(Th)
の場合に注目画素Zに2次元コードのドットがあると検出する。
続いて、コード枠検出器1402について説明する。コード枠検出器1402は図17のように構成されている。図17は、コード枠検出器1402の機能構成図の一例を示す。
図19(b)を用いて、周囲ドット検出器1901と点対称ペア検出器1902について説明する。図19(b)は、ドットが検出された画像であり、画素Nに当該ドットが検出されている。画素Nのドットを注目ドットNと称し、画素A〜Fには他のドットが存在する。
x Len画素の中で、注目ドットNから渦巻状に他のドットを探索し、注目ドットNの周囲に存在するドットを最大6つ検出する。Lenの典型的な値は17である。ノイズをドットとして誤検出する場合もあるので、二組のペアを作成するために必要となる4つのドットを検出するだけでなく、最大6つのドットを検出するようにする。三つ以下のドットしか検出できなかった場合はこのドットNはコーナードットではないと判定し、処理を終了する。図19(b)の例では、A〜Fの6ドットが存在する。これが周囲ドットとして検出される。
続いて、点対称ペア検出器1902では、ドットA〜Fのうちで、注目ドットNとの距離が近く、その中間点がNに近く、かつ両ドット間の距離が小さいものを二組検出する。図19(b)の場合、(A、C)、(B、D)の二組がそれに相当する。EおよびFはノイズまたはコーナー最近傍のドットではないと判断される。このようにして注目ドットNおよび周囲の二組の点対称ペアが検出されると、注目ドットNは第一コーナーとして検出される。
次に、図17の第二コーナー位置推定器1702の詳細を図20に基づき説明する。ここで、第一、第二、第三、第四コーナー位置推定器はコーナー名が変わるだけで、一部のパラメータ以外は同じ構成であるので、他のコーナーの位置推定器うち重複する部分の説明は省略する。図20は、2次元コードのコーナー付近を構成するドットを示す図である。Xは第一コーナー検出器1701より検出された第一コーナードットであり、A〜Iはコード枠を構成するドットである。このうちA〜Dは、図19の点対称ペア検出器1902により検出されているため既知である。ドットYは、第二コーナードットの推定位置、ドットY’は真の第二コーナードットである。
第二コーナー位置推定器では、
Y= (D − B)8/2 + X
を計算する。ベクトルDからベクトルBを減算することで、XからY方向を向くベクトルが得られる。このベクトルは長さが2ドット分あるため2で除算し、これにベクトルXを加算することでXから8ドット分離れた第二コーナードットYを推定する。したがって、ベクトルYは、第二または第四コーナードットYの推定ベクトルである。
Y= (D − B)12/2 + X
で計算される。Yは第一または第三コーナードットYの推定ベクトルである。
第二コーナーの位置が推定されたので、次に、第二コーナー検出器1703について説明する。図21は、第二コーナー検出器1703の機能構成図の一例を示す。第二コーナー検出器1703は、第二コーナー位置推定器で推定された画素位置(従って位置が推定されたドットYのある画素)を中心として、その周囲にある一つ以上のドットを検出するコーナードット候補検出器2101、及び、検出されたコーナードット候補がコーナーであるか否かを判定するコーナー判定器2102とからなる。なお、第三、第四コーナー検出器については、第二コーナー検出器1703と同様であるので説明は省略する。
第一コーナー位置推定器1708により推定された第一コーナーと、第一コーナー検出器1701によりあらかじめ検出された第一コーナーとが所定の距離にあるか否かの判定には、式(1)または式(2)を用いる。
< Dth1 …(1)
又は
|Y'x −Yx|
<Dth1 且つ |Y'y−Yy| <Dth2 …(2)
ただし、|Y’−Y|は推定された第一コーナーベクトルYと第一コーナーベクトルY'の距離。Y'x、Y'y
はそれぞれベクトルY'のx成分、y成分であり、Yx、YyはそれぞれベクトルYのx成分、y成分である。Dth1、DTH2は所定の閾値を表す。典型的な値は10である。従って、第一コーナー位置推定器1708により推定された第一コーナーと、第一コーナー検出器1701によりあらかじめ検出された第一コーナーとが所定の閾値(距離)よりも近い場合に、第一コーナー一致判定器1709は、2次元コードのコード枠が検出されたと判定する。
図24(a)は、ドットで構成された2次元コード及びコード枠を示す。図24(b)は2次元コードの各ドットの位置を仮想座量で表す図を示す。図24(c)は、2次元コードのデータを取得する処理の一例を表すフローチャート図を示す。図24(d)は、2次元コードのデータを取得する処理の別の例を表すフローチャート図を示す。
b0=f(Bv0)、 c0=f(Cv0)、d0=f(Dv0)を満たす8元1次連立方程式を作り、これを解くことで各データドットの画像座標が求められる(S2401)。
ペンに備えられたカメラで撮影された2次元コードのデータドットが得られたので、次に、ペン先の座標の算出について説明する。
次に、2次元コード読取装置の変形例について説明する。図27は、本変形例における2次元コード読み取り装置の機能構成図を示す。図27の2次元コード読み取り装置は、2つの誤り訂正器(第1誤り訂正器1107a、第2誤り訂正器1107b)がある点と、それに伴い選択器1111がある点で図11と異なる。なお、図11と同一構成部分には同一符号を付し、その説明は省略する。第1誤り訂正器1107a及び第2誤り訂正器1107bの機能は図11の誤り訂正器1107と同一である。
これまで説明してきた図6の2次元コードの読み取り装置884はハードウェアでコードの読み取りを行っているが、ソフトウェアで行ってもよい。この場合は2次元コード読み取り方法を実現するプログラムがマイコン808のROM882に格納されており、そのプログラムの命令が順次CPUにロードされて命令の実行が行われ、2次元コードの読み取り処理がなされる。
ソフトウェアによる2次元コード読み取りの他の例として図31にそのフローチャート図を示す。図31において、図28と同一ステップには同一の番号を付し、その説明は省略する。図28のフローチャート図と異なるのは、筆記中であって連続検出中でない場合は(S3101のはい且つS2811のいいえ)、筆記開始時に文書IDを置き換えずに誤り訂正を行う(S2813b)点である。誤り訂正ができなかった場合には(S2814bのいいえ)、文書ID部分の置き換えを行って誤り訂正を行う処理を行う(S2812、S2813)。この処理により、同一文書への加筆時には、図31の方法を使用することで図28の方法よりも誤り訂正率が向上する。
これまでで、2次元コードを読むことにより加筆座標を取得する装置・システム、方法、ソフトウェアについて述べたので、その加筆した情報を取得し、原文書に重畳する装置等について述べる。使用するシステムは図5に記載したものを使用し、その制御の流れを図32のフローチャート図に示す。
15 コーナードット
604 情報処理装置
606 文書管理データベース
607 ペン型座標入力装置
806 画像読み取り装置
808 マイコン
884 2次元コード読み取り装置
1101 コード位置検出器
1102 データ取得器
1103 圧力センサ
1104 筆記検出器
1105 連続筆記検出器
1106 データ置換器
1107 誤り訂正器
1108 既知情報メモリ
1109 データ複合器
1110 ペン先座標検出器
1111 選択器
1401 ドット検出器
1402 コード枠検出器
1701 第一コーナー検出器
1702 第二コーナー位置推定器
1709 第一コーナー一致判定器
1901 周囲ドット検出器
1902 点対称ペア検出器
2101 コーナードット候補検出器
2102 コーナー判定器
2301 FIFO記憶装置
2302 コーナードット判定器
2501 射影パラメータ算出器
2502 ペン先座標変換器
Claims (17)
- 複数のドットにより構成されるバーコードが撮影された射影画像から、バーコードを構成するドットを検出するドット検出手段を有し、前記ドット検出手段により検出されたドットに基づきバーコードが表す情報を読み取るバーコード読み取り装置において、
前記ドット検出手段により検出されたドットがバーコードのコード枠のコーナードットに相当することを検出するコーナードット検出手段と、
前記コーナードット検出手段により検出されたコーナードットに基づきバーコードのコード枠を検出するコード枠検出手段と、
を有することを特徴とするバーコード読み取り装置。 - 前記コード枠検出手段は、
前記コーナードット検出手段により検出されたバーコードのコード枠の第一のコーナードットの位置から他のコーナードットの位置を推定するコーナードット位置推定手段と、
前記コーナードット位置推定手段により推定された、他のコーナードットの推定位置近傍のコーナードット候補を検出するコーナードット候補検出手段と、
前記コーナードット候補検出手段により検出されたコーナードット候補が真のコーナードットであるか否かを判別するコーナードット判別手段と、
を有することを特徴とする請求項1記載のバーコード読み取り装置。 - 前記コーナードット判別手段がコーナードットであると判別した位置に基づいて、前記コーナードット位置推定手段が推定した第一のコーナードットの位置と、
前記コーナードット検出手段により検出された前記第一のコーナードットの位置と、
が一致するか否かを判定するコーナードット一致判定手段を有する、
ことを特徴とする請求項2記載のバーコード読み取り装置。 - 前記コーナードット検出手段又は前記コーナードット判別手段は、所定のドットに対し、 点対称なドットのペアを二組検出する点対称ペア検出手段を有することを特徴とする請求項2記載のバーコード読み取り装置。
- 前記コーナードット位置推定手段は、バーコードのコード枠の情報に基づきコーナードットの位置を推定する、
ことを特徴とする請求項2記載のバーコード読み取り装置。 - 前記コーナードット位置推定手段は、
所定のコーナードットの上下及び左右に存在するドットに基づきコーナードットの存在する方向を定める、
ことを特徴とする請求項5記載のバーコード読み取り装置。 - 前記コーナードット候補検出手段は、
前記コーナードット位置推定手段により推定されたコーナードットの位置を起点として走査することで前記コーナードット候補を検出する、
ことを特徴とする請求項2記載のバーコード読み取り装置。 - 前記コーナードット一致判定手段は、
前記コーナードット位置推定手段により推定された第一のコーナードットの位置と、
前記コーナードット検出手段により検出された前記第一のコーナードットの位置と、の距離が所定の閾値内の場合にコーナードットが一致したと判定する、
ことを特徴とする請求項3記載のバーコード読み取り装置。 - 複数のドットにより構成されるバーコードが撮影された射影画像から、バーコードを構成するドットを検出するドット検出手順を有し、前記ドット検出手順により検出されたドットに基づきバーコードが表す情報を読み取るバーコード読み取り装置において、
前記ドット検出手順により検出されたドットがバーコードのコード枠のコーナードットに相当することを検出するコーナードット検出手順と、
前記コーナードット検出手順により検出されたコーナードットに基づきバーコードのコード枠を検出するコード枠検出手順と、
を有することを特徴とするバーコード読み取り方法。 - 前記コード枠検出手順は、
前記コーナードット検出手順により検出されたバーコードのコード枠の第一のコーナードットの位置から他のコーナードットの位置を推定するコーナードット位置推定手順と、
前記コーナードット位置推定手順により推定された、他のコーナードットの推定位置近傍のコーナードット候補を検出するコーナードット候補検出手順と、
前記コーナードット候補検出手順により検出されたコーナードット候補が真のコーナードットであるか否かを判別するコーナードット判別手順と、
を有することを特徴とする請求項9記載のバーコード読み取り方法。 - 前記コーナードット位置推定手順が、前記コーナードット判別手順がコーナードットであると判別した位置に基づいて推定した第一のコーナードットの位置と、
前記コーナードット検出手順により検出された前記第一のコーナードットの位置と、
が一致するか否かを判定するコーナードット一致判定手順を有する、
ことを特徴とする請求項10記載のバーコード読み取り方法。 - 前記コーナードット検出手順又は前記コーナードット判別手順は、所定のドットに対し、 点対称なドットのペアを二組検出する点対称ペア検出手順を有することを特徴とする請求項10記載のバーコード読み取り方法。
- 前記コーナードット位置推定手順は、バーコードのコード枠の情報に基づきコーナードットの位置を推定する、
ことを特徴とする請求項10記載のバーコード読み取り方法。 - 前記コーナードット位置推定手順は、
所定のコーナードットの上下及び左右に存在するドットに基づきコーナードットの存在する方向を定める、
ことを特徴とする請求項13記載のバーコード読み取り方法。 - 前記コーナードット候補検出手順は、
前記コーナードット位置推定手順により推定されたコーナードットの位置を起点として走査することで前記コーナードット候補を検出する、
ことを特徴とする請求項10記載のバーコード読み取り方法。 - 前記コーナードット一致判定手順は、
前記コーナードット位置推定手順により推定された第一のコーナードットの位置と、
前記コーナードット検出手順により検出された前記第一のコーナードットの位置と、の距離が所定の閾値内の場合にコーナードットが一致したと判定する、
ことを特徴とする請求項11記載のバーコード読み取り方法。 - 請求項9乃至16いずれか一項記載のバーコード読み取り方法を、コンピュータに実行させるためのバーコード読み取りプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003297825A JP4159948B2 (ja) | 2003-08-21 | 2003-08-21 | 2次元コード読み取り装置、2次元コード読み取り方法及び2次元コード読み取りプログラム、記憶媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003297825A JP4159948B2 (ja) | 2003-08-21 | 2003-08-21 | 2次元コード読み取り装置、2次元コード読み取り方法及び2次元コード読み取りプログラム、記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005070980A true JP2005070980A (ja) | 2005-03-17 |
JP4159948B2 JP4159948B2 (ja) | 2008-10-01 |
Family
ID=34403545
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003297825A Expired - Fee Related JP4159948B2 (ja) | 2003-08-21 | 2003-08-21 | 2次元コード読み取り装置、2次元コード読み取り方法及び2次元コード読み取りプログラム、記憶媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4159948B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010101683A (ja) * | 2008-10-22 | 2010-05-06 | Nissan Motor Co Ltd | 距離計測装置および距離計測方法 |
JP2010262558A (ja) * | 2009-05-11 | 2010-11-18 | Fuji Xerox Co Ltd | 情報表現画像、印刷物、画像処理装置及び画像処理プログラム |
JP2011138538A (ja) * | 2011-02-24 | 2011-07-14 | Nintendo Co Ltd | 画像認識プログラム、画像認識装置、画像認識システム、および画像認識方法 |
-
2003
- 2003-08-21 JP JP2003297825A patent/JP4159948B2/ja not_active Expired - Fee Related
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010101683A (ja) * | 2008-10-22 | 2010-05-06 | Nissan Motor Co Ltd | 距離計測装置および距離計測方法 |
JP2010262558A (ja) * | 2009-05-11 | 2010-11-18 | Fuji Xerox Co Ltd | 情報表現画像、印刷物、画像処理装置及び画像処理プログラム |
US8456486B2 (en) | 2009-05-11 | 2013-06-04 | Fuji Xerox Co., Ltd. | Image processing apparatus and image processing program |
JP2011138538A (ja) * | 2011-02-24 | 2011-07-14 | Nintendo Co Ltd | 画像認識プログラム、画像認識装置、画像認識システム、および画像認識方法 |
Also Published As
Publication number | Publication date |
---|---|
JP4159948B2 (ja) | 2008-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4198456B2 (ja) | 2次元コードパターン、2次元コードパターンを担持するパターン担持媒体、2次元コードパターンの生成方法、2次元コード読取装置および読取方法 | |
JP4557765B2 (ja) | 画像処理装置およびその方法 | |
US7712664B2 (en) | 2-dimensional code pattern, 2-dimensional code pattern supporting medium, 2-dimensional code pattern generating method, and 2-dimensional code reading apparatus and method | |
JP4854491B2 (ja) | 画像処理装置及びその制御方法 | |
US7359094B1 (en) | Image processing apparatus and image forming medium | |
JP4502385B2 (ja) | 画像処理装置およびその制御方法 | |
JP3727971B2 (ja) | 文書処理装置、及び文書処理方法 | |
US20090324080A1 (en) | Image processing device, image processing method and storage medium | |
JP4198392B2 (ja) | 2次元コード読取装置、画像入力装置、2次元コード読み取り方法、画像入力方法、そのプログラム、及びそのプログラムを記録した記録媒体 | |
JP2007122500A (ja) | 文字認識装置、文字認識方法及び文字データ | |
JP2007133550A (ja) | 情報管理システム、および情報管理方法 | |
KR20130139225A (ko) | 광학 펜을 이용한 절대 위치와 기타 정보용 도트 코드 패턴, 도트 코드 프린팅 방법, 및 도트 코드 읽는 방법 | |
JP2008028716A (ja) | 画像処理方法及び装置 | |
JP4159948B2 (ja) | 2次元コード読み取り装置、2次元コード読み取り方法及び2次元コード読み取りプログラム、記憶媒体 | |
JP4738668B2 (ja) | 文書管理装置、文書管理方法及びその文書管理装置での処理をコンピュータに行なわせるためのプログラムを格納した記憶媒体 | |
CN100501728C (zh) | 图像处理方法、***、程序、程序存储介质以及信息处理设备 | |
JP4397866B2 (ja) | 2次元パターン読み取り装置、2次元パターン読み取り方法 | |
JP2003046746A (ja) | 画像処理方法及び画像処理装置 | |
JP2006020144A (ja) | 文書処理システム | |
JP2008021120A (ja) | 筆記情報処理システム、筆記情報処理方法およびプログラム | |
JP4741363B2 (ja) | 画像処理装置、画像処理方法、及び、画像処理プログラム | |
JP2020047138A (ja) | 情報処理装置 | |
JP5387086B2 (ja) | 情報照合支援システム及びプログラム | |
JP2000331117A (ja) | 文書読取システム | |
JP5109377B2 (ja) | 筆記情報処理装置、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060515 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080208 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080304 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080502 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080617 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080716 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110725 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120725 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120725 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130725 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |