JP4221534B2 - ２値画像の特徴量抽出方法 - Google Patents
２値画像の特徴量抽出方法 Download PDFInfo
- Publication number
- JP4221534B2 JP4221534B2 JP04229599A JP4229599A JP4221534B2 JP 4221534 B2 JP4221534 B2 JP 4221534B2 JP 04229599 A JP04229599 A JP 04229599A JP 4229599 A JP4229599 A JP 4229599A JP 4221534 B2 JP4221534 B2 JP 4221534B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- area
- pixel
- line
- image area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置等に使用される画像データの特徴量抽出方法に係り、特に２値画像データを１スキャンすることにより、面積、周囲長、端点座標、重心位置座標、２次モーメント等を各画像エリア毎に適正かつ円滑に抽出することができる２値画像の特徴量抽出方法に関するものである。
【０００２】
【従来の技術】
従来、ＣＣＤカメラ等の撮像装置から取り込んだ２値化して得られた２値画像データから、所望の特徴量を抽出する手段として種々の方式が提案されている。
【０００３】
例えば、ビデオ信号そのものの時系列で画像信号を前処理（２値化）し、その２値化データに対してラスタスキャン方式等により画素を走査し、その画素の“１”、“０”の状態から画像を検出すると共に、その画像の領域内に存在する画素を、面積分その他種々の演算処理を行うことにより、面積、重心、主軸角等の特徴量をリアルタイムに抽出する方式が知られている。
【０００４】
しかし、この抽出方式によれば、面積等の特徴量の抽出には、全ての画素を抽出（アクセス）して面積分を行うため、その処理ステップが多く、高速処理に適さない難点がある。
【０００５】
このような観点から、従来において、２値画像を記憶する２値画像記憶手段と、この２値画像記憶手段に記憶された２値画像の輪郭を追跡して輪郭画素の位置座標を閉ループとして得る輪郭追跡手段と、前記輪郭追跡手段によって得た輪郭画素の位置座標に関する単項式を、輪郭を示す閉ループに関して積分することによって、前記閉ループに囲まれた図形に関する特徴量を抽出する特徴量算出手段を設けることにより、前記輪郭追跡手段により画像データ中に存在する物体等の輪郭線を抽出し、その輪郭線の追跡を行い、そして前記特徴量算出手段により輪郭線を構成する画素の位置座標データから、０次モーメント、１次モーメント等を求め、そして０次モーメントから面積を求め、また０次、１次モーメントから画像の重心を算出して、輪郭線追跡（画像検出）を行いながら、しかも輪郭線を構成する画素データという少ない画素から、面積、重心等の特徴量を検出するように構成した２値画像の特徴量抽出装置が提案されている（特開平６−２０８６２３号公報）。
【０００６】
【発明が解決しようとする課題】
しかるに、前述した従来の提案に係る２値画像の特徴量抽出装置は、画像データ中に存在する画像の輪郭線を抽出し、その輪郭線の追跡を行うと共に輪郭線を構成する画素の位置座標データからモーメントをそれぞれ求め、０次モーメントからは面積を求め、また０次および１次モーメントからは画像の重心を算出する等の演算処理を行うものであり、データの処理量は低減することができるが、演算処理は依然として複雑であり、特徴量抽出のためのデータ処理の容易化および迅速化に限界があった。
【０００７】
一般に、画像データの特徴量としては、次のような種類が知られている。
【０００８】
１．面積Ｓ
この特徴量は、着目する画像エリアの総画素数で示すことができる。この場合、微少ノイズは、その値が小さいため、容易に除去することができる。図８において、画像エリアＡ１の面積Ｓ1および画像エリアＡ２の面積Ｓ2をそれぞれ示す。
【０００９】
２．周囲長Ｌ
この特徴量は、着目する画像エリアの端画素数（４隣接）で示すことができる。その値は、単独で使用するよりも、面積と比とから丸っこさを表す特徴量が有効である。図８において、画像エリアＡ１の周囲長Ｌ1およびエリアＡ２の周囲長Ｌ2をそれぞれ示す。
【００１０】
３．端点座標群（上端、下端、左端、右端）
この特徴量は、着目する画像エリアの上端、下端、右端、左端の座標をそれぞれ示す。これらの値は、着目する画像エリアの位置情報を提供し、画像データの直接のアクセスに役立つ。図９において、画像エリアＡ１の上端座標（Ｘ1u，Ｙ1u）、左端座標（Ｘ1l，Ｙ1l）、下端座標（Ｘ1d，Ｙ1d）、右端座標（Ｘ1r，Ｙ1r）および画像エリアＡ２の上端座標（Ｘ2u，Ｙ2u）、左端座標（Ｘ2l，Ｙ2l）、下端座標（Ｘ2d，Ｙ2d）、右端座標（Ｘ2r，Ｙ2r）をそれぞれ示す。
【００１１】
４．重心位置座標
この特徴量は、着目する画像エリアの重心位置座標を示すことができる。この座標値は、着目する画像エリアの内部に位置するとは限らない。その値は、次式により計算することができ、画像エリア間の距離の計算等に役立つ。
【００１２】
【数１】
【００１３】
図１０において、画像エリアＡ１の重心位置座標（Ｘ1g，Ｙ1g）および画像エリアＡ２の重心位置座標（Ｘ2g，Ｙ2g）をそれぞれ示す。
【００１４】
５．２次モーメント
この特徴量は、着目する画像エリアの２次モーメントを計算し、モーメントの等しい楕円の主軸長ａ、副軸長ｂ、角度θを示すことができる。その値は、次式により計算することができる。
【００１５】
【数２】
但し、
【００１６】
【数３】
【００１７】
【数４】
但し、
【００１８】
【数５】
【００１９】
図１１において、画像エリアＡ１の２次モーメント（ａ1，ｂ1，θ1）および画像エリアＡ２の２次モーメント（ａ2，ｂ2，θ2）をそれぞれ示す。
【００２０】
そこで、本発明者は鋭意研究並びに検討を重ねた結果、１フレームに表示される２値画像からなる画像データをラスタスキャン方式等によりスキャンして画像エリアの面積、周囲長、端点、重心およびモーメント等の特徴量を抽出する場合において、前記画像データの１ラインのスキャンを行って、所定の濃度を有する画素を検知した際に、前記検知画素に対し同一ラインの１つ前の画素と、１つ前のラインの直上の画素とについて、それぞれ前記各画素の内容を確認し、前記検知画素が前記いずれか一方の画素の画像エリアに属する場合にその画像エリアのエリア番号を継承するように設定する。次いで、順次後続する画素について前記処理操作を繰り返し行って画像データをラインバッファに記憶させ、１ラインのスキャンを終了させる。そして、その際に、各画素について画像エリアが連続しているにも拘らずエリア番号が相違する場合に、前記ラインバッファを逆スキャンして前記相違しているエリア番号を同一のエリア番号に整合させる。さらに、１フレーム全体に亘って、最終ラインまで前記と同様のラインスキャンを行うことにより、それぞれ画像エリア毎に特徴量を記憶するように設定することにより、２値画像データを１スキャンすることにより、面積、周囲長、端点座標、重心位置座標、２次モーメント等を各画像エリア毎に適正かつ円滑に抽出することができることを突き止めた。
【００２１】
従って、本発明の目的は、２値画像データにおける特徴量の抽出に際して、画像データを１スキャンすることにより、所要の特徴量を各エリア毎に適正かつ簡便に抽出することができる２値画像の特徴量抽出方法を提供することにある。
【００２２】
【課題を解決するための手段】
前記目的を達成するために、本発明に係る２値画像の特徴量抽出方法は、１フレームに表示される２値画像からなる画像データをラスタスキャン方式によりスキャンして画像エリアの面積、周囲長、端点、重心およびモーメントの特徴量を抽出する２値画像の特徴量抽出方法において、画像データの１ラインのスキャンを行って、所定の濃度を有する画素を検知した際に、前記検知画素に対し同一ラインの１つ前の画素と、１つ前のラインの直上の画素とについて、それぞれ前記各画素の内容を確認し、前記検知画素が前記いずれか一方の画素の画像エリアに属する場合にその画像エリアのエリア番号を継承すると共に、順次後続する画素について前記処理操作を行って画像データをラインバッファに記憶させ、１ラインのスキャンを終了した際に、各画素について画像エリアが連続しているにも拘らずエリア番号が相違する場合に、前記ラインバッファを逆スキャンして前記相違しているエリア番号を同一のエリア番号に整合させ、以下１フレームの最終ラインまで前記と同様のラインスキャンを行うことによりそれぞれ画像エリア毎に特徴量を記憶することを特徴とする。
【００２３】
この場合、前記画像データの１ラインのスキャンを行って、所定の濃度を有する画素を検知した際に、前記検知画素に対し同一ラインの１つ前の画素と、１つ前のラインの直上の画素とについて、それぞれ前記各画素の内容を確認し、前記検知画素が前記両方の画素の画像エリアに属する場合に、前記直上の画素を優先させてその画像エリアのエリア番号を継承させることができる。
【００２４】
また、本発明に係る２値画像の特徴量抽出方法においては、前記画像データの１ラインのスキャンを行って、所要のエリア番号からなる画像エリアが終了した時点の次のＮ画素（Ｎは１以上の整数）を、隣接する画像エリアの準画像エリアとして設定することができる。
【００２５】
さらに、前記画像データの１ラインのスキャンを行って、同一のエリア番号からなる画像エリアが終了すると共に、１つ前のラインの直上の画素が所要のエリア番号からなる画像エリアが終了している場合に、Ｎ画素（Ｎは１以上の整数）について前記直上に隣接する画像エリアの準画像エリアとして設定することができる。
【００２６】
そして、前記１ラインのスキャンを終了した際に、各画素について画像エリアが準画像エリアと共に連続しているにも拘らずエリア番号が相違する場合に、前記ラインバッファを逆スキャンして前記相違しているエリア番号を共通のエリア番号に整合させることができる。
【００２７】
【発明の実施の形態】
次に、本発明に係る２値画像の特徴量抽出方法の実施例につき、添付図面を参照しながら以下詳細に説明する。
【００２８】
図１は、本発明における２値画像の特徴量抽出方法の一実施例を示すものであり、特徴量を抽出するための各画像エリア毎のデータ構造すなわち画像データの特徴量を記憶するためのメモリ・フォーマットを示すものである。なお、本実施例において、２値画像の特徴量としては、前述した各画像エリアＡｎ毎の面積、周囲長、端点座標、重心位置座標および２次モーメントである。
【００２９】
従って、図１に示す画像エリアＡｎにおいて、画像データの特徴量は、画像エリア有効フラグを先頭として、順次面積、周囲長、上端点ｘ座標、上端点ｙ座標、下端点ｘ座標、下端点ｙ座標、左端点ｘ座標、左端点ｙ座標、右端点ｘ座標、右端点ｙ座標、ｘの総和、ｙの総和、ｘ＊ｘの総和、ｙ＊ｙの総和、ｘ＊ｙの総和である。
【００３０】
次に、２値画像の特徴量の抽出方法について説明する。
【００３１】
１．特徴量のデータ処理
１画面における画像データに対して、ラインスキャンする場合、例えば座標（Ｘj，Ｙj）において黒画素（いずれかの有効画像エリア）が存在すれば、図１に示す所要の画像エリアＡｎに対し、前記画像データの特徴量について、それぞれ次の通りメモリ（ラインバッファ）への書き込み処理が実行され、記憶される。
【００３２】
(1)属する画像エリアの面積をインクリメントする
(2)そこが画像エリアの境界であれば周囲長をインクリメントする
(3)そこが画像エリアの端であれば置き換えを行う（端点座標）
(4)ｘの総和を更新する（重心位置座標の算出に使用する）
(5)ｙの総和を更新する（重心位置座標の算出に使用する）
(6)ｘ＊ｘの総和を更新する（２次モーメントの算出に使用する）
(7)ｙ＊ｙの総和を更新する（２次モーメントの算出に使用する）
(8)ｘ＊ｙの総和を更新する（２次モーメントの算出に使用する）
【００３３】
２．特徴量の発生
画像データに対する１ラインのスキャンにおいて、前述したように、黒画素Ａｎがきた場合、図２に示すように、該当する画素Ａｎの同一ラインの１つ前の画素Ａｎ-1と、１つ前のラインの直上の画素Ａｎ+1とをそれぞれ見て、当該画素Ａｎがどの画像エリアに属するのかを探す。そして、もしその両者共画像エリアを持っていなければ、新しい画像エリアＡ１を発生させる。
【００３４】
３．特徴量の継承
次いで、画像データに対する１ラインのスキャンにおいて、図３の（ａ）〜（ｃ）にそれぞれ示すように、該当する画素Ａｎの１つ前の画素Ａｎ-1および／または直上の画素Ａｎ+1を見て、それぞれの画素がどの画像エリアに属するのかを探す。そして、当該画素Ａｎに対し、１つ前の画素Ａｎ-1が画像エリアＡ２を持っていれば、当該画素Ａｎはその横画像エリアＡ２を継承する〔図３の（ａ）参照〕。
【００３５】
また、当該画素Ａｎに対し、直上の画素Ａｎ+1が画像エリアＡ２を持っていれば、当該画素Ａｎはその直上の画像エリアＡ２を継承する〔図３の（ｂ）参照〕。
【００３６】
さらに、当該画素Ａｎに対し、１つ前の画素Ａｎ-1および直上の画素Ａｎ+1がそれぞれ画像エリアＡ１およびＡ２を持っていれば、当該画素Ａｎは直上の画素Ａｎ+1の画像エリアＡ２を優先（上方向優先）して、その直上の画像エリアＡ２を継承する〔図３の（ｃ）参照〕。
【００３７】
４．特徴量の合併
前述した特徴量の発生と継承を繰り返して、画像データの１ラインに対するスキャンを終了すると、図４の（ａ）に示すように、画像エリアが連続しているにも拘らず、異なるエリア番号となっていることがある。この場合、前記画像エリアを合併させるために、ラインバッファを逆スキャンする。そして、図４の（ｂ）に示すように、前記隣接する画素を全て同じ画像エリアＡ２に整合させると共に、特徴量のデータ処理を行う画像エリアも合併させて、データの空白となった部分は初期化して、次のデータ処理の使用のために待機させる。
【００３８】
前述したように、特徴量の発生、継承および合併の処理を、画像データの１ラインスキャン毎に最終ラインまで実行していけば、それぞれの特徴量は、画像エリア毎に図１に示すデータ構造（メモリ・フォーマット）に従ってメモリ（ラインバッファ）へ記憶させることができる。
【００３９】
５．特徴量の連結
次に、前述した特徴量の発生、継承および合併の処理の結果、合併の条件を満たさずに、幾つかの画素によって離間している画像エリアについても、同一画像エリアとみなすことが有効である。すなわち、「ドットマーキング」や「かすれ」等の画像データに対しては必要である。
【００４０】
すなわち、この場合は、Ｎ画素離れている２つの画像エリアについて、例えばＮ＝２としてこれらに該当する隣接する２画素を準画像エリアとし、前記２つの画像エリアを同一の画像エリアとして連結することである。これらの連結手法は、前記特徴量の発生、継承および合併の処理に準じて処理される。
【００４１】
（ａ）連結画像エリアの発生
図５に示すように、当該画素Ａｎにおける画像エリアＡ2.0 の発生において、その画像エリアＡ2.0が終了した時点から、その後の２画素Ａｎ+1、Ａｎ+2（Ｎ＝２とする）を準画像エリアＡ2.1、Ａ2.2として発生させ、画像エリアＡ2.0情報と共に距離情報をラインバッファに記憶させる。
【００４２】
（ｂ）連結画像エリアの継承
同様にして、図６に示すように、直上の画素Ａｎ+1が画像エリアＡ2.0 を持っていれば、当該画素Ａｎとその後の画素Ａｎ+1との隣接する２画素の範囲内において、それぞれ準画像エリアＡ2.1、Ａ2.2として継承させる。
【００４３】
（ｃ）連結画像エリアの合併
さらに、図７の（ａ）に示すように、画像エリアが連続しているにも拘らず、異なるエリア番号となっている場合には、ラインバッファを逆スキャンすることにより、図７の（ｂ）に示すように、前記隣接する画素を画像エリアおよび準画像エリアを含めて同じ画像エリアとなるように整合させる。
【００４４】
従って、前述した本発明による２値画像の特徴量抽出方法によれば、画像エリア毎に抽出された特徴量のデータに基づいて、前述したと従来における画像エリアの面積、周囲長、端点座標群、重心位置座標および２次モーメントからなる特徴量を適正かつ円滑に抽出することができる。
【００４５】
以上、本発明の好適な実施例について説明したが、本発明は前記実施例に限定されることなく、本発明の精神を逸脱しない範囲内において種々の設計変更をすることができる。
【００４６】
【発明の効果】
前述した実施例から明らかなように、本発明に係る２値画像の特徴量抽出方法は、１フレームに表示される２値画像からなる画像データをラスタスキャン方式によりスキャンして画像エリアの面積、周囲長、端点、重心およびモーメントの特徴量を抽出する２値画像の特徴量抽出方法において、画像データの１ラインのスキャンを行って、所定の濃度を有する画素を検知した際に、前記検知画素に対し同一ラインの１つ前の画素と、１つ前のラインの直上の画素とについて、それぞれ前記各画素の内容を確認し、前記検知画素が前記いずれか一方の画素の画像エリアに属する場合にその画像エリアのエリア番号を継承すると共に、順次後続する画素について前記処理操作を行って画像データをラインバッファに記憶させ、１ラインのスキャンを終了した際に、各画素について画像エリアが連続しているにも拘らずエリア番号が相違する場合に、前記ラインバッファを逆スキャンして前記相違しているエリア番号を同一の番号に整合させ、以下１フレームの最終ラインまで前記と同様のラインスキャンを行うことによりそれぞれ画像エリア毎に特徴量を記憶することにより、２値画像データを１スキャンすることにより、面積、周囲長、端点座標、重心位置座標、２次モーメント等を各画像エリア毎に適正かつ円滑に抽出することができる。
【図面の簡単な説明】
【図１】本発明に係る２値画像の特徴量抽出方法を実施する画像データの特徴量のデータ構造すなわち画像データの特徴量を記憶するためのメモリ・フォーマットを示す説明図である。
【図２】本発明に係る２値画像の特徴量抽出方法における画像データの画像エリアの発生状態を示す画像データの説明図である。
【図３】（ａ）〜（ｃ）は本発明に係る２値画像の特徴量抽出方法における画像データの画像エリアのそれぞれ異なる継承状態を示す画像データの説明図である。
【図４】（ａ）および（ｂ）は本発明に係る２値画像の特徴量抽出方法における画像データの画像エリアの合併状態を示す画像データの説明図である。
【図５】本発明に係る２値画像の特徴量抽出方法における画像データの連結画像エリアの発生状態を示す画像データの説明図である。
【図６】本発明に係る２値画像の特徴量抽出方法における画像データの連結画像エリアの継承状態を示す画像データの説明図である。
【図７】（ａ）および（ｂ）は本発明に係る２値画像の特徴量抽出方法における画像データの連結画像エリアの合併状態を示す画像データの説明図である。
【図８】２値画像の特徴量抽出方法における画像データの着目画像エリアの面積および周囲長をそれぞれ示す画像データの説明図である。
【図９】２値画像の特徴量抽出方法における画像データの着目画像エリアの端点座標群をそれぞれ示す画像データの説明図である。
【図１０】２値画像の特徴量抽出方法における画像データの着目画像エリアの重心位置座標をそれぞれ示す画像データの説明図である。
【図１１】２値画像の特徴量抽出方法における画像データの着目画像エリアの２次モーメントをそれぞれ示す画像データの説明図である。
【発明の属する技術分野】
本発明は、画像処理装置等に使用される画像データの特徴量抽出方法に係り、特に２値画像データを１スキャンすることにより、面積、周囲長、端点座標、重心位置座標、２次モーメント等を各画像エリア毎に適正かつ円滑に抽出することができる２値画像の特徴量抽出方法に関するものである。
【０００２】
【従来の技術】
従来、ＣＣＤカメラ等の撮像装置から取り込んだ２値化して得られた２値画像データから、所望の特徴量を抽出する手段として種々の方式が提案されている。
【０００３】
例えば、ビデオ信号そのものの時系列で画像信号を前処理（２値化）し、その２値化データに対してラスタスキャン方式等により画素を走査し、その画素の“１”、“０”の状態から画像を検出すると共に、その画像の領域内に存在する画素を、面積分その他種々の演算処理を行うことにより、面積、重心、主軸角等の特徴量をリアルタイムに抽出する方式が知られている。
【０００４】
しかし、この抽出方式によれば、面積等の特徴量の抽出には、全ての画素を抽出（アクセス）して面積分を行うため、その処理ステップが多く、高速処理に適さない難点がある。
【０００５】
このような観点から、従来において、２値画像を記憶する２値画像記憶手段と、この２値画像記憶手段に記憶された２値画像の輪郭を追跡して輪郭画素の位置座標を閉ループとして得る輪郭追跡手段と、前記輪郭追跡手段によって得た輪郭画素の位置座標に関する単項式を、輪郭を示す閉ループに関して積分することによって、前記閉ループに囲まれた図形に関する特徴量を抽出する特徴量算出手段を設けることにより、前記輪郭追跡手段により画像データ中に存在する物体等の輪郭線を抽出し、その輪郭線の追跡を行い、そして前記特徴量算出手段により輪郭線を構成する画素の位置座標データから、０次モーメント、１次モーメント等を求め、そして０次モーメントから面積を求め、また０次、１次モーメントから画像の重心を算出して、輪郭線追跡（画像検出）を行いながら、しかも輪郭線を構成する画素データという少ない画素から、面積、重心等の特徴量を検出するように構成した２値画像の特徴量抽出装置が提案されている（特開平６−２０８６２３号公報）。
【０００６】
【発明が解決しようとする課題】
しかるに、前述した従来の提案に係る２値画像の特徴量抽出装置は、画像データ中に存在する画像の輪郭線を抽出し、その輪郭線の追跡を行うと共に輪郭線を構成する画素の位置座標データからモーメントをそれぞれ求め、０次モーメントからは面積を求め、また０次および１次モーメントからは画像の重心を算出する等の演算処理を行うものであり、データの処理量は低減することができるが、演算処理は依然として複雑であり、特徴量抽出のためのデータ処理の容易化および迅速化に限界があった。
【０００７】
一般に、画像データの特徴量としては、次のような種類が知られている。
【０００８】
１．面積Ｓ
この特徴量は、着目する画像エリアの総画素数で示すことができる。この場合、微少ノイズは、その値が小さいため、容易に除去することができる。図８において、画像エリアＡ１の面積Ｓ1および画像エリアＡ２の面積Ｓ2をそれぞれ示す。
【０００９】
２．周囲長Ｌ
この特徴量は、着目する画像エリアの端画素数（４隣接）で示すことができる。その値は、単独で使用するよりも、面積と比とから丸っこさを表す特徴量が有効である。図８において、画像エリアＡ１の周囲長Ｌ1およびエリアＡ２の周囲長Ｌ2をそれぞれ示す。
【００１０】
３．端点座標群（上端、下端、左端、右端）
この特徴量は、着目する画像エリアの上端、下端、右端、左端の座標をそれぞれ示す。これらの値は、着目する画像エリアの位置情報を提供し、画像データの直接のアクセスに役立つ。図９において、画像エリアＡ１の上端座標（Ｘ1u，Ｙ1u）、左端座標（Ｘ1l，Ｙ1l）、下端座標（Ｘ1d，Ｙ1d）、右端座標（Ｘ1r，Ｙ1r）および画像エリアＡ２の上端座標（Ｘ2u，Ｙ2u）、左端座標（Ｘ2l，Ｙ2l）、下端座標（Ｘ2d，Ｙ2d）、右端座標（Ｘ2r，Ｙ2r）をそれぞれ示す。
【００１１】
４．重心位置座標
この特徴量は、着目する画像エリアの重心位置座標を示すことができる。この座標値は、着目する画像エリアの内部に位置するとは限らない。その値は、次式により計算することができ、画像エリア間の距離の計算等に役立つ。
【００１２】
【数１】
図１０において、画像エリアＡ１の重心位置座標（Ｘ1g，Ｙ1g）および画像エリアＡ２の重心位置座標（Ｘ2g，Ｙ2g）をそれぞれ示す。
【００１４】
５．２次モーメント
この特徴量は、着目する画像エリアの２次モーメントを計算し、モーメントの等しい楕円の主軸長ａ、副軸長ｂ、角度θを示すことができる。その値は、次式により計算することができる。
【００１５】
【数２】
【００１６】
【数３】
【数４】
【００１８】
【数５】
図１１において、画像エリアＡ１の２次モーメント（ａ1，ｂ1，θ1）および画像エリアＡ２の２次モーメント（ａ2，ｂ2，θ2）をそれぞれ示す。
【００２０】
そこで、本発明者は鋭意研究並びに検討を重ねた結果、１フレームに表示される２値画像からなる画像データをラスタスキャン方式等によりスキャンして画像エリアの面積、周囲長、端点、重心およびモーメント等の特徴量を抽出する場合において、前記画像データの１ラインのスキャンを行って、所定の濃度を有する画素を検知した際に、前記検知画素に対し同一ラインの１つ前の画素と、１つ前のラインの直上の画素とについて、それぞれ前記各画素の内容を確認し、前記検知画素が前記いずれか一方の画素の画像エリアに属する場合にその画像エリアのエリア番号を継承するように設定する。次いで、順次後続する画素について前記処理操作を繰り返し行って画像データをラインバッファに記憶させ、１ラインのスキャンを終了させる。そして、その際に、各画素について画像エリアが連続しているにも拘らずエリア番号が相違する場合に、前記ラインバッファを逆スキャンして前記相違しているエリア番号を同一のエリア番号に整合させる。さらに、１フレーム全体に亘って、最終ラインまで前記と同様のラインスキャンを行うことにより、それぞれ画像エリア毎に特徴量を記憶するように設定することにより、２値画像データを１スキャンすることにより、面積、周囲長、端点座標、重心位置座標、２次モーメント等を各画像エリア毎に適正かつ円滑に抽出することができることを突き止めた。
【００２１】
従って、本発明の目的は、２値画像データにおける特徴量の抽出に際して、画像データを１スキャンすることにより、所要の特徴量を各エリア毎に適正かつ簡便に抽出することができる２値画像の特徴量抽出方法を提供することにある。
【００２２】
【課題を解決するための手段】
前記目的を達成するために、本発明に係る２値画像の特徴量抽出方法は、１フレームに表示される２値画像からなる画像データをラスタスキャン方式によりスキャンして画像エリアの面積、周囲長、端点、重心およびモーメントの特徴量を抽出する２値画像の特徴量抽出方法において、画像データの１ラインのスキャンを行って、所定の濃度を有する画素を検知した際に、前記検知画素に対し同一ラインの１つ前の画素と、１つ前のラインの直上の画素とについて、それぞれ前記各画素の内容を確認し、前記検知画素が前記いずれか一方の画素の画像エリアに属する場合にその画像エリアのエリア番号を継承すると共に、順次後続する画素について前記処理操作を行って画像データをラインバッファに記憶させ、１ラインのスキャンを終了した際に、各画素について画像エリアが連続しているにも拘らずエリア番号が相違する場合に、前記ラインバッファを逆スキャンして前記相違しているエリア番号を同一のエリア番号に整合させ、以下１フレームの最終ラインまで前記と同様のラインスキャンを行うことによりそれぞれ画像エリア毎に特徴量を記憶することを特徴とする。
【００２３】
この場合、前記画像データの１ラインのスキャンを行って、所定の濃度を有する画素を検知した際に、前記検知画素に対し同一ラインの１つ前の画素と、１つ前のラインの直上の画素とについて、それぞれ前記各画素の内容を確認し、前記検知画素が前記両方の画素の画像エリアに属する場合に、前記直上の画素を優先させてその画像エリアのエリア番号を継承させることができる。
【００２４】
また、本発明に係る２値画像の特徴量抽出方法においては、前記画像データの１ラインのスキャンを行って、所要のエリア番号からなる画像エリアが終了した時点の次のＮ画素（Ｎは１以上の整数）を、隣接する画像エリアの準画像エリアとして設定することができる。
【００２５】
さらに、前記画像データの１ラインのスキャンを行って、同一のエリア番号からなる画像エリアが終了すると共に、１つ前のラインの直上の画素が所要のエリア番号からなる画像エリアが終了している場合に、Ｎ画素（Ｎは１以上の整数）について前記直上に隣接する画像エリアの準画像エリアとして設定することができる。
【００２６】
そして、前記１ラインのスキャンを終了した際に、各画素について画像エリアが準画像エリアと共に連続しているにも拘らずエリア番号が相違する場合に、前記ラインバッファを逆スキャンして前記相違しているエリア番号を共通のエリア番号に整合させることができる。
【００２７】
【発明の実施の形態】
次に、本発明に係る２値画像の特徴量抽出方法の実施例につき、添付図面を参照しながら以下詳細に説明する。
【００２８】
図１は、本発明における２値画像の特徴量抽出方法の一実施例を示すものであり、特徴量を抽出するための各画像エリア毎のデータ構造すなわち画像データの特徴量を記憶するためのメモリ・フォーマットを示すものである。なお、本実施例において、２値画像の特徴量としては、前述した各画像エリアＡｎ毎の面積、周囲長、端点座標、重心位置座標および２次モーメントである。
【００２９】
従って、図１に示す画像エリアＡｎにおいて、画像データの特徴量は、画像エリア有効フラグを先頭として、順次面積、周囲長、上端点ｘ座標、上端点ｙ座標、下端点ｘ座標、下端点ｙ座標、左端点ｘ座標、左端点ｙ座標、右端点ｘ座標、右端点ｙ座標、ｘの総和、ｙの総和、ｘ＊ｘの総和、ｙ＊ｙの総和、ｘ＊ｙの総和である。
【００３０】
次に、２値画像の特徴量の抽出方法について説明する。
【００３１】
１．特徴量のデータ処理
１画面における画像データに対して、ラインスキャンする場合、例えば座標（Ｘj，Ｙj）において黒画素（いずれかの有効画像エリア）が存在すれば、図１に示す所要の画像エリアＡｎに対し、前記画像データの特徴量について、それぞれ次の通りメモリ（ラインバッファ）への書き込み処理が実行され、記憶される。
【００３２】
(1)属する画像エリアの面積をインクリメントする
(2)そこが画像エリアの境界であれば周囲長をインクリメントする
(3)そこが画像エリアの端であれば置き換えを行う（端点座標）
(4)ｘの総和を更新する（重心位置座標の算出に使用する）
(5)ｙの総和を更新する（重心位置座標の算出に使用する）
(6)ｘ＊ｘの総和を更新する（２次モーメントの算出に使用する）
(7)ｙ＊ｙの総和を更新する（２次モーメントの算出に使用する）
(8)ｘ＊ｙの総和を更新する（２次モーメントの算出に使用する）
【００３３】
２．特徴量の発生
画像データに対する１ラインのスキャンにおいて、前述したように、黒画素Ａｎがきた場合、図２に示すように、該当する画素Ａｎの同一ラインの１つ前の画素Ａｎ-1と、１つ前のラインの直上の画素Ａｎ+1とをそれぞれ見て、当該画素Ａｎがどの画像エリアに属するのかを探す。そして、もしその両者共画像エリアを持っていなければ、新しい画像エリアＡ１を発生させる。
【００３４】
３．特徴量の継承
次いで、画像データに対する１ラインのスキャンにおいて、図３の（ａ）〜（ｃ）にそれぞれ示すように、該当する画素Ａｎの１つ前の画素Ａｎ-1および／または直上の画素Ａｎ+1を見て、それぞれの画素がどの画像エリアに属するのかを探す。そして、当該画素Ａｎに対し、１つ前の画素Ａｎ-1が画像エリアＡ２を持っていれば、当該画素Ａｎはその横画像エリアＡ２を継承する〔図３の（ａ）参照〕。
【００３５】
また、当該画素Ａｎに対し、直上の画素Ａｎ+1が画像エリアＡ２を持っていれば、当該画素Ａｎはその直上の画像エリアＡ２を継承する〔図３の（ｂ）参照〕。
【００３６】
さらに、当該画素Ａｎに対し、１つ前の画素Ａｎ-1および直上の画素Ａｎ+1がそれぞれ画像エリアＡ１およびＡ２を持っていれば、当該画素Ａｎは直上の画素Ａｎ+1の画像エリアＡ２を優先（上方向優先）して、その直上の画像エリアＡ２を継承する〔図３の（ｃ）参照〕。
【００３７】
４．特徴量の合併
前述した特徴量の発生と継承を繰り返して、画像データの１ラインに対するスキャンを終了すると、図４の（ａ）に示すように、画像エリアが連続しているにも拘らず、異なるエリア番号となっていることがある。この場合、前記画像エリアを合併させるために、ラインバッファを逆スキャンする。そして、図４の（ｂ）に示すように、前記隣接する画素を全て同じ画像エリアＡ２に整合させると共に、特徴量のデータ処理を行う画像エリアも合併させて、データの空白となった部分は初期化して、次のデータ処理の使用のために待機させる。
【００３８】
前述したように、特徴量の発生、継承および合併の処理を、画像データの１ラインスキャン毎に最終ラインまで実行していけば、それぞれの特徴量は、画像エリア毎に図１に示すデータ構造（メモリ・フォーマット）に従ってメモリ（ラインバッファ）へ記憶させることができる。
【００３９】
５．特徴量の連結
次に、前述した特徴量の発生、継承および合併の処理の結果、合併の条件を満たさずに、幾つかの画素によって離間している画像エリアについても、同一画像エリアとみなすことが有効である。すなわち、「ドットマーキング」や「かすれ」等の画像データに対しては必要である。
【００４０】
すなわち、この場合は、Ｎ画素離れている２つの画像エリアについて、例えばＮ＝２としてこれらに該当する隣接する２画素を準画像エリアとし、前記２つの画像エリアを同一の画像エリアとして連結することである。これらの連結手法は、前記特徴量の発生、継承および合併の処理に準じて処理される。
【００４１】
（ａ）連結画像エリアの発生
図５に示すように、当該画素Ａｎにおける画像エリアＡ2.0 の発生において、その画像エリアＡ2.0が終了した時点から、その後の２画素Ａｎ+1、Ａｎ+2（Ｎ＝２とする）を準画像エリアＡ2.1、Ａ2.2として発生させ、画像エリアＡ2.0情報と共に距離情報をラインバッファに記憶させる。
【００４２】
（ｂ）連結画像エリアの継承
同様にして、図６に示すように、直上の画素Ａｎ+1が画像エリアＡ2.0 を持っていれば、当該画素Ａｎとその後の画素Ａｎ+1との隣接する２画素の範囲内において、それぞれ準画像エリアＡ2.1、Ａ2.2として継承させる。
【００４３】
（ｃ）連結画像エリアの合併
さらに、図７の（ａ）に示すように、画像エリアが連続しているにも拘らず、異なるエリア番号となっている場合には、ラインバッファを逆スキャンすることにより、図７の（ｂ）に示すように、前記隣接する画素を画像エリアおよび準画像エリアを含めて同じ画像エリアとなるように整合させる。
【００４４】
従って、前述した本発明による２値画像の特徴量抽出方法によれば、画像エリア毎に抽出された特徴量のデータに基づいて、前述したと従来における画像エリアの面積、周囲長、端点座標群、重心位置座標および２次モーメントからなる特徴量を適正かつ円滑に抽出することができる。
【００４５】
以上、本発明の好適な実施例について説明したが、本発明は前記実施例に限定されることなく、本発明の精神を逸脱しない範囲内において種々の設計変更をすることができる。
【００４６】
【発明の効果】
前述した実施例から明らかなように、本発明に係る２値画像の特徴量抽出方法は、１フレームに表示される２値画像からなる画像データをラスタスキャン方式によりスキャンして画像エリアの面積、周囲長、端点、重心およびモーメントの特徴量を抽出する２値画像の特徴量抽出方法において、画像データの１ラインのスキャンを行って、所定の濃度を有する画素を検知した際に、前記検知画素に対し同一ラインの１つ前の画素と、１つ前のラインの直上の画素とについて、それぞれ前記各画素の内容を確認し、前記検知画素が前記いずれか一方の画素の画像エリアに属する場合にその画像エリアのエリア番号を継承すると共に、順次後続する画素について前記処理操作を行って画像データをラインバッファに記憶させ、１ラインのスキャンを終了した際に、各画素について画像エリアが連続しているにも拘らずエリア番号が相違する場合に、前記ラインバッファを逆スキャンして前記相違しているエリア番号を同一の番号に整合させ、以下１フレームの最終ラインまで前記と同様のラインスキャンを行うことによりそれぞれ画像エリア毎に特徴量を記憶することにより、２値画像データを１スキャンすることにより、面積、周囲長、端点座標、重心位置座標、２次モーメント等を各画像エリア毎に適正かつ円滑に抽出することができる。
【図面の簡単な説明】
【図１】本発明に係る２値画像の特徴量抽出方法を実施する画像データの特徴量のデータ構造すなわち画像データの特徴量を記憶するためのメモリ・フォーマットを示す説明図である。
【図２】本発明に係る２値画像の特徴量抽出方法における画像データの画像エリアの発生状態を示す画像データの説明図である。
【図３】（ａ）〜（ｃ）は本発明に係る２値画像の特徴量抽出方法における画像データの画像エリアのそれぞれ異なる継承状態を示す画像データの説明図である。
【図４】（ａ）および（ｂ）は本発明に係る２値画像の特徴量抽出方法における画像データの画像エリアの合併状態を示す画像データの説明図である。
【図５】本発明に係る２値画像の特徴量抽出方法における画像データの連結画像エリアの発生状態を示す画像データの説明図である。
【図６】本発明に係る２値画像の特徴量抽出方法における画像データの連結画像エリアの継承状態を示す画像データの説明図である。
【図７】（ａ）および（ｂ）は本発明に係る２値画像の特徴量抽出方法における画像データの連結画像エリアの合併状態を示す画像データの説明図である。
【図８】２値画像の特徴量抽出方法における画像データの着目画像エリアの面積および周囲長をそれぞれ示す画像データの説明図である。
【図９】２値画像の特徴量抽出方法における画像データの着目画像エリアの端点座標群をそれぞれ示す画像データの説明図である。
【図１０】２値画像の特徴量抽出方法における画像データの着目画像エリアの重心位置座標をそれぞれ示す画像データの説明図である。
【図１１】２値画像の特徴量抽出方法における画像データの着目画像エリアの２次モーメントをそれぞれ示す画像データの説明図である。
Claims (5)
- １フレームに表示される２値画像からなる画像データをラスタスキャン方式によりスキャンして画像エリアの面積、周囲長、端点、重心およびモーメントの特徴量を抽出する２値画像の特徴量抽出方法において、
画像データの１ラインのスキャンを行って、所定の濃度を有する画素を検知した際に、前記検知画素に対し同一ラインの１つ前の画素と、１つ前のラインの直上の画素とについて、それぞれ前記各画素の内容を確認し、前記検知画素が前記いずれか一方の画素の画像エリアに属する場合にその画像エリアのエリア番号を継承すると共に、順次後続する画素について前記処理操作を行って画像データをラインバッファに記憶させ、１ラインのスキャンを終了した際に、各画素について画像エリアが連続しているにも拘らずエリア番号が相違する場合に、前記ラインバッファを逆スキャンして前記相違しているエリア番号を同一のエリア番号に整合させ、以下１フレームの最終ラインまで前記と同様のラインスキャンを行うことによりそれぞれ画像エリア毎に特徴量を記憶することを特徴とする２値画像の特徴量抽出方法。 - 画像データの１ラインのスキャンを行って、所定の濃度を有する画素を検知した際に、前記検知画素に対し同一ラインの１つ前の画素と、１つ前のラインの直上の画素とについて、それぞれ前記各画素の内容を確認し、前記検知画素が前記両方の画素の画像エリアに属する場合に、前記直上の画素を優先させてその画像エリアのエリア番号を継承してなる請求項１記載の２値画像の特徴量抽出方法。
- 画像データの１ラインのスキャンを行って、所要のエリア番号からなる画像エリアが終了した時点の次のＮ画素（Ｎは１以上の整数）を、隣接する画像エリアの準画像エリアとして設定してなる請求項１または２記載の２値画像の特徴量抽出方法。
- 画像データの１ラインのスキャンを行って、同一のエリア番号からなる画像エリアが終了すると共に、１つ前のラインの直上の画素が所要のエリア番号からなる画像エリアが終了している場合に、Ｎ画素（Ｎは１以上の整数）について前記直上に隣接する画像エリアの準画像エリアとして設定してなる請求項１または２記載の２値画像の特徴量抽出方法。
- １ラインのスキャンを終了した際に、各画素について画像エリアが準画像エリアと共に連続しているにも拘らずエリア番号が相違する場合に、前記ラインバッファを逆スキャンして前記相違しているエリア番号を共通のエリア番号に整合させてなる請求項３または４記載の２値画像の特徴量抽出方法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP04229599A JP4221534B2 (ja) | 1999-02-19 | 1999-02-19 | ２値画像の特徴量抽出方法 |
| US09/913,937 US6973259B1 (en) | 1999-02-19 | 2000-02-18 | Method for extracting feature of binary image |
| EP00904048A EP1178433A1 (en) | 1999-02-19 | 2000-02-18 | Method for extracting feature of binary image |
| PCT/JP2000/000949 WO2000049569A1 (fr) | 1999-02-19 | 2000-02-18 | Procede servant a extraire les caracteristiques d'une image binaire |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP04229599A JP4221534B2 (ja) | 1999-02-19 | 1999-02-19 | ２値画像の特徴量抽出方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000242798A JP2000242798A (ja) | 2000-09-08 |
| JP4221534B2 true JP4221534B2 (ja) | 2009-02-12 |
Family
ID=12632060
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP04229599A Expired - Fee Related JP4221534B2 (ja) | 1999-02-19 | 1999-02-19 | ２値画像の特徴量抽出方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6973259B1 (ja) |
| EP (1) | EP1178433A1 (ja) |
| JP (1) | JP4221534B2 (ja) |
| WO (1) | WO2000049569A1 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002075655A2 (en) * | 2001-02-26 | 2002-09-26 | Visible Diagnostic | Method of detecting and segmenting characteristics areas in a picture, and use of the method |
| EP1605402A2 (en) * | 2004-06-10 | 2005-12-14 | Sony Corporation | Image processing device and method, recording medium, and program for blur correction |
| US20090074251A1 (en) * | 2006-05-02 | 2009-03-19 | Robert Steven Sears | Method and System for Determining a Force and/or Torque Applied to an Orthodontic Bracket |
| US8104055B2 (en) * | 2007-11-14 | 2012-01-24 | Mavs Lab. Inc. | Method of identifying target synchronization point pair through scan-line image matching scheme |
| CN101620733B (zh) * | 2008-06-30 | 2012-01-11 | 睿致科技股份有限公司 | 一种混合式连结组件标签方法 |
| JP5027075B2 (ja) * | 2008-08-05 | 2012-09-19 | 株式会社ジャパンディスプレイウェスト | 画像処理装置、画像入力装置および画像入出力装置 |
| KR101429923B1 (ko) | 2011-12-06 | 2014-08-13 | 엘지디스플레이 주식회사 | 터치 영역 라벨링 방법 및 그를 이용한 터치 센서 구동 장치 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4183013A (en) * | 1976-11-29 | 1980-01-08 | Coulter Electronics, Inc. | System for extracting shape features from an image |
| JP3072868B2 (ja) | 1991-10-28 | 2000-08-07 | 川崎製鉄株式会社 | 画像処理のラベル付け回路 |
| DE69332918D1 (de) * | 1992-01-24 | 2003-06-05 | Canon Kk | Gerät und Verfahren zum Extrahieren von Kantendaten und zur Kodierung von Bilddaten mit diesen Kantendaten |
| JP3147469B2 (ja) | 1992-03-12 | 2001-03-19 | 株式会社日立メディコ | 画像処理装置 |
| JPH07175925A (ja) | 1993-12-17 | 1995-07-14 | Mitsubishi Electric Corp | 特徴量算出装置及び特徴量算出方法 |
| JPH07175932A (ja) | 1993-12-20 | 1995-07-14 | Kawasaki Steel Corp | 画像処理装置 |
| US6483942B1 (en) * | 1999-09-27 | 2002-11-19 | Xerox Corporation | Micro region count image texture characterization |
-
1999
- 1999-02-19 JP JP04229599A patent/JP4221534B2/ja not_active Expired - Fee Related
-
2000
- 2000-02-18 WO PCT/JP2000/000949 patent/WO2000049569A1/ja active Application Filing
- 2000-02-18 US US09/913,937 patent/US6973259B1/en not_active Expired - Fee Related
- 2000-02-18 EP EP00904048A patent/EP1178433A1/en not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000242798A (ja) | 2000-09-08 |
| WO2000049569A1 (fr) | 2000-08-24 |
| US6973259B1 (en) | 2005-12-06 |
| EP1178433A1 (en) | 2002-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6839466B2 (en) | Detecting overlapping images in an automatic image segmentation device with the presence of severe bleeding | |
| US6738154B1 (en) | Locating the position and orientation of multiple objects with a smart platen | |
| US6898316B2 (en) | Multiple image area detection in a digital image | |
| EP1081648B1 (en) | Method for processing a digital image | |
| US20070253040A1 (en) | Color scanning to enhance bitonal image | |
| US5892854A (en) | Automatic image registration using binary moments | |
| US20060088218A1 (en) | Image processing method and image processing apparatus | |
| JP4221534B2 (ja) | ２値画像の特徴量抽出方法 | |
| CN111063029A (zh) | 地图构建方法、装置、计算机可读存储介质及机器人 | |
| CN108182400B (zh) | 数码管动态显示识别方法及*** | |
| JP2981382B2 (ja) | パターンマッチング方法 | |
| JP3164835B2 (ja) | 人物画像認識における前処理方法および後処理方法 | |
| EP0975146B1 (en) | Locating the position and orientation of multiple objects with a smart platen | |
| JP2002133424A (ja) | 文書の傾き角度及び境界の検出方法 | |
| JP3113785B2 (ja) | 画像分類装置 | |
| JP2004145592A (ja) | 移動ベクトル抽出装置及び方法及びプログラム及びその記録媒体 | |
| JP2001501750A (ja) | アイローカリゼーションフィルタ | |
| EP0974931A1 (en) | Method and apparatus for identifying a plurality of sub-images in an input image | |
| JP3030814B2 (ja) | ノイズ成分除去方法及びノイズ成分除去プログラムを記録した記録媒体 | |
| JP3430506B2 (ja) | 画像処理方法及び該方法を用いたナンバープレートのサーチ方法 | |
| JP2797655B2 (ja) | 画像処理方法およびその装置 | |
| JP2002259983A (ja) | 画像認識方法及びシステム | |
| JPH11232463A (ja) | 画像認識装置および方法 | |
| JPH0718810B2 (ja) | パターン検査方法 | |
| JPS63182780A (ja) | 図面読取装置における画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060120 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080801 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080930 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081022 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081104 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111128 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111128 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121128 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |