JP4134522B2 - 指掌紋画像処理装置及び方法 - Google Patents
指掌紋画像処理装置及び方法 Download PDFInfo
- Publication number
- JP4134522B2 JP4134522B2 JP2001087711A JP2001087711A JP4134522B2 JP 4134522 B2 JP4134522 B2 JP 4134522B2 JP 2001087711 A JP2001087711 A JP 2001087711A JP 2001087711 A JP2001087711 A JP 2001087711A JP 4134522 B2 JP4134522 B2 JP 4134522B2
- Authority
- JP
- Japan
- Prior art keywords
- ridge
- region
- image
- local
- ridges
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1347—Preprocessing; Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Collating Specific Patterns (AREA)
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、指紋照合や指紋分類又は掌紋照合等に用いられる指掌紋画像処理装置及び方法、そのプログラムに関するものである。
【０００２】
【従来の技術】
従来、指掌紋画像から隆線方向や隆線ピッチ等の隆線情報を自動的に抽出する方法として、例えば、特許第２７６５３３５号公報に記載された隆線方向パターン平滑化方法及びその装置や、情報処理学会第２２回（昭和５６年前期）全国大会で発表された弛緩法による指紋パターンの分類（河越等）がある。隆線方向パターン平滑化方法及びその装置は、エネルギー最小化原理に基づく手法であり、画像上に設定した２次元局所領域毎に抽出した方向に信頼度という尺度を介して評価関数を設定し、その評価関数を最小化することによって平滑化を施す方法である。一方、弛緩法による指紋パターンの分類では、画像上に設定した２次元局所領域毎に抽出した方向に関する情報を所謂弛緩法を用いて平滑化するという方法である。
【０００３】
しかしながら、特許第２７６５３３５号公報に記載された方法では、皺を含む画像を平滑化しようとすると、皺に合わせて周囲の領域を平滑化してしまい、皺を強調してしまう場合がある。また、弛緩法による指紋パターンの分類に記載された技術では、局所領域毎に抽出した方向に関する情報を平滑化する手法として弛緩法を用いているが、この手法においても掌紋に頻繁に存在する同様のピッチで互いに平行して広範囲に渡って存在する皺の部分に対し皺に合わせた平滑化が行われ、皺を強調してしまう場合があった。
【０００４】
そこで、本願発明者は、特開平９−１６７２３０号公報で皺の影響を受けずに指掌紋画像から隆線画像を抽出することが可能な指掌紋画像処理装置を公開している。同公報の装置では、入力された指紋又は掌紋画像を複数のブロックに分割し、それぞれのブロック毎に隆線候補を複数検出し、検出された隆線候補のうち確実に隆線であるといえる候補とそのブロックを決定し、残りのブロックでそれらの候補と整合性を持つ候補を選択する。隆線同士、皺同士のパターンは空間的に連続しているが、一般に皺と隆線には連続性がないので、確実に隆線である候補を検出し、その他の局所候補でその候補と連続性を持っている候補を選択することにより、皺が存在する領域でも正しく隆線を検出することを可能とするものである。
【０００５】
図６は上記指掌紋画像処理装置を示すブロック図である。なお、図６は特開平９−１６７２３０号公報の図９に対応している。但し、説明を簡単にするため、本明細書の図６は同公報の図９を簡単化したブロック図で示している。図６において、１１は画像入力手段、１２は局所情報抽出手段、１３は高信頼性領域決定手段、１４は隣接領域群検出手段、１５は隆線候補選択手段、１６は画像生成手段である。ここで、高信頼性領域決定手段１３は同公報の第１隆線候補画像選択部１２、接続性評価部１３、クラスタリング部１４、クラスタ評価部１５に対応している。また、隣接領域群検出手段１４と隆線候補選択手段１５は最適隆線候補画像選択部１７に対応している。
【０００６】
図７は図６の装置の動作を示すフローチャートである。図７において、画像入力手段１１は指紋又は掌紋を画像として読み込み、デジタル画像の形で局所情報抽出手段１２へ供給する（Ｓ７０１）。局所情報抽出手段１２は入力された原画像を２次元局所領域に分割し（Ｓ７０２）、局所領域毎に局所領域に存在する隆線を表現する候補となる画像（隆線候補画像という）を複数抽出する（Ｓ７０３）。抽出した隆線候補画像にはそれぞれ番号を付しておく。抽出された隆線候補画像は高信頼性領域決定手段１３、隆線候補選択手段１４、画像生成手段１６へそれぞれ供給される。高信頼性領域決定手段１３では複数の隆線候補画像の中から隆線である可能性が高い隆線候補とそれを含む局所領域（高信頼性領域）を決定し（Ｓ７０４）、隣接領域群検出手段１４、隆線候補選択手段１５、画像生成手段１６にそれぞれ供給する。
【０００７】
隣接領域群検出手段１４は高信頼性領域に隣接する局所領域（隣接領域）をすべて見付ける（Ｓ７０５）。例えば、図８（ａ）に示すように高信頼性領域（濃いハッチングで示す領域）が検出されたとすると、それに隣接する領域（薄いハッチングで示す領域）を隣接領域として検出する。次いで、隣接領域の数が１つ以上あるか否かを判定する（Ｓ７０６）。例えば、図８（ａ）の例では隣接領域は１つ以上存在するので、Ｓ７０７へ進み、隆線候補選択手段１５において検出されたすべての隣接領域毎にそれぞれの隆線候補画像の中から隆線画像を選択し、選択した候補の番号を画像生成手段１６に通知する。
【０００８】
例えば、図８（ａ）の隣接領域Ａの候補選択処理を行う場合は、隆線候補画像１〜６の中から連続性が高い候補を選択し、この時は候補画像２を選択する。次に、Ｓ７０５に戻り、高信頼性領域又は選択が終了している局所領域で、高信頼性領域ではなく、既に選択が終了している領域でもない隣接領域をすべて見付ける。即ち、図８（ａ）を例にとると、先に見付けた隣接領域に対し下方側に隣接する領域をすべて見付ける。次に、Ｓ７０６で隣接領域が１つ以上あるか否かを判定し、１つ以上ある時はＳ７０７ですべての隣接領域に対し隆線候補画像から隆線画像を選択する。以下、Ｓ７０５〜Ｓ７０７の処理を繰り返し行い、Ｓ７０６でＮｏと判定すると、すべての局所領域について処理を終了しているので、画像生成手段１６は、図８（ｂ）に示すように選択された候補画像を用いて全体の隆線画像を作成する（Ｓ７０８）。
【０００９】
【発明が解決しようとする課題】
上記特開平９−１６７２３０号公報の指掌紋画像処理装置では、皺の影響を受けずに隆線を抽出することが可能であるが、隣接する領域の連続性を重視して局所領域毎に隆線画像を決定しているので、図９（ａ）に示すようなコア、図９（ｂ）に示すようなデルタといった隆線の曲率の大きな部分では、隆線がはっきりしていても隆線よりも連続性の良い皺等に由来する画像候補を選択し、隆線の抽出に失敗することがあった。
【００１０】
本発明は、上記先願発明を更に改良し、皺が混在する領域や隆線の曲率の高い部分であってもより正確に隆線を抽出することが可能な指掌紋画像処理装置及び方法、そのプログラムを提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明の指掌紋画像処理装置は、上記目的を達成するため、指紋又は掌紋を画像として読み込む手段と、前記指紋又は掌紋画像を局所領域に分割し、局所領域毎に隆線を表わす隆線候補画像を抽出する手段と、抽出された隆線候補画像のうち隆線である可能性が高い候補画像及びそれを含む局所領域を高信頼性領域として決定する高信頼性領域決定手段と、前記高信頼性領域以外の局所領域に関して隆線が単独で存在する隆線単独領域か皺と隆線が混在する皺／隆線混在領域かを判定する判定手段と、前記隆線単独領域と皺／隆線混在領域毎にそれぞれ対応する評価基準に基づいて隆線候補画像の中から隆線を表わすと推定される候補画像を選択する選択手段と、前記高信頼性領域決定手段で決定された候補画像及び前記選択手段で選択された候補画像を各前記局所領域毎の隆線画像とすることで全体の指紋又は掌紋の隆線画像を生成する手段とを備え、前記判定手段は、それぞれの局所領域のパワースペクトルの分布に基づき隆線単独領域か、皺と隆線が混在する皺／隆線混在領域かを判定し、前記選択手段は、前記隆線単独領域では隆線候補画像のエネルギーの大きさを重視して選択を行い、前記皺／隆線混在領域では周囲の隆線候補との接続性の良さを重視して選択を行うことを特徴とする。
【００１２】
また、本発明の指掌紋画像処理方法は、指紋又は掌紋を画像として読み込む過程と、前記指紋又は掌紋画像を局所領域に分割し、局所領域毎に隆線を表わす隆線候補画像を抽出する過程と、抽出された隆線候補画像のうち隆線である可能性が高い候補画像及びそれを含む局所領域を高信頼性領域として決定する高信頼性領域決定過程と、前記高信頼性領域以外の局所領域に関して隆線が単独で存在する隆線単独領域か皺と隆線が混在する皺／隆線混在領域かを判定する判定過程と、前記隆線単独領域と皺／隆線混在領域毎にそれぞれ対応する評価基準に基づいて隆線候補画像の中から隆線を表わすと推定される候補画像を選択する選択過程と、前記高信頼性領域決定過程で決定された候補画像及び前記選択過程で選択された候補画像を各前記局所領域毎の隆線画像とすることで全体の指紋又は掌紋の隆線画像を生成する過程とを含み、前記判定過程では、それぞれの局所領域のパワースペクトルの分布に基づき隆線単独領域か、皺と隆線が混在する皺／隆線混在領域かを判定し、前記選択過程では、前記隆線単独領域では隆線候補画像のエネルギーの大きさを重視して選択を行い、前記皺／隆線混在領域では周囲の隆線候補との接続性の良さを重視して選択を行うことを特徴とする。
【００１３】
更に、本発明のプログラムは、コンピュータに、指紋又は掌紋画像を局所領域に分割し、局所領域毎に隆線を表わす隆線候補画像を抽出する手順、抽出された隆線候補画像のうち隆線である可能性が高い候補画像及びそれを含む局所領域を高信頼性領域として決定する高信頼性領域決定手順、前記高信頼性領域以外の局所領域に関して隆線が単独で存在する隆線単独領域か皺と隆線が混在する皺／隆線混在領域かを、それぞれの局所領域のパワースペクトルの分布に基づき判定する判定手順、前記隆線単独領域と皺／隆線混在領域毎に前記隆線候補画像の中から隆線を表わすと推定される候補画像を、前記隆線単独領域では隆線候補画像のエネルギーの大きさを重視して選択し、前記皺／隆線混在領域では周囲の隆線候補との接続性の良さを重視して選択する選択手順、前記高信頼性領域決定手順により決定された候補画像及び前記選択手順により選択された候補画像を各前記局所領域毎の隆線画像とすることで全体の指紋又は掌紋の隆線画像を生成する手順、を実行させることを特徴とする。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。図１は本発明の指掌紋画像処理装置の一実施形態の構成を示すブロック図である。なお、図１では図６の従来装置と同一部分は同一符号を付している。図１において、１１は指紋又は掌紋を画像として読み込み、指紋又は掌紋画像を入力するためのスキャナーやライブスキャナー等の画像入力手段である。１２は画像入力手段から入力された指紋又は掌紋の原画像を２次元局所領域に分割し、それぞれの局所領域に存在する隆線を表わす隆線候補画像を局所領域毎に複数抽出する局所情報抽出手段である。局所情報抽出手段１２は特開平９−１６７２３０号公報に記載しているように、例えば、２次元局所領域の各々に２次元フーリエ変換を施し、その結果得られたフーリエ変換面でのピークの内異なる２次元正弦波に対応するピークをその振幅又はピーク近傍のエネルギーの大きなものから順に複数抽出し、各ピークに対応する２次元正弦波を隆線候補画像としている。
【００１５】
１３は局所情報抽出手段１２で抽出された各局所領域の複数の隆線候補画像のうち隆線である可能性が高い隆線候補画像を決定すると共に、そのような候補画像を含む局所領域を高信頼性領域として決定する高信頼性領域決定手段である。高信頼性領域決定手段１３は上記公報に記載しているように各２次元局所領域の複数個の隆線候補画像についてそれぞれ隆線らしさの度合いを評価し、各々の局所領域毎に隆線らしさの度合いが最も高い隆線候補画像を選択する。この場合、高信頼性領域決定手段１３は各々の局所領域の隆線候補画像のうちその振幅が最大となるものを選択する。
【００１６】
隣接領域群検出手段１４は高信頼性領域決定手段１３により決定された高信頼性領域又は後述する適応的隆線候補選択手段１８で隆線候補画像の選択が終了している局所領域と隣接する局所領域のうち高信頼性領域決定手段１３で決定された高信頼性領域でもなく、適応的隆線候補選択手段１８で隆線候補画像の選択が終了している局所領域でもないブロック（局所領域）をすべて検出する。以下、これらのブロックを隣接領域という。領域特性判定手段１７はすべての隣接領域毎に皺と隆線画像が混在しているブロックであるかどうかを局所情報抽出手段１２からの局所領域情報に基づいて判定する。
【００１７】
具体的には、皺と隆線が混在するブロックであるかどうかの判定は、振幅が最大である隆線候補画像の振幅、もしくはそれに対応するフーリエ面での点の周囲のエネルギーを、振幅が２番目に大きな候補の振幅もしくは対応するフーリエ面での点の周囲のエネルギーで割った値が予め決めておいた閾値よりも小さければ皺と隆線が混在するブロックと判定し、大きければそうでないブロックと判定する。適応的隆線候補選択手段１８は領域特性判定手段１７で判定された結果に応じて局所領域毎に別の評価基準で隆線候補の選択を行う。なお、図１の装置では処理途中の段階のデータ等を必要に応じてメモリ等の記憶装置（図示せず）に一旦格納し、必要に応じてそれを読み出すことでデータ処理を行う。
【００１８】
次に、本実施形態の具体的な動作を図２のフローチャートを参照して詳細に説明する。図２において、まず、画像入力手段１１は指紋又は掌紋をデジタル画像として読み込み、指紋又は掌紋の原画像を局所情報抽出手段１２に供給する（Ｓ２０１）。局所情報抽出手段１２では、前述のように入力された原画像を２次元局所領域に分割し（Ｓ２０２）、各２次元局所領域に存在する隆線を表現する隆線候補画像を各々の２次元局所領域毎に複数個抽出する（Ｓ２０３）。抽出された隆線候補画像は高信頼性領域決定手段１３、領域特性判定手段１７、適応的隆線候補画像選択手段１８、画像生成手段１６へそれぞれ供給される。
【００１９】
ここで、画像入力手段１１の入力画像の解像度を２０pixel/mmとし、局所領域を正方形（図３参照）とすると、局所領域の一辺の長さは８〜３２pixel 程度となる。また、隆線候補画像を抽出する場合、特開平９−１６７２３０号公報に記載しているように、局所領域の画像のパワースペクトルの極大点を大きなものから順に複数個検出し、極大点に対応する２次元正弦波をそれぞれの局所領域の隆線候補画像とする。例えば、局所領域毎に隆線候補画像を６個づつ抽出するものとする。次に、その極大点に対応する正弦波を特徴付けるパラメータをそれぞれの極大点により算出し記録する。
【００２０】
そのようなパラメータの一例について説明する。これは、上記特開平９−１６７２３０号公報に記載されている。まず、局所領域
Ｉij（０＜ｉ＜６３，０＜ｊ＜６３）
の第ｎ番目のピークのフーリエ面での座標値を、
（ξn (i,j)，ηn (i,j)）
とすると、局所情報抽出手段１２では振幅、位相、方向、周波数、ピーク周辺のパワーをそれぞれ算出する。
【００２１】
振幅は（１）式、位相は（２）式、方向は（３）式、周波数は（４）式、ピーク周辺のパワーは（５）式で得られる。
【００２２】
【数１】
【００２３】
【数２】
【００２４】
【数３】
【００２５】
【数４】
【００２６】
【数５】
【００２７】
また、ｆの全パワー
【００２８】
【数６】
【００２９】
も算出しておく。これらのパラメータから決定される画像は、
となる。この
【００３０】
【数７】
【００３１】
が各局所領域における隆線を表す候補画像となる。局所情報抽出手段１２ではすべての局所領域毎にこれらのパラメータの値、
【００３２】
【数８】
【００３３】
を算出する。
【００３４】
高信頼性領域決定手段１３は、特開平９−１６７２３０号公報に記載しているように隆線である可能性が高い隆線候補画像（高信頼性候補）とそれを含む局所領域を高信頼性領域として決定する（Ｓ２０４）。決定された高信頼性候補とそれを含む高信頼性領域は隣接領域群検出手段１４、適応的隆線候補選択手段１８、画像生成手段１６へそれぞれ供給される。ここで、高信頼性領域決定手段１３では、すべての局所領域毎にすべての隆線候補画像について隆線らしさの度合を評価し、隆線らしさの度合いが高い隆線候補画像を各局所領域から１つ選び、高信頼性候補画像とする。
【００３５】
この場合のアルゴリズムは、上記公報に記載しているように局所情報抽出手段１２で２次元局所領域の各々に２次元フーリエ変換を施し、その結果得られたフーリエ変換面でのピークのうち異なる２次元正弦波に対応するピークをその振幅又はピーク近傍のエネルギーの大きなものから順に複数個抽出し、各ピークに対応する２次元正弦波を隆線候補画像としているが、２次元局所領域の各々の隆線候補画像の中でその振幅が最大となるものを高信頼性候補画像とする。隣接領域群検出手段１４は高信頼性領域に隣接する局所領域（隣接領域）をすべて見付ける（Ｓ２０５）。例えば、図８（ａ）に示すように高信頼性領域（濃いハッチングで示す領域）が検出されたとすると、それに隣接する領域（薄いハッチングで示す領域）を隣接領域として検出する。
【００３６】
次いで、隣接領域群検出手段１４では、この時に検出した隣接領域の数が１つ以上であるかどうかを判定する（Ｓ２０６）。図８（ａ）の例では、隣接領域は１つ以上存在するので、Ｓ２０７へ進む。また、隣接領域の数が１つ以上あれば隣接領域の情報を領域特性判定手段１５へ通知し、そうでなければ画像生成手段１６へ通知する。Ｓ２０７では領域特性判定手段１５は隣接領域群の個々の隣接領域毎に皺と隆線が混在する領域であるかどうかを局所情報抽出手段１２からの局所領域情報に基づいて判定し、判定結果を適応的隆線候補選択手段１８へ通知する。具体的に説明すると、隣接領域の画像のパワースペクトル上の極大点のうち、所定の条件を満たす２つの点のパワースペクトルの比を用いて、隣接領域が皺と隆線が混在する領域であるかどうかを判定する。
【００３７】
所定の条件とは、実数値の画像のパワースペクトルは原点に対称であるので、周波数空間の片側半分に存在する極大値であること、皺や隆線としてありそうな空間周波数帯にあること（具体的には、０．２５ｍｍ〜１ｍｍで１周期程度の空間周波数）等である。このような条件を満たすものの中から極大値の大きさが上位２個の極大点の極大値を用いて判定を行う。即ち、最大の極大値をｐ１、２番目の極大値をｐ２とすると、ｐ２／ｐ１の値が予め決めておいた閾値以上であれば、皺と隆線が混在する領域と判定し、そうでなければ隆線が単独で存在している領域であると判定する。
【００３８】
また、この判定には極大点近傍（３×３程度）のパワースペクトルの和の比を用いてもよい。即ち、最大の極大値周辺のパワースペクトルの和をｖ１、２番目の大きさの極大値周辺のパワースペクトルの和をｖ２とすると、ｖ２／ｖ１の値が予め決めておいた閾値以上であれば皺と隆線が混在する領域であると判定し、そうでなければ隆線が単独で存在している領域であると判定する。局所領域のパワースペクトルは、領域特性判定手段１７で計算してもよいし、局所情報抽出手段１２で計算されたものを用いてもよい。また、特開平９−１６７２３０号公報に記載しているように、局所情報抽出部を用いる場合は、隆線候補画像の属性情報を用いてもよい。
【００３９】
次に、適応的隆線候補選択手段１８では、検出されたすべての隣接領域毎にそれぞれの隆線候補画像から領域特性判定手段１７の判定結果に応じて異なる評価基準で候補選択を行う（Ｓ２０８）。具体的には、領域特性判定手段１７で皺と隆線が混在していると判定された領域では周囲の隆線候補との接続性の良さを重視して選択を行い、隆線が独立して存在していると判定された領域では、周囲の隆線候補との接続性の良さと隆線候補画像のエネルギーの大きさの和を評価基準として選択を行う。
【００４０】
例えば、特開平９−１６７２３０号公報に記載しているように、皺と隆線が混在していると判定された場合は、Ｊ1 （ｎ）＝近傍の平均方向と第ｎ番目の隆線候補画像の方向差が最小となる隆線候補画像を隆線として選択する。また、隆線が単独で存在している領域であると判定された場合は、Ｊ2 （ｎ）＝近傍の平均方向と第ｎ番目の隆線候補画像の方向差＋α／ＳＮ（ｎ）が最小となる隆線候補画像を隆線として選択する。
【００４１】
ここで、αは定数、ＳＮ（ｎ）は、
【００４２】
【数９】
【００４３】
である。適応的隆線候補選択手段１８は、このようにしてすべての隣接領域毎に候補選択処理を行い、選択した隆線候補を隣接領域群検出手段１４、画像生成手段１６へ通知する。
【００４４】
次いで、再びＳ２０５に戻り、高信頼性領域又は選択が終了している局所領域で、高信頼性領域ではなく、既に選択が終了している領域でもない隣接領域をすべて検出する。即ち、図８（ａ）を例にとると、先に見付けた隣接領域に対し下方側に隣接する領域をすべて見付ける。次に、Ｓ２０６で隣接領域が１つ以上あるか否かを判定し、１つ以上ある時はＳ２０７ですべての隣接領域毎に領域の特性を判定し、Ｓ２０８ですべての隣接領域毎に領域特性判定結果に基づいて異なる基準で候補選択処理を行う。以下、同様にＳ２０５〜Ｓ２０８の処理を繰り返し行い、Ｓ２０６でＮｏと判定すると、画像生成手段１６は適応的隆線候補画像選択手段１８で選択された隆線候補、高信頼領域決定手段１３で隆線を表わしている可能性が高いと判定された隆線候補、及び局所情報抽出手段１２で得られた局所情報に基づいて全体の指紋又は掌紋の隆線画像を生成し（Ｓ２０９）、すべての処理を終了する。
【００４５】
ここで、特開平９−１６７２３０号公報の従来の隆線候補選択方法では、皺と隆線が混在する領域では皺に由来する隆線候補画像のエネルギーが隆線に由来するものよりも大きくなることもあるので、隆線候補画像のエネルギーを選択の評価基準に用いると誤って皺を選択してしまうことがあった。一方、隆線が単独で存在する領域でも、コアやデルタ等に見うけられる曲率の高い部分では隣接する局所領域で隆線候補画像の接続性のみで選択を行うと、真の隆線よりも接続性の良いノイズ成分が存在した場合、そちらを選択してしまい隆線抽出に失敗してしまうこともあった。このようなノイズ成分に由来する隆線候補画像のエネルギーは隆線に由来するものに比べて小さいので、エネルギーの大きさを使ってノイズか隆線かを判別することが可能である。つまり、皺が存在していない場合は曲率と無関係な量も隆線選択に用いることが可能であるが、皺が混在する場合は不可能である。
【００４６】
そこで、本実施形態では、皺と隆線が混在する領域なのか隆線が単独で存在する領域なのかを領域特性判定手段１７で判定し、適応的隆線候補選択手段１８でそれぞれに適した評価基準で画像候補の選択を行っているので、皺と隆線が混在する領域での隆線抽出能力を保持したまま、皺が無く隆線がきれいに存在していて曲率が高いコアやデルタといった部分でも、正しく隆線を抽出することができる。図３は皺と隆線が混在した領域と隆線が単独で存在する領域を持つ指紋掌紋画像の例を示す。このような画像から領域特性判定手段１７で判定した結果を図４に示す。適応的隆線候補選択手段１８では図４の隆線単独領域と皺／隆線混在領域で異なる評価基準で隆線候補選択を行う。
【００４７】
また、皺が存在せず隆線のみが存在する領域ではその小領域画像をフーリエ変換すると、原点対称に一組のピークが観察され、そのピークに多くのエネルギーが集中する。しかし、皺と隆線が同時に存在する領域のフーリエ変換像は皺に由来するピークと隆線に由来するピークが複数個出現し、それぞれ大きなエネルギーを持つ（図５参照）。このことから小領域のフーリエ変換像から特開平９−１６７２３０号公報の方法を用いてピークを複数個検出すると、隆線が単独で存在する領域ではエネルギー最大のピークに大部分のエネルギーが集中し、二番目のピークとのエネルギーの差が大きくなる。また、皺と隆線が混在する領域ではエネルギー最大のピークと二番目のピークとのエネルギーの差が小さくなる。従って、本実施形態では、これらの比の大小を評価することでその領域が皺と隆線が混在する領域かどうかを判定することができる。
【００４８】
更に、上記公報の従来の隆線候補選択方法では、前述のように皺と隆線が混在する領域では皺に由来する隆線候補画像のエネルギーが隆線に由来するものよりも大きくなることもあるので、隆線候補画像のエネルギーを選択の評価基準に用いると誤って皺を選択してしまうことがあった。一方、隆線が単独で存在する領域で、曲率の高い部分では隣接する局所領域で隆線候補画像の接続性のみで選択を行うと、真の隆線よりも接続性の良いノイズ成分が存在した場合、そちらを選択してしまい隆線抽出に失敗してしまうこともあった。このようなノイズ成分に由来する隆線候補画像のエネルギーは隆線に由来するものに比べて小さいので、エネルギーの大きさを使って判別することが可能である。
【００４９】
そこで、本実施形態では、適応的隆線候補選択手段１８で皺混在領域ではエネルギーを選択の評価基準には用いずに、方向の連続性のみを用いて画像候補の選択を行っている。また、隆線が単独で存在する領域ではエネルギーを重視した候補選択を行っている。これによって皺と隆線が混在する領域での隆線抽出能力を保持したまま、皺が無く隆線がきれいに存在していて、曲率が高いコアやデルタといった部分でも正しく隆線を抽出することができる。
【００５０】
なお、本発明のコンピュータプログラムは、上述した指掌紋画像を処理する方法を実行する手順を記述したプログラムである。即ち、コンピュータに、指紋又は掌紋画像を局所領域に分割し、局所領域毎に隆線を表わす隆線候補画像を抽出する手順、抽出された隆線候補画像のうち隆線である可能性が高い候補画像及びそれを含む局所領域を高信頼性領域として決定する手順、前記高信頼性領域以外の局所領域に関して隆線が単独で存在する隆線単独領域か皺と隆線が混在する皺／隆線混在領域かを判定する手順、前記隆線単独領域と皺／隆線混在領域毎にそれぞれ対応する評価基準に基づいて隆線候補画像の中から隆線を表わすと推定される候補画像を選択する手順、前記高信頼性領域決定手順の候補画像、前記選択手順で選択された候補画像に基づいて全体の画像を生成する手順を実行させるためのプログラムである。
【００５１】
【発明の効果】
以上説明したように本発明によれば、皺と隆線が混在している領域か隆線が独立して存在している領域かを判別し、この２つの領域に応じて隆線を抽出する際の評価基準を異ならせて隆線候補画像の中から候補画像を選択しているので、皺が混在する領域、あるいは隆線の曲率が高い領域であっても、正確に隆線を抽出することができる。
【図面の簡単な説明】
【図１】本発明の指掌紋画像処理装置の一実施形態の構成を示すブロック図である。
【図２】図１の実施形態の動作を示すフローチャートである。
【図３】皺と隆線が混在している領域と隆線が独立して存在している領域を持つ指掌紋画像の例を示す図である。
【図４】図３の指掌紋画像を図１の領域特性判定手段１７で判定した場合の結果を示す図である。
【図５】局所画像のパワーを説明するための図である。
【図６】従来例の指掌紋画像処理装置を示すブロック図である。
【図７】図６の従来装置の動作を示すフローチャートである。
【図８】図７の隆線画像の選択処理を説明するための図である。
【図９】コア、デルタといった隆線の曲率の大きな部分の例を示す図である。
【符号の説明】
１１ 画像入力手段
１２ 局所情報抽出手段
１３ 高信頼性領域決定手段
１４ 隣接領域群検出手段
１６ 画像生成手段
１７ 領域特性判定手段
１８ 適応的隆線候補選択手段
【発明の属する技術分野】
本発明は、指紋照合や指紋分類又は掌紋照合等に用いられる指掌紋画像処理装置及び方法、そのプログラムに関するものである。
【０００２】
【従来の技術】
従来、指掌紋画像から隆線方向や隆線ピッチ等の隆線情報を自動的に抽出する方法として、例えば、特許第２７６５３３５号公報に記載された隆線方向パターン平滑化方法及びその装置や、情報処理学会第２２回（昭和５６年前期）全国大会で発表された弛緩法による指紋パターンの分類（河越等）がある。隆線方向パターン平滑化方法及びその装置は、エネルギー最小化原理に基づく手法であり、画像上に設定した２次元局所領域毎に抽出した方向に信頼度という尺度を介して評価関数を設定し、その評価関数を最小化することによって平滑化を施す方法である。一方、弛緩法による指紋パターンの分類では、画像上に設定した２次元局所領域毎に抽出した方向に関する情報を所謂弛緩法を用いて平滑化するという方法である。
【０００３】
しかしながら、特許第２７６５３３５号公報に記載された方法では、皺を含む画像を平滑化しようとすると、皺に合わせて周囲の領域を平滑化してしまい、皺を強調してしまう場合がある。また、弛緩法による指紋パターンの分類に記載された技術では、局所領域毎に抽出した方向に関する情報を平滑化する手法として弛緩法を用いているが、この手法においても掌紋に頻繁に存在する同様のピッチで互いに平行して広範囲に渡って存在する皺の部分に対し皺に合わせた平滑化が行われ、皺を強調してしまう場合があった。
【０００４】
そこで、本願発明者は、特開平９−１６７２３０号公報で皺の影響を受けずに指掌紋画像から隆線画像を抽出することが可能な指掌紋画像処理装置を公開している。同公報の装置では、入力された指紋又は掌紋画像を複数のブロックに分割し、それぞれのブロック毎に隆線候補を複数検出し、検出された隆線候補のうち確実に隆線であるといえる候補とそのブロックを決定し、残りのブロックでそれらの候補と整合性を持つ候補を選択する。隆線同士、皺同士のパターンは空間的に連続しているが、一般に皺と隆線には連続性がないので、確実に隆線である候補を検出し、その他の局所候補でその候補と連続性を持っている候補を選択することにより、皺が存在する領域でも正しく隆線を検出することを可能とするものである。
【０００５】
図６は上記指掌紋画像処理装置を示すブロック図である。なお、図６は特開平９−１６７２３０号公報の図９に対応している。但し、説明を簡単にするため、本明細書の図６は同公報の図９を簡単化したブロック図で示している。図６において、１１は画像入力手段、１２は局所情報抽出手段、１３は高信頼性領域決定手段、１４は隣接領域群検出手段、１５は隆線候補選択手段、１６は画像生成手段である。ここで、高信頼性領域決定手段１３は同公報の第１隆線候補画像選択部１２、接続性評価部１３、クラスタリング部１４、クラスタ評価部１５に対応している。また、隣接領域群検出手段１４と隆線候補選択手段１５は最適隆線候補画像選択部１７に対応している。
【０００６】
図７は図６の装置の動作を示すフローチャートである。図７において、画像入力手段１１は指紋又は掌紋を画像として読み込み、デジタル画像の形で局所情報抽出手段１２へ供給する（Ｓ７０１）。局所情報抽出手段１２は入力された原画像を２次元局所領域に分割し（Ｓ７０２）、局所領域毎に局所領域に存在する隆線を表現する候補となる画像（隆線候補画像という）を複数抽出する（Ｓ７０３）。抽出した隆線候補画像にはそれぞれ番号を付しておく。抽出された隆線候補画像は高信頼性領域決定手段１３、隆線候補選択手段１４、画像生成手段１６へそれぞれ供給される。高信頼性領域決定手段１３では複数の隆線候補画像の中から隆線である可能性が高い隆線候補とそれを含む局所領域（高信頼性領域）を決定し（Ｓ７０４）、隣接領域群検出手段１４、隆線候補選択手段１５、画像生成手段１６にそれぞれ供給する。
【０００７】
隣接領域群検出手段１４は高信頼性領域に隣接する局所領域（隣接領域）をすべて見付ける（Ｓ７０５）。例えば、図８（ａ）に示すように高信頼性領域（濃いハッチングで示す領域）が検出されたとすると、それに隣接する領域（薄いハッチングで示す領域）を隣接領域として検出する。次いで、隣接領域の数が１つ以上あるか否かを判定する（Ｓ７０６）。例えば、図８（ａ）の例では隣接領域は１つ以上存在するので、Ｓ７０７へ進み、隆線候補選択手段１５において検出されたすべての隣接領域毎にそれぞれの隆線候補画像の中から隆線画像を選択し、選択した候補の番号を画像生成手段１６に通知する。
【０００８】
例えば、図８（ａ）の隣接領域Ａの候補選択処理を行う場合は、隆線候補画像１〜６の中から連続性が高い候補を選択し、この時は候補画像２を選択する。次に、Ｓ７０５に戻り、高信頼性領域又は選択が終了している局所領域で、高信頼性領域ではなく、既に選択が終了している領域でもない隣接領域をすべて見付ける。即ち、図８（ａ）を例にとると、先に見付けた隣接領域に対し下方側に隣接する領域をすべて見付ける。次に、Ｓ７０６で隣接領域が１つ以上あるか否かを判定し、１つ以上ある時はＳ７０７ですべての隣接領域に対し隆線候補画像から隆線画像を選択する。以下、Ｓ７０５〜Ｓ７０７の処理を繰り返し行い、Ｓ７０６でＮｏと判定すると、すべての局所領域について処理を終了しているので、画像生成手段１６は、図８（ｂ）に示すように選択された候補画像を用いて全体の隆線画像を作成する（Ｓ７０８）。
【０００９】
【発明が解決しようとする課題】
上記特開平９−１６７２３０号公報の指掌紋画像処理装置では、皺の影響を受けずに隆線を抽出することが可能であるが、隣接する領域の連続性を重視して局所領域毎に隆線画像を決定しているので、図９（ａ）に示すようなコア、図９（ｂ）に示すようなデルタといった隆線の曲率の大きな部分では、隆線がはっきりしていても隆線よりも連続性の良い皺等に由来する画像候補を選択し、隆線の抽出に失敗することがあった。
【００１０】
本発明は、上記先願発明を更に改良し、皺が混在する領域や隆線の曲率の高い部分であってもより正確に隆線を抽出することが可能な指掌紋画像処理装置及び方法、そのプログラムを提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明の指掌紋画像処理装置は、上記目的を達成するため、指紋又は掌紋を画像として読み込む手段と、前記指紋又は掌紋画像を局所領域に分割し、局所領域毎に隆線を表わす隆線候補画像を抽出する手段と、抽出された隆線候補画像のうち隆線である可能性が高い候補画像及びそれを含む局所領域を高信頼性領域として決定する高信頼性領域決定手段と、前記高信頼性領域以外の局所領域に関して隆線が単独で存在する隆線単独領域か皺と隆線が混在する皺／隆線混在領域かを判定する判定手段と、前記隆線単独領域と皺／隆線混在領域毎にそれぞれ対応する評価基準に基づいて隆線候補画像の中から隆線を表わすと推定される候補画像を選択する選択手段と、前記高信頼性領域決定手段で決定された候補画像及び前記選択手段で選択された候補画像を各前記局所領域毎の隆線画像とすることで全体の指紋又は掌紋の隆線画像を生成する手段とを備え、前記判定手段は、それぞれの局所領域のパワースペクトルの分布に基づき隆線単独領域か、皺と隆線が混在する皺／隆線混在領域かを判定し、前記選択手段は、前記隆線単独領域では隆線候補画像のエネルギーの大きさを重視して選択を行い、前記皺／隆線混在領域では周囲の隆線候補との接続性の良さを重視して選択を行うことを特徴とする。
【００１２】
また、本発明の指掌紋画像処理方法は、指紋又は掌紋を画像として読み込む過程と、前記指紋又は掌紋画像を局所領域に分割し、局所領域毎に隆線を表わす隆線候補画像を抽出する過程と、抽出された隆線候補画像のうち隆線である可能性が高い候補画像及びそれを含む局所領域を高信頼性領域として決定する高信頼性領域決定過程と、前記高信頼性領域以外の局所領域に関して隆線が単独で存在する隆線単独領域か皺と隆線が混在する皺／隆線混在領域かを判定する判定過程と、前記隆線単独領域と皺／隆線混在領域毎にそれぞれ対応する評価基準に基づいて隆線候補画像の中から隆線を表わすと推定される候補画像を選択する選択過程と、前記高信頼性領域決定過程で決定された候補画像及び前記選択過程で選択された候補画像を各前記局所領域毎の隆線画像とすることで全体の指紋又は掌紋の隆線画像を生成する過程とを含み、前記判定過程では、それぞれの局所領域のパワースペクトルの分布に基づき隆線単独領域か、皺と隆線が混在する皺／隆線混在領域かを判定し、前記選択過程では、前記隆線単独領域では隆線候補画像のエネルギーの大きさを重視して選択を行い、前記皺／隆線混在領域では周囲の隆線候補との接続性の良さを重視して選択を行うことを特徴とする。
【００１３】
更に、本発明のプログラムは、コンピュータに、指紋又は掌紋画像を局所領域に分割し、局所領域毎に隆線を表わす隆線候補画像を抽出する手順、抽出された隆線候補画像のうち隆線である可能性が高い候補画像及びそれを含む局所領域を高信頼性領域として決定する高信頼性領域決定手順、前記高信頼性領域以外の局所領域に関して隆線が単独で存在する隆線単独領域か皺と隆線が混在する皺／隆線混在領域かを、それぞれの局所領域のパワースペクトルの分布に基づき判定する判定手順、前記隆線単独領域と皺／隆線混在領域毎に前記隆線候補画像の中から隆線を表わすと推定される候補画像を、前記隆線単独領域では隆線候補画像のエネルギーの大きさを重視して選択し、前記皺／隆線混在領域では周囲の隆線候補との接続性の良さを重視して選択する選択手順、前記高信頼性領域決定手順により決定された候補画像及び前記選択手順により選択された候補画像を各前記局所領域毎の隆線画像とすることで全体の指紋又は掌紋の隆線画像を生成する手順、を実行させることを特徴とする。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。図１は本発明の指掌紋画像処理装置の一実施形態の構成を示すブロック図である。なお、図１では図６の従来装置と同一部分は同一符号を付している。図１において、１１は指紋又は掌紋を画像として読み込み、指紋又は掌紋画像を入力するためのスキャナーやライブスキャナー等の画像入力手段である。１２は画像入力手段から入力された指紋又は掌紋の原画像を２次元局所領域に分割し、それぞれの局所領域に存在する隆線を表わす隆線候補画像を局所領域毎に複数抽出する局所情報抽出手段である。局所情報抽出手段１２は特開平９−１６７２３０号公報に記載しているように、例えば、２次元局所領域の各々に２次元フーリエ変換を施し、その結果得られたフーリエ変換面でのピークの内異なる２次元正弦波に対応するピークをその振幅又はピーク近傍のエネルギーの大きなものから順に複数抽出し、各ピークに対応する２次元正弦波を隆線候補画像としている。
【００１５】
１３は局所情報抽出手段１２で抽出された各局所領域の複数の隆線候補画像のうち隆線である可能性が高い隆線候補画像を決定すると共に、そのような候補画像を含む局所領域を高信頼性領域として決定する高信頼性領域決定手段である。高信頼性領域決定手段１３は上記公報に記載しているように各２次元局所領域の複数個の隆線候補画像についてそれぞれ隆線らしさの度合いを評価し、各々の局所領域毎に隆線らしさの度合いが最も高い隆線候補画像を選択する。この場合、高信頼性領域決定手段１３は各々の局所領域の隆線候補画像のうちその振幅が最大となるものを選択する。
【００１６】
隣接領域群検出手段１４は高信頼性領域決定手段１３により決定された高信頼性領域又は後述する適応的隆線候補選択手段１８で隆線候補画像の選択が終了している局所領域と隣接する局所領域のうち高信頼性領域決定手段１３で決定された高信頼性領域でもなく、適応的隆線候補選択手段１８で隆線候補画像の選択が終了している局所領域でもないブロック（局所領域）をすべて検出する。以下、これらのブロックを隣接領域という。領域特性判定手段１７はすべての隣接領域毎に皺と隆線画像が混在しているブロックであるかどうかを局所情報抽出手段１２からの局所領域情報に基づいて判定する。
【００１７】
具体的には、皺と隆線が混在するブロックであるかどうかの判定は、振幅が最大である隆線候補画像の振幅、もしくはそれに対応するフーリエ面での点の周囲のエネルギーを、振幅が２番目に大きな候補の振幅もしくは対応するフーリエ面での点の周囲のエネルギーで割った値が予め決めておいた閾値よりも小さければ皺と隆線が混在するブロックと判定し、大きければそうでないブロックと判定する。適応的隆線候補選択手段１８は領域特性判定手段１７で判定された結果に応じて局所領域毎に別の評価基準で隆線候補の選択を行う。なお、図１の装置では処理途中の段階のデータ等を必要に応じてメモリ等の記憶装置（図示せず）に一旦格納し、必要に応じてそれを読み出すことでデータ処理を行う。
【００１８】
次に、本実施形態の具体的な動作を図２のフローチャートを参照して詳細に説明する。図２において、まず、画像入力手段１１は指紋又は掌紋をデジタル画像として読み込み、指紋又は掌紋の原画像を局所情報抽出手段１２に供給する（Ｓ２０１）。局所情報抽出手段１２では、前述のように入力された原画像を２次元局所領域に分割し（Ｓ２０２）、各２次元局所領域に存在する隆線を表現する隆線候補画像を各々の２次元局所領域毎に複数個抽出する（Ｓ２０３）。抽出された隆線候補画像は高信頼性領域決定手段１３、領域特性判定手段１７、適応的隆線候補画像選択手段１８、画像生成手段１６へそれぞれ供給される。
【００１９】
ここで、画像入力手段１１の入力画像の解像度を２０pixel/mmとし、局所領域を正方形（図３参照）とすると、局所領域の一辺の長さは８〜３２pixel 程度となる。また、隆線候補画像を抽出する場合、特開平９−１６７２３０号公報に記載しているように、局所領域の画像のパワースペクトルの極大点を大きなものから順に複数個検出し、極大点に対応する２次元正弦波をそれぞれの局所領域の隆線候補画像とする。例えば、局所領域毎に隆線候補画像を６個づつ抽出するものとする。次に、その極大点に対応する正弦波を特徴付けるパラメータをそれぞれの極大点により算出し記録する。
【００２０】
そのようなパラメータの一例について説明する。これは、上記特開平９−１６７２３０号公報に記載されている。まず、局所領域
Ｉij（０＜ｉ＜６３，０＜ｊ＜６３）
の第ｎ番目のピークのフーリエ面での座標値を、
（ξn (i,j)，ηn (i,j)）
とすると、局所情報抽出手段１２では振幅、位相、方向、周波数、ピーク周辺のパワーをそれぞれ算出する。
【００２１】
振幅は（１）式、位相は（２）式、方向は（３）式、周波数は（４）式、ピーク周辺のパワーは（５）式で得られる。
【００２２】
【数１】
【数２】
【数３】
【数４】
【数５】
また、ｆの全パワー
【００２８】
【数６】
も算出しておく。これらのパラメータから決定される画像は、
【００３０】
【数７】
が各局所領域における隆線を表す候補画像となる。局所情報抽出手段１２ではすべての局所領域毎にこれらのパラメータの値、
【００３２】
【数８】
を算出する。
【００３４】
高信頼性領域決定手段１３は、特開平９−１６７２３０号公報に記載しているように隆線である可能性が高い隆線候補画像（高信頼性候補）とそれを含む局所領域を高信頼性領域として決定する（Ｓ２０４）。決定された高信頼性候補とそれを含む高信頼性領域は隣接領域群検出手段１４、適応的隆線候補選択手段１８、画像生成手段１６へそれぞれ供給される。ここで、高信頼性領域決定手段１３では、すべての局所領域毎にすべての隆線候補画像について隆線らしさの度合を評価し、隆線らしさの度合いが高い隆線候補画像を各局所領域から１つ選び、高信頼性候補画像とする。
【００３５】
この場合のアルゴリズムは、上記公報に記載しているように局所情報抽出手段１２で２次元局所領域の各々に２次元フーリエ変換を施し、その結果得られたフーリエ変換面でのピークのうち異なる２次元正弦波に対応するピークをその振幅又はピーク近傍のエネルギーの大きなものから順に複数個抽出し、各ピークに対応する２次元正弦波を隆線候補画像としているが、２次元局所領域の各々の隆線候補画像の中でその振幅が最大となるものを高信頼性候補画像とする。隣接領域群検出手段１４は高信頼性領域に隣接する局所領域（隣接領域）をすべて見付ける（Ｓ２０５）。例えば、図８（ａ）に示すように高信頼性領域（濃いハッチングで示す領域）が検出されたとすると、それに隣接する領域（薄いハッチングで示す領域）を隣接領域として検出する。
【００３６】
次いで、隣接領域群検出手段１４では、この時に検出した隣接領域の数が１つ以上であるかどうかを判定する（Ｓ２０６）。図８（ａ）の例では、隣接領域は１つ以上存在するので、Ｓ２０７へ進む。また、隣接領域の数が１つ以上あれば隣接領域の情報を領域特性判定手段１５へ通知し、そうでなければ画像生成手段１６へ通知する。Ｓ２０７では領域特性判定手段１５は隣接領域群の個々の隣接領域毎に皺と隆線が混在する領域であるかどうかを局所情報抽出手段１２からの局所領域情報に基づいて判定し、判定結果を適応的隆線候補選択手段１８へ通知する。具体的に説明すると、隣接領域の画像のパワースペクトル上の極大点のうち、所定の条件を満たす２つの点のパワースペクトルの比を用いて、隣接領域が皺と隆線が混在する領域であるかどうかを判定する。
【００３７】
所定の条件とは、実数値の画像のパワースペクトルは原点に対称であるので、周波数空間の片側半分に存在する極大値であること、皺や隆線としてありそうな空間周波数帯にあること（具体的には、０．２５ｍｍ〜１ｍｍで１周期程度の空間周波数）等である。このような条件を満たすものの中から極大値の大きさが上位２個の極大点の極大値を用いて判定を行う。即ち、最大の極大値をｐ１、２番目の極大値をｐ２とすると、ｐ２／ｐ１の値が予め決めておいた閾値以上であれば、皺と隆線が混在する領域と判定し、そうでなければ隆線が単独で存在している領域であると判定する。
【００３８】
また、この判定には極大点近傍（３×３程度）のパワースペクトルの和の比を用いてもよい。即ち、最大の極大値周辺のパワースペクトルの和をｖ１、２番目の大きさの極大値周辺のパワースペクトルの和をｖ２とすると、ｖ２／ｖ１の値が予め決めておいた閾値以上であれば皺と隆線が混在する領域であると判定し、そうでなければ隆線が単独で存在している領域であると判定する。局所領域のパワースペクトルは、領域特性判定手段１７で計算してもよいし、局所情報抽出手段１２で計算されたものを用いてもよい。また、特開平９−１６７２３０号公報に記載しているように、局所情報抽出部を用いる場合は、隆線候補画像の属性情報を用いてもよい。
【００３９】
次に、適応的隆線候補選択手段１８では、検出されたすべての隣接領域毎にそれぞれの隆線候補画像から領域特性判定手段１７の判定結果に応じて異なる評価基準で候補選択を行う（Ｓ２０８）。具体的には、領域特性判定手段１７で皺と隆線が混在していると判定された領域では周囲の隆線候補との接続性の良さを重視して選択を行い、隆線が独立して存在していると判定された領域では、周囲の隆線候補との接続性の良さと隆線候補画像のエネルギーの大きさの和を評価基準として選択を行う。
【００４０】
例えば、特開平９−１６７２３０号公報に記載しているように、皺と隆線が混在していると判定された場合は、Ｊ1 （ｎ）＝近傍の平均方向と第ｎ番目の隆線候補画像の方向差が最小となる隆線候補画像を隆線として選択する。また、隆線が単独で存在している領域であると判定された場合は、Ｊ2 （ｎ）＝近傍の平均方向と第ｎ番目の隆線候補画像の方向差＋α／ＳＮ（ｎ）が最小となる隆線候補画像を隆線として選択する。
【００４１】
ここで、αは定数、ＳＮ（ｎ）は、
【００４２】
【数９】
である。適応的隆線候補選択手段１８は、このようにしてすべての隣接領域毎に候補選択処理を行い、選択した隆線候補を隣接領域群検出手段１４、画像生成手段１６へ通知する。
【００４４】
次いで、再びＳ２０５に戻り、高信頼性領域又は選択が終了している局所領域で、高信頼性領域ではなく、既に選択が終了している領域でもない隣接領域をすべて検出する。即ち、図８（ａ）を例にとると、先に見付けた隣接領域に対し下方側に隣接する領域をすべて見付ける。次に、Ｓ２０６で隣接領域が１つ以上あるか否かを判定し、１つ以上ある時はＳ２０７ですべての隣接領域毎に領域の特性を判定し、Ｓ２０８ですべての隣接領域毎に領域特性判定結果に基づいて異なる基準で候補選択処理を行う。以下、同様にＳ２０５〜Ｓ２０８の処理を繰り返し行い、Ｓ２０６でＮｏと判定すると、画像生成手段１６は適応的隆線候補画像選択手段１８で選択された隆線候補、高信頼領域決定手段１３で隆線を表わしている可能性が高いと判定された隆線候補、及び局所情報抽出手段１２で得られた局所情報に基づいて全体の指紋又は掌紋の隆線画像を生成し（Ｓ２０９）、すべての処理を終了する。
【００４５】
ここで、特開平９−１６７２３０号公報の従来の隆線候補選択方法では、皺と隆線が混在する領域では皺に由来する隆線候補画像のエネルギーが隆線に由来するものよりも大きくなることもあるので、隆線候補画像のエネルギーを選択の評価基準に用いると誤って皺を選択してしまうことがあった。一方、隆線が単独で存在する領域でも、コアやデルタ等に見うけられる曲率の高い部分では隣接する局所領域で隆線候補画像の接続性のみで選択を行うと、真の隆線よりも接続性の良いノイズ成分が存在した場合、そちらを選択してしまい隆線抽出に失敗してしまうこともあった。このようなノイズ成分に由来する隆線候補画像のエネルギーは隆線に由来するものに比べて小さいので、エネルギーの大きさを使ってノイズか隆線かを判別することが可能である。つまり、皺が存在していない場合は曲率と無関係な量も隆線選択に用いることが可能であるが、皺が混在する場合は不可能である。
【００４６】
そこで、本実施形態では、皺と隆線が混在する領域なのか隆線が単独で存在する領域なのかを領域特性判定手段１７で判定し、適応的隆線候補選択手段１８でそれぞれに適した評価基準で画像候補の選択を行っているので、皺と隆線が混在する領域での隆線抽出能力を保持したまま、皺が無く隆線がきれいに存在していて曲率が高いコアやデルタといった部分でも、正しく隆線を抽出することができる。図３は皺と隆線が混在した領域と隆線が単独で存在する領域を持つ指紋掌紋画像の例を示す。このような画像から領域特性判定手段１７で判定した結果を図４に示す。適応的隆線候補選択手段１８では図４の隆線単独領域と皺／隆線混在領域で異なる評価基準で隆線候補選択を行う。
【００４７】
また、皺が存在せず隆線のみが存在する領域ではその小領域画像をフーリエ変換すると、原点対称に一組のピークが観察され、そのピークに多くのエネルギーが集中する。しかし、皺と隆線が同時に存在する領域のフーリエ変換像は皺に由来するピークと隆線に由来するピークが複数個出現し、それぞれ大きなエネルギーを持つ（図５参照）。このことから小領域のフーリエ変換像から特開平９−１６７２３０号公報の方法を用いてピークを複数個検出すると、隆線が単独で存在する領域ではエネルギー最大のピークに大部分のエネルギーが集中し、二番目のピークとのエネルギーの差が大きくなる。また、皺と隆線が混在する領域ではエネルギー最大のピークと二番目のピークとのエネルギーの差が小さくなる。従って、本実施形態では、これらの比の大小を評価することでその領域が皺と隆線が混在する領域かどうかを判定することができる。
【００４８】
更に、上記公報の従来の隆線候補選択方法では、前述のように皺と隆線が混在する領域では皺に由来する隆線候補画像のエネルギーが隆線に由来するものよりも大きくなることもあるので、隆線候補画像のエネルギーを選択の評価基準に用いると誤って皺を選択してしまうことがあった。一方、隆線が単独で存在する領域で、曲率の高い部分では隣接する局所領域で隆線候補画像の接続性のみで選択を行うと、真の隆線よりも接続性の良いノイズ成分が存在した場合、そちらを選択してしまい隆線抽出に失敗してしまうこともあった。このようなノイズ成分に由来する隆線候補画像のエネルギーは隆線に由来するものに比べて小さいので、エネルギーの大きさを使って判別することが可能である。
【００４９】
そこで、本実施形態では、適応的隆線候補選択手段１８で皺混在領域ではエネルギーを選択の評価基準には用いずに、方向の連続性のみを用いて画像候補の選択を行っている。また、隆線が単独で存在する領域ではエネルギーを重視した候補選択を行っている。これによって皺と隆線が混在する領域での隆線抽出能力を保持したまま、皺が無く隆線がきれいに存在していて、曲率が高いコアやデルタといった部分でも正しく隆線を抽出することができる。
【００５０】
なお、本発明のコンピュータプログラムは、上述した指掌紋画像を処理する方法を実行する手順を記述したプログラムである。即ち、コンピュータに、指紋又は掌紋画像を局所領域に分割し、局所領域毎に隆線を表わす隆線候補画像を抽出する手順、抽出された隆線候補画像のうち隆線である可能性が高い候補画像及びそれを含む局所領域を高信頼性領域として決定する手順、前記高信頼性領域以外の局所領域に関して隆線が単独で存在する隆線単独領域か皺と隆線が混在する皺／隆線混在領域かを判定する手順、前記隆線単独領域と皺／隆線混在領域毎にそれぞれ対応する評価基準に基づいて隆線候補画像の中から隆線を表わすと推定される候補画像を選択する手順、前記高信頼性領域決定手順の候補画像、前記選択手順で選択された候補画像に基づいて全体の画像を生成する手順を実行させるためのプログラムである。
【００５１】
【発明の効果】
以上説明したように本発明によれば、皺と隆線が混在している領域か隆線が独立して存在している領域かを判別し、この２つの領域に応じて隆線を抽出する際の評価基準を異ならせて隆線候補画像の中から候補画像を選択しているので、皺が混在する領域、あるいは隆線の曲率が高い領域であっても、正確に隆線を抽出することができる。
【図面の簡単な説明】
【図１】本発明の指掌紋画像処理装置の一実施形態の構成を示すブロック図である。
【図２】図１の実施形態の動作を示すフローチャートである。
【図３】皺と隆線が混在している領域と隆線が独立して存在している領域を持つ指掌紋画像の例を示す図である。
【図４】図３の指掌紋画像を図１の領域特性判定手段１７で判定した場合の結果を示す図である。
【図５】局所画像のパワーを説明するための図である。
【図６】従来例の指掌紋画像処理装置を示すブロック図である。
【図７】図６の従来装置の動作を示すフローチャートである。
【図８】図７の隆線画像の選択処理を説明するための図である。
【図９】コア、デルタといった隆線の曲率の大きな部分の例を示す図である。
【符号の説明】
１１ 画像入力手段
１２ 局所情報抽出手段
１３ 高信頼性領域決定手段
１４ 隣接領域群検出手段
１６ 画像生成手段
１７ 領域特性判定手段
１８ 適応的隆線候補選択手段
Claims (9)
- 指紋又は掌紋を画像として読み込む手段と、
前記指紋又は掌紋画像を局所領域に分割し、局所領域毎に隆線を表わす隆線候補画像を抽出する手段と、
抽出された隆線候補画像のうち隆線である可能性が高い候補画像及びそれを含む局所領域を高信頼性領域として決定する高信頼性領域決定手段と、
前記高信頼性領域以外の局所領域に関して隆線が単独で存在する隆線単独領域か皺と隆線が混在する皺／隆線混在領域かを判定する判定手段と、
前記隆線単独領域と皺／隆線混在領域毎にそれぞれ対応する評価基準に基づいて隆線候補画像の中から隆線を表わすと推定される候補画像を選択する選択手段と、
前記高信頼性領域決定手段で決定された候補画像及び前記選択手段で選択された候補画像を各前記局所領域毎の隆線画像とすることで全体の指紋又は掌紋の隆線画像を生成する手段とを備え、
前記判定手段は、それぞれの局所領域のパワースペクトルの分布に基づき隆線単独領域か、皺と隆線が混在する皺／隆線混在領域かを判定し、
前記選択手段は、前記隆線単独領域では隆線候補画像のエネルギーの大きさを重視して選択を行い、前記皺／隆線混在領域では周囲の隆線候補との接続性の良さを重視して選択を行うことを特徴とする指掌紋画像処理装置。 - 前記判定手段は、局所画像のパワースペクトルの複数の極大点におけるパワースペクトルの比に基づいて隆線のみが存在する領域か、皺と隆線が混在する領域かを判定することを特徴とする請求項１に記載の指掌紋画像処理装置。
- 前記判定手段は、局所画像のパワースペクトルの複数の極大点におけるパワースペクトルの平方根の比に基づいて隆線のみが存在する領域か、皺と隆線が混在する領域かを判定することを特徴とする請求項１に記載の指掌紋画像処理装置。
- 前記判定手段は、局所画像のパワースペクトルの複数の極大点に関してそれぞれの極大点付近のパワースペクトルの成分の和の比に基づいて隆線のみが存在する領域か、皺と隆線が混在する領域かを判定することを特徴とする請求項１に記載の指掌紋画像処理装置。
- 前記判定手段は、パワースペクトルの直流成分を除く極大点を用いることを特徴とする請求項２〜４のいずれか１項に記載の指掌紋画像処理装置。
- 前記判定手段は、パワースペクトルの極大点の内、周波数が隆線として有効な範囲内にあるものの中で極大値が最大の極大点と２番目の極大点を評価に用いることを特徴とする請求項２〜４のいずれか１項１に記載の指掌紋画像処理装置。
- 前記選択手段は、皺と隆線が混在する領域では周囲の隆線候補との接続性の良さを基準として選択を行い、隆線が単独で存在する領域では接続性の良さと隆線候補画像のエネルギーの大きさの和を評価基準として選択を行うことを特徴とする請求項１〜６のいずれか１項に記載の指掌紋画像処理装置。
- 指紋又は掌紋を画像として読み込む過程と、
前記指紋又は掌紋画像を局所領域に分割し、局所領域毎に隆線を表わす隆線候補画像を抽出する過程と、
抽出された隆線候補画像のうち隆線である可能性が高い候補画像及びそれを含む局所領域を高信頼性領域として決定する高信頼性領域決定過程と、
前記高信頼性領域以外の局所領域に関して隆線が単独で存在する隆線単独領域か皺と隆線が混在する皺／隆線混在領域かを判定する判定過程と、
前記隆線単独領域と皺／隆線混在領域毎にそれぞれ対応する評価基準に基づいて隆線候補画像の中から隆線を表わすと推定される候補画像を選択する選択過程と、
前記高信頼性領域決定過程で決定された候補画像及び前記選択過程で選択された候補画像を各前記局所領域毎の隆線画像とすることで全体の指紋又は掌紋の隆線画像を生成する過程とを含み、
前記判定過程では、それぞれの局所領域のパワースペクトルの分布に基づき隆線単独領 域か、皺と隆線が混在する皺／隆線混在領域かを判定し、
前記選択過程では、前記隆線単独領域では隆線候補画像のエネルギーの大きさを重視して選択を行い、前記皺／隆線混在領域では周囲の隆線候補との接続性の良さを重視して選択を行うことを特徴とする指掌紋画像処理方法。 - コンピュータに、
指紋又は掌紋画像を局所領域に分割し、局所領域毎に隆線を表わす隆線候補画像を抽出する手順、
抽出された隆線候補画像のうち隆線である可能性が高い候補画像及びそれを含む局所領域を高信頼性領域として決定する高信頼性領域決定手順、
前記高信頼性領域以外の局所領域に関して隆線が単独で存在する隆線単独領域か皺と隆線が混在する皺／隆線混在領域かを、それぞれの局所領域のパワースペクトルの分布に基づき判定する判定手順、
前記隆線単独領域と皺／隆線混在領域毎に前記隆線候補画像の中から隆線を表わすと推定される候補画像を、前記隆線単独領域では隆線候補画像のエネルギーの大きさを重視して選択し、前記皺／隆線混在領域では周囲の隆線候補との接続性の良さを重視して選択する選択手順、
前記高信頼性領域決定手順により決定された候補画像及び前記選択手順により選択された候補画像を各前記局所領域毎の隆線画像とすることで全体の指紋又は掌紋の隆線画像を生成する手順、を実行させるためのプログラム。
Priority Applications (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001087711A JP4134522B2 (ja) | 2001-03-26 | 2001-03-26 | 指掌紋画像処理装置及び方法 |
| SG200201680A SG102668A1 (en) | 2001-03-26 | 2002-03-25 | Finger/palmprint image processor and processing method |
| KR10-2002-0016018A KR100417013B1 (ko) | 2001-03-26 | 2002-03-25 | 지문/장문 화상 처리 장치 및 처리 방법 |
| US10/103,856 US6961451B2 (en) | 2001-03-26 | 2002-03-25 | Fingerprint/palmprint image processor and processing method |
| DE60208255T DE60208255T2 (de) | 2001-03-26 | 2002-03-26 | Vorrichtung und Verfahren zur Bildverarbeitung von Finger- und Handflächenabdrücken |
| CNB021190836A CN1184584C (zh) | 2001-03-26 | 2002-03-26 | 指纹/掌纹图象处理器以及处理方法 |
| EP02006933A EP1246119B1 (en) | 2001-03-26 | 2002-03-26 | Fingerprint/palmprint image processor and processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001087711A JP4134522B2 (ja) | 2001-03-26 | 2001-03-26 | 指掌紋画像処理装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002288672A JP2002288672A (ja) | 2002-10-04 |
| JP4134522B2 true JP4134522B2 (ja) | 2008-08-20 |
Family
ID=18942925
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001087711A Expired - Lifetime JP4134522B2 (ja) | 2001-03-26 | 2001-03-26 | 指掌紋画像処理装置及び方法 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US6961451B2 (ja) |
| EP (1) | EP1246119B1 (ja) |
| JP (1) | JP4134522B2 (ja) |
| KR (1) | KR100417013B1 (ja) |
| CN (1) | CN1184584C (ja) |
| DE (1) | DE60208255T2 (ja) |
| SG (1) | SG102668A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10049258B2 (en) | 2015-06-11 | 2018-08-14 | Samsung Electronics Co., Ltd. | Method of preprocessing image including biological information |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7466846B2 (en) * | 2002-09-25 | 2008-12-16 | The Hong Kong Polytechnic University | Method for analyzing a palm print for the identification of an individual using gabor analysis |
| US20040057606A1 (en) * | 2002-09-25 | 2004-03-25 | The Hong Kong Polytechnic University | Apparatus for capturing a palmprint image |
| US7496214B2 (en) * | 2002-09-25 | 2009-02-24 | The Hong Kong Polytechnic University | Method of palm print identification |
| JP2005100062A (ja) * | 2003-09-24 | 2005-04-14 | Sanyo Electric Co Ltd | 認証装置および認証方法 |
| WO2005086091A1 (ja) * | 2004-03-04 | 2005-09-15 | Nec Corporation | 指紋掌紋画像処理システムおよび指紋掌紋画像処理方法 |
| DE602005020530D1 (de) | 2004-07-22 | 2010-05-20 | Nec Corp | Bildverarbeitungssystem |
| CN1332631C (zh) * | 2004-07-28 | 2007-08-22 | 北京大学 | 掌纹提取方法和装置 |
| KR100706000B1 (ko) * | 2005-11-14 | 2007-04-12 | 고려대학교 산학협력단 | 장문인증방법 및 그 장치 |
| JP4931426B2 (ja) * | 2006-02-03 | 2012-05-16 | セコム株式会社 | 縞模様を含む画像の照合装置 |
| CN100365646C (zh) * | 2006-09-15 | 2008-01-30 | 哈尔滨工业大学 | 基于差分运算的高精度掌纹识别方法 |
| JP4398971B2 (ja) * | 2006-12-07 | 2010-01-13 | シャープ株式会社 | 画像処理装置 |
| JP5109433B2 (ja) * | 2007-03-27 | 2012-12-26 | 日本電気株式会社 | 照合システム及び方法並びにプログラム |
| JP5398241B2 (ja) * | 2008-12-01 | 2014-01-29 | 三菱電機株式会社 | 画像処理装置 |
| US9014437B2 (en) | 2011-08-23 | 2015-04-21 | Nec Corporation | Ridge direction extraction device, ridge direction extraction method, and ridge direction extraction program |
| US8953854B2 (en) * | 2012-08-08 | 2015-02-10 | The Hong Kong Polytechnic University | Contactless 3D biometric feature identification system and method thereof |
| CN104392455B (zh) * | 2014-12-09 | 2017-03-29 | 西安电子科技大学 | 基于方向检测的在线掌纹有效区域快速分割方法 |
| CN109902586A (zh) * | 2019-01-29 | 2019-06-18 | 平安科技（深圳）有限公司 | 掌纹提取方法、装置及存储介质、服务器 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0685815B1 (en) | 1987-02-20 | 2001-07-18 | Sagem Sa | Processes for matching fingerprints |
| US5177353A (en) * | 1990-07-31 | 1993-01-05 | Retrievex, Inc. | Finger surface image enhancement having liquid layer on finger touching surface of the plate |
| JP2765335B2 (ja) | 1992-01-07 | 1998-06-11 | 日本電気株式会社 | 隆線方向パターン平滑化方法およびその装置 |
| JP3057590B2 (ja) | 1992-08-06 | 2000-06-26 | 中央発條株式会社 | 個人識別装置 |
| JPH07105370A (ja) | 1993-10-01 | 1995-04-21 | Nippon Denki Security Syst Kk | 指紋紋様分類方法 |
| JP2739856B2 (ja) * | 1995-12-18 | 1998-04-15 | 日本電気株式会社 | 指掌紋画像処理装置 |
| WO2001048681A2 (en) * | 1999-12-23 | 2001-07-05 | National University Of Singapore | Automated fingerprint identification system |
-
2001
- 2001-03-26 JP JP2001087711A patent/JP4134522B2/ja not_active Expired - Lifetime
-
2002
- 2002-03-25 KR KR10-2002-0016018A patent/KR100417013B1/ko not_active IP Right Cessation
- 2002-03-25 SG SG200201680A patent/SG102668A1/en unknown
- 2002-03-25 US US10/103,856 patent/US6961451B2/en not_active Expired - Lifetime
- 2002-03-26 EP EP02006933A patent/EP1246119B1/en not_active Expired - Fee Related
- 2002-03-26 DE DE60208255T patent/DE60208255T2/de not_active Expired - Lifetime
- 2002-03-26 CN CNB021190836A patent/CN1184584C/zh not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10049258B2 (en) | 2015-06-11 | 2018-08-14 | Samsung Electronics Co., Ltd. | Method of preprocessing image including biological information |
| US10963668B2 (en) | 2015-06-11 | 2021-03-30 | Samsung Electronics Co., Ltd. | Method of preprocessing image including biological information |
Also Published As
| Publication number | Publication date |
|---|---|
| US6961451B2 (en) | 2005-11-01 |
| US20020164055A1 (en) | 2002-11-07 |
| KR20020076142A (ko) | 2002-10-09 |
| CN1184584C (zh) | 2005-01-12 |
| EP1246119A1 (en) | 2002-10-02 |
| CN1378170A (zh) | 2002-11-06 |
| JP2002288672A (ja) | 2002-10-04 |
| DE60208255T2 (de) | 2006-08-31 |
| KR100417013B1 (ko) | 2004-02-05 |
| SG102668A1 (en) | 2004-03-26 |
| EP1246119B1 (en) | 2005-12-28 |
| DE60208255D1 (de) | 2006-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4134522B2 (ja) | 指掌紋画像処理装置及び方法 | |
| JP4193163B2 (ja) | 指掌紋画像処理装置及び方法 | |
| JP4029412B2 (ja) | 指紋掌紋画像処理システムおよび指紋掌紋画像処理方法 | |
| CA2192525C (en) | Fingerprint/palmprint image processing apparatus | |
| JP4221220B2 (ja) | 指紋照合装置、指紋照合方法及び指紋照合プログラム | |
| CN108256456A (zh) | 一种基于多特征阈值融合的手指静脉识别方法 | |
| CN102027488A (zh) | 使用梯度直方图的指纹表示 | |
| EP2407933A1 (en) | Feature point generation system, feature point generation method, and feature point generation program | |
| US9607204B2 (en) | Biometric information processing apparatus, method, and recording medium | |
| EP2104059A1 (en) | Apparatus and method for processing image | |
| Sen et al. | Histogram thresholding using fuzzy and rough measures of association error | |
| CN112949464B (zh) | 基于人脸三维形状的换脸伪造检测方法、***及设备 | |
| Yin et al. | Two steps for fingerprint segmentation | |
| US20040218790A1 (en) | Print segmentation system and method | |
| Singh et al. | Fusion of 4-slap fingerprint images with their qualities for human recognition | |
| JP4805359B2 (ja) | 不変径方向虹彩セグメント化 | |
| Zeng et al. | 2d shape decomposition based on combined skeleton-boundary features | |
| KR100489430B1 (ko) | 위치이동, 회전에 무관한 지문인식 방법 및 지문인식 장치및 그 방법을 실행시키기 위한 프로그램을 기록한기록매체 | |
| Szymkowski et al. | A novel approach to fingerprint identification using method of sectorization | |
| CN108090483A (zh) | 乳腺肿块候选区的检测方法及装置 | |
| JP2007241372A (ja) | オブジェクト識別装置、オブジェクト識別方法、および、オブジェクト識別用プログラム | |
| Fei et al. | Fingerprint Presentation Attack Detection by Region Decomposition | |
| Barni et al. | Application of possibilistic shell-clustering to the detection of craters in real-world imagery | |
| Wu et al. | A novel segmentation algorithm for fingerprint image based on region merging | |
| Abdesselam et al. | Person identification prototype using hand geometry |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20040415 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050318 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070814 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071012 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080411 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080507 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080520 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4134522 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110613 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110613 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120613 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120613 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130613 Year of fee payment: 5 |
|
| EXPY | Cancellation because of completion of term |