JP2008129679A - 指紋判別モデル構築方法、指紋判別方法、本人認証方法、指紋判別装置、および、本人認証装置 - Google Patents

Abstract

【課題】指紋を用いた従来にない認証方法を提供すること。
【解決手段】
登録された本人であるか否かを指紋に基づいてニューラルネットワークにより判定する指紋判別モデルを構築する方法であって、登録すべき複数の者とそれ以外の部外者との指紋を、画像としてそれぞれ少なくとも一回採取する指紋採取工程と、指紋採取工程で採取された指紋画像をフーリエ変換して振幅スペクトルと位相スペクトルを得るフーリエ変換工程と、フーリエ変換工程で得られた振幅スペクトルを虚部として位相スペクトルを実部として逆フーリエ変換し、学習用画像を作成する逆フーリエ変換工程と、作成された前記学習用画像を用いて、ニューラルネットワークにより本人であるか否かを学習させる学習工程と、を含んだ指紋判別モデル構築方法。
【選択図】図２３

Description

本発明は、指紋判別モデル構築方法およびこれを用いた指紋判別方法等に関し、特に、ニューラルネットワークを用い認証率を原理的に１００％にできる指紋判別モデル構築方法およびこれを用いた技術に関する。

従来、本人認証の手法の一つとして、個人の身体的特徴を利用するバイオメトリクス認証というものが知られている。バイオメトリクス認証は、普遍性（誰もが有する）、唯一性（万人不同）、永続性（終生不変）を有する特徴があり、パスワードのように覚えておく必要がなく、利用者の負担が小さく、なりすましにくい、安全性の高い認証方法として知られる。

バイオメトリクス認証のうち、従来から広く知られているものに指紋認証がある。指紋は、例え双子でも一致せず、認証の方法として優れている。具体的な指紋認証方式としては、パターンマッチング方式と、マニューシャ方式、周波数方式が知られている。

パターンマッチング方式とは、指紋画像そのものを照合して、一致不一致により判断する手法である。マニューシャ方式とは、指紋の端点や分岐点の方向や相対的な位置関係を特徴量として照合する手法である。周波数方式は、指紋をスライスしたときの断面を信号波形と見なし、周波数解析したものを特徴量として照合する方式である。従来ではこのような手法を用いて、本人認証を行っていた。

特開2003-016433号公報 特開平06-301768号公報

しかしながら、従来の技術では以下の問題点があった。パターンマッチング方式では、プライバシー保護や照合精度におとるという欠点があり、マニューシャ方式では、指紋の状態が悪い場合（薄い場合、擦れた場合、荒れている場合）には、認証精度が良くないという欠点もあり、また、抽出できる特徴点が少ない場合には、そもそも登録ができないという本質的な欠点がある。周波数方式では、どの位置の断面を採用するかによって、精度が左右されるという問題点がある。

本発明は上記に鑑みてなされたものであって、指紋を用いた従来にない認証方法を提供することを目的とする。

上記の目的を達成するために、請求項１に記載の指紋判別モデル構築方法は、登録された本人であるか否かを指紋に基づいてニューラルネットワークにより判定する指紋判別モデルを構築する方法であって、登録すべき複数の者とそれ以外の部外者との指紋を、画像としてそれぞれ少なくとも一回採取する指紋採取工程と、指紋採取工程で採取された指紋画像をフーリエ変換して振幅スペクトルと位相スペクトルを得るフーリエ変換工程と、フーリエ変換工程で得られた振幅スペクトルを虚部として位相スペクトルを実部として逆フーリエ変換し、学習用画像を作成する逆フーリエ変換工程と、作成された前記学習用画像を用いて、ニューラルネットワークにより本人であるか否かを学習させる学習工程と、を含んだことを特徴とする。

すなわち、請求項１にかかる発明は、逆フーリエ変換画像を用いて所定位置に本人の特徴量を集積させた学習用画像を用いて、認識率の高いニューラルネットワークを構築可能となる。なおここでいう指紋判別モデルとは、指紋により本人認証を行うことができるニューラルネットワーク、という意味であり、より具体的には、結合荷重が決定された数式を示す概念である。なお、画像採取は、通常は各人につき複数回採取し、それぞれを用いてモデル構築を行う。この結果、上記学習用画像は、複数の本人と複数の部外者（他人）のそれぞれにつき複数回採取した画像数だけ存在する。

また、請求項２に記載の指紋判別モデル構築方法は、請求項１に記載の指紋判別モデル構築方法において、部外者の人数を登録すべき複数の者の数より所定の数または所定の割合多くすることを特徴とする。

すなわち、請求項２にかかる発明は、誤認率を低下（認識率を向上）させることが可能となる。なお、認識率を１００％とすることも可能となる。

また、請求項３に記載の指紋判別モデル構築方法は、請求項１または２に記載の指紋判別モデル構築方法逆フーリエ変換で得られた画像の端部を用いて学習用画像を作成することを特徴とする。

すなわち、請求項３にかかる発明は、特徴量が多く、過学習が生じ難い画像領域を用いて効率的な学習が可能となる。

また、請求項４に記載の指紋判別方法は、指紋を画像として入力する指紋画像入力工程と、前記指紋画像に基づいてフーリエ変換用画像を作成するフーリエ変換用画像作成工程と、前記フーリエ変換用画像をフーリエ変換し、得られた実部を虚部、虚部を実部として逆フーリエ変換して認証用画像を作成する認証用画像作成工程と、前記認証用画像を用いて、請求項１、２または３に記載の指紋判別モデル構築方法により構築された指紋判別モデルにより、登録された本人であるか否かを判別する指紋判別工程と、を含んだことを特徴とする。

すなわち、請求項４にかかる発明は、精度良く本人認証が可能となる。

また、請求項５に記載の本人認証方法は、請求項４に記載の指紋判別方法を含んだことを特徴とする。

すなわち、請求項５にかかる発明は、マルチモーダル化して精度良く本人認証が可能となる。

また、請求項６に記載の指紋判別装置は、指紋を画像として入力する指紋画像入力手段と、前記指紋画像に基づいてフーリエ変換用画像を作成するフーリエ変換用画像作成手段と、前記フーリエ変換用画像をフーリエ変換し、得られた実部を虚部、虚部を実部として逆フーリエ変換して認証用画像を作成する認証用画像作成手段と、前記認証用画像を用いて、請求項１、２または３に記載の指紋判別モデル構築方法によって構築された指紋判別モデルにより、登録された本人であるか否かを判別する指紋判別手段と、を含んだことを特徴とする。

すなわち、請求項６にかかる発明は、精度良く本人認証が可能となる。

また、請求項７に記載の本人認証装置は、請求項４に記載の指紋判別方法を含んだことを特徴とする。

すなわち、請求項７にかかる発明は、マルチモーダル化して精度良く本人認証が可能となる。

なお、以上の請求項に関し、フーリエ変換および逆フーリエ変換については、高速フーリエ変換および逆高速フーリエ変換を用いることが出来ることは云うまでもない。

本発明によれば、指紋を用いた従来にない認証方法を提供でき、使用されればされるほど精度を高めることが可能な認証装置を提供できる。

以下、本発明の実施の形態を図面を参照しながら詳細に説明する。
本発明は、本願発明者が鋭意検討の結果、実用的な新しい指紋認証方法を構築したものであり、また、その試行錯誤の経緯を説明した方が、本願発明そのものの理解を深めることができるため、開発プロセスも含めて説明する。

＜開発の経緯（前駆モデル）＞
指紋認証の方法に際しては、シグモイド関数を用いた階層型ニューラルネットワークを構築することとした。学習は、二次元画像として採取した指紋画像に所定の前処理を施した後、パターン認識させることとして行った。通常、パターン認識では経験的に３階層（入力層（画像入力）−中間層−出力層（本人か部外者（他人）かの判断））構造が採用されるので、ここでも３階層構造を採用することとした。

モデル構築に際しては、所定人数の指紋を各人１０回程度を目安に採取し、当該人の指紋の約半分を学習に用いてモデルを構築し、学習に用いた当該人のいくつかの指紋および／または学習に用いていない残りの指紋をテスト用（学習させたモデルが実際に正しく作動するか＝認識率が高いか）に用いた。

前駆モデルを構築するに当たり、どのように入力画像を構築すればよいかの検討を以下の通り行った。
（１）横１２８×縦２５６ピクセルピクセルでグレースケールの指紋画像を採取する。
（２）得られた指紋画像を動的閾値決定法を用いて二値化する。図１は、採取された指紋画像を二値化した図であり、明るい部分が使用する領域を示している。
（３）６４ピクセル×６４ピクセル、および、１２８ピクセル×１２８ピクセルに圧縮する。
（４）高速フーリエ変換（以降適宜ＦＦＴと称する）を施す。図２は、６４ピクセル×６４ピクセルの４人分の指紋画像のＦＦＴ後の振幅スペクトルと位相スペクトルとを示した図である。図３は、同様に、１２８ピクセル×１２８ピクセルの４人分の指紋画像のＦＦＴ後の振幅スペクトルと位相スペクトルとを示した図である。

図２または図３から明らかなように、振幅画像の端部４カ所（いわゆるカド）に特徴がみられたので、この端部を用いて逆フーリエ変換し、どの程度元画像の再現性があるかを確認することとした。図４は、振幅スペクトルと位相スペクトルの使用領域と逆フーリエ変換による再現画像を示した図である。図において、斜線部分が除去した部分である。図から明らかであるが、驚くべきことに、端部４カ所が含まれていると、指紋の再現性が高いことが確認できた。従って、振幅画像の端部４カ所に、個々人の指紋の特徴量が偏積しているといえる。なお、以降において逆フーリエ変換をＩＦＦＴと適宜称することとする。

次に、端部４カ所を用いた画像の情報量に基づいて、認識率（入力したデータによって理想的な出力が得られる確率）がどのように異なるかを検討した。まず、出力層を１、すなわち、本人であるとする指紋と、他人であるとする指紋との２つの指紋を区別できるように学習させることとした。また、中間層ユニット数はとりあえず１０００とした。

また、認識率の、移動距離依存性と回転角度依存性とをあわせて調べることとした。これは、指紋が常に同じ位置で指紋読取装置に読みとられるとは限らないからである。移動と回転に関しては、１ｍｍ以内、１０°が現実的であるので、右、右下、下にそれぞれ０ｍｍ、０．５ｍｍ、１ｍｍ移動させたとき、時計回り、反時計回りにそれぞれ０°、５°、１０°回転させたときの影響を調査した。

なお、学習係数は０．０１、教師信号として、指紋画像が本人のものであれば０．９５、他人のものであれば０．０５とした。出力値は０〜１の連続的な値であるので、０．５以上を１、０．５未満を０とした。学習は、教師信号と入力データによって得られる出力値の２乗誤差が０．００１以下になるまで行うこととした。

図５は、ＦＦＴ振幅画像の使用部分を示した図である。図で示したように、元の画像１２８×２５６ピクセルを１２８×１２８ピクセルに圧縮し、その端部４カ所を４０×４０ピクセルで切り取った画像（形式１）、端部４カ所を残すように左右を１２８×３９ピクセルで帯状に切り取った画像（形式２）、比較として、元の画像を６４×６４ピクセルに圧縮した画像（形式３）、の３種類の入力画像を用いて学習を行わせた。図６は、形式１の入力画像を用いた場合の認識率を示した図である。図７は、形式２の入力画像を用いた場合の認識率を示した図である。図８は、形式３の入力画像を用いた場合の認識率を示した図である。図９は、これらの認識率の平均値を示した結果表である。

図９から明らかなように、形式１と形式２とでは、認識率がほぼ変わらないことが確認できた。従って、学習効率の点からは形式１の画像データを用いれば十分であるといえる。なお、移動に対してはロバストであるが、回転に対しては弱いといえる。そこで、圧縮を行わず、１２８×１２８ピクセルの画像をＦＦＴし、その振幅画像の４端部（４０×４０ピクセル×４）の画像（形式４）を用いて学習を行わせた。

図１０は、形式４の入力画像を用いた場合の認識率を示した図である。図１１は、形式１と形式４の入力画像を用いた場合の認識率の平均値を示した表である。表から明らかなように、圧縮しない画像を用いた方が、回転に対してもロバストであることが確認できた。以上より、前駆モデルとして、１２８×１２８ピクセル部分の圧縮を行わない二値画像をＦＦＴし、振幅画像の４端部（４０×４０ピクセル）を用いて、学習させればよいことが確認できた。

次に、上記前駆モデルで中間層ユニット数および出力層ユニット数と認識率との関係を検討した。出力層ユニット数は、識別できる人数を決定し、出力層ユニット数が１，２，３，・・・，ｎの場合、それぞれ、１人、３人、７人、・・・、２^ｎ−１人を識別可能となる。中間層のユニット数を２００から増やし、最適化を行った。図１２は、出力層ユニット数が３までの場合の、中間層ユニット数と認識率との関係を調べた図である。

図から、中間層ユニット数は、４００である場合に認識率が最高値を示すことが確認できた。なお、中間層ユニット数が８００を超えると、出力層ユニット数の数に関係なく、認識率が低下することが分かったので、中間層ユニット数は１０００までで検討を終了した。

続いて、中間層ユニット数を４００とし、出力層ユニットの数と、認識率の詳細について検討した。認識率は、他人を本人と誤って認識する場合と、本人を他人と認識してしまう場合がある。ここでは、前者を他人許容率、後者を、本人拒否率と称することとする。図１３は、他人許容率と本人拒否率と出力層ユニット数の関係を示した図である。出力層ユニット数の増加によって認識率は低下し、特に他人許容率が悪くなっていることが確認できる。

＜本件モデルの構築＞
上述のモデル作りの知見をふまえて、本発明にかかるモデルを作出するにいたった。これまでは、振幅データを学習に用いていたが、位相データも用いれば、情報量が多くなるため認識率が向上するものと考えられる。しかし、単に情報量を多くすると、学習に時間がかかるなど効率的でない。そこで、本件モデルでは、ＦＦＴで得られた振幅データを虚部、位相データを実部として入れ替えて、ＩＦＦＴを施し、この端部を学習用画像とすることとした。

図１４は、１２８×１２８ピクセルの二値画像をＦＦＴし実部と虚部を入れ替え得られたＩＦＦＴ画像である。以降ではこの実部と虚部を入れ替えて得られたＩＦＦＴ画像を入替ＩＦＦＴ画像と適宜称することとする。次に、同じ指紋画像について、ＦＦＴの振幅画像であって四隅の４０ピクセル×４０ピクセルの画像により学習させた場合と、入替ＩＦＦＴ画像であって四隅の４０ピクセル×４０ピクセルの画像により学習させた場合の、認識率と出力層数との関係を調べた。図１５にその結果を示す。図から、ほとんど認識率に差がないことが確認できる。

ここで、図１５に示した結果は、学習で使用していない指紋画像も用いて認識率を検討した結果である。そこで、更に詳しく検討するために、学習された系に対し、学習に用いたデータのみを用いて認識率を調べた。同様の評価を振幅画像（ＦＦＴ画像）についても行った。結果を図１６に示した。

図から明らかなように、ＦＦＴ振幅画像を利用した場合よりも入替ＩＦＦＴ画像を利用した場合の方が、認識率が著しく向上し、特に、出力ユニット数が大きくなる方が、改善効果が高いことが確認できた。換言すれば、入替ＩＦＦＴ画像を利用する方がＦＦＴ画像を利用する場合より適正に学習される（特徴量が効率的に抽出される）ことが確認できた。

次に、同様に学習で使用した指紋のみを用いて入力層ユニット数の依存性を調べた。入力層ユニット数を、４０×４０×４＝６４００、３０×３０×４＝３６００、２０×２０×４＝１６００、１５×１５×４＝９００、１０×１０×４＝４００として、出力ユニット数を１、２、３として認識率を測定した。結果を図１７に示した。ここでは、入力層ユニット数が９００（＝１５×１５×４）の条件で認識率が最高となり、出力層ユニット数が１，２のとき、認識率が１００％であり、３のとき、認識率が９６．５％となった。このことより、入替ＩＦＦＴ画像の場合も、四隅の領域により学習させる方が、過学習が生じずによい結果であることが確認できた。

次に、同様に学習で使用した指紋のみを用いて入力層ユニット数を上記の９００、出力層ユニット数を３とし、中間層ユニット数の依存性について検討した。中間ユニット数を、２００，４００，６００，８００として学習させた結果を図１８に示した。図から中間ユニット数５００である場合、認識率が最も高く、約９８％であった。

以上の検討により、学習で使用した指紋のみを用いて出力層ユニット数３までの最適モデルを構築できたので、次に、未学習の指紋を用いた場合の認証実験を行った。図１９は、学習で使用しなかったデータも利用した場合の本人拒否率と他人許容率との出力層ユニット数との関係を示した図である。図から、出力数ユニット数が多くなると他人許容率が高くなっていることが確認できた。図２０は、ＦＦＴ振幅画像を用いた場合の比較を示した図である。入替ＩＦＦＴ画像を用いた方が認識率が向上していることが確認できた。

ここで、更に詳細にモデルの有効性を検討すべく、学習で使用していないデータのみを用いて認識率と出力層ユニット数との関係を調べることとした。図２１に結果を示す。図２０と図２１を比較すると、学習で使用していないデータに対する誤認識が出力層ユニット数の増加により顕著であることが分かった。一方、図１８で示したように、学習で使用したデータのみで検討すると出力層の数が多くなっても、認識率は実質的に１００％を維持している。ここで、これまでのモデルの前提を再考してみたところ、モデル構築に際して１０人の被験者から約１０回程度の指紋を採取しており、図２２に示したように、他人の人数が出力層の数に従って相対的に少なくなっていることに気がついた。換言すれば、これは、他人として与える教師信号の数が相対的に少なくなっていることを意味する。

そこで、入力ユニット数９００、中間層ユニット数５００、出力層ユニット数を３として、他人の人数と認識率との関係を調べた。結果を図２３に示す。同図から明らかなように、他人を増やせば増やすほど認識率が上昇し、１２人の場合には認識率が１００％まで上昇することが確認できた。すなわち、本モデルでは、他人の人数割合を多くするほど本人の識別率が上昇することが確認できた。

以上から、指紋判別モデルを構築するに当たっては、登録すべき複数の者の人数に応じて他人の指紋を用意し、入替ＩＦＦＴ画像の端部（カド）を用いて認識率を向上するように、３層のニューラルネットワークを構築することにより、認識率を１００％にすることができ、モデル構築後は、実際の運用をすればよい。

実際の運用方法としては、例えば、入室管理システムに適用し、入室に当たっては、指紋を読取装置（小型スキャナ）で読み取り、ＡＳＩＣ等によるＦＦＴと入替ＩＦＦＴの処理後、カド部分の画像を認証用画像として入力層としてデータ入力し、予め構築されているニューラルネットワークにより判定するようにシステム構築すればよい。

セキュリティレベルを高めるためには、複数のバイオメトリックス認証を組み合わせることもできる。具体的には、指紋、掌紋、声紋、網膜パターンなどを組み合わせても良い。

採取された指紋画像を二値化した図（明るい部分が使用する領域）である。 ６４ピクセル×６４ピクセルの４人分の指紋画像のＦＦＴ後の振幅スペクトルと位相スペクトルとを示した図である。 １２８ピクセル×１２８ピクセルの４人分の指紋画像のＦＦＴ後の振幅スペクトルと位相スペクトルとを示した図である。 振幅スペクトルと位相スペクトルの使用領域と逆フーリエ変換による再現画像を示した図である。 ＦＦＴ振幅画像の使用部分を示した図である。 元画像１２８×２５６ピクセルを１２８×１２８ピクセルに圧縮し、その端部４カ所を４０×４０ピクセルで切り取った入力画像を用いた場合の認識率を示した図である。 元画像１２８×２５６ピクセルを１２８×１２８ピクセルに圧縮し、端部４カ所を残すように左右を１２８×３９ピクセルで帯状に切り取った入力画像を用いた場合の認識率を示した図である。 元画像を６４×６４ピクセルに圧縮した入力画像を用いた場合の認識率を示した図である。 認識率の平均値を示した結果表である。 圧縮を行わず、１２８×１２８ピクセルの画像をＦＦＴし、その振幅画像の４端部（４０×４０ピクセル×４）を入力画像とした場合の認識率を示した図である。 形式１と形式４の入力画像を用いた場合の認識率の平均値を示した表である。 出力層ユニット数が３までの場合の、中間層ユニット数と認識率との間の関係を調べた図である。 他人許容率と本人拒否率と出力層ユニット数の関係を示した図である。 １２８×１２８ピクセルの二値画像をＦＦＴし実部と虚部を入れ替え得られたＩＦＦＴ画像である。 同じ指紋画像について、ＦＦＴの振幅画像であって四隅の４０ピクセル×４０ピクセルの画像により学習させた場合と、入替ＩＦＦＴ画像であって四隅の４０ピクセル×４０ピクセルの画像により学習させた場合の、認識率と出力層数との関係を調べた結果を示した図である。 学習された系に対し、学習に用いたデータのみを用いて認識率を調べた結果を示した図である。 学習で使用した指紋のみを用いて入力層ユニット数の依存性を調べた結果を示した図である。 学習で使用した指紋のみを用いて入力層ユニット数を９００、出力層ユニット数を３とし、中間層ユニット数の依存性について検討した結果を示した図である。 学習で使用しなかったデータも利用した場合の本人拒否率と他人許容率との出力層ユニット数との関係を示した図である。 ＦＦＴ振幅画像を用いた場合の比較を示した図である。 学習で使用していないデータのみを用いて認識率と出力層ユニット数との関係を調べた結果を示した図である。 出力層と他人とする者の人数の関係を示した図である。 入力ユニット数９００、中間層ユニット数５００、出力層ユニット数を３として、他人の人数と認識率との関係を調べた結果を示した図である。

Claims (7)

1. 登録された本人であるか否かを指紋に基づいてニューラルネットワークにより判定する指紋判別モデルを構築する方法であって、
   登録すべき複数の者とそれ以外の部外者との指紋を、画像としてそれぞれ少なくとも一回採取する指紋採取工程と、
   指紋採取工程で採取された指紋画像をフーリエ変換して振幅スペクトルと位相スペクトルを得るフーリエ変換工程と、
   フーリエ変換工程で得られた振幅スペクトルを虚部として位相スペクトルを実部として逆フーリエ変換し、学習用画像を作成する逆フーリエ変換工程と、
   作成された前記学習用画像を用いて、ニューラルネットワークにより本人であるか否かを学習させる学習工程と、
   を含んだことを特徴とする指紋判別モデル構築方法。
2. 部外者の人数を登録すべき複数の者の数より所定の数または所定の割合多くすることを特徴とする請求項１に記載の指紋判別モデル構築方法。
3. 逆フーリエ変換で得られた画像の端部を用いて学習用画像を作成することを特徴とする請求項１または２に記載の指紋判別モデル構築方法。
4. 指紋を画像として入力する指紋画像入力工程と、
   前記指紋画像に基づいてフーリエ変換用画像を作成するフーリエ変換用画像作成工程と、
   前記フーリエ変換用画像をフーリエ変換し、得られた実部を虚部、虚部を実部として逆フーリエ変換して認証用画像を作成する認証用画像作成工程と、
   前記認証用画像を用いて、請求項１、２または３に記載の指紋判別モデル構築方法により構築された指紋判別モデルにより、登録された本人であるか否かを判別する指紋判別工程と、
   を含んだことを特徴とする指紋判別方法。
5. 請求項４に記載の指紋判別方法を含んだことを特徴とする本人認証方法。
6. 指紋を画像として入力する指紋画像入力手段と、
   前記指紋画像に基づいてフーリエ変換用画像を作成するフーリエ変換用画像作成手段と、
   前記フーリエ変換用画像をフーリエ変換し、得られた実部を虚部、虚部を実部として逆フーリエ変換して認証用画像を作成する認証用画像作成手段と、
   前記認証用画像を用いて、請求項１、２または３に記載の指紋判別モデル構築方法によって構築された指紋判別モデルにより、登録された本人であるか否かを判別する指紋判別手段と、
   を含んだことを特徴とする指紋判別装置。
7. 請求項４に記載の指紋判別方法を含んだことを特徴とする本人認証装置。