JP4996394B2 - 認証装置及び認証方法 - Google Patents

Description

本発明は、指静脈パターンに基づいて個人を識別する認証装置及び認証方法に関する。

従来は、静脈や指紋をマニューシャ法による特徴点抽出データで照合することによって個人を識別している（例えば、特許文献１）。
特徴点抽出方式は回転や位置ずれに強いとされているが、実際には回転や位置ずれを起こした場合、画像の輝度が大きく変化して重要な特徴点が欠落してしまうという症状が多く見受けられる。
また、太陽光の散乱光や間接反射光による画像の輝度変化、外気温による血流量の変化による画像の輝度変化も大きく、関節部分と指の縁部分で特徴点の欠落が発生し、認証スコアが落ちる。
特開２００１−２４３４６５号公報

本発明が解決しようとする課題は、指を読み取り装置に置く際に回転や位置ずれが生じ、又は画像の輝度が変化し、その結果、特徴点の欠落が発生しても、高精度の認証を可能にすることである。

指静脈画像が外乱光、位置ずれ、血流量の変化などで静脈パターンの再現性が悪くなることを考慮し、データマップ自体を多値化し変化に対応できる様に多値化パターンマッチング方式を採用する。

本発明の第１の特徴は、認証装置であって、（１）指に赤外光を照射する光源と、（２）透過光によって撮像し、画像信号を出力する撮像手段と、（３）低域通過型フィルタを用いて、前記画像信号から低周波輝度成分信号を抽出する低周波輝度成分抽出手段と、（４）中域通過型フィルタを用いて、前記画像信号から中周波輝度成分信号を抽出する中周波輝度成分抽出手段と、（５）前記低周波輝度成分信号を用いて、前記中周波輝度成分信号を補正する補正手段と、（６）補正された前記中周波輝度成分信号を４値の分布が所定の比率になるように４値化する４値化手段と、（７）前記４値化手段によって４値化された４値化画像を記憶しておく記憶手段と、（８）前記４値化手段によって４値化された評価対象となる評価４値化画像と、前記記憶手段に予め記憶されている登録４値化画像との相関係数を、正規化相関法によるパターンマッチング方式を用いて算出する相関係数算出手段と、（９）前記相関係数算出手段によって算出された相関係数に基づいて、前記評価４値化画像と前記登録４値化画像とが同じ指を撮像して得られた画像か否かを判断する判断手段と、を備えることにある。

低域通過型フィルタ（ローパスフィルタ）を用いて画像信号から低周波輝度成分信号を抽出する処理の一例を説明する。
例えば、移動平均法によって、ある画素の値を周辺の値の平均値に設定する。例えば、３行３列の各画素の輝度が、処理前は表１に示すとおりである場合、
（２＋２＋２＋１＋１＋１＋３＋３＋３）／９＝２
であるから、第２行第２列の画素の輝度は、処理後は「２」となる。

中周波輝度成分信号の抽出は、例えば、各画素の重み付けが中心から離れるに従って２／３等比級数で減少する行列を用いて低域を除去した後に移動平均法によって高域を除去する中域通過型フィルタ（バンドパスフィルタ）を用いて行う。
例えば、表２に示すように、第３行第３列の係数を「12.44」とし、
第２行第２〜４列、第３行第１列及び第３列、第４行第２〜４列の係数を「-0.67」とし、
第１行第１〜５列、第２行第１列及び第５列、第３行第１列及び第５列、第４行第１列及び第５列、第５行第１〜５列の係数を「-0.44」とする。
0.67＝2/3、0.44=4/9＝(2/3)^２である。

「低周波輝度成分信号を用いて中周波輝度成分信号を補正する」とは、例えば
（中周波輝度成分信号）÷（低周波輝度成分信号）
という計算を意味する。

「補正された中周波輝度成分信号を４値の分布が所定の比率になるように４値化する」について説明する。
「４値化」とは、例えば、補正された中周波輝度成分信号のそれぞれを第１閾値未満なら「０」、第１閾値以上第２閾値未満なら「１」、第２閾値以上第３閾値未満なら「２」、第３閾値以上なら「３」とすることを意味する。
「４値の分布が所定の比率になる」とは、例えば「０」が全体の８０％、「１」が全体の５％、「２」が全体の５％、「３」が全体の１０％になることを意味する。「０」、「１」、「２」、「３」のそれぞれを何％とするかは、光源の明るさ、撮像手段の感度などに応じて適宜調整することが好ましい。

「４値化手段によって４値化された評価対象となる評価４値化画像と、記憶手段に予め記憶されている登録４値化画像との相関係数を、正規化相関法によるパターンマッチング方式を用いて算出する」について説明する。
評価対象となる評価４値化画像とは、複数の登録４値化画像のいずれかと一致するか否かが評価される４値化画像を意味する。
「相関係数」は、例えば
（登録画像と評価画像との相互相関値）÷登録画像の自己相関値
によって算出される。相互相関値、自己相関値については後述する。
「正規化相関法によるパターンマッチング方式」とは
（１）登録画像と評価画像の相関係数を算出する、
（２）２つの画像の相対的な位置をずらし、２つの画像の相関係数を再び算出する、
（３）（２）を繰り返し、算出された複数の相関係数中の最大値を最終的な相関係数とする方式を言う。

「相関係数算出手段によって算出された相関係数に基づいて、評価４値化画像と登録４値化画像とが同じ指を撮像して得られた画像か否かを判断する」とは、例えば相関係数が所定値以上であったら、同じ指を撮像して得られた画像と判断し、所定値未満であったら、同じ指を撮像して得られた画像ではないと判断する。

本発明の第２の特徴は、前記相関係数算出手段が、下記数式２によって相関係数を算出することにある。評価画像の輝度Ｉ、登録画像の輝度Ｔはいずれも４値化後の値である。

本発明の第３の特徴は、（１）４値化手段によって４値化された４値化画像の複数セルを畳み込んで縮小４値化画像を生成する縮小４値化画像生成手段をさらに備え、（２）相関係数算出手段は、（２−１）評価４値化画像から生成された評価縮小４値化画像と、前記記憶手段に予め記憶されている登録縮小４値化画像との１次相関係数を、正規化相関法によるパターンマッチング方式を用いて算出し、（２−２）１次相関係数が所定値以上となった場合に限り、前記評価縮小４値化画像に関連付けられている評価４値化画像と、前記登録縮小４値化画像に関連付けられている登録４値化画像との相関係数を、正規化相関法によるパターンマッチング方式を用いて算出する、ことにある。

「畳み込み」については後述する。

本発明の第４の特徴は、（１）高域通過型フィルタを用いて、前記画像信号から高周波輝度成分信号を抽出する高周波輝度成分抽出手段をさらに備え、（２）前記補正手段は、前記低周波輝度成分信号を用いて、前記中周波輝度成分信号と前記高周波輝度成分信号をそれぞれ補正し、（３）前記４値化手段は、補正された前記中周波輝度成分信号を４値の分布が第１の所定比率になるように４値化し、かつ補正された前記高周波輝度成分信号を４値の分布が第２の所定比率になるように４値化し、（３）前記相関係数算出手段は、（３−１）前記中周波輝度成分信号から得られた評価中周波４値化画像と、予め記憶されている登録中周波４値化画像から算出された中周波相関係数と、（３−２）前記高周波輝度成分信号から得られた評価高周波４値化画像と、予め記憶されている登録高周波４値化画像から算出された高周波相関係数とを、算出し、（４）前記判断手段は、中周波相関係数及び高周波相関係数に基づいて、前記評価中周波４値化画像と前記登録中周波４値化画像とが同じ指を撮像して得られた画像であって、かつ前記評価高周波４値化画像と前記登録高周波４値化画像とが同じ指を撮像して得られた画像か否かを判断する、ことにある。

高域通過型フィルタ（ハイパスフィルタ）については後述する。
「低周波輝度成分信号を用いて、中周波輝度成分信号と高周波輝度成分信号をそれぞれ補正」とは、例えば、
（中周波輝度成分信号）÷（低周波輝度成分信号）
（高周波輝度成分信号）÷（低周波輝度成分信号）
を意味する。
中周波輝度成分信号に関する４値の分布（第１の所定比率）と高周波輝度成分信号に関する４値の分布（第２の所定比率）とは、同じであっても異なっていても良い。

「中周波相関係数及び高周波相関係数に基づいて、評価中周波４値化画像と登録中周波４値化画像とが同じ指を撮像して得られた画像であって、かつ評価高周波４値化画像と登録高周波４値化画像とが同じ指を撮像して得られた画像か否かを判断する」とは、例えば
１）高周波相関係数（真皮中節紋画像に関する相関係数）が０．３未満であれば、認証NG（評価４値化画像と登録４値化画像とは、同じ指を撮像して得られた画像ではない。）とする。
２）中周波相関係数（静脈画像に関する相関係数）が０．５以上であれば、認証OK（評価４値化画像と登録４値化画像とは、同じ指を撮像して得られた画像である。）とする。
３）中周波相関係数に関する相関係数が０．３未満であれば認証NGとする。
４）静脈画像に関する相関係数が０．３から０．５の間では
Ｂ=｛（静脈画像に関する相関係数−０．３）×２+（真皮中節紋画像に関する相関係数）×０．６｝
でBの値が０．５以上であれば認証OKとする。

本発明の第１の特徴によれば、再現性の高さでビットを多値化することにより耐環境性の高い認証ができる。また、血流量の変化にも対応した認証ができる。

また、第３の特徴によれば、４値化画像と縮小４値化画像を生成し評価を２段階にすることにより、多数の対象画像との評価を高速に実行できる。

また、第４の特徴によれば、同一光源からの透過光で静脈と真皮中節紋の両方の評価を同時に実行することにより、指の偽造が困難な認証方式にできる。また、評価の精度も静脈単独より高くできる。

以下、図１乃至図５を参照しながら、本発明の第１の実施形態にかかる指静脈認証装置について説明する。

図１に、第１の実施形態にかかる指静脈認証装置の全体構成を示す。同図に示すように、指静脈認証装置は、４系統の赤外ＬＥＤ（発光ダイオード）からなる光源１、１０キー・ＬＣＤ（液晶ディスプレイ）からなる第１のユーザインターフェース２、ＬＥＤ・ブザーからなる第２のユーザインターフェース３、タッチセンサーからなる指検知装置４、４系統の電流制御が出来る赤外ＬＥＤ駆動回路５、各部の動作を制御するＣＰＵ（中央処理装置）６、ＣＰＵのワークメモリと静脈データの保持に使用するメモリ７、静脈画像を取り込むカメラ８、カメラ映像をデジタル変換するビデオデコーダ９、デジタルビデオデータを輝度データに変換すると共にＣＰＵへ転送するＦＰＧＡ（フィールド・プログラマブル・ゲート・アレイ）１０を含む。メモリ７は、ＳＤＲＡＭ（シンクロナス・ダイナミック・ランダム・アクセス・メモリ）、フラッシュメモリなどからなる。

図２に、第１の実施形態における認証実行部の構成を示す。ＣＰＵ６がソフトウェアの制御の下で認証実行部として機能する。
具体的には、低域通過型フィルタを用いて、画像信号から低周波輝度成分信号を抽出する低周波輝度成分抽出手段６１と、中域通過型フィルタを用いて、画像信号から中周波輝度成分信号を抽出する中周波輝度成分抽出手段６２と、低周波輝度成分信号を用いて、中周波輝度成分信号を補正する補正手段６３と、補正された中周波輝度成分信号を４値の分布が所定の比率になるように４値化する４値化手段６４と、４値化手段によって４値化された評価対象となる評価４値化画像と、記憶手段に予め記憶されている登録４値化画像との相関係数を、正規化相関法によるパターンマッチング方式を用いて算出する相関係数算出手段６５と、相関係数算出手段６５によって算出された相関係数に基づいて、評価４値化画像と登録４値化画像とが同じ指を撮像して得られた画像か否かを判断する判断手段６６として機能する。

図３に、第１の実施形態にかかる認証処理の全体の流れを示す。同図に示すように、ステップＳ１０１でマップ（４値化画像）を生成する。具体的には登録１次マップ、登録２次マップ、評価１次マップ、評価２次マップを生成する。登録１次マップ及び登録２次マップは予め生成して、メモリ７に記憶させておく。
ステップＳ１０２では１次マップ（サムネイル辞書）を用いてスクリーニング（１次認証）を行う。具体的には、メモリ７に記憶されている全ての１次マップと、カメラ８を用いて取り込まれた静脈画像から生成された評価対象の１次マップとのマッチングを行う。マッチング結果評価値（類似度の評価値）が足切り値以上の１次マップを１次候補とする。

マッチング結果評価値（類似度の評価値）が足切り値以上の１次マップが所定個数以上存在する場合は、所定順位よりも上位の１次マップを１次候補とすることが好ましい。例えば、マッチング結果評価値が足切り値以上の１次マップが１０個以上存在する場合は、マッチング結果評価値が１位から１０位までの１次マップを１次候補とすることが好ましい。

１次候補が存在する場合（つまり、ステップＳ１０３でＹＥＳの場合）、ステップＳ１０４へ進む。１次候補が存在しない場合（つまり、ステップＳ１０３でＮＯの場合）、ステップＳ１０７へ進む。

ステップＳ１０４では、２次マップを用いて２次認証を行う。具体的には、１次スクリーニング（１次認証）によって絞り込まれた１次候補に関連付けて記憶されている２次マップと、カメラ８を用いて取り込まれた静脈画像から生成された評価対象の２次マップとのマッチングを行う。マッチング結果評価値（類似度の評価値）が足切り値以上の２次マップを２次候補とする。

２次候補が存在する場合（つまり、ステップＳ１０５でＹＥＳの場合）、ステップＳ１０６へ進む。２次候補が存在しない場合（つまり、ステップＳ１０５でＮＯの場合）、ステップＳ１０７へ進む。

ステップＳ１０６では、マッチング結果評価値（類似度の評価値）が最上位の２次マップのスコア（スコアについては後述する）が閾値以上の場合、認証ＯＫと判断する。ステップＳ１０７では、認証ＮＧと判断する。

図４に、第１の実施形態にかかるマップ生成処理の流れを示す。同図に示すように、ステップＳ２０１では、ＩＲ−ＬＥＤ（赤外線発光ダイオード）オフ状態での基礎光量を測定し、ステップＳ２０２では、画像の輝度ゲインを調整する。

ステップＳ２０３では、ＩＲ−ＬＥＤの調光を行う。具体的には、対象に合わせて最適光量を照射し、画像の輝度ゲインを微調整する。
ステップＳ２０４では、８フレームの画像を取り込み、全フレームの各画素の輝度を、画素毎に単純に加算する。
ステップＳ２０５では、カメラノイズの除去と、センタリングを行う。センタリングとは画像の中心と、フレームの中心とを一致させることを意味する。
ステップＳ２０６では、背景画像と静脈画像の分離を行う。具体的には、ローパスフィルタを用いて背景画像（低周波輝度成分信号）を分離し、バンドパスフィルタを用いて静脈画像（中周波輝度成分信号）を分離する。
低周波輝度成分信号の分離は、移動平均法を用いて行う。具体的には、２１行２１列の各画素の輝度の相加平均値を、中心画素（第１１行第１１列の画素）の輝度とすることによって行う。
中周波輝度成分信号の分離は、２１行２１列の各画素の重み付けが中心から離れるに従い２／３等比級数的に減少するフィルタを用いて低周波輝度成分信号を除去し、次いで３行３列の各画素の輝度の相加平均値を中心（第２行第２列）画素の輝度とすることによって行う。

ステップＳ２０７では、エッジ外領域の特定と除去を行い、ステップＳ２０８では、背景画像を使用して静脈画像の補正を行う。具体的には、中周波輝度成分信号を低周波輝度成分信号で除算する。
ステップＳ２０９では、再現性の少ない分離静脈部分の特定と除去を行う。分離静脈部分とは、一本の連続した静脈として写らずに、細切れに分離して写っている静脈部分を意味する。分離静脈部分を除去することによって認識の再現性を向上させる。

［分離静脈の除去の一例］
（１）座標（ｘ，ｙ）の輝度ｆ（ｘ，ｙ）が１以上であれば線分長を１とする。輝度は4値化後の値である。
（２）さらに、輝度１以上の座標が周囲に存在するか検索する。
（３）輝度１以上の座標が周囲に存在する場合は、線分長に１を加算し、検索を続行する。
（４）輝度１以上の座標が周囲に存在しない場合は、検索を終了する。
（５）検索終了時点における線分長が１０未満であれば分離静脈とみなして、線分すべてを０に置き換える。
上記（１）〜（５）の処理によって再現性の少ない分離静脈を除去できる。
ここで「周囲」とは、（ｘ，ｙ）にたいして（ｘ，ｙ+１），（ｘ，ｙ−１），（ｘ+１，ｙ），（ｘ+１，ｙ+１），（ｘ+１，ｙ−１）とする。

ステップＳ２１０では、ヒストグラムを作成し、ステップＳ２１１では、２次マップ（４値化マップ）の生成を行う。本実施形態では１フレーム毎に各画素の輝度は０〜２５５のいずれかの値とし、８フレーム分を合計する。つまり、各画素の輝度の合計値は０〜２０４０のいずれかとなる。次に、これらの０〜２０４０の値を、０，１，２，３の比率が所定の値となるように４値化する。
例えば、輝度の合計値が第１の閾値未満であれば「０」、第１の閾値以上第２の閾値未満であれば「１」、第２の閾値以上第３の閾値未満であれば「２」、第３の閾値以上であれば「３」とする場合、「０」の比率が８０％、「１」の比率が５％、「２」の比率が５％となるように、第１の閾値、第２の閾値、第３の閾値をそれぞれ決定する。

静脈の画像の場合、常に明瞭な画像が得られるわけではない。このような場合、画像を２値化して、あたかも明瞭な画像が得られたものとして処理することで画像の不確かさが評価に反映しにくくなる。一方、輝度を４値化することで、画像の不鮮明さを評価に反映させることができる。

ステップＳ２１２では、１次マップ（サムネイル辞書）の生成を行う。１次マップは演算の高速化を考慮し、ＣＰＵのキャッシュ容量に合わせる。ステップＳ２１３では、１次マップ及び２次マップが出力される。

１次マップ及び２次マップの生成は、認証評価の対象者全員について行う。認証評価の対象者一人の指一本当たり複数の１次マップを生成することが好ましい。同様に、認証評価の対象者一人の指一本当たり複数の２次マップを生成することが好ましい。例えば、Ａさん、Ｂさん、Ｃさんの三人が認証評価の対象者である場合、つまり認証装置に置かれた指がＡさん、Ｂさん、又はＣさんのいずれかの指であるか否かを認証する場合、例えばＡさんの中指について３つの１次マップと３つの２次マップを生成し、同様に、Ｂさん、Ｃさんそれぞれの中指について３つの１次マップと３つの２次マップを生成する。生成する１次マップと２次マップは同数でなくても良い。生成された１次マップ及び２次マップはメモリ７に記憶される。

２次マップの生成についてさらに説明する。例えば、各画素の輝度の８フレーム分の合計値が表３のとおりであるとする。

そして、「０」，「１」，「２」，「３」の比率がいずれも２５％となるように、４値化する。説明の簡略化のために「０」，「１」，「２」，「３」の比率を均等とするが、「０」，「１」，「２」，「３」の比率は所定の比率であれば良いのであって、均等でなくても良い。
以下の例では、４００未満は「０」、４００以上８００未満は「１」、８００以上１２００未満は「２」、１２００以上は「３」とした。これにより、各画素の輝度は表４のように４値化される。

次に、１次マップ（サムネイル辞書）の生成（畳み込み）について説明する。
２次マップ（認証用辞書）と１次マップ（サムネイル辞書）の関係を表５及び表６に基づいて説明する。例えば、４×４の２次マップから、２×２を１つに畳み込んで、２×２の１次マップを生成する場合、２次マップの（１，１）、（１，２）、（２，１）、（２，２）の輝度に基づいて、１次マップの（１，１）の輝度を算出する。同様に、２次マップの（１，３）、（１，４）、（２，３）、（２，４）の輝度に基づいて、１次マップの（１，２）の輝度を算出し、２次マップの（３，１）、（３，２）、（４，１）、（４，２）の輝度に基づいて、１次マップの（２，１）の輝度を算出し、２次マップの（３，３）、（３，４）、（４，３）、（４，４）の輝度に基づいて、１次マップの（２、２）の輝度を算出する。ここで（Ｘ、Ｙ）は第Ｘ行第Ｙ列を意味する。

以下のようにして、２次マップの輝度値から１次マップの輝度値を算出する。
（１）２次マップの値の閾値の中央値を合計し、
（２）合計して得られた値を畳み込み対象となっている画素数で除算し、
（３）除算して得られた値を、４値化して１次マップの各値とする、
（４）その際、２次マップ生成の際と同様に、４値化後の値の比率が所定の比率となるようにする。
なお、閾値の中央値＝(閾値の上限値+閾値の下限値）／２とする。

例えば、２次マップの値「０」の閾値（下限０、上限４００）の中央値は「２００」、
２次マップの値「１」の閾値（下限４００、上限８００）の中央値は「６００」、
２次マップの値「２」の閾値（下限８００、上限１２００）の中央値は「１０００」となる。
また、計算の簡略化のため、２次マップの値「３」の閾値（１２００〜２０４７）の中央値は「１６００」とする。
表７を用いて具体的に説明する。

例えば、２次マップの（１，１）、（１，２）、（２，１）、（２，２）では、
（１，１）の値が「０」、「０」に対応する中央値が「２００」、
（１，２）の値が「０」、「０」に対応する中央値が「２００」、
（２，１）の値が「０」、「０」に対応する中央値が「２００」、
（２，２）の値が「１」、「１」に対応する中央値が「６００」であるから、
中央値の和は(２００+２００+２００+６００）＝１２００となり、
これを画素数「４」で除算すると「３００」という値が算出される。
また、（１，３）、（１，４）、（２，３）、（２，４）では、
（１，３）の値が「０」、「０」に対応する中央値が「２００」、
（１，４）の値が「１」、「１」に対応する中央値が「６００」、
（２，３）の値が「１」、「１」に対応する中央値が「６００」、
（２，４）の値が「２」、「２」に対応する中央値が「１０００」であるから、
中央値の和は(２００+６００+６００+１０００）＝２４００となり、
これを画素数「４」で除算すると「６００」という値が算出される。
同様にして１次マップ全体の各セルの値を求め、求められた値の比率が所定の比率となるように各値を４値化する。このようにして２次マップから１次マップが生成される。

図５に、第１の実施形態にかかるマッチング処理の流れを示す。同図に示すように、ステップＳ３０１で、登録データをＸ、評価データをＹとする。ステップＳ３０２から全ての検索位置に対するマッチング処理のループを開始する。ステップＳ３０３では、ＸとＹのそれぞれに初期値を０とする。ステップＳ３０４は全てのデータに対するマッチング処理のループを開始する。全てのデータとは、（１）１次マップを用いたマッチング処理の場合は、登録されている１次マップ（サムネイル辞書）の全てを意味し、（２）２次マップを用いたマッチング処理の場合は、１次候補に関連付けられている２次マップの全てを意味する。

ステップＳ３０５では、ＸとＹの相互相関を算出し、算出された値をＦに代入する。ステップＳ３０６では、Ｘの自己相関を算出し、算出された値をＧに代入する。ステップＳ３０７では、全てのデータに対するマッチング処理のループを終了する。ステップＳ３０８では、Ｆ／Ｇを算出し、算出された値の上位１０個を候補データとする。ステップＳ３０９では、全ての検索位置に対するマッチング処理のループを終了する。ステップＳ３１０では、候補データを出力する。各ステップの具体的な内容については後述する。

画像の検索（マッチング）において、登録数（メモリ７に記憶されているマップデータの数）が多くなると、検索の時間の大半は、画像の位置合わせで消費されるようになる。そこで、画像の位置合わせと、一致度の評価を２段階で行う（１次評価と２次評価に分けて行う）。

１段目（１次評価）は大まかな画像（１次マップ）を用いて位置合わせと、似たような画像かを大まかに評価する。大まかな画像（１次マップ）を用いることで、処理時間を２、３ケタ程度高速化できる。２段目（２次評価）では、位置の微調整と、画像の一致度に関して高精度の評価を行う。

画像の位置合わせと、一致度の評価を２段階で行うことによって評価の質を落とさずに処理時間を短縮することができる。

登録データと評価データとの相関係数の算出について説明する。表８に、登録データの一例を示す。

表９に、登録データ（登録画像）の自己相関値Ｇ＝Σ（Ｔ×Ｔ）の算出例を示す。Ｔは登録画像の輝度を４値化して得られた値を示す。

表１０に、評価データの一例を示す。

表１１に、登録パターン（登録画像データ）と評価パターン（評価画像データ）との相互相関値Ｆ＝Σ（Ｉ×Ｔ）の算出例を示す。Ｉは評価画像の輝度を４値化して得られた値を示す。

前記の如く、登録データの自己相関値Ｇ＝56、登録データと評価データとの相互相関値Ｆ＝49の場合、登録データと評価データとの相関係数＝49/56＝0.875となる。

同様にして、評価データと全ての登録データについて相関係数Ｆ／Ｇを求める。全ての登録データに対して相関係数を求めたら、評価データ（評価マップ）と登録データ（登録マップ）との相対的位置を１セル上下又は左右にずらし、再度、全ての登録データに対して相関係数を求める。

上記処理を繰り返し、上位１０個の相関係数Ｆ／Ｇを候補データとして出力する（ステップＳ３１０）。

ステップＳ３１０で出力された候補データが、図３のステップＳ１０２のマッチング結果となる。この候補データ内に所定値以上の相関係数が存在する場合、その相関係数に対応する登録１次マップが図３のステップＳ１０３の１次候補となる。

次に、１次候補に関連付けられている登録２次マップと評価２次マップとのマッチングを行う（図３のステップＳ１０４）。マッチング処理の内容は、図５に示したとおりである。
なお、２次マップのマッチングは、ステップＳ１０３において１次候補と判断された登録１次マップに関連付けられている登録２次マップについてのみ行うのであって、メモリ７に記憶されている全ての登録２次マップについて行うのではない。

評価２次マップと登録２次マップを用いてマッチングを行い、Ｆ／Ｇの上位１０個を評価データとして出力する（図５のステップＳ３１０）。ステップＳ３１０から出力された評価相関データが、図３のステップＳ１０４のマッチング結果となる。この評価データ内に所定値以上の相関係数が存在する場合、その相関係数に対応する登録２次マップが図３のステップＳ１０５の２次候補となる。

そして、評価データの原画像は、２次候補中の相関係数最大の登録２次マップに対応するデータ登録者の静脈画像であると認証される（ステップＳ１０６）。

［第２の実施形態］
撮像された画像から真皮中節紋データと静脈データとを分離し、真皮中節紋に基づく認証と静脈に基づく認証を行う。１つの撮像データから真皮中節紋データと静脈データとを取得するため、特別な反射光源等を必要としないにもかかわらず、偽造が極めて困難な認証装置を得られる。

従来は、指紋は指紋として画像を撮り、指紋画像に基づく認証をし、一方、静脈は静脈の画像を撮り、静脈画像に基づく認証をしていた。
しかし、第２の実施形態においては、１回の撮像によって得られた画像から、真皮中節紋データ（指先から数えて第１番目の間接と第２番目の間接との間の真皮中節紋のデータ）、静脈データ、背景データを分離することで真皮中節紋に基づく認証と静脈に基づく認証を同時に行うことができる。

具体的には、
（１）真皮中節紋の模様の多い画像からはその模様を取り出して、真皮中節紋の模様に基づいて認証処理を行う。
（２）静脈が多い画像からは、静脈パターンを取り出して、静脈パターンに基づいて認証処理を行う。
（３）背景画像は得られた画像の濃淡の正規化に利用する。
このように複数の認証処理を実行することによって、認証の精度と、偽の指などを排除する性能を上げることができる。

［背景画像の分離］
第１の実施形態と同様に、８フレーム分の画像を取り込み、ノイズ除去とセンタリングを行い、ローパスフィルタを用いて背景画像（低周波輝度成分信号）を分離する。

［静脈画像の分離］
第１の実施形態と同様に、８フレーム分の画像を取り込み、ノイズ除去とセンタリングを行い、バンドパスフィルタを用いて静脈画像（中周波輝度成分信号）を分離する。

［真皮中節紋画像の分離］
８フレーム分の画像を取り込み、ノイズ除去とセンタリングを行うまでは、第１の実施形態と同様である。その後、ハイパスフィルタを用いて真皮中節紋画像（高周波輝度成分信号）を分離する。ハイパスフィルタとしては、２１×２１、１／２等比級数フィルタを用いる。５×５、１／２等比級数フィルタを表１２に示す。

背景、静脈、真皮中節紋の各画像に分離した後は、背景画像を用いて静脈及び真皮中節紋の各画像を補正する。そして、第１の実施形態と同様に、４値化し２次マップと１次マップ（スクリーニング用のサムネイル画像）を生成し、相関係数に基づいてマッチングを行うことによってより精度の高い、欺くことが困難な認証を行うことができる。

例えば、
１）真皮中節紋画像に関する相関係数（高周波相関係数）が０．３未満であれば、認証ＮＧ（つまり、評価４値化画像と登録４値化画像とは、同じ指を撮像して得られた画像ではない。）と判断し、
２）真皮中節紋画像に関する相関係数が０．３以上の場合は、
２−１）静脈画像に関する相関係数（中周波相関係数）が０．５以上であれば、認証ＯＫ（つまり、評価４値化画像と登録４値化画像とは、同じ指を撮像して得られた画像である。）と判断し、
２−２）静脈画像に関する相関係数が０．３未満であれば、認証ＮＧと判断し、
２−３）静脈画像に関する相関係数が０．３以上０．５未満であれば、
Ｂ=｛（静脈画像に関する相関係数−０．３）×２+（真皮中節紋画像に関する相関係数）×０．６｝
によって算出されるＢの値が０．５以上であれば認証ＯＫと判断する。

第１、第２の実施形態のいずれについても、以下のような輝度調整を行うことが好ましい。

［非発光画像による偽造防止］
近赤外LEDを発光させずに画像を取得し、近赤外LEDを発光させて取得した画像との差をみることによって、近赤外LEDの透過のみによる変化量で指と異物を区別する。

［非発光画像による外光耐性］
近赤外LEDを発光させずに画像を取得し、外光による透過輝度を測定し、目的輝度を得るための近赤外LEDの光量及びカメラのゲインを制御する。

［傾斜光量による高速輝度調整］
４組の近赤外LEDの光量を傾斜をつけて発光させることによって、透過輝度に位置による傾斜を持たせる。傾斜をもった透過輝度の中から目的輝度を得るための近赤外LEDの光量を設定することにより１画面の取得時間で光量調整ができる。

図６は、ＬＥＤの位置と照射エリアとの関係を示す。同図を用いて、傾斜光量による光量調整を説明する。例えば、ＬＥＤ１の光量＜ＬＥＤ２の光量＜ＬＥＤ３の光量＜ＬＥＤ４の光量とする。また、ＬＥＤ１の照射エリアをエリアＡ１１、ＬＥＤ２の照射エリアをエリアＡ１２、ＬＥＤ３の照射エリアをエリアＡ１３、ＬＥＤ４の照射エリアをエリアＡ１４とする。そして、エリアＡ１１、エリアＡ１２、エリアＡ１３、エリアＡ１４の各エリアの透過輝度の中でエリアＡ１２の透過輝度が目的輝度に最も近かったとする。そのような場合、ＬＥＤ１、ＬＥＤ３及びＬＥＤ４の光量をいずれもＬＥＤ２の光量と同じ光量に設定する。

［複数枚からの選択］
画像取り込みにおいて前記のような自動輝度調整を行うが、個人差や環境の変化のために最適な画像を得られない場合がある。例えば、指が太く光の透過率が低い場合は、標準的な輝度では静脈の写りにくい指が存在する。また、指が細く静脈が細い場合は、標準的な輝度では静脈が回り込んだ光で薄くなってしまうことがある。
このような場合、輝度調整範囲（光量の範囲）を広げて、静脈パターン作成に必要な最低枚数以上の画像を取り込み、その中から最適な画像を選択することにより、ばらつきの少ない静脈パターンの作成を行うことができる。

必要最低枚数以上の画像を取り込み、以下の方法で最適な画像を選択する。
（１）より多く取り込んだ画像に対して、まず一枚ごとに、以下の（２）以降の処理を行う。
（２）ある領域（複数箇所）における輝度の分散値を計算する。
例えば、100x256の画像領域のうち(x,y)={(16,25), (88,25), (160,25),
(232,25), (16,50), (88,50), (160,50), (232,50)}の各座標から(x+7,y+7)までの６４ポイントの輝度の平均を取り、その８個の平均に対して下記のように分散を取る。
（２−１）具体的には、(x,y)=(16,25)から(16+7,16+7)までの６４ポイント、つまり
(x,y)=(16,25), (16,26), (16,27), (16,28), (16,29), (16,30), (16,31), (16,32),
(17,25),...(17,32), (18,25),...(18,32), (19,25), ...(19,32), (20,25),
...(20,32), (21,25), ...(21,32), (22,25),...(22,32), (23,25), ...(23,32)の64ポイントの輝度の平均Ｌｍ１を算出する。
（２−２）同様にして、(x,y)= (88,25),(160,25),(232,25),
(16,50), (88,50), (160,50), (232,50)の各座標から(x+7,y+7)までの６４ポイントの輝度の平均Ｌｍ２〜８を算出する。
（２−３）Ｌｍ１〜Ｌｍ８の分散値は以下のように定義される。分散値は、画素値のばらつき具合を見る目安となる。
平均Ｍ＝（Ｌｍ１＋Ｌｍ２＋・・・＋Ｌｍ８）／８
分散値＝｛（Ｌｍ１−Ｍ）＾２＋（Ｌｍ２−Ｍ）＾２＋・・・（Ｌｍ８−Ｍ）＾２｝／８
（３）全ての画像に対して上記の処理を行う。
（４）複数の画像から分散値最大の画像を決定し、その画像より光量が多い画像と、その画像より光量が少ない画像をそれぞれ複数枚選択する。
例えば、光量を変化させて２０枚の画像を撮像したとする。画像０１が光量最低で、画像０２、画像０３、画像０４・・・と次第に光量が増え、画像２０が光量最大とする。そして、分散値を算出したところ、画像０７の分散値が最大であったとする。このような場合に、画像０７を中心として上下３枚の画像を選択する。つまり、画像０４、画像０５、画像０６、画像０７、画像０８、画像０９、画像１０を選択する。

［辞書ＤＢの更新］
第１、第２の実施形態では、一本の指に対して複数の静脈パターンをメモリ７に記憶し、一本の指を評価する際に複数の静脈パターンと照合を行う。例えば、Ａさんの静脈パターンか否かを評価する際に、Ａさんの複数の静脈パターンと比較し、相関係数を算出して評価する。複数の静脈パターンは、適度にばらついたパターンが理想的である。

登録時の環境（季節、年齢、機器の設置位置等）と認証時の環境が異なっていると、記憶されている静脈パターンのいずれかと類似すると判断される場合であっても、認証スコア（相関係数＝相互相関値／自己相関値）が低い場合がある。
このような場合に、認証スコアが最低となった静脈パターンをメモリ７から消去し、読み取ったばかりの静脈パターンを代わりに記憶することが好ましい。

［複数パターンＤＢによる成長への対応］
初期登録時から時間が経過した場合、例えば評価対象者が子供である場合などは、成長とともに指のサイズが変わる。静脈パターンの特徴も微妙に変化していくことがある。にもかかわらず静脈パターンＤＢの更新をしない場合は、認証率が少しずつ落ちていくことがある。所定の条件を満たした場合にＤＢの更新を行うことによって、最適な認証を行うことができる。

［複数パターンＤＢによる位置ずれ対応］
初期登録時の環境と認証時の環境が異なるために、指の置き方が変わっていくことがある。また、認証装置を多数回使用しているうちに次第に指の置き方が変わっていくこともある。指の置き方が変わってくると認証率が低くなり、静脈パターンを再度登録することが必要になることがある。所定の条件を満たした場合にＤＢの更新を行うことによって、最適な認証を行うことができる。

ＤＢ更新の一例について説明する。
（１）初期登録時に複数のパターンを登録する。（２）認証を行う際に、全パターンについてマッチングを行い、認証スコア（相関係数＝相互相関値／自己相関値）を算出する。（３）スコアが高いパターンが現在の環境、置き方に適したパターンと判断する。（４）適すると判断された回数をパターン毎に記録する。（５）適すると判断されたことが無い又は適すると判断された回数が極端に少ないパターンをメモリ７から消去し、代わりにカメラ８を用いて読み取られた新しい静脈パターンをメモリ７に記憶する。つまり、評価データが新たな登録データの一部としてメモリ７に記憶される。

例えば、Ａ氏の指の静脈パターンが３通り（パターンＰ１１、Ｐ１２及びＰ１３）記憶されており、そして、Ａ氏の指が認証装置に置かれ、カメラ８を用いてＡ氏の静脈パターンＰ１４が読み取られたとする。静脈パターンＰ１１の認証スコア＜静脈パターンＰ１２の認証スコア＜静脈パターンＰ１３の認証スコアとなった場合、静脈パターンＰ１３が「適すると判断された回数」が１だけ増加する。
その後、Ａ氏の指が認証装置に置かれ、カメラ８を用いてＡ氏の静脈パターンが読み取られるという処理が９回繰り返され、静脈パターンＰ１３が「適すると判断された回数」が４増加し、静脈パターンＰ１２が「適すると判断された回数」が５増加し、静脈パターンＰ１１が「適すると判断された回数」が全然増加しなかったとする。
このような場合、静脈パターンＰ１１をメモリ７から消去し、代わりにカメラ８を用いて読み取られた新しい静脈パターンをメモリ７に記憶する。

但し、適すると判断されなかったパターンが高スコアの場合には、更新は行わないことが好ましい。

本発明の実施形態にかかる認証装置の全体構成を示す図である。 本発明の実施形態における認証実行部の構成を示す図である。 本発明の実施形態にかかる認証処理の全体の流れを示す図である。 本発明の実施形態にかかるマップ生成処理の流れを示す図である。 本発明の実施形態にかかるマッチング処理の流れを示す図である。 本発明の実施形態にかかるＬＥＤの位置と照射エリアとの関係を示す図である。

符号の説明

１ 赤外ＬＥＤ
２ 第１のユーザインターフェース
３ 第２のユーザインターフェース
４ タッチセンサー
５ 赤外ＬＥＤ駆動回路
６ ＣＰＵ
７ メモリ
８ カメラ
９ ビデオデコーダ
１０ ＦＰＧＡ

Claims (4)

1. 指に赤外光を照射する光源と、
   透過光によって撮像し、画像信号を出力する撮像手段と、
   低域通過型フィルタを用いて、前記画像信号から低周波輝度成分信号を抽出する低周波輝度成分抽出手段と、
   中域通過型フィルタを用いて、前記画像信号から中周波輝度成分信号を抽出する中周波輝度成分抽出手段と、
   前記低周波輝度成分信号を用いて、前記中周波輝度成分信号を補正する補正手段と、
   補正された前記中周波輝度成分信号を４値の分布が所定の比率になるように４値化する４値化手段と、
   前記４値化手段によって４値化された４値化画像の複数セルを畳み込んで縮小４値化画像を生成する縮小４値化画像生成手段と、
   前記４値化画像及び前記縮小４値化画像を記憶しておく記憶手段と、
   前記４値化手段によって４値化された評価対象となる評価４値化画像から生成された評価縮小４値化画像と、前記記憶手段に記憶されている登録縮小４値化画像との１次相関係数を、正規化相関法によるパターンマッチング方式を用いて算出し、
   前記１次相関係数が所定値以上となった場合に限り、前記評価縮小４値化画像に関連付けられている評価４値化画像と、前記登録縮小４値化画像に関連付けられている登録４値化画像との相関係数を、正規化相関法によるパターンマッチング方式を用いて算出する相関係数算出手段と、
   前記相関係数算出手段によって算出された前記評価４値化画像と前記登録４値化画像との相関係数に基づいて、前記評価４値化画像と前記登録４値化画像とが同じ指を撮像して得られた画像か否かを判断する判断手段と、を備えることを特徴とする認証装置。
2. 前記相関係数算出手段は、下記数式１によって相関係数を算出する請求項１に記載の認証装置。
   

   
3. 高域通過型フィルタを用いて、前記画像信号から高周波輝度成分信号を抽出する高周波輝度成分抽出手段をさらに備え、
   前記補正手段は、前記低周波輝度成分信号を用いて、前記中周波輝度成分信号と前記高周波輝度成分信号をそれぞれ補正し、
   前記４値化手段は、補正された前記中周波輝度成分信号を４値の分布が第１の所定比率になるように４値化し、かつ補正された前記高周波輝度成分信号を４値の分布が第２の所定比率になるように４値化し、
   前記相関係数算出手段は、（１）前記中周波輝度成分信号から得られた評価中周波４値化画像と、記憶されている登録中周波４値化画像から算出された中周波相関係数と、（２）前記高周波輝度成分信号から得られた評価高周波４値化画像と、記憶されている登録高周波４値化画像から算出された高周波相関係数とを、算出し、
   前記判断手段は、中周波相関係数及び高周波相関係数に基づいて、前記評価中周波４値化画像と前記登録中周波４値化画像とが同じ指を撮像して得られた画像であって、かつ前記評価高周波４値化画像と前記登録高周波４値化画像とが同じ指を撮像して得られた画像か否かを判断する、請求項１又は２に記載の認証装置。
4. 指に赤外光を照射し、
   透過光によって撮像し、画像信号を出力し、
   低域通過型フィルタを用いて、前記画像信号から低周波輝度成分信号を抽出し、
   中域通過型フィルタを用いて、前記画像信号から中周波輝度成分信号を抽出し、
   前記低周波輝度成分信号を用いて、前記中周波輝度成分信号を補正し、
   補正された前記中周波輝度成分信号を４値の分布が所定の比率になるように４値化し、
   ４値化された４値化画像の複数セルを畳み込んで縮小４値化画像を生成し、
   前記４値化画像及び前記縮小４値化画像を記憶し、
   評価対象となる評価４値化画像から生成された評価縮小４値化画像と、記憶されている登録縮小４値化画像との１次相関係数を、正規化相関法によるパターンマッチング方式を用いて算出し、
   前記１次相関係数が所定値以上となった場合に限り、前記評価縮小４値化画像に関連付けられている評価４値化画像と、前記登録縮小４値化画像に関連付けられている登録４値化画像との相関係数を、正規化相関法によるパターンマッチング方式を用いて算出し、
   前記評価４値化画像と前記登録４値化画像との相関係数に基づいて、前記評価４値化画像と前記登録４値化画像とが同じ指を撮像して得られた画像か否かを判断する、ことを特徴とする認証方法。

Images