JP2008059408A - 顔画像照合装置、それを用いた顔認証システムおよび静脈画像照合装置 - Google Patents
顔画像照合装置、それを用いた顔認証システムおよび静脈画像照合装置 Download PDFInfo
- Publication number
- JP2008059408A JP2008059408A JP2006237242A JP2006237242A JP2008059408A JP 2008059408 A JP2008059408 A JP 2008059408A JP 2006237242 A JP2006237242 A JP 2006237242A JP 2006237242 A JP2006237242 A JP 2006237242A JP 2008059408 A JP2008059408 A JP 2008059408A
- Authority
- JP
- Japan
- Prior art keywords
- feature
- collation
- face image
- image
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Collating Specific Patterns (AREA)
Abstract
【課題】精度の高い判定結果を得ることができる顔画像照合装置、静脈画像照合装置およびこれらを用いた顔認証システムを得る。
【解決手段】撮影手段で撮影した顔画像を画像蓄積手段に記憶し、記憶した顔画像を複数の特徴量抽出手段に送り、複数の特徴量抽出手段から抽出した複数の特徴量をそれぞれ予め記憶してある特徴量データベースの照合用特徴量データと照合し、照合した複数の結果を組み合わせた判定結果を出力する。また、撮影手段で顔の静脈を立体的に撮影し、所定の高さの範囲の静脈の立体画像を特徴量データベースの照合用特徴量データと照合し、照合した結果を出力する。
【選択図】図1
【解決手段】撮影手段で撮影した顔画像を画像蓄積手段に記憶し、記憶した顔画像を複数の特徴量抽出手段に送り、複数の特徴量抽出手段から抽出した複数の特徴量をそれぞれ予め記憶してある特徴量データベースの照合用特徴量データと照合し、照合した複数の結果を組み合わせた判定結果を出力する。また、撮影手段で顔の静脈を立体的に撮影し、所定の高さの範囲の静脈の立体画像を特徴量データベースの照合用特徴量データと照合し、照合した結果を出力する。
【選択図】図1
Description
本発明は、来訪者や電子機器の使用者などの人の顔画像を撮影して、撮影した顔画像を予め登録したデータと照合する顔画像照合装置、静脈画像照合装置およびこれらを用いた顔認証システムに関する。
訪問者の顔を撮像した顔画像を画像処理して特徴を抽出し、この特徴によって、登録済みの顔画像を検索照合して訪問者の認証を行う顔認証システムが知られている。これらの顔認証システムでは、顔の輪郭、頭髪、眉毛、目、鼻孔、唇、耳など人間の顔に備わっている一般的な部分を特徴点として用い、これらの一般的な特徴点の画像を拡大処理し、特徴の抽出を容易にして照合することが行われている。そして、照合の精度を高めるための方法として、これら顔の輪郭、頭髪、眉毛など人間の顔に備わっている一般的な特徴点の他に、個人によってある人とない人がある、顔の凹凸によるしわ、きず、ほくろなどの固有の特徴点についても照合するという方法が提案されている。照合する特徴点を増やすことにより、照合の精度を高めることが期待できる(例えば、特許文献1参照)。
特開2005−242432号公報(第5頁、図3)
しかしながら、照合する特徴点を増やして、一致する特徴点の数が増えれば、または不一致の特徴点の数が増えれば、照合結果の一致、不一致のどちらかが明確になるが、特徴が一致している程度が微妙で、どちらとも判断できない特徴点が増えた場合には、必ずしも照合の精度が上がるとは言い切れない。訪問者の顔を撮像した顔画像から抽出する特徴点の数を単純に増やしただけでは、不確かな程度が増幅されるだけで照合の精度が上がらないことがあるという課題があった。
また、企業秘密をガードするセキュリティレベルの高い企業の研究所や事務所の入退出管理システムに用いられる顔認証システムの精度は、マンションなどの共同住宅用の入退出管理システムに用いられる顔認証システムの精度に比べて、格段に高いことが要求されている。
また、最近は個人情報データや企業秘密データが保存記録されたパーソナルコンピュータ(PC)の盗難事件も社会的な問題となっており、入退出管理システムにとどまらず、PCや携帯端末装置などの各種の電子機器の使用を制限するセキュリティレベルについても、高くすることが求められるようになってきている。
本発明は、前記従来の課題を解決するもので、顔画像から特徴点のデータである特徴量を抽出する複数の特徴量抽出手段を用い、これら複数の特徴量抽出手段から抽出した顔画像の複数の特徴点の特徴量を同時に照合する、あるいは予め定めた順に照合して、それぞれの照合結果を組み合わせて判定することにより、精度の高い判定結果を得ることができる顔画像照合装置、静脈画像照合装置およびこれらを用いた顔認証システムを提供することを目的としている。
本発明の顔画像照合装置は、撮影手段で撮影した顔画像を記憶する画像蓄積手段と、画像蓄積手段に記憶した顔画像から特徴量を抽出する複数の特徴量抽出手段と、複数の特徴量抽出手段から抽出した複数の特徴量とそれぞれ照合するための照合用特徴量データを予め蓄積して検索自在に構成した特徴量データベースと、複数の特徴量抽出手段から抽出した複数の特徴量と特徴量データベースの照合用特徴量データを照合するための照合手段と、照合手段で照合した複数の照合結果を組み合わせた判定結果を出力する判定出力手段とを設け、撮影手段で撮影した顔画像について、複数の特徴量抽出手段から抽出した複数の特徴量を照合した照合結果を組み合わせて判定し、判定結果を出力するように構成している。この構成により、照合の精度を高くしている。
また、本発明の顔画像照合装置は、複数の特徴量抽出手段から抽出した複数の特徴量として、静脈の形、毛根分布、皺(しわ)、起伏状態の内の少なくとも二つ以上の特徴量について照合した結果を組み合わせて、撮影手段で撮影した顔画像を判定し、判定結果を出力するように構成している。この構成により、顔画像の照合の精度を高くしている。
また、本発明の顔画像照合装置は、照合手段には、顔画像照合結果以外の他の照合装置による照合結果を入力するよう構成し、顔画像照合結果と顔画像照合結果以外の他の照合結果を組み合わせて、撮影手段で撮影した顔画像を判定し、判定結果を出力するようにしている。この構成により、顔画像照合装置で得られた照合結果に他の照合結果を組み合わせて判定し、照合の精度を高くしている。
そして、本発明の顔画像照合装置を用いた顔認証システムは、撮影手段で撮影した顔画像について、複数の特徴量抽出手段から抽出した複数の特徴量を照合した照合結果を組み合わせて判定し、判定結果を出力するように構成している。複数の特徴量抽出手段から抽出した複数の特徴量を照合した照合結果を組み合わせて判定することにより、高い精度の顔認証を行うことが出来る。また、顔画像照合装置で得られた照合結果に他の照合装置の照合結果を組み合わせて判定し、照合の精度を高くしている。
また、本発明の静脈画像照合装置は、静脈を複数の撮影手段で撮影し、画像蓄積手段に記憶した静脈画像から立体的な高さ方向について特定された高さの範囲の特徴量を抽出して照合する。この構成により、精度の高い静脈の立体画像の照合を短時間で行っている。
本発明の顔画像照合装置は複数の特徴量抽出手段から抽出した複数の特徴量を照合した照合結果を組み合わせて判定することにより、高い精度の顔画像の照合を行うことが出来る。また、他の照合装置の照合結果と組み合わせて判定するようにしたものは、更に高い精度の顔画像の照合を行うことが出来る。そして、本発明の顔画像照合装置を用いた顔認証システムは高い精度の顔認証を行うことが出来るという効果がある。
そして、本発明の静脈画像照合装置は精度の高い静脈の立体画像の照合を短時間で行うことができるという効果がある。
以下、本発明の実施の形態について、図面を参照しながら説明する。
(実施の形態1)
本実施の形態1の顔画像照合装置は、撮影手段であるカメラを用いて撮影した顔画像について、複数の特徴量抽出手段から抽出した複数の特徴量を照合した照合結果を組み合わせて判定するよう構成している。図1に、本実施の形態1の顔画像照合装置を用いた入退出管理システム100のブロック図を示す。入退出管理システム100は、訪問者の顔を撮影する三つのカメラ、第一のカメラ1、第二のカメラ2Lと第三のカメラ2Rがあり、三つのカメラで撮影した訪問者の顔画像をそれぞれ蓄積し、予め登録してある人のデータと照合して、一致/不一致の照合結果を出力する顔画像照合装置3と、顔画像照合装置3の判定結果に基づき、鍵の開錠または施錠を行う入退出管理装置4から構成されている。
本実施の形態1の顔画像照合装置は、撮影手段であるカメラを用いて撮影した顔画像について、複数の特徴量抽出手段から抽出した複数の特徴量を照合した照合結果を組み合わせて判定するよう構成している。図1に、本実施の形態1の顔画像照合装置を用いた入退出管理システム100のブロック図を示す。入退出管理システム100は、訪問者の顔を撮影する三つのカメラ、第一のカメラ1、第二のカメラ2Lと第三のカメラ2Rがあり、三つのカメラで撮影した訪問者の顔画像をそれぞれ蓄積し、予め登録してある人のデータと照合して、一致/不一致の照合結果を出力する顔画像照合装置3と、顔画像照合装置3の判定結果に基づき、鍵の開錠または施錠を行う入退出管理装置4から構成されている。
なお、ここでは、入退出管理システムについて説明するが、図1の入退出管理装置4を他の電子機器、例えばPCに置き換えれば、PCの使用を制限する顔認証システムを構成することが出来る。また、入退出管理装置4をPCでなく携帯端末装置に置き換えれば、携帯端末装置の使用を制限する顔認証システムを構成することが出来ることは言うまでもない。
図1に示す第一のカメラ1は近赤外線カメラであり、近赤外線が静脈のヘモグロビンに吸収されやすいために静脈が黒く写るという性質を生かして静脈の形を抽出する画像を撮影するのに用いる。第二のカメラ2Lと第三のカメラ2Rは立体画像が撮影できるステレオカメラとして使える赤外線カメラである。第二のカメラ2Lまたは第三のカメラ2Rの赤外線カメラは、人の顔の輪郭、頭髪、眉毛、目、鼻孔、唇、耳や、きず、ほくろなどの特徴点を抽出する画像を撮影するのに用いる。なお、第二のカメラ2Lと第三のカメラ2Rの赤外線カメラは、ステレオカメラとして立体画像である顔の皮膚の盛り上がり状態である顔の起伏を撮影するのに用いる。
本発明は、このように顔画像の特徴量を抽出する際に、それぞれの特徴量の特徴をつかみやすい抽出方法、抽出手段、あるいは抽出条件の異なる複数の特徴量抽出手段から抽出した複数の特徴量を照合した照合結果を組み合わせて判定するところが従来と異なっている。
顔画像照合装置3は、第一のカメラ1と第二のカメラ2Lと第三のカメラ2Rでそれぞれ撮影した顔画像を蓄積する画像蓄積部31と、蓄積した顔画像を後述する特徴量抽出部に送る画像送出部32と、画像送出部32から送られてきた顔画像から、顔の輪郭を特徴量として抽出する顔特徴量抽出部33と、顔の静脈の形を抽出する静脈特徴量抽出部34、顔の毛根の分布を抽出する毛根特徴量抽出部35、顔の皺の形を抽出する皺特徴量抽出部36、顔の皮膚の盛り上がり状態を抽出する起伏特徴量抽出部37を設けている。第一のカメラ1で撮影した顔画像は、静脈特徴量抽出部34だけに送出し、顔の静脈の形を抽出する。第二のカメラ2Lまたは第三のカメラ2Rで撮影した顔画像は、顔特徴量抽出部33と、毛根特徴量抽出部35、皺特徴量抽出部36に同時に送出し、第二のカメラ2Lまたは第三のカメラ2Rで撮影した一つの顔画像から、それぞれの特徴量抽出部で特徴量を抽出する。また第二のカメラ2Lと第三のカメラ2Rで撮影したそれぞれの顔画像は、起伏特徴量抽出部37だけにワンセットとして送出し、ワンセットの顔画像から、顔の立体形状である起伏を抽出する。符号33から37に示すそれぞれの特徴量抽出部は、抽出した特徴量を照合部38に送出する。
照合部38には、予め顔の輪郭を登録した顔特徴量データベース39、予め顔の静脈の形を登録した静脈特徴量データベース40、予め顔の毛根の分布を登録した毛根特徴量データベース41、予め顔の皺の形を登録した皺特徴量データベース42、予め顔の皮膚の盛り上がり状態を登録した起伏特徴量データベース43を接続している。これら符号39から43に示す複数の特徴量データベースは、予め照合用特徴量データを登録して検索可能に構成してある。
照合部38に抽出した特徴量が送出されると、照合部38は、符号39から43に示す複数の特徴量データベースの中の、送出された特徴量に対応する特徴量データベースから照合用特徴量データを読み出して照合する。照合部38は、照合した照合結果を少なくとも二つ以上組み合わせて判定する。そして、照合部38が判定した結果を判定結果出力部44から入退出管理装置4に出力する。出力した判定結果が「開錠を許可する人と一致。」であれば、入退出管理装置4は電気錠を開錠する。出力した判定結果が「開錠を許可する人と不一致。」であれば、入退出管理装置4は電気錠を開錠せず、「開錠できません。」というメッセージを音声や文字で表示するよう構成している。
次に、本実施の形態1の入退出管理システム100の動作を説明する。図2に、本実施の形態1の入退出管理システム100の動作を示すフロー図を示す。入退出管理システム100に来訪者が近づくと、第一のカメラ1と第二のカメラ2Lそして第三のカメラ2Rは、来訪者の顔を撮影し、撮影したそれぞれの画像を、顔画像照合装置3の画像蓄積部31に蓄積する(ステップS201)。画像送出部32は、画像蓄積部31に蓄積された顔画像を符号33から37として示したそれぞれの特徴量抽出部に同時に送出する。なお、送出する顔画像は静脈特徴量抽出部34には、近赤外線カメラである第一のカメラ1で撮影した顔画像を送出し、他の特徴量抽出部には、第二のカメラ2Lと第三のカメラ2Rで撮影した顔画像を送出する(ステップS202)。照合部38は、顔画像を送出してきた特徴量抽出部の種類に応じて、対応する特徴量データベースから照合用特徴量データを読み出す(ステップS203)。照合部38の照合動作は、タイムシェアリングにより同時並行的に処理を行う。そして、それぞれの特徴量について顔画像から抽出した特徴量が一致する程度を求める(ステップS204)。少なくとも二つ以上の特徴量の照合結果が出た時点で、これらの複数の照合結果の一致の程度が、判定するのに十分な程度かを見極める(ステップS205)。ステップS205で、複数の照合結果の一致の程度が高く、判定するのに十分であるとき、言い換えれば、これ以上他の特徴量の照合結果が出るのを待つまでもないほど照合結果が明らかであるというときには(ステップS205のYES)、判定結果出力部44から判定結果を入退出管理装置4に出力する(ステップS206)。なお、ステップS205で、複数の照合結果の一致の程度が中間的で、判定するのに不十分であるとき、言い換えれば、更に他の特徴量の照合結果が出るのを待つ必要があるときには、予め定めた種類の特徴量の全てについて照合をしたかどうか、つまり予め定めた種類の特徴量の全てについて照合結果が出たかどうかを確認する(ステップS207)。まだ、予め定めた種類の特徴量の全てについて照合結果が出ていないときは、まだ照合結果の出ていない特徴量についてステップS204の照合動作を行う。そして、新たな種類の特徴量について照合結果が出て、ステップS205で、複数の照合結果の一致の程度が判定するのに十分であれば、判定結果出力部44から判定結果を入退出管理装置4に出力する(ステップS206)。もし、予め定めた種類の特徴量の全てについて照合をしても、判定をするのに十分な程度でないときには、「判定できません。」という出力を判定結果出力部44から入退出管理装置4に出力するようにしている。
以上、説明したように本実施の形態1の顔画像照合装置によれば、顔の輪郭、静脈、毛根分布、皺、起伏などの種類の異なる特徴量についての照合結果を組み合わせて判定する。そのため、撮影した来訪者の顔画像に対して、予め登録してある照合用特徴量データによく似ていて紛らわしいデータが複数あっても、判定するに十分な程度の照合結果が得られているという一定の確からしさが得られるまで、他の特徴量の照合結果を待って判定することができるので、精度の高い照合を行うことが出来る。
なお、上記の実施の形態1では、第一のカメラ1と第二のカメラ2Lと第三のカメラ2Rで撮影した顔画像を顔画像照合装置に設けてある全ての特徴量抽出部に同時に送出して照合する例を示した。同時に複数の特徴量抽出部を起動して特徴量を抽出して照合すると、短時間に複数の特徴量について照合結果が得られるという利点がある。
しかし、照合したい特徴量として重要視している順にいくつかの特徴量を特定しておいてもよい。例えば、照合する特徴量と照合する順番を図3に示すように定めておいてもよい。図3では、第一列にパターン名301を示し、第二列にパターン名ごとの1回目に照合する特徴量302を示し、第三列目にパターン名ごとの2回目に照合する特徴量303を示している。例えば「A1パターン」では、1回目に顔の全体の輪郭を照合し、2回目に静脈の形を照合する。「B1パターン」では、1回目に静脈の形を照合し、2回目に顔の毛根の分布を照合する。「C1パターン」では、1回目に静脈の形を照合し、2回目に皺(しわ)を照合する。「D1パターン」では、1回目に静脈の形を照合し、2回目に顔の起伏を照合する。「E1パターン」では、1回目に顔の下半分の輪郭を照合し、2回目に静脈の形を照合する。「F1パターン」では、1回目に顔の右半分の輪郭を照合し、2回目に静脈の形を照合する。「G1パターン」では、1回目に顔の左半分の輪郭を照合し、2回目に静脈の形を照合するというように定めておいて、いずれかのパターンで動作するようにパターンを選択して、設定することができる。「E1パターン」では、顔の上半分である髪型を無視して顔の下半分の輪郭を照合する際に便利である。また、「F1パターン」や「G1パターン」では、カメラの設置場所により、顔の右側、あるいは顔の左側しか撮影できないときに便利である。
上記、図3に示すように照合する特徴量と照合する順番を定めておいた場合、動作としては、1回目の照合をした後、2回目の照合を行うために、図2のステップ207のNOから、ステップS202に戻って、図2の各ステップの動作を行うことになる。この場合のフロー図は、図2のステップ207のNOから、ステップS202に戻る所だけが異なるので図示を省略する。
また、図4のように、異なる種類の特徴量の照合を4回行うように設定してもよい。図4では、第一列にパターン名401を示し、第二列にパターン名ごとの1回目に照合する特徴量402を示し、第三列目にパターン名ごとの2回目に照合する特徴量403を示し、第四列目にパターン名ごとの3回目に照合する特徴量404を示し、第五列目にパターン名ごとの4回目に照合する特徴量405を示している。例えば「A2パターン」では、1回目に顔の輪郭を照合し、2回目に静脈の形を照合し、3回目に皺を照合し、4回目に顔の毛根の分布を照合する。図4では、7つのパターンを表中に示しているので、それぞれのパターンを一週間の曜日に当てはめ、「月曜パターン」「火曜日パターン」「水曜日パターン」というように、日替わりパターンとして利用しても良い。照合するパターンが日替わりで変われば、不審者に照合パターンを見破られることが無くなり、セキュリティの安全性が増す。
更に、他の組み合わせの例としては、図5のように、二つの特徴量の照合を同時に行う動作を2回行うように設定してもよい。図5では、第一列にパターン名501を示し、第二列目と第三列目にパターン名ごとの1回目に同時に照合する二つの特徴量502と503を示し、第四列目と第五列目にパターン名ごとの2回目に同時に照合する二つの特徴量504と505を示している。例えば「A3パターン」では、1回目に顔の輪郭と静脈の形を同時に照合し、2回目に皺と顔の毛根の分布を同時に照合する。
なお、上記本発明の実施の形態1では、三つのカメラを用いた例を示したが、第一のカメラ1と第二のカメラ2Lと第三のカメラ2Rを一体にして、異なる種類の条件で顔画像を撮影するようにして、抽出しようとする特徴量に適したそれぞれの条件で撮影した画像を画像蓄積部31に蓄積し、各特徴量抽出部のそれぞれが抽出しやすい顔画像を画像送出部32から送出するようにしてもよい。
(実施の形態2)
本発明の実施の形態2の顔画像照合装置は、撮影手段である二つの近赤外線カメラを用いて撮影した顔の静脈の画像情報を組み合わせて顔の静脈の立体的画像を得ることによって、顔の静脈の立体的画像を照合する顔静脈画像照合装置として構成したものである。図6に、本実施の形態2の顔画像照合装置のカメラと被写体の顔の位置関係を概念的に示した平面図を示す。図6では、三つのカメラが並んでおり、両端のカメラ61と63が近赤外線で画像を撮影する。左のカメラ61は、顔の斜め左側62の近赤外写真を撮影する。また、右のカメラ63は、顔の斜め右側64の近赤外写真を撮影する。両者の画像を組み合わせて図7のように一つの顔の静脈の立体的画像を作り上げる。図7では、目65、鼻66、口67、眉毛68、耳69などは、うすい画像になり、静脈70が濃い画像になっている。これを、予め静脈特徴量データベースに登録してある顔の静脈の立体的画像と照合する。照合部38で照合した結果が一致していれば、一致しているという判定結果を出力するのは、実施の形態1と同じである。
本発明の実施の形態2の顔画像照合装置は、撮影手段である二つの近赤外線カメラを用いて撮影した顔の静脈の画像情報を組み合わせて顔の静脈の立体的画像を得ることによって、顔の静脈の立体的画像を照合する顔静脈画像照合装置として構成したものである。図6に、本実施の形態2の顔画像照合装置のカメラと被写体の顔の位置関係を概念的に示した平面図を示す。図6では、三つのカメラが並んでおり、両端のカメラ61と63が近赤外線で画像を撮影する。左のカメラ61は、顔の斜め左側62の近赤外写真を撮影する。また、右のカメラ63は、顔の斜め右側64の近赤外写真を撮影する。両者の画像を組み合わせて図7のように一つの顔の静脈の立体的画像を作り上げる。図7では、目65、鼻66、口67、眉毛68、耳69などは、うすい画像になり、静脈70が濃い画像になっている。これを、予め静脈特徴量データベースに登録してある顔の静脈の立体的画像と照合する。照合部38で照合した結果が一致していれば、一致しているという判定結果を出力するのは、実施の形態1と同じである。
なお、図7のように一つの顔全体の静脈の立体的画像を作り上げるのは時間がかかる。照合するにも時間がかかる。顔画像照合装置の照合時間は短いほうがよい。そこで、顔の静脈の画像が立体的に得られるという点を利用して、静脈の立体画像を等高線で輪切りにして、輪切りにした範囲内の顔の静脈画像を照合するようにしてもよい。即ち、図8のように、二つの近赤外線カメラ61、63を用いて顔の静脈を撮影した後、画像情報を組み合わせて顔の静脈の立体的画像を得る際に、図9に示すように、顔の表面の高さを、後頭部に接する面を基準面として鼻66を頂点とした高さ方向について高さH1、H2、H3などを定め、例えば、高さH1からH2の範囲、あるいは高さH2からH3の範囲というように、一定の高さの範囲の顔の静脈の立体的画像を求める。図10に高さH1からH2の範囲の顔の静脈の立体的画像を示し、図11に、高さH2からH3の範囲の顔の静脈の立体的画像を示す。そして、顔全体の静脈を照合するのではなく、高さH1からH2の範囲、あるいは高さH2からH3の範囲のどちらか一方の顔の静脈の立体的画像を照合する。目から耳に至る部分のように人の顔の静脈が集中している範囲、すなわち図11に示す高さH2からH3の範囲を輪切りにして、静脈の立体的画像を切り出す。そして、予め静脈特徴量データベースに登録してある顔の静脈の立体的画像と照合すれば、短い時間で精度の高い照合結果が得られる。
また、静脈画像を立体的な高さ方向について高さの範囲を特定する方法としては、上記のように、高さH1からH2の範囲、あるいは高さH2からH3の範囲という特定方法の他に、高さH1以上の高さの範囲とか、高さH1以下の高さの範囲、すなわち「〜以上」、「〜以下」という特定方法を用いてもよい。例えば、高さH1以下の高さの範囲とすれば、図12に示すように鼻の近くの範囲の静脈の立体画像を照合対象から除外した形で照合することができる。
なお、顔の表面の高さに応じた高さH1からH2の範囲の静脈画像と、高さH2からH3の範囲の静脈画像をそれぞれ別個の特徴量として扱い、実施の形態1で説明したように、それぞれの高さ範囲の静脈画像を照合した照合結果を他の特徴量の照合結果と組み合わせて判定し、判定結果を出力するようにしてもよい。
なお、ここでは顔の静脈の立体画像を照合する顔静脈画像照合装置について説明したが、撮影する静脈の立体画像を他の静脈の立体画像としてもよい。例えば、手のひらの静脈の立体画像を照合することにした手のひら静脈画像照合装置を構成しても良いし、指の静脈の立体画像を照合することにした指静脈画像照合装置を構成しても良い。そして、上記の静脈画像照合装置をPCや携帯端末装置などの電子機器に接続して静脈画像認証システムを構成しても良い。静脈の立体画像を照合するので、精度の高い照合ができる。
(実施の形態3)
次に、本発明の実施の形態3について説明する。本発明の実施の形態3は、既に説明した本発明の実施の形態1の入退出管理システムの照合結果に、顔画像の照合以外の他の照合装置の照合結果を組み合わせて判定することにより、照合の精度を更に高めるようにしている。顔画像の特徴量の照合だけでは判定できない場合に、補完的に他の照合結果を組み合わせて判定するようにしている。
図13に、本発明の実施の形態3にかかる入退出管理システム200のブロック図を示す。入退出管理システム200の基本的な構成は本実施の形態1の入退出管理システム100の構成と同じである。同じ構成部分については、同じ符号を付して説明を省略する。
次に、本発明の実施の形態3について説明する。本発明の実施の形態3は、既に説明した本発明の実施の形態1の入退出管理システムの照合結果に、顔画像の照合以外の他の照合装置の照合結果を組み合わせて判定することにより、照合の精度を更に高めるようにしている。顔画像の特徴量の照合だけでは判定できない場合に、補完的に他の照合結果を組み合わせて判定するようにしている。
図13に、本発明の実施の形態3にかかる入退出管理システム200のブロック図を示す。入退出管理システム200の基本的な構成は本実施の形態1の入退出管理システム100の構成と同じである。同じ構成部分については、同じ符号を付して説明を省略する。
なお、ここでも、入退出管理システムについて説明するが、図13の入退出管理装置4を他の電子機器、例えばPCに置き換えれば、PCの使用を制限する顔認証システムを構成することが出来る。また、入退出管理装置4をPCでなく携帯端末装置に置き換えれば、携帯端末装置の使用を制限する顔認証システムを構成することが出来ることは言うまでもない。
本発明の実施の形態3にかかる入退出管理システム200は、訪問者の顔を撮影する第一のカメラ1と第二のカメラ2L、第三のカメラ2Rと、三つのカメラで撮影した訪問者の顔画像をそれぞれ蓄積し、予め登録してある人のデータと照合して、一致/不一致の判定結果を出力する顔画像照合装置3と、顔画像照合装置3の判定結果に基づき、鍵の開錠と施錠を行う入退出管理装置4の他に、顔画像照合装置3の判定部に虹彩照合装置45、指紋照合装置46、暗証番号照合装置47、ID情報照合装置48を接続しており、顔画像照合装置3の判定部が十分な判定が出来ないときに、符号45から48で示す他の照合装置の照合結果を組み合わせて判定を行う。
図14に、本実施の形態の入退出管理システム200の動作を示すフロー図を示す。図14のフロー図は、図2のフロー図を基本として、精度を上げるための手順を追加している。図2のフロー図のステップS201からステップS205までの一連の手順を行い、判定結果を出力する前に、他の種類の照合装置の照合結果を利用すべき程度かどうかを確認し(ステップS208)、他の種類の照合装置の照合結果を利用すべき程度であれば、他の種類の照合装置の照合結果と組み合わせて判定し(ステップS209)、判定結果を出力するようにしている(ステップS210)。
以上説明したように、本発明の実施の形態3にかかる入退出管理システム200では、顔画像の特徴量の照合だけでは判定できない場合に、補完的に他の照合結果を組み合わせて精度よく判定することができる。
なお、図13のブロック図の構成はそのままで、図14の動作のように、顔画像照合装置の照合結果を主として、他の照合装置の照合結果を従として補完的に利用するのでなく、顔画像照合装置の照合結果と他の照合装置の照合結果を同一レベルに扱うようにしてもよい。また、逆に他の照合装置の照合結果を主として、顔画像照合装置の照合結果を従として補完的に利用するようにしてもよい。
図15に、顔画像照合装置の照合結果と他の照合装置の照合結果を組み合わせて利用する場合の、組み合わせパターンの例を示す。図15の表は、四種類の照合装置を順番に起動して照合結果を得て、それぞれの照合結果を組み合わせていく順番を示している。図15では、第一列にパターン名801を示し、第二列にパターン名ごとの1回目に照合する照合装置802を示し、第三列目にパターン名ごとの2回目に照合する照合装置803を示し、第四列目にパターン名ごとの3回目に照合する照合装置804を示し、第五列目にパターン名ごとの4回目に照合する照合装置805を示している。
例えば、図15の第一行目の「Hパターン」では、1回目に顔画像を照合し、2回目にICカードを照合し、3回目に指紋を照合し、4回目にパスワードを照合する順番にしている。1回目の顔画像を照合して判定するのに十分な程度の照合結果が得られれば、他の照合装置の照合結果を利用する必要はないので、2回目以降の他の照合装置を起動させることはない。しかし、1回目の顔画像を照合して判定するのに十分な程度の照合結果が得られなければ、2回目に示したICカードの照合を行う。普通は、ここで判定するのに十分な程度の照合結果が得られることが期待できるのであるが、ICカードの紛失届けがでていて十分な判定が出来ないようなときは、3回目に示した指紋の照合を行う。そして、指紋の照合が拒否されたときは、4回目に示したパスワードの照合を行う。図15では、「Hパターン」から「Nパターン」まで、7種類のパターンを用意して、任意のパターンを選択できるようにしている。
なお、複数の照合装置の判定結果をどのように組み合わせて利用するかを、入退出管理システムを利用する管理者側で、任意に入力して登録するようにしてもよい。また、幾つかの照合装置を同時に起動して、短時間で多くの判定結果が得られるようにしてもよい。
本発明の顔画像照合装置、静脈画像照合装置およびこれらを用いた顔認証システムは、顔画像の複数種類の照合結果を組み合わせて判定することにより、高い精度の照合を行うことが出来る。そのため、照合の高い精度が求められる公共機関や企業の研究所、金融機関などの入退出管理システムや、PCのログオン時の使用制限、携帯電話、PDA、ハンディターミナルなどの携帯端末装置、その他の電子機器の使用を制限する顔認証システムに適用できる。
1 第一のカメラ
3 顔画像照合装置
4 入退出管理装置
31 画像蓄積部
32 画像送出部
33 顔特徴量抽出部
34 静脈特徴量抽出部
35 毛根特徴量抽出部
36 皺特徴量抽出部
37 起伏特徴量抽出部
38 照合部
39 顔特徴量データベース
40 静脈特徴量データベース
41 毛根特徴量データベース
42 皺特徴量データベース
43 起伏特徴量データベース
44 判定結果出力部
3 顔画像照合装置
4 入退出管理装置
31 画像蓄積部
32 画像送出部
33 顔特徴量抽出部
34 静脈特徴量抽出部
35 毛根特徴量抽出部
36 皺特徴量抽出部
37 起伏特徴量抽出部
38 照合部
39 顔特徴量データベース
40 静脈特徴量データベース
41 毛根特徴量データベース
42 皺特徴量データベース
43 起伏特徴量データベース
44 判定結果出力部
Claims (9)
- 人の顔画像を撮影する撮影手段に接続して、前記撮影手段で撮影した顔画像を予め登録したデータと照合する顔画像照合装置であって、
前記撮影手段で撮影した顔画像を記憶する画像蓄積手段と、
前記画像蓄積手段に記憶した顔画像から特徴量を抽出する複数の特徴量抽出手段と、
前記複数の特徴量抽出手段から抽出した複数の特徴量とそれぞれ照合するための照合用特徴量データを予め蓄積して検索自在に構成した特徴量データベースと、
前記複数の特徴量抽出手段から抽出した複数の特徴量と前記特徴量データベースの照合用特徴量データを照合するための照合手段と、
前記照合手段で照合した複数の照合結果を組み合わせた判定結果を出力する判定出力手段とを設け、
前記撮影手段で撮影した顔画像について、前記複数の特徴量抽出手段から抽出した複数の特徴量を照合した照合結果を組み合わせて判定し、判定結果を出力するように構成したことを特徴とする顔画像照合装置。 - 前記複数の特徴量抽出手段から抽出した複数の特徴量として、静脈の形、毛根分布、皺(しわ)、起伏状態の内の少なくとも二つ以上の特徴量について照合した結果を組み合わせて、撮影手段で撮影した顔画像を判定し、判定結果を出力するように構成したことを特徴とする請求項1に記載の顔画像照合装置。
- 前記特徴量抽出手段で抽出する複数の特徴量を予め設定しておくように構成したことを特徴とする請求項1に記載の顔画像照合装置。
- 前記画像蓄積手段に記憶した顔画像から特徴量を抽出し照合用特徴量データと照合する動作を行う順番を、複数の特徴量について予め設定しておくように構成したことを特徴とする請求項1に記載の顔画像照合装置。
- 前記画像蓄積手段に記憶した顔画像から特徴量を抽出し照合用特徴量データと照合する動作を、複数の特徴量について同時に並行して行うように、予め設定しておくよう構成したことを特徴とする請求項1に記載の顔画像照合装置。
- 人の顔画像を撮影する撮影手段に接続して、前記撮影手段で撮影した顔画像を予め登録したデータと照合する顔画像照合装置であって、
前記撮影手段で撮影した顔画像を記憶する画像蓄積手段と、
前記画像蓄積手段に記憶した顔画像から特徴量を抽出する特徴量抽出手段と、
抽出した前記特徴量と照合するための照合用特徴量データを蓄積し検索自在に構成した特徴量データベースと、
抽出した前記特徴量と前記特徴量データベースの照合用特徴量データを照合するための照合手段と、
前記照合手段で照合した照合結果から判定した判定結果を出力する判定結果出力部を設け、
撮影手段で撮影した顔画像を特徴量を組み合わせて判定するように構成するとともに、
更に前記照合手段には、顔画像の照合結果以外の他の照合装置による照合結果を入力するよう構成し、
顔画像照合結果と顔画像の照合結果以外の他の照合結果を組み合わせて、撮影手段で撮影した顔画像を判定し、判定結果を出力するように構成したことを特徴とする顔画像照合装置。 - 前記照合手段で判定に用いる顔画像の照合結果以外の他の照合装置を予め設定しておくように構成したことを特徴とする請求項6に記載の顔画像照合装置。
- 請求項1から請求項7のいずれか1項に記載の顔画像照合装置を用いて電子機器を制御するよう構成したことを特徴とする顔認証システム。
- 静脈を立体的に撮影する撮影手段に接続して、前記撮影手段で撮影した静脈の画像を予め登録したデータと照合する静脈画像照合装置であって、
前記撮影手段で撮影した静脈画像を記憶する画像蓄積手段と、
前記画像蓄積手段に記憶した静脈画像から立体的な高さ方向について特定された高さの範囲の特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段から抽出した特徴量と照合するための照合用特徴量データを予め蓄積して検索自在に構成した特徴量データベースと、
前記特徴量抽出手段から抽出した特徴量と前記特徴量データベースの照合用特徴量データを照合するための照合手段と、
前記照合手段で照合した照合結果に基づいて判定結果を出力する判定出力手段とを設け、前記撮影手段で撮影した静脈画像について、前記特徴量抽出手段から抽出した特徴量を照合した照合結果に基づいて判定結果を出力するように構成したことを特徴とする静脈画像照合装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006237242A JP2008059408A (ja) | 2006-09-01 | 2006-09-01 | 顔画像照合装置、それを用いた顔認証システムおよび静脈画像照合装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006237242A JP2008059408A (ja) | 2006-09-01 | 2006-09-01 | 顔画像照合装置、それを用いた顔認証システムおよび静脈画像照合装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008059408A true JP2008059408A (ja) | 2008-03-13 |
Family
ID=39242039
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006237242A Pending JP2008059408A (ja) | 2006-09-01 | 2006-09-01 | 顔画像照合装置、それを用いた顔認証システムおよび静脈画像照合装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008059408A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010152706A (ja) * | 2008-12-25 | 2010-07-08 | Fujitsu Ltd | 生体認証装置 |
JPWO2021192249A1 (ja) * | 2020-03-27 | 2021-09-30 | ||
WO2021245945A1 (ja) * | 2020-06-05 | 2021-12-09 | 日本電気株式会社 | 敵対的サンプル検知装置、敵対的サンプル検知方法、およびプログラム |
-
2006
- 2006-09-01 JP JP2006237242A patent/JP2008059408A/ja active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010152706A (ja) * | 2008-12-25 | 2010-07-08 | Fujitsu Ltd | 生体認証装置 |
JPWO2021192249A1 (ja) * | 2020-03-27 | 2021-09-30 | ||
WO2021192249A1 (ja) * | 2020-03-27 | 2021-09-30 | 日本電気株式会社 | 類似度計算機、認証システム、類似度計算方法、類似度計算プログラムおよび類似度計算プログラムの生成方法 |
JP7318804B2 (ja) | 2020-03-27 | 2023-08-01 | 日本電気株式会社 | 類似度計算機、認証システム、類似度計算方法、類似度計算プログラムおよび類似度計算プログラムの生成方法 |
WO2021245945A1 (ja) * | 2020-06-05 | 2021-12-09 | 日本電気株式会社 | 敵対的サンプル検知装置、敵対的サンプル検知方法、およびプログラム |
JP7517417B2 (ja) | 2020-06-05 | 2024-07-17 | 日本電気株式会社 | 敵対的サンプル検知装置、敵対的サンプル検知方法、およびプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6634127B2 (ja) | カメラ付きデバイスに関連する生体認証のためのシステム及び方法 | |
Alsaadi | Physiological biometric authentication systems, advantages, disadvantages and future development: A review | |
Delac et al. | A survey of biometric recognition methods | |
RU2589344C2 (ru) | Способ, устройство и система аутентификации на основе биологических характеристик | |
Derawi et al. | Fingerprint recognition with embedded cameras on mobile phones | |
US7983451B2 (en) | Recognition method using hand biometrics with anti-counterfeiting | |
CN102332093B (zh) | 一种掌纹和人脸融合识别的身份认证方法及装置 | |
CN107294730A (zh) | 一种多模态生物特征身份认证方法、装置及*** | |
US20050220326A1 (en) | Mobile identification system and method | |
US20040042645A1 (en) | Fingerprint recognition method, and fingerprint control method and system | |
TW201937392A (zh) | 與配備有相機之裝置連接之用於生物特徵量測鑑認之系統及方法 | |
WO2013051019A1 (en) | Evolved biometric system with enhanced feature and method for the same | |
CN106203039A (zh) | 指纹数字签名装置及电子业务*** | |
Ali et al. | Enhanced fingerprint shell | |
CN106713275A (zh) | 一种集成虹膜识别功能的USBKey身份认证***与方法 | |
Saleem et al. | CMBA-A CANDID MULTI-PURPOSE BIOMETRIC APPROACH. | |
JP2008059408A (ja) | 顔画像照合装置、それを用いた顔認証システムおよび静脈画像照合装置 | |
Zhong et al. | VeinDeep: Smartphone unlock using vein patterns | |
JP2008065651A (ja) | 顔画像認証方法、顔画像認証装置、および、プログラム | |
Sharma et al. | Role of biometric technology over advanced security and protection in auto teller machine transaction | |
CN109213889A (zh) | 一种客户信息合并的方法及装置 | |
CN105512644B (zh) | 一种指静脉识别装置及其识别方法 | |
Li et al. | The evolution of biometrics | |
TW201020938A (en) | System and method for identifying irises | |
Patil | A study of biometric, multimodal biometric systems: Fusion techniques, applications and challenges |