JP2008059408A - 顔画像照合装置、それを用いた顔認証システムおよび静脈画像照合装置 - Google Patents

Abstract

【課題】精度の高い判定結果を得ることができる顔画像照合装置、静脈画像照合装置およびこれらを用いた顔認証システムを得る。
【解決手段】撮影手段で撮影した顔画像を画像蓄積手段に記憶し、記憶した顔画像を複数の特徴量抽出手段に送り、複数の特徴量抽出手段から抽出した複数の特徴量をそれぞれ予め記憶してある特徴量データベースの照合用特徴量データと照合し、照合した複数の結果を組み合わせた判定結果を出力する。また、撮影手段で顔の静脈を立体的に撮影し、所定の高さの範囲の静脈の立体画像を特徴量データベースの照合用特徴量データと照合し、照合した結果を出力する。
【選択図】図１

Description

本発明は、来訪者や電子機器の使用者などの人の顔画像を撮影して、撮影した顔画像を予め登録したデータと照合する顔画像照合装置、静脈画像照合装置およびこれらを用いた顔認証システムに関する。

訪問者の顔を撮像した顔画像を画像処理して特徴を抽出し、この特徴によって、登録済みの顔画像を検索照合して訪問者の認証を行う顔認証システムが知られている。これらの顔認証システムでは、顔の輪郭、頭髪、眉毛、目、鼻孔、唇、耳など人間の顔に備わっている一般的な部分を特徴点として用い、これらの一般的な特徴点の画像を拡大処理し、特徴の抽出を容易にして照合することが行われている。そして、照合の精度を高めるための方法として、これら顔の輪郭、頭髪、眉毛など人間の顔に備わっている一般的な特徴点の他に、個人によってある人とない人がある、顔の凹凸によるしわ、きず、ほくろなどの固有の特徴点についても照合するという方法が提案されている。照合する特徴点を増やすことにより、照合の精度を高めることが期待できる（例えば、特許文献１参照）。
特開２００５−２４２４３２号公報（第５頁、図３）

しかしながら、照合する特徴点を増やして、一致する特徴点の数が増えれば、または不一致の特徴点の数が増えれば、照合結果の一致、不一致のどちらかが明確になるが、特徴が一致している程度が微妙で、どちらとも判断できない特徴点が増えた場合には、必ずしも照合の精度が上がるとは言い切れない。訪問者の顔を撮像した顔画像から抽出する特徴点の数を単純に増やしただけでは、不確かな程度が増幅されるだけで照合の精度が上がらないことがあるという課題があった。

また、企業秘密をガードするセキュリティレベルの高い企業の研究所や事務所の入退出管理システムに用いられる顔認証システムの精度は、マンションなどの共同住宅用の入退出管理システムに用いられる顔認証システムの精度に比べて、格段に高いことが要求されている。

また、最近は個人情報データや企業秘密データが保存記録されたパーソナルコンピュータ（ＰＣ）の盗難事件も社会的な問題となっており、入退出管理システムにとどまらず、ＰＣや携帯端末装置などの各種の電子機器の使用を制限するセキュリティレベルについても、高くすることが求められるようになってきている。

本発明は、前記従来の課題を解決するもので、顔画像から特徴点のデータである特徴量を抽出する複数の特徴量抽出手段を用い、これら複数の特徴量抽出手段から抽出した顔画像の複数の特徴点の特徴量を同時に照合する、あるいは予め定めた順に照合して、それぞれの照合結果を組み合わせて判定することにより、精度の高い判定結果を得ることができる顔画像照合装置、静脈画像照合装置およびこれらを用いた顔認証システムを提供することを目的としている。

本発明の顔画像照合装置は、撮影手段で撮影した顔画像を記憶する画像蓄積手段と、画像蓄積手段に記憶した顔画像から特徴量を抽出する複数の特徴量抽出手段と、複数の特徴量抽出手段から抽出した複数の特徴量とそれぞれ照合するための照合用特徴量データを予め蓄積して検索自在に構成した特徴量データベースと、複数の特徴量抽出手段から抽出した複数の特徴量と特徴量データベースの照合用特徴量データを照合するための照合手段と、照合手段で照合した複数の照合結果を組み合わせた判定結果を出力する判定出力手段とを設け、撮影手段で撮影した顔画像について、複数の特徴量抽出手段から抽出した複数の特徴量を照合した照合結果を組み合わせて判定し、判定結果を出力するように構成している。この構成により、照合の精度を高くしている。

また、本発明の顔画像照合装置は、複数の特徴量抽出手段から抽出した複数の特徴量として、静脈の形、毛根分布、皺（しわ）、起伏状態の内の少なくとも二つ以上の特徴量について照合した結果を組み合わせて、撮影手段で撮影した顔画像を判定し、判定結果を出力するように構成している。この構成により、顔画像の照合の精度を高くしている。

また、本発明の顔画像照合装置は、照合手段には、顔画像照合結果以外の他の照合装置による照合結果を入力するよう構成し、顔画像照合結果と顔画像照合結果以外の他の照合結果を組み合わせて、撮影手段で撮影した顔画像を判定し、判定結果を出力するようにしている。この構成により、顔画像照合装置で得られた照合結果に他の照合結果を組み合わせて判定し、照合の精度を高くしている。

そして、本発明の顔画像照合装置を用いた顔認証システムは、撮影手段で撮影した顔画像について、複数の特徴量抽出手段から抽出した複数の特徴量を照合した照合結果を組み合わせて判定し、判定結果を出力するように構成している。複数の特徴量抽出手段から抽出した複数の特徴量を照合した照合結果を組み合わせて判定することにより、高い精度の顔認証を行うことが出来る。また、顔画像照合装置で得られた照合結果に他の照合装置の照合結果を組み合わせて判定し、照合の精度を高くしている。

また、本発明の静脈画像照合装置は、静脈を複数の撮影手段で撮影し、画像蓄積手段に記憶した静脈画像から立体的な高さ方向について特定された高さの範囲の特徴量を抽出して照合する。この構成により、精度の高い静脈の立体画像の照合を短時間で行っている。

本発明の顔画像照合装置は複数の特徴量抽出手段から抽出した複数の特徴量を照合した照合結果を組み合わせて判定することにより、高い精度の顔画像の照合を行うことが出来る。また、他の照合装置の照合結果と組み合わせて判定するようにしたものは、更に高い精度の顔画像の照合を行うことが出来る。そして、本発明の顔画像照合装置を用いた顔認証システムは高い精度の顔認証を行うことが出来るという効果がある。

そして、本発明の静脈画像照合装置は精度の高い静脈の立体画像の照合を短時間で行うことができるという効果がある。

以下、本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
本実施の形態１の顔画像照合装置は、撮影手段であるカメラを用いて撮影した顔画像について、複数の特徴量抽出手段から抽出した複数の特徴量を照合した照合結果を組み合わせて判定するよう構成している。図１に、本実施の形態１の顔画像照合装置を用いた入退出管理システム１００のブロック図を示す。入退出管理システム１００は、訪問者の顔を撮影する三つのカメラ、第一のカメラ１、第二のカメラ２Ｌと第三のカメラ２Ｒがあり、三つのカメラで撮影した訪問者の顔画像をそれぞれ蓄積し、予め登録してある人のデータと照合して、一致／不一致の照合結果を出力する顔画像照合装置３と、顔画像照合装置３の判定結果に基づき、鍵の開錠または施錠を行う入退出管理装置４から構成されている。

なお、ここでは、入退出管理システムについて説明するが、図１の入退出管理装置４を他の電子機器、例えばＰＣに置き換えれば、ＰＣの使用を制限する顔認証システムを構成することが出来る。また、入退出管理装置４をＰＣでなく携帯端末装置に置き換えれば、携帯端末装置の使用を制限する顔認証システムを構成することが出来ることは言うまでもない。

図１に示す第一のカメラ１は近赤外線カメラであり、近赤外線が静脈のヘモグロビンに吸収されやすいために静脈が黒く写るという性質を生かして静脈の形を抽出する画像を撮影するのに用いる。第二のカメラ２Ｌと第三のカメラ２Ｒは立体画像が撮影できるステレオカメラとして使える赤外線カメラである。第二のカメラ２Ｌまたは第三のカメラ２Ｒの赤外線カメラは、人の顔の輪郭、頭髪、眉毛、目、鼻孔、唇、耳や、きず、ほくろなどの特徴点を抽出する画像を撮影するのに用いる。なお、第二のカメラ２Ｌと第三のカメラ２Ｒの赤外線カメラは、ステレオカメラとして立体画像である顔の皮膚の盛り上がり状態である顔の起伏を撮影するのに用いる。

本発明は、このように顔画像の特徴量を抽出する際に、それぞれの特徴量の特徴をつかみやすい抽出方法、抽出手段、あるいは抽出条件の異なる複数の特徴量抽出手段から抽出した複数の特徴量を照合した照合結果を組み合わせて判定するところが従来と異なっている。

顔画像照合装置３は、第一のカメラ１と第二のカメラ２Ｌと第三のカメラ２Ｒでそれぞれ撮影した顔画像を蓄積する画像蓄積部３１と、蓄積した顔画像を後述する特徴量抽出部に送る画像送出部３２と、画像送出部３２から送られてきた顔画像から、顔の輪郭を特徴量として抽出する顔特徴量抽出部３３と、顔の静脈の形を抽出する静脈特徴量抽出部３４、顔の毛根の分布を抽出する毛根特徴量抽出部３５、顔の皺の形を抽出する皺特徴量抽出部３６、顔の皮膚の盛り上がり状態を抽出する起伏特徴量抽出部３７を設けている。第一のカメラ１で撮影した顔画像は、静脈特徴量抽出部３４だけに送出し、顔の静脈の形を抽出する。第二のカメラ２Ｌまたは第三のカメラ２Ｒで撮影した顔画像は、顔特徴量抽出部３３と、毛根特徴量抽出部３５、皺特徴量抽出部３６に同時に送出し、第二のカメラ２Ｌまたは第三のカメラ２Ｒで撮影した一つの顔画像から、それぞれの特徴量抽出部で特徴量を抽出する。また第二のカメラ２Ｌと第三のカメラ２Ｒで撮影したそれぞれの顔画像は、起伏特徴量抽出部３７だけにワンセットとして送出し、ワンセットの顔画像から、顔の立体形状である起伏を抽出する。符号３３から３７に示すそれぞれの特徴量抽出部は、抽出した特徴量を照合部３８に送出する。

照合部３８には、予め顔の輪郭を登録した顔特徴量データベース３９、予め顔の静脈の形を登録した静脈特徴量データベース４０、予め顔の毛根の分布を登録した毛根特徴量データベース４1、予め顔の皺の形を登録した皺特徴量データベース４２、予め顔の皮膚の盛り上がり状態を登録した起伏特徴量データベース４３を接続している。これら符号３９から４３に示す複数の特徴量データベースは、予め照合用特徴量データを登録して検索可能に構成してある。

照合部３８に抽出した特徴量が送出されると、照合部３８は、符号３９から４３に示す複数の特徴量データベースの中の、送出された特徴量に対応する特徴量データベースから照合用特徴量データを読み出して照合する。照合部３８は、照合した照合結果を少なくとも二つ以上組み合わせて判定する。そして、照合部３８が判定した結果を判定結果出力部４４から入退出管理装置４に出力する。出力した判定結果が「開錠を許可する人と一致。」であれば、入退出管理装置４は電気錠を開錠する。出力した判定結果が「開錠を許可する人と不一致。」であれば、入退出管理装置４は電気錠を開錠せず、「開錠できません。」というメッセージを音声や文字で表示するよう構成している。

次に、本実施の形態１の入退出管理システム１００の動作を説明する。図２に、本実施の形態１の入退出管理システム１００の動作を示すフロー図を示す。入退出管理システム１００に来訪者が近づくと、第一のカメラ１と第二のカメラ２Ｌそして第三のカメラ２Ｒは、来訪者の顔を撮影し、撮影したそれぞれの画像を、顔画像照合装置３の画像蓄積部３１に蓄積する（ステップＳ２０１）。画像送出部３２は、画像蓄積部３１に蓄積された顔画像を符号３３から３７として示したそれぞれの特徴量抽出部に同時に送出する。なお、送出する顔画像は静脈特徴量抽出部３４には、近赤外線カメラである第一のカメラ１で撮影した顔画像を送出し、他の特徴量抽出部には、第二のカメラ２Ｌと第三のカメラ２Ｒで撮影した顔画像を送出する（ステップＳ２０２）。照合部３８は、顔画像を送出してきた特徴量抽出部の種類に応じて、対応する特徴量データベースから照合用特徴量データを読み出す（ステップＳ２０３）。照合部３８の照合動作は、タイムシェアリングにより同時並行的に処理を行う。そして、それぞれの特徴量について顔画像から抽出した特徴量が一致する程度を求める（ステップＳ２０４）。少なくとも二つ以上の特徴量の照合結果が出た時点で、これらの複数の照合結果の一致の程度が、判定するのに十分な程度かを見極める（ステップＳ２０５）。ステップＳ２０５で、複数の照合結果の一致の程度が高く、判定するのに十分であるとき、言い換えれば、これ以上他の特徴量の照合結果が出るのを待つまでもないほど照合結果が明らかであるというときには（ステップＳ２０５のＹＥＳ）、判定結果出力部４４から判定結果を入退出管理装置４に出力する（ステップＳ２０６）。なお、ステップＳ２０５で、複数の照合結果の一致の程度が中間的で、判定するのに不十分であるとき、言い換えれば、更に他の特徴量の照合結果が出るのを待つ必要があるときには、予め定めた種類の特徴量の全てについて照合をしたかどうか、つまり予め定めた種類の特徴量の全てについて照合結果が出たかどうかを確認する（ステップＳ２０７）。まだ、予め定めた種類の特徴量の全てについて照合結果が出ていないときは、まだ照合結果の出ていない特徴量についてステップＳ２０４の照合動作を行う。そして、新たな種類の特徴量について照合結果が出て、ステップＳ２０５で、複数の照合結果の一致の程度が判定するのに十分であれば、判定結果出力部４４から判定結果を入退出管理装置４に出力する（ステップＳ２０６）。もし、予め定めた種類の特徴量の全てについて照合をしても、判定をするのに十分な程度でないときには、「判定できません。」という出力を判定結果出力部４４から入退出管理装置４に出力するようにしている。

以上、説明したように本実施の形態１の顔画像照合装置によれば、顔の輪郭、静脈、毛根分布、皺、起伏などの種類の異なる特徴量についての照合結果を組み合わせて判定する。そのため、撮影した来訪者の顔画像に対して、予め登録してある照合用特徴量データによく似ていて紛らわしいデータが複数あっても、判定するに十分な程度の照合結果が得られているという一定の確からしさが得られるまで、他の特徴量の照合結果を待って判定することができるので、精度の高い照合を行うことが出来る。

なお、上記の実施の形態１では、第一のカメラ１と第二のカメラ２Ｌと第三のカメラ２Ｒで撮影した顔画像を顔画像照合装置に設けてある全ての特徴量抽出部に同時に送出して照合する例を示した。同時に複数の特徴量抽出部を起動して特徴量を抽出して照合すると、短時間に複数の特徴量について照合結果が得られるという利点がある。

しかし、照合したい特徴量として重要視している順にいくつかの特徴量を特定しておいてもよい。例えば、照合する特徴量と照合する順番を図３に示すように定めておいてもよい。図３では、第一列にパターン名３０１を示し、第二列にパターン名ごとの１回目に照合する特徴量３０２を示し、第三列目にパターン名ごとの２回目に照合する特徴量３０３を示している。例えば「Ａ１パターン」では、１回目に顔の全体の輪郭を照合し、２回目に静脈の形を照合する。「Ｂ１パターン」では、１回目に静脈の形を照合し、２回目に顔の毛根の分布を照合する。「Ｃ１パターン」では、１回目に静脈の形を照合し、２回目に皺（しわ）を照合する。「Ｄ１パターン」では、１回目に静脈の形を照合し、２回目に顔の起伏を照合する。「Ｅ１パターン」では、１回目に顔の下半分の輪郭を照合し、２回目に静脈の形を照合する。「Ｆ１パターン」では、１回目に顔の右半分の輪郭を照合し、２回目に静脈の形を照合する。「Ｇ１パターン」では、１回目に顔の左半分の輪郭を照合し、２回目に静脈の形を照合するというように定めておいて、いずれかのパターンで動作するようにパターンを選択して、設定することができる。「Ｅ１パターン」では、顔の上半分である髪型を無視して顔の下半分の輪郭を照合する際に便利である。また、「Ｆ１パターン」や「Ｇ１パターン」では、カメラの設置場所により、顔の右側、あるいは顔の左側しか撮影できないときに便利である。

上記、図３に示すように照合する特徴量と照合する順番を定めておいた場合、動作としては、１回目の照合をした後、２回目の照合を行うために、図２のステップ２０７のＮＯから、ステップＳ２０２に戻って、図２の各ステップの動作を行うことになる。この場合のフロー図は、図２のステップ２０７のＮＯから、ステップＳ２０２に戻る所だけが異なるので図示を省略する。

また、図４のように、異なる種類の特徴量の照合を４回行うように設定してもよい。図４では、第一列にパターン名４０１を示し、第二列にパターン名ごとの１回目に照合する特徴量４０２を示し、第三列目にパターン名ごとの２回目に照合する特徴量４０３を示し、第四列目にパターン名ごとの３回目に照合する特徴量４０４を示し、第五列目にパターン名ごとの４回目に照合する特徴量４０５を示している。例えば「Ａ２パターン」では、１回目に顔の輪郭を照合し、２回目に静脈の形を照合し、３回目に皺を照合し、４回目に顔の毛根の分布を照合する。図４では、７つのパターンを表中に示しているので、それぞれのパターンを一週間の曜日に当てはめ、「月曜パターン」「火曜日パターン」「水曜日パターン」というように、日替わりパターンとして利用しても良い。照合するパターンが日替わりで変われば、不審者に照合パターンを見破られることが無くなり、セキュリティの安全性が増す。

更に、他の組み合わせの例としては、図５のように、二つの特徴量の照合を同時に行う動作を２回行うように設定してもよい。図５では、第一列にパターン名５０１を示し、第二列目と第三列目にパターン名ごとの１回目に同時に照合する二つの特徴量５０２と５０３を示し、第四列目と第五列目にパターン名ごとの２回目に同時に照合する二つの特徴量５０４と５０５を示している。例えば「Ａ３パターン」では、１回目に顔の輪郭と静脈の形を同時に照合し、２回目に皺と顔の毛根の分布を同時に照合する。

なお、上記本発明の実施の形態１では、三つのカメラを用いた例を示したが、第一のカメラ１と第二のカメラ２Ｌと第三のカメラ２Ｒを一体にして、異なる種類の条件で顔画像を撮影するようにして、抽出しようとする特徴量に適したそれぞれの条件で撮影した画像を画像蓄積部３１に蓄積し、各特徴量抽出部のそれぞれが抽出しやすい顔画像を画像送出部３２から送出するようにしてもよい。

（実施の形態２）
本発明の実施の形態２の顔画像照合装置は、撮影手段である二つの近赤外線カメラを用いて撮影した顔の静脈の画像情報を組み合わせて顔の静脈の立体的画像を得ることによって、顔の静脈の立体的画像を照合する顔静脈画像照合装置として構成したものである。図６に、本実施の形態２の顔画像照合装置のカメラと被写体の顔の位置関係を概念的に示した平面図を示す。図６では、三つのカメラが並んでおり、両端のカメラ６１と６３が近赤外線で画像を撮影する。左のカメラ６１は、顔の斜め左側６２の近赤外写真を撮影する。また、右のカメラ６３は、顔の斜め右側６４の近赤外写真を撮影する。両者の画像を組み合わせて図７のように一つの顔の静脈の立体的画像を作り上げる。図７では、目６５、鼻６６、口６７、眉毛６８、耳６９などは、うすい画像になり、静脈７０が濃い画像になっている。これを、予め静脈特徴量データベースに登録してある顔の静脈の立体的画像と照合する。照合部３８で照合した結果が一致していれば、一致しているという判定結果を出力するのは、実施の形態１と同じである。

なお、図７のように一つの顔全体の静脈の立体的画像を作り上げるのは時間がかかる。照合するにも時間がかかる。顔画像照合装置の照合時間は短いほうがよい。そこで、顔の静脈の画像が立体的に得られるという点を利用して、静脈の立体画像を等高線で輪切りにして、輪切りにした範囲内の顔の静脈画像を照合するようにしてもよい。即ち、図８のように、二つの近赤外線カメラ６１、６３を用いて顔の静脈を撮影した後、画像情報を組み合わせて顔の静脈の立体的画像を得る際に、図９に示すように、顔の表面の高さを、後頭部に接する面を基準面として鼻６６を頂点とした高さ方向について高さＨ１、Ｈ２、Ｈ３などを定め、例えば、高さＨ１からＨ２の範囲、あるいは高さＨ２からＨ３の範囲というように、一定の高さの範囲の顔の静脈の立体的画像を求める。図１０に高さＨ１からＨ２の範囲の顔の静脈の立体的画像を示し、図１１に、高さＨ２からＨ３の範囲の顔の静脈の立体的画像を示す。そして、顔全体の静脈を照合するのではなく、高さＨ１からＨ２の範囲、あるいは高さＨ２からＨ３の範囲のどちらか一方の顔の静脈の立体的画像を照合する。目から耳に至る部分のように人の顔の静脈が集中している範囲、すなわち図１１に示す高さＨ２からＨ３の範囲を輪切りにして、静脈の立体的画像を切り出す。そして、予め静脈特徴量データベースに登録してある顔の静脈の立体的画像と照合すれば、短い時間で精度の高い照合結果が得られる。

また、静脈画像を立体的な高さ方向について高さの範囲を特定する方法としては、上記のように、高さＨ１からＨ２の範囲、あるいは高さＨ２からＨ３の範囲という特定方法の他に、高さＨ１以上の高さの範囲とか、高さＨ１以下の高さの範囲、すなわち「〜以上」、「〜以下」という特定方法を用いてもよい。例えば、高さＨ１以下の高さの範囲とすれば、図１２に示すように鼻の近くの範囲の静脈の立体画像を照合対象から除外した形で照合することができる。

なお、顔の表面の高さに応じた高さＨ１からＨ２の範囲の静脈画像と、高さＨ２からＨ３の範囲の静脈画像をそれぞれ別個の特徴量として扱い、実施の形態１で説明したように、それぞれの高さ範囲の静脈画像を照合した照合結果を他の特徴量の照合結果と組み合わせて判定し、判定結果を出力するようにしてもよい。

なお、ここでは顔の静脈の立体画像を照合する顔静脈画像照合装置について説明したが、撮影する静脈の立体画像を他の静脈の立体画像としてもよい。例えば、手のひらの静脈の立体画像を照合することにした手のひら静脈画像照合装置を構成しても良いし、指の静脈の立体画像を照合することにした指静脈画像照合装置を構成しても良い。そして、上記の静脈画像照合装置をＰＣや携帯端末装置などの電子機器に接続して静脈画像認証システムを構成しても良い。静脈の立体画像を照合するので、精度の高い照合ができる。

（実施の形態３）
次に、本発明の実施の形態３について説明する。本発明の実施の形態３は、既に説明した本発明の実施の形態１の入退出管理システムの照合結果に、顔画像の照合以外の他の照合装置の照合結果を組み合わせて判定することにより、照合の精度を更に高めるようにしている。顔画像の特徴量の照合だけでは判定できない場合に、補完的に他の照合結果を組み合わせて判定するようにしている。
図１３に、本発明の実施の形態３にかかる入退出管理システム２００のブロック図を示す。入退出管理システム２００の基本的な構成は本実施の形態１の入退出管理システム１００の構成と同じである。同じ構成部分については、同じ符号を付して説明を省略する。

なお、ここでも、入退出管理システムについて説明するが、図１３の入退出管理装置４を他の電子機器、例えばＰＣに置き換えれば、ＰＣの使用を制限する顔認証システムを構成することが出来る。また、入退出管理装置４をＰＣでなく携帯端末装置に置き換えれば、携帯端末装置の使用を制限する顔認証システムを構成することが出来ることは言うまでもない。

本発明の実施の形態３にかかる入退出管理システム２００は、訪問者の顔を撮影する第一のカメラ１と第二のカメラ２Ｌ、第三のカメラ２Ｒと、三つのカメラで撮影した訪問者の顔画像をそれぞれ蓄積し、予め登録してある人のデータと照合して、一致／不一致の判定結果を出力する顔画像照合装置３と、顔画像照合装置３の判定結果に基づき、鍵の開錠と施錠を行う入退出管理装置４の他に、顔画像照合装置３の判定部に虹彩照合装置４５、指紋照合装置４６、暗証番号照合装置４７、ＩＤ情報照合装置４８を接続しており、顔画像照合装置３の判定部が十分な判定が出来ないときに、符号４５から４８で示す他の照合装置の照合結果を組み合わせて判定を行う。

図１４に、本実施の形態の入退出管理システム２００の動作を示すフロー図を示す。図１４のフロー図は、図２のフロー図を基本として、精度を上げるための手順を追加している。図２のフロー図のステップＳ２０１からステップＳ２０５までの一連の手順を行い、判定結果を出力する前に、他の種類の照合装置の照合結果を利用すべき程度かどうかを確認し（ステップＳ２０８）、他の種類の照合装置の照合結果を利用すべき程度であれば、他の種類の照合装置の照合結果と組み合わせて判定し（ステップＳ２０９）、判定結果を出力するようにしている（ステップＳ２１０）。

以上説明したように、本発明の実施の形態３にかかる入退出管理システム２００では、顔画像の特徴量の照合だけでは判定できない場合に、補完的に他の照合結果を組み合わせて精度よく判定することができる。

なお、図１３のブロック図の構成はそのままで、図１４の動作のように、顔画像照合装置の照合結果を主として、他の照合装置の照合結果を従として補完的に利用するのでなく、顔画像照合装置の照合結果と他の照合装置の照合結果を同一レベルに扱うようにしてもよい。また、逆に他の照合装置の照合結果を主として、顔画像照合装置の照合結果を従として補完的に利用するようにしてもよい。

図１５に、顔画像照合装置の照合結果と他の照合装置の照合結果を組み合わせて利用する場合の、組み合わせパターンの例を示す。図１５の表は、四種類の照合装置を順番に起動して照合結果を得て、それぞれの照合結果を組み合わせていく順番を示している。図１５では、第一列にパターン名８０１を示し、第二列にパターン名ごとの１回目に照合する照合装置８０２を示し、第三列目にパターン名ごとの２回目に照合する照合装置８０３を示し、第四列目にパターン名ごとの３回目に照合する照合装置８０４を示し、第五列目にパターン名ごとの４回目に照合する照合装置８０５を示している。

例えば、図１５の第一行目の「Ｈパターン」では、１回目に顔画像を照合し、２回目にＩＣカードを照合し、３回目に指紋を照合し、４回目にパスワードを照合する順番にしている。１回目の顔画像を照合して判定するのに十分な程度の照合結果が得られれば、他の照合装置の照合結果を利用する必要はないので、２回目以降の他の照合装置を起動させることはない。しかし、１回目の顔画像を照合して判定するのに十分な程度の照合結果が得られなければ、２回目に示したＩＣカードの照合を行う。普通は、ここで判定するのに十分な程度の照合結果が得られることが期待できるのであるが、ＩＣカードの紛失届けがでていて十分な判定が出来ないようなときは、３回目に示した指紋の照合を行う。そして、指紋の照合が拒否されたときは、４回目に示したパスワードの照合を行う。図１５では、「Ｈパターン」から「Ｎパターン」まで、７種類のパターンを用意して、任意のパターンを選択できるようにしている。

なお、複数の照合装置の判定結果をどのように組み合わせて利用するかを、入退出管理システムを利用する管理者側で、任意に入力して登録するようにしてもよい。また、幾つかの照合装置を同時に起動して、短時間で多くの判定結果が得られるようにしてもよい。

本発明の顔画像照合装置、静脈画像照合装置およびこれらを用いた顔認証システムは、顔画像の複数種類の照合結果を組み合わせて判定することにより、高い精度の照合を行うことが出来る。そのため、照合の高い精度が求められる公共機関や企業の研究所、金融機関などの入退出管理システムや、ＰＣのログオン時の使用制限、携帯電話、ＰＤＡ、ハンディターミナルなどの携帯端末装置、その他の電子機器の使用を制限する顔認証システムに適用できる。

本発明の実施の形態１の入退出管理システムのブロック図 本発明の実施の形態１の顔画像照合装置のフロー図 本発明の実施の形態１の顔画像照合装置の特徴量の組み合わせを示す図 本発明の実施の形態１の顔画像照合装置の特徴量の組み合わせを示す図 本発明の実施の形態１の顔画像照合装置の特徴量の組み合わせを示す図 本発明の実施の形態２の顔画像照合装置のカメラと顔の位置関係を示す平面図 本発明の実施の形態２の顔の静脈の画像を示す図 本発明の実施の形態２の顔画像照合装置のカメラと顔の位置関係を示す平面図 本発明の実施の形態２の顔の静脈の画像を示す図 本発明の実施の形態２の顔の静脈の画像を示す図 本発明の実施の形態２の顔の静脈の画像を示す図 本発明の実施の形態２の顔の静脈の画像を示す図 本発明の実施の形態３の入退出管理システムのブロック図 本発明の実施の形態３の顔画像照合装置のフロー図 本発明の実施の形態３の照合装置の組み合わせを示す図

符号の説明

１ 第一のカメラ
３ 顔画像照合装置
４ 入退出管理装置
３１ 画像蓄積部
３２ 画像送出部
３３ 顔特徴量抽出部
３４ 静脈特徴量抽出部
３５ 毛根特徴量抽出部
３６ 皺特徴量抽出部
３７ 起伏特徴量抽出部
３８ 照合部
３９ 顔特徴量データベース
４０ 静脈特徴量データベース
４１ 毛根特徴量データベース
４２ 皺特徴量データベース
４３ 起伏特徴量データベース
４４ 判定結果出力部

Claims (9)

1. 人の顔画像を撮影する撮影手段に接続して、前記撮影手段で撮影した顔画像を予め登録したデータと照合する顔画像照合装置であって、
   前記撮影手段で撮影した顔画像を記憶する画像蓄積手段と、
   前記画像蓄積手段に記憶した顔画像から特徴量を抽出する複数の特徴量抽出手段と、
   前記複数の特徴量抽出手段から抽出した複数の特徴量とそれぞれ照合するための照合用特徴量データを予め蓄積して検索自在に構成した特徴量データベースと、
   前記複数の特徴量抽出手段から抽出した複数の特徴量と前記特徴量データベースの照合用特徴量データを照合するための照合手段と、
   前記照合手段で照合した複数の照合結果を組み合わせた判定結果を出力する判定出力手段とを設け、
   前記撮影手段で撮影した顔画像について、前記複数の特徴量抽出手段から抽出した複数の特徴量を照合した照合結果を組み合わせて判定し、判定結果を出力するように構成したことを特徴とする顔画像照合装置。
2. 前記複数の特徴量抽出手段から抽出した複数の特徴量として、静脈の形、毛根分布、皺（しわ）、起伏状態の内の少なくとも二つ以上の特徴量について照合した結果を組み合わせて、撮影手段で撮影した顔画像を判定し、判定結果を出力するように構成したことを特徴とする請求項１に記載の顔画像照合装置。
3. 前記特徴量抽出手段で抽出する複数の特徴量を予め設定しておくように構成したことを特徴とする請求項１に記載の顔画像照合装置。
4. 前記画像蓄積手段に記憶した顔画像から特徴量を抽出し照合用特徴量データと照合する動作を行う順番を、複数の特徴量について予め設定しておくように構成したことを特徴とする請求項１に記載の顔画像照合装置。
5. 前記画像蓄積手段に記憶した顔画像から特徴量を抽出し照合用特徴量データと照合する動作を、複数の特徴量について同時に並行して行うように、予め設定しておくよう構成したことを特徴とする請求項１に記載の顔画像照合装置。
6. 人の顔画像を撮影する撮影手段に接続して、前記撮影手段で撮影した顔画像を予め登録したデータと照合する顔画像照合装置であって、
   前記撮影手段で撮影した顔画像を記憶する画像蓄積手段と、
   前記画像蓄積手段に記憶した顔画像から特徴量を抽出する特徴量抽出手段と、
   抽出した前記特徴量と照合するための照合用特徴量データを蓄積し検索自在に構成した特徴量データベースと、
   抽出した前記特徴量と前記特徴量データベースの照合用特徴量データを照合するための照合手段と、
   前記照合手段で照合した照合結果から判定した判定結果を出力する判定結果出力部を設け、
   撮影手段で撮影した顔画像を特徴量を組み合わせて判定するように構成するとともに、
   更に前記照合手段には、顔画像の照合結果以外の他の照合装置による照合結果を入力するよう構成し、
   顔画像照合結果と顔画像の照合結果以外の他の照合結果を組み合わせて、撮影手段で撮影した顔画像を判定し、判定結果を出力するように構成したことを特徴とする顔画像照合装置。
7. 前記照合手段で判定に用いる顔画像の照合結果以外の他の照合装置を予め設定しておくように構成したことを特徴とする請求項６に記載の顔画像照合装置。
8. 請求項１から請求項７のいずれか１項に記載の顔画像照合装置を用いて電子機器を制御するよう構成したことを特徴とする顔認証システム。
9. 静脈を立体的に撮影する撮影手段に接続して、前記撮影手段で撮影した静脈の画像を予め登録したデータと照合する静脈画像照合装置であって、
   前記撮影手段で撮影した静脈画像を記憶する画像蓄積手段と、
   前記画像蓄積手段に記憶した静脈画像から立体的な高さ方向について特定された高さの範囲の特徴量を抽出する特徴量抽出手段と、
   前記特徴量抽出手段から抽出した特徴量と照合するための照合用特徴量データを予め蓄積して検索自在に構成した特徴量データベースと、
   前記特徴量抽出手段から抽出した特徴量と前記特徴量データベースの照合用特徴量データを照合するための照合手段と、
   前記照合手段で照合した照合結果に基づいて判定結果を出力する判定出力手段とを設け、前記撮影手段で撮影した静脈画像について、前記特徴量抽出手段から抽出した特徴量を照合した照合結果に基づいて判定結果を出力するように構成したことを特徴とする静脈画像照合装置。

Images