JP5076563B2 - 顔照合装置 - Google Patents

Description

本発明は、顔照合装置に関し、特に、写真を使ったなりすましを防ぐための技術に関する。

顔認識技術を応用した顔照合装置は、利用者に特別な操作を要求しない「利便性」と、生体情報（顔）を用いることによる「信頼性」の両方を兼ね備えており、例えば携帯端末のユーザ認証や建物の入口のセキュリティシステムに利用されている。

この種の顔照合装置では、従来より、写真を用いた「なりすまし」への対策が課題とされてきた。なりすましとは、本人の顔写真等を用いて別人が認証を受けようとする行為である。

例えば、携帯端末を入れたカバンを落としたり盗難にあったりした場合、そこには免許証や学生証といった顔写真付きの書類が一緒に入っている可能性が高い。もしそれらの顔写真を用いてなりすましが簡単にできてしまうと、不正利用の被害が増大するおそれがある。

なりすましを防止するアイデアとしては、利用者に所定の動作を要求し、その要求通りの動きを利用者が行ったかどうか調べることで、写真によるなりすましを防止する方法が知られている（特許文献１参照）。しかし、この方法は、利用者に操作上の負担をかけるため、顔認識技術の利点である「利便性」を損なってしまう。

また、他のアイデアとしては、照明条件を変えながら複数回撮影を行い、顔の陰影のでき方を確認する方法（特許文献２参照）や、様々な角度から撮影することで立体かどうかを調べる方法が知られている。しかし、これらの方法では、複数の照明装置が必要となったり、複数のカメラもしくはカメラの移動機構が必要となるため、装置構成が大掛かりになる。しかも、照明条件や撮影角度を変えて何枚も撮影を行わなければならないため、利便性を損なうことにもつながる。

なりすましを防止するものではないが、関連する技術としては、顧客の画像を撮影する自動取引装置において、画像中の同一色の領域が所定の広さ以上であったときに、カメラの視野が塞がれたと判断する方法が知られている（特許文献３参照）。
特開２００４−２５９２５５号公報 特開平１１−３３９０４８号公報 特開２００４−１３９４４７号公報

本発明は上記実情に鑑みてなされたものであって、その目的とするところは、装置の大型化や利便性の低下を招くことなく、写真によるなりすましを可及的に防止可能な技術を提供することにある。

上記目的を達成するために、本発明は以下の構成を採用する。

本発明に係る顔照合装置は、撮像手段、顔照合手段、なりすまし検査手段を備える。顔
照合時には、撮像手段が被写体を撮影し、顔照合手段が撮像手段で撮影された画像を用いて顔照合を行う。ただし、本発明では、前記画像による顔照合の前、もしくは並行して、さらにもしくは後に、なりすまし検査手段が、前記画像（検査対象画像）が写真を撮影することにより得られた「なりすまし画像」であるか検査する処理（なりすまし検査処理）を実行する。

なりすまし検査手段の検査結果は、「検査対象画像はなりすまし画像である／なりすまし画像でない」という単純な判断結果でもよいし、「検査対象画像がなりすまし画像である（又はなりすまし画像でない）可能性」を示すスコア（推定値）でもよい。前者の判断結果は、後者のスコアを所定の判定条件と比較することで得ることもできる。なりすまし検査手段の検査結果は、写真を用いたなりすましを防止する目的に利用される。

具体的には、なりすまし検査手段によって前記画像がなりすまし画像であると判断された場合に、前記画像による顔照合を禁止するとよい。また、顔照合の後にもしくは並行してなりすまし検査手段によって前記画像がなりすまし画像であると判断された場合には、前記画像による顔照合の結果を無効にすることができる。これにより、写真を用いたなりすましを防ぐことが期待できる。

あるいは、顔照合手段が、なりすまし検査手段の検査結果を顔照合のパラメータとして用いることも好ましい。例えば、顔照合手段が、前記スコアをパラメータとして用い、なりすまし画像である可能性が高いほど顔照合の成功率が低くなるようにすればよい。この方法によっても、写真を用いたなりすましを防ぐことが期待できる。

なりすまし検査手段は、検査対象画像から抽出される特徴量に基づいて、検査対象画像がなりすまし画像であるか検査する。特徴量としては、例えば、「画像中の顔以外の部分に設定される第１の検査領域内の色又は／及び模様の均一性」を好ましく採用できる。この特徴量は、証明写真の背景は無地や地模様であることが多いという点に着目したものである。また、特徴量としては、「画像中の顔以外の部分に設定される第２の検査領域内の文字の有無」を採用してもよい。この特徴量は、なりすまし画像中に写真の縁が図形として現れていたり、写真近傍に存在する図形（罫線、マーク）・文字などが現れていることが多い点に着目したものである。また、特徴量としては、「画像中の顔の部分に設定される第３の検査領域のボケ量」を採用してもよい。この特徴量は、なりすまし画像は正当な画像（人を撮影して得られる画像）に比べてボケ量が顕著に大きくなる傾向にあるという点に着目したものである。これらの特徴量を用いれば、非常に簡単になりすましの検査を行うことができる。

本発明では、上記特徴量のうちいずれか１つの特徴量に基づいてなりすまし検査を行ってもよいし、２以上の特徴量の組み合わせに基づいてなりすまし検査を行ってもよい。複数の特徴量を組み合わせれば、検査結果の信頼性が向上する。

顔照合装置が顔照合に用いる画像をユーザに確認させるための表示手段を備える場合には、前記表示手段には前記第１の検査領域や前記第２の検査領域の部分を除いた画像が表示されるようにすることが好ましい。第１の検査領域や第２の検査領域を隠すことで、背景部分の均一性や図形や文字の有無を調べていることをユーザに気付かれないようにでき、なりすまし検査の信頼性を向上することができる。

本発明は、上記手段の少なくとも一部を有する顔照合装置として捉えることができる。また、本発明は、上記処理の少なくとも一部を含む顔照合方法、または、かかる方法を実現するためのプログラムやそのプログラムを記録した記録媒体として捉えることもできる。なお、上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成するこ
とができる。

本発明によれば、照合用の画像からなりすましを検査できるので、装置の大型化や利便性の低下を招くことがない。また、簡単なアルゴリズムで実現できるので、なりすまし検査並びに顔照合の高速化も期待できる。

以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。

＜装置構成＞
図１は、本発明の実施形態に係る顔照合装置の機能構成を示すブロック図である。この顔照合装置は、顔画像を用いて照合対象者の本人認証又は個人識別を行う装置であり、例えば、カメラ付きのコンピュータや携帯電話におけるセキュリティ装置、侵入者検知を行う監視装置、入退室管理やドアの錠制御を行う装置などの様々な用途に応用可能である。

顔照合装置は、撮像部１０、画像記憶部１１、顔検出部１２、なりすまし検査部１３、顔照合部１４、表示部１５、顔定義情報記憶部１６を備えている。本実施形態では、これらの機能要素は、演算処理装置がソフトウエア（プログラム）を実行し、必要に応じてカメラ、メモリ、ディスプレイなどのハードウエア資源を制御することで実現される。ただし、これらの機能要素を専用のチップで構成しても構わない。

＜顔照合機能＞
図２のフローチャートに沿って、顔照合装置の機能及び処理の流れを説明する。

顔照合機能が起動すると、撮像部１０が撮影を実行し、顔照合に用いるための画像が取り込まれる（ステップＳ１０）。入力された画像は、画像記憶部１１に格納されるとともに、表示部１５に表示される。ユーザは、表示部１５の表示を見ることで照合用の画像を確認することができる。

撮像部１０としては、光学系と撮像素子（ＣＣＤ、ＣＭＯＳセンサなど）を備えるデジタルカメラを好ましく適用できる。画像記憶部１１は、処理対象となる画像を一時的に記憶する記憶装置である。この記憶装置としては、揮発性メモリや不揮発性メモリなど、どのような具体的技術が適用されてもよい。表示部１５としては、液晶ディスプレイなど、どのような具体的技術が適用されてもよい。

次に、顔検出部１２が、画像から人の顔を検出し、顔の位置や大きさ等を特定する（ステップＳ１１）。

顔検出部１２による顔検出処理は、既存のどのような技術が適用されてもよい。一例を挙げると、（１）顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出する手法、（２）顔の器官（目、鼻、耳など）に基づくテンプレートマッチングによって顔を検出する手法、（３）クロマキー処理によって頭部などの頂点を検出し、この頂点に基づいて顔を検出する手法、（４）肌の色に近い領域を検出し、その領域を顔として検出する手法、（５）ニューラルネットワークを使って教師信号による学習を行い、顔らしい領域を顔として検出する手法、などがある。自動で顔を検出するのではなく、人が顔の位置や大きさを指定してもよい。なお、画像から複数の人の顔が検出された場合には、顔の大きさ、向き、位置などの所定の基準に基づいて処理対象とする顔を決定してもよいし、不適切な画像であるとして顔照合処理を中断してもよい。

次に、なりすまし検査部１３が、撮影によって得られた画像が「なりすまし画像」であるか検査する（ステップＳ１２）。本実施形態では、なりすまし検査部１３の検査結果として、「なりすまし画像である」又は「なりすまし画像でない」のいずれかの判断結果が得られる。なお、なりすまし検査の具体的な処理については後述する。

なりすまし検査部１３において、なりすまし画像であると判断された場合には（ステップＳ１３；ＹＥＳ）、その画像を用いての顔照合は行わずただちに処理を終了する。これにより、写真を用いたなりすましを防ぐことができる。

一方、なりすまし画像でないと判断された場合には（ステップＳ１３；ＮＯ）、その画像による顔照合を開始する。

顔照合部１４は、まず顔検出部１２によって検出された顔から複数の特徴点を検出する（ステップＳ１４）。特徴点とは、特徴量の抽出基準となる点のことであり、顔の中のどの点を特徴点として選ぶかは予め決められている。例えば、眼の中心、鼻の頂点、口の端点など、複数箇所が特徴点として選ばれる。

特徴点検出処理は、既存のどのような技術が適用されてもよい。一例を挙げると、（１）特徴点の位置を示すパターンをあらかじめ学習し、その学習データを使用したマッチングを行うことによって特徴点を検出する手法、（２）検出された顔の内側において、エッジの検出やパターンマッチングを行うことにより、顔の器官の端点を検出し、それを基準として特徴点を検出する手法、などがある。

続いて、顔照合部１４は、検出された特徴点をもとに特徴量を抽出する（ステップＳ１５）。特徴量の種類はどのようなものを採用してもよい。例えば、特徴点近傍の濃淡値やその周期性・方向性、特徴点の位置関係などを特徴量として採用できる。特徴量の個数についても、期待する照合精度に応じて任意に設定できる。一般的には、数十〜数百の特徴量が抽出される。このようにして照合画像から抽出された特徴量の組は、顔特徴量ベクトルとよばれる。顔特徴量ベクトルは顔の特徴を数値化したものといえる。人によって顔の特徴が相違するのと同様、人によって顔特徴量ベクトルの傾向（向き、大きさ）が相違する。

顔照合部１４は、画像から得られた顔特徴量ベクトルを、顔定義情報記憶部１６に登録されている登録者の顔定義情報と比較することによって、顔照合を行い、その判定結果を出力する（ステップＳ１６）。なお、顔定義情報記憶部１６には、予め、一人又は複数の登録者の顔定義情報が登録されている。顔定義情報は、登録者の顔（つまり、登録者の顔から抽出される顔特徴量ベクトルの傾向）を定義するものといえる。

顔特徴量ベクトルと顔定義情報の比較処理についても、既存のどのような技術が適用されてもよい。例えば、本人認証の場合は、画像の顔特徴量ベクトルと登録者（本人）の顔定義情報との類似度を算出し、その類似度が所定のしきい値より大きいときに本人と判定すればよい。個人識別の場合は、複数の登録者のそれぞれについて類似度を算出し、類似度の大きさに基づいて照合対象者がどの登録者に該当するかを判定すればよい。顔照合装置の判定結果は、コンピュータや携帯電話の操作許否、侵入者の検知、入退室管理やドアの錠制御などに利用される。

＜なりすまし検査処理＞
次に、ステップＳ１２のなりすまし検査処理について詳しく説明する。

本実施形態の顔照合装置は、本人認証が必要な書類（免許証、パスポート、学生証、会
員証、キャッシュカード、クレジットカードなど）に付されている顔写真（証明写真）を利用したなりすましを未然に防止することを主な目的とする。そこで本発明者らは、この種の書類及びそれを撮影した画像を子細に観察することで、次のような特徴を見いだした。

・証明写真の背景は無地または地模様であることが多い。そのような写真を撮影して得られる画像においては、背景部分の色や模様がほぼ均一となる。

・証明写真は、顔を囲む複数の辺（通常は四辺）でトリミングされている。よって画像においては写真の縁辺が直線分として現れる。また、書類に印字された図形（罫線やマークなど）や文字が、画像中に一緒に写っていることもある。

・写真中の顔のサイズが小さい。よって、それを撮影するときに写真中の顔に焦点が合いにくく、いわゆるピンぼけ画像となることが多い。また、なりすまし目的であれば本物の顔と同等の大きさになるよう拡大撮影しなければならないため、ぼけた画像になる傾向がある。

・証明写真では、顔と背景の距離が比較的近いため、顔と背景の両方にピントが合っていることが多い。そのような写真を撮影して得られる画像では、顔部分と背景部分のぼけ具合は同程度である。一方、携帯電話や入退室監視装置などで生体を撮影する場合は、背景が遠方にあるのが通常であるため、顔部分のみにピントが合い、背景部分はぼけていることが多い。

本実施形態の顔照合装置では、画像処理によって上記特徴を評価することでなりすましの検査を行う。具体的な評価手法として次の５つの手法を例示する。なお、以下の説明では、検査対象画像として図３のような画像２を想定する。図３は免許証を撮影して得られた画像の例である。

（１）色の均一性を評価する手法
まず画像中の顔以外の部分（証明写真の背景に対応する部分）に検査領域２１が設定される。検査領域２１の位置・大きさ・範囲などは、ステップＳ１１で求められた顔領域２０との相対的関係に基づき決定すればよい。そして、検査領域２１内の色の均一性を評価する。色の均一性に対応する特徴量としては、例えば、検査領域２１内の全画素の色もしくは濃度の値域、分散、標準偏差などがある。色の均一性が高いほど画像２がなりすまし画像である可能性が高いといえる。

図９に具体例を示す。図９は検査領域２１内の画素のＢ成分のヒストグラムであり、（ａ）は証明写真を撮影した画像（なりすまし画像）の例であり、（ｂ）は生体を撮影した画像（生体画像）の例である。背景色が均一ななりすまし画像では、値域や分散（標準偏差）の値が生体画像に比べて極めて小さくなる。そこで、検査領域２１内の画素の値域、分散、標準偏差などの値が所定のしきい値よりも小さければ「なりすまし画像」とみなすことができる。

（２）模様の均一性を評価する手法
手法（１）と同様に検査領域２１を設定し、検査領域２１内の模様の均一性を評価する。例えば、周波数空間における低周波領域へのパワー集中を評価することで、検査領域２１に均一な（規則正しい）模様が含まれているかどうか調べることができる。模様の均一性が高いほど画像２がなりすまし画像である可能性が高いといえる。

また、パターンマッチング手法を利用して模様の均一性を評価することもできる。例え
ば、図１０に示すように、画像中の顔以外の部分に検査領域２４を設定するとともに、検査領域２４の一部をマスターパターン２５として切り出す。そして、検査領域２４内の複数の箇所（ターゲットパターン２６）についてマスターパターン２５とのマッチングを調べ、マッチした箇所が所定数以上見つかれば、模様が均一であるとして「なりすまし画像」と判定する。なお、パターンマッチング手法としては、正規化相関法等どのようなアルゴリズムを利用してもよい。また、画像同士でマッチングをとってもよいし、マスターパターン２５及びターゲットパターン２６をそれぞれ周波数変換した後で周波数分布同士のマッチングをとることも好ましい。

（３）図形の有無を評価する手法
図３に示すように、画像中の顔以外の部分に検査領域２２を設定する。検査領域２２の位置・大きさ・範囲については、ステップＳ１１で求められた顔領域２０との相対的関係に基づき決定すればよい。そして、検査領域２２内に図形が存在するかどうかを評価する。写真の縁辺や罫線などの幾何学図形はハフ変換などで検知可能である。形状が既知の図形に関してはテンプレートマッチングにより検知することもできる。図形の数、大きさ、形状、鮮明さなどを評価することも好ましい。検査領域２２内に図形が存在する場合には、画像２がなりすまし画像である可能性が高いといえる。

（４）文字の有無を評価する手法
手法（３）と同様に検査領域２２を設定し、検査領域２２内に文字が存在するかどうかを評価する。テンプレートマッチングなどの文字検出手法を利用してもよいし、公知の文字認識手法を利用してもよい。文字の数、大きさ、内容、鮮明さなどを評価することも好ましい。検査領域２２に文字が存在する場合には、画像２がなりすまし画像である可能性が高いといえる。

（５）ボケ量を評価する手法
図３に示すように、画像中の顔の部分に検査領域２３を設定する。検査領域２３の位置・大きさ・範囲についても、ステップＳ１１で求められた顔領域２０との相対的関係に基づき決定すればよい。そして、検査領域２３のボケ量を評価する。例えば、検査領域２３の周波数成分の低域への偏りをボケ量として評価すればよい。ボケ量が大きいほど、画像２がなりすまし画像である可能性が高いといえる。具体的には、検査領域２３の周波数分布（パワースペクトル）から所定域の低周波成分と高周波成分とを求め、「低周波成分÷高周波成分」の値が所定のしきい値より大きければ「なりすまし画像」と判定すればよい。あるいは、低周波成分用のしきい値ＬＴｈと高周波成分用のしきい値ＨＴｈとをそれぞれ設定しておき、低周波成分の値がしきい値ＬＴｈよりも大きく、且つ、高周波成分の値がしきい値ＨＴｈよりも小さい場合に、周波数成分が低域に偏っているとみなし、「なりすまし画像」と判定するようにしてもよい。

画像のボケ量の評価には、他の手法を利用してもよい。例えば、画像のＰＳＦ（point spread function）のパラメータを推定することにより、ボケ量を評価することができる
。また、デジタルカメラのオートフォーカスに利用されるコントラスト検出法や位相差検出法をボケ量の評価に応用してもよい。

コントラスト検出法では、画像のコントラスト（典型的には、輝度値の分散）をボケ量として評価することができる。例えば、検査領域２３のコントラスト値が所定のしきい値より小さければ（分散値が所定のしきい値より大きければ）、顔部分がボケているとみなし、「なりすまし画像」と判定することができる。

位相差検出法とは、レンズを通して入力される被写体の画像情報からセパレータレンズで２つの像を生成し、その像間隔が適正値（合焦状態での像間隔）より大きいか小さいか
で、ピントのズレ量を検出する方法である。この位相差検出法を応用する場合、像間隔と適正値の差異量をボケ量として評価することができる。例えば、携帯電話や入退室監視装置などに搭載される顔照合装置の場合、撮像部と生体（被写体）との距離は予めわかっている（約５０〜６０ｃｍ程度）ので、この距離で合焦するように焦点距離が設定されているのが通常である（この距離での像間隔を適正値として記憶しておく。）。これに対して、写真を使ったなりすましでは、写真（被写体）を撮像部に近接させなければならない（例えば１０ｃｍ以下）ので、このときの像間隔は適正値から大きくずれることになる。よって、検査領域２３（顔部分）の像間隔と適正値との差異量が所定のしきい値よりも大きければ、顔部分がボケているとみなし、「なりすまし画像」と判定することができる。

上記手法では、「なりすまし画像である可能性」を顔部分のボケ量で評価しているが、顔部分のボケ量と背景部分のボケ量との差で評価することもできる。証明写真を用いたなりすまし画像では、顔部分と背景部分のボケ量が同程度になる（差が小さい）のに対して、生体を撮影して得られた画像では、顔部分のボケ量より背景部分のボケ量が非常に大きくなる（差が大きい）蓋然性が高いからである。具体的には、顔部分（検査領域２３）のボケ量と背景部分（検査領域２１）のボケ量を算出し、それらの差をしきい値と比較することで「なりすまし画像」であるか否かを判定すればよい。

なりすまし検査部１３は、上記５つの評価手法のうち少なくとも１つを用いてなりすまし検査処理を行う。図４〜図７に、なりすまし検査処理のバリエーションを示す。これらの図において、評価手法Ａ，Ｂ，Ｃは、上記５つの評価手法のいずれかに該当するものである。

図４は、単一の評価手法Ａで検査を行う例である。なりすまし検査部１３は、評価手法Ａを用いて検査対象画像を評価し、なりすまし画像である可能性を表すスコアを算出する。そのスコアが所定の判定条件を満たした場合に、検査対象画像がなりすまし画像であると判断し、その結果を出力する。この処理によれば、単一の評価手法を実装すれば足りるので、プログラムサイズの小型化や必要リソースの削減を図ることができる。

図５は、複数の評価手法Ａ〜Ｃを直列的に組み合わせて検査を行う例である。なりすまし検査部１３は、まず評価手法Ａを用いて評価を行う。なりすまし画像でないと判断された場合のみ評価手法Ｂによる評価を実行する。評価手法Ｂでもなりすまし画像でないと判断されたら、評価手法Ｃによる評価を実行する。この処理によれば、いずれかの評価手法でなりすまし画像と判断された時点でなりすまし検査処理が終了するため、高速な処理が期待できる。

図６は、複数の評価手法Ａ〜Ｃを並列的に組み合わせて検査を行う例である。なりすまし検査部１３は、評価手法Ａ〜Ｃのそれぞれで評価を行い、それらの判断結果を総合して、なりすまし画像か否かの最終結果を出力する。例えば、１／２以上の評価手法（本例では２つの評価手法）でなりすまし画像と判断されたら、なりすまし画像であるという最終結果を出力すればよい。たとえ個々の評価手法の信頼性が低かったとしても、それらの評価結果を総合的に判断することで精度の高いなりすまし検査を行うことができる。特に、過検出（なりすまし画像でないものをなりすまし画像と誤判定すること）の抑制に効果的である。

図７も、複数の評価手法Ａ〜Ｃを並列的に組み合わせて検査を行う例である。ただし、図６の検査では各評価手法の判断結果を組み合わせたのに対し、図７の検査では各評価手法のスコアを組み合わせる。例えば、各評価手法で算出されたスコアを１つの評価式に代入して、最終スコアを計算し、その最終スコアが所定の判定条件を満たすか否かでなりすまし画像か否かを判断する。この処理によっても信頼性の向上を図ることができる。また
評価式を最適化することによって高い検査精度の実現も期待できる。

なお、図４〜図７では３つの評価手法を組み合わせているが、２つ又は４つ以上の評価手法を組み合わせてもよい。また、図４〜図７以外の組み合わせかたを採用しても構わない。

以上述べたように、本実施形態の顔照合装置は、なりすまし画像にみられる特徴を巧みに利用することで、照合用に撮影した画像からなりすましを検査することができる。この方法は、従来のような特殊な照明や撮影が不要なため、装置の大型化や利便性の低下を招くことがない。また、上述したような非常に簡単なアルゴリズムで実現できるので、なりすまし検査並びに顔照合の高速化も期待できる。

＜変形例＞
上記実施形態は本発明の一具体例を例示したものにすぎない。本発明の範囲は上記実施形態に限られるものではなく、その技術思想の範囲内で種々の変形が可能である。以下、好ましい変形例を述べる。

（１）照合用の画像の全体を表示部１５に表示するのではなく、照合用の画像の一部分のみを表示部１５に表示するようにしてもよい。具体的には、図８に示すように、図形や文字の有無を評価する検査領域２２の部分を除いた画像３０のみが拡大表示されるようにするとよい。このように、検査領域２２をユーザの目から隠すことで、写真の縁辺や写真近傍の図形・文字の有無を検査していることをユーザに気付かれないようにでき、なりすまし検査の信頼性を向上することができる。また、色や模様の均一性を評価する検査領域２１の部分を隠すようにしてもよい。

（２）なりすまし検査部１３が検査結果として上記評価手法のスコアを顔照合部１４に引き渡し、顔照合部１４がそのスコアを顔照合のパラメータとして用いるようにしてもよい。例えば、スコアを正規化して０〜１の値をとる信頼度パラメータを生成する。信頼度パラメータは、なりすまし画像である可能性が高いほど０に近い値をとり、なりすまし画像である可能性が低いほど１に近い値をとるものとする。そして、照合用の画像の顔と登録者の顔との類似度に信頼度パラメータを乗算し、なりすまし画像である可能性が高いほど顔照合の成功率が低くなるようにする。この方法によっても、上記実施形態と同様、写真を用いたなりすましを効果的に防ぐことが可能である。

（３）上記実施形態では、図２のフローチャートに示すように、顔照合処理（ステップＳ１４ないしＳ１６）の前になりすまし検査処理（ステップＳ１２およびＳ１３）を実行したが、これらの処理の順序を入れ換えてもよいし、並行に行ってもよい。顔照合を先に実行したとき、あるいは、２つの処理を並行に実行したときは、なりすまし検査処理の結果に基づき、顔照合の結果を採用するか無効とするか判断すればよい。

図１は、顔照合装置の機能構成を示すブロック図である。 図２は、顔照合装置の処理の流れを示すフローチャートである。 図３は、なりすまし検査処理における検査領域を示す図である。 図４は、なりすまし検査処理の判定チャートの一例である。 図５は、なりすまし検査処理の判定チャートの一例である。 図６は、なりすまし検査処理の判定チャートの一例である。 図７は、なりすまし検査処理の判定チャートの一例である。 図８は、検査領域の部分を除いた表示用画像の一例を示す図である。 図９は、なりすまし画像と生体画像のヒストグラムの一例を示す図である。 図１０は、パターンマッチング手法を利用した模様の均一性評価の一例を示す図である。

符号の説明

２ 画像
１０ 撮像部
１１ 画像記憶部
１２ 顔検出部
１３ なりすまし検査部
１４ 顔照合部
１５ 表示部
１６ 顔定義情報記憶部
２０ 顔領域
２１、２２、２３、２４ 検査領域
２５ マスターパターン
２６ ターゲットパターン
３０ 表示用画像

Claims (17)

1. 撮像手段と、
   前記撮像手段で撮影された画像を用いて顔照合を行う顔照合手段と、
   前記画像中の顔以外の部分に設定される第１の検査領域内の色又は／及び模様の均一性に基づいて、前記画像が写真を撮影して得られたなりすまし画像であるか検査するなりすまし検査手段と、を備え、
   前記なりすまし検査手段は、前記第１の検査領域内の色又は／及び模様の均一性が高いほど前記画像がなりすまし画像である可能性が高いと評価する顔照合装置。
2. 撮像手段と、
   前記撮像手段で撮影された画像を用いて顔照合を行う顔照合手段と、
   前記画像中の顔以外の部分に設定される第２の検査領域内の文字の有無に基づいて、前記画像が写真を撮影して得られたなりすまし画像であるか検査するなりすまし検査手段と、を備え、
   前記なりすまし検査手段は、前記第２の検査領域内に文字が存在する場合に前記画像がなりすまし画像である可能性が高いと評価する顔照合装置。
3. 撮像手段と、
   前記撮像手段で撮影された画像を用いて顔照合を行う顔照合手段と、
   前記顔照合で使用する画像中の顔の部分に設定される第３の検査領域のボケ量に基づいて、前記顔照合で使用する画像が写真を撮影して得られたなりすまし画像であるか検査するなりすまし検査手段と、を備え、
   前記なりすまし検査手段は、前記第３の検査領域のボケ量が大きいほど前記画像がなりすまし画像である可能性が高いと評価する顔照合装置。
4. 撮像手段と、
   前記撮像手段で撮影された画像を用いて顔照合を行う顔照合手段と、
   前記画像中の顔以外の部分に設定される第１の検査領域内の色の均一性、前記第１の検査領域内の模様の均一性、前記画像中の顔以外の部分に設定される第２の検査領域内の図形の有無、前記第２の検査領域内の文字の有無、及び、前記画像中の顔の部分に設定され
   る第３の検査領域のボケ量、のうち２以上の組み合わせに基づいて、前記画像が写真を撮影して得られたなりすまし画像であるか検査するなりすまし検査手段と、を備え、
   前記なりすまし検査手段は、前記第１の検査領域内の色の均一性が高いほど前記画像がなりすまし画像である可能性が高いと評価し、前記第１の検査領域内の模様の均一性が高いほど前記画像がなりすまし画像である可能性が高いと評価し、前記第２の検査領域内に文字が存在する場合に前記画像がなりすまし画像である可能性が高いと評価し、前記第３の検査領域のボケ量が大きいほど前記画像がなりすまし画像である可能性が高いと評価する顔照合装置。
5. 顔照合に用いる画像をユーザに確認させるための表示手段をさらに備え、
   前記表示手段には前記第１の検査領域の部分を除いた画像が表示される請求項１又は４に記載の顔照合装置。
6. 顔照合に用いる画像をユーザに確認させるための表示手段をさらに備え、
   前記表示手段には前記第２の検査領域の部分を除いた画像が表示される請求項２又は４に記載の顔照合装置。
7. 前記なりすまし検査手段によって前記画像がなりすまし画像であると判断された場合に、前記画像による顔照合を禁止する請求項１〜６のいずれかに記載の顔照合装置。
8. 前記なりすまし検査手段によって前記画像がなりすまし画像であると判断された場合に、前記画像による顔照合の結果を無効とする請求項１〜６のいずれかに記載の顔照合装置。
9. 前記顔照合手段が、前記なりすまし検査手段の検査結果を顔照合のパラメータとして用いる請求項１〜６のいずれかに記載の顔照合装置。
10. 撮像手段で撮影された画像を用いて顔照合を行う顔照合装置が、前記画像中の顔以外の部分に設定される第１の検査領域内の色又は／及び模様の均一性に基づいて、前記画像が写真を撮影して得られたなりすまし画像であるか検査するなりすまし検査ステップを含む顔照合方法であって、
    前記なりすまし検査ステップでは、前記第１の検査領域内の色又は／及び模様の均一性が高いほど前記画像がなりすまし画像である可能性が高いと評価する顔照合方法。
11. 撮像手段で撮影された画像を用いて顔照合を行う顔照合装置が、前記画像中の顔以外の部分に設定される第２の検査領域内の文字の有無に基づいて、前記画像が写真を撮影して得られたなりすまし画像であるか検査するなりすまし検査ステップを含む顔照合方法であって、
    前記なりすまし検査ステップでは、前記第２の検査領域内に文字が存在する場合に前記画像がなりすまし画像である可能性が高いと評価する顔照合方法。
12. 撮像手段で撮影された画像を用いて顔照合を行う顔照合装置が、前記顔照合で使用する画像中の顔の部分に設定される第３の検査領域のボケ量に基づいて、前記顔照合で使用する画像が写真を撮影して得られたなりすまし画像であるか検査するなりすまし検査ステップを含む顔照合方法であって、
    前記なりすまし検査ステップでは、前記第３の検査領域のボケ量が大きいほど前記画像がなりすまし画像である可能性が高いと評価する顔照合方法。
13. 撮像手段で撮影された画像を用いて顔照合を行う顔照合装置が、前記画像中の顔以外の部分に設定される第１の検査領域内の色の均一性、前記第１の検査領域内の模様の均一性
    、前記画像中の顔以外の部分に設定される第２の検査領域内の図形の有無、前記第２の検査領域内の文字の有無、及び、前記画像中の顔の部分に設定される第３の検査領域のボケ量、のうち２以上の組み合わせに基づいて、前記画像が写真を撮影して得られたなりすまし画像であるか検査するなりすまし検査ステップを含む顔照合方法であって、
    前記なりすまし検査ステップでは、前記第１の検査領域内の色の均一性が高いほど前記画像がなりすまし画像である可能性が高いと評価し、前記第１の検査領域内の模様の均一性が高いほど前記画像がなりすまし画像である可能性が高いと評価し、前記第２の検査領域内に文字が存在する場合に前記画像がなりすまし画像である可能性が高いと評価し、前記第３の検査領域のボケ量が大きいほど前記画像がなりすまし画像である可能性が高いと評価する顔照合方法。
14. 撮像手段で撮影された画像を用いて顔照合を行う顔照合装置に、前記画像中の顔以外の部分に設定される第１の検査領域内の色又は／及び模様の均一性に基づいて、前記画像が写真を撮影して得られたなりすまし画像であるか検査するなりすまし検査処理を実行させるプログラムであって、
    前記なりすまし検査処理では、前記第１の検査領域内の色又は／及び模様の均一性が高いほど前記画像がなりすまし画像である可能性が高いと評価するプログラム。
15. 撮像手段で撮影された画像を用いて顔照合を行う顔照合装置に、前記画像中の顔以外の部分に設定される第２の検査領域内の文字の有無に基づいて、前記画像が写真を撮影して得られたなりすまし画像であるか検査するなりすまし検査処理を実行させるプログラムであって、
    前記なりすまし検査処理では、前記第２の検査領域内に文字が存在する場合に前記画像がなりすまし画像である可能性が高いと評価するプログラム。
16. 撮像手段で撮影された画像を用いて顔照合を行う顔照合装置に、前記顔照合で使用する画像中の顔の部分に設定される第３の検査領域のボケ量に基づいて、前記顔照合で使用する画像が写真を撮影して得られたなりすまし画像であるか検査するなりすまし検査処理を実行させるプログラムであって、
    前記なりすまし検査処理では、前記第３の検査領域のボケ量が大きいほど前記画像がなりすまし画像である可能性が高いと評価するプログラム。
17. 撮像手段で撮影された画像を用いて顔照合を行う顔照合装置に、前記画像中の顔以外の部分に設定される第１の検査領域内の色の均一性、前記第１の検査領域内の模様の均一性、前記画像中の顔以外の部分に設定される第２の検査領域内の図形の有無、前記第２の検査領域内の文字の有無、及び、前記画像中の顔の部分に設定される第３の検査領域のボケ量、のうち２以上の組み合わせに基づいて、前記画像が写真を撮影して得られたなりすまし画像であるか検査するなりすまし検査処理を実行させるプログラムであって、
    前記なりすまし検査処理では、前記第１の検査領域内の色の均一性が高いほど前記画像がなりすまし画像である可能性が高いと評価し、前記第１の検査領域内の模様の均一性が高いほど前記画像がなりすまし画像である可能性が高いと評価し、前記第２の検査領域内に文字が存在する場合に前記画像がなりすまし画像である可能性が高いと評価し、前記第３の検査領域のボケ量が大きいほど前記画像がなりすまし画像である可能性が高いと評価するプログラム。

Images