JP2005084979A - 顔認証システムおよび方法並びにプログラム - Google Patents

Abstract

【課題】 顔により簡易に人物の認証を行うことができるようにする。
【解決手段】 目位置検出部２１が顔画像Ｓ０の目の中心位置を検出し、規格化部２２が両目の中心位置間の距離を規格化して規格化顔画像Ｓ１を得る。切り出し部２３が規格化顔画像Ｓ１における両目の中心位置間の距離を基準として、所定の規格サイズを有するトリミング枠を規格化顔画像Ｓ１に設定して入力認証用画像Ｓ２を切り出す。照合部１４がメモリ１３に保管された多数の登録された人物についての認証用画像Ｓ３と入力認証用画像Ｓ２とを照合して、顔画像Ｓ０を撮影した人物が登録された人物であるか否かの照合を行う。
【選択図】 図１

Description

本発明は、顔により人物の認証を行う顔認証システムおよび顔認証方法並びに顔認証方法をコンピュータに実行させるためのプログラムに関するものである。

近年、指紋、光彩、声紋および顔等の個人に固有の生体情報を用いて個人の認証を行うバイオメトリクス技術が提案されている。このバイオメトリクス技術を用いた本人認証技術は、あらかじめ登録した指紋、光彩、声紋、顔等の生体情報と、提示された生体情報とを信号処理により自動照合して、提示した人物が本人であるか他人であるかを認証するものである。とくに顔認証技術として、Ｇａｂｏｒフィルタを用いた方法が提案されている（非特許文献１参照）。

非特許文献１に記載されたＧａｂｏｒフィルタを用いた方法は、顔画像上に目、鼻および口などの顔器官の特徴点を配置し、各特徴点において解像度と方位とを変化させたＧａｂｏｒフィルタを畳み込むことにより、その特徴点周辺における濃淡特徴の周期性と方向性とを特徴量として取り出し、その特徴点間の空間的位置情報と、各特徴点の特徴量とを統合して弾性的な位置関係を持つ顔グラフを生成し、顔グラフを用いて顔の位置を検出し、さらに顔器官の特徴点を検出し、その特徴点周辺の特徴量の類似度を、登録してある顔の特徴量と比較することにより、本人か他人であるかの認証を行っている。
（社）日本自動認識システム協会、「これでわかったバイオメトリクス」、オーム社、平成１３年９月１０日、ｐ５９−７１、１２０−１２６

顔を用いて上述したような認証を行う場合、撮影時における撮像装置からの距離および画角内における人物の位置（以下撮影位置とする）に応じて、顔画像に含まれる顔のサイズや顔の位置が変化するため、登録されている顔画像と認証を行う顔画像とにおいて、顔画像に含まれる顔のサイズや位置が異なる場合が生じる。このように、登録されている顔画像と認証を行う顔画像とにおいて顔のサイズや位置が異なると、登録されている人物であるにも拘わらず認証されなくなってしまうおそれがある。この場合、認証を行う人物は撮影位置を正確に定めて撮影を行うことにより、認証がなされないという不都合を防止することができる。しかしながら、認証を行う毎にそのように正確に撮影位置を定めることは認証を行う人物にとって非常に煩わしい。

本発明は上記事情に鑑みなされたものであり、顔により簡易に人物の認証を行うことができるようにすることを目的とする。

本発明による顔認証システムは、撮影により取得された顔を含む顔画像の入力を受け付ける画像入力手段と、
前記顔画像における目の中心位置を検出する目位置検出手段と、
前記検出された両目の中心位置間の距離が所定値となるように前記顔画像を規格化して規格化顔画像を得る規格化手段と、
該規格化顔画像における両目の中心位置間の距離を基準とした所定の規格サイズを有する入力認証用画像を前記規格化顔画像から切り出す切り出し手段と、
登録された複数の人物のそれぞれについての前記所定の規格サイズを有する認証用画像を保管する画像保管手段と、
前記入力認証用画像と、前記画像保管手段に保管された認証用画像とを照合して、前記画像入力手段が入力を受け付けた前記顔画像の人物が登録された人物であるか否かを判定して判定結果を出力する照合手段とを備えたことを特徴とするものである。

「規格サイズ」とは、所定の解像度のプリンタ等の出力手段により画像を出力した際に、一定サイズの画像内の決められた位置に、一定サイズの顔が含まれるとともに、頭頂部、顎の先端部および左右の耳等の顔の縁部から画像の縁部までの距離が一定サイズとなるように規格化された画像が得られるようなサイズをいう。なお、画像のサイズ、顔のサイズおよび顔の縁部から画像の縁部までのサイズは許容される範囲内の多少の誤差を持っていてもよい。

なお、本発明による顔認証システムにおいては、前記目位置検出手段を、前記目の中心位置の識別に用いる少なくとも１つの特徴量を前記顔画像から算出する特徴量算出手段と、
顔であることが分かっている、前記目の中心位置および／または位置関係が正規化された複数のサンプル画像と、顔でないことが分かっている複数のサンプル画像とからなる多数のサンプル画像群に含まれる前記少なくとも１つの特徴量をマシンラーニングの手法によりあらかじめ学習することにより得られた、前記少なくとも１つの特徴量と該少なくとも１つの特徴量の各々に対応する識別条件とをあらかじめ規定する参照データを、前記顔画像から算出された少なくとも１つの特徴量に基づいて参照して、前記顔画像に含まれる前記目の中心位置の識別を行う識別手段とを備えるものとしてもよい。

「特徴量」とは、画像の特徴を表すパラメータを指し、その画像における各画素の濃度勾配を表す勾配ベクトル、各画素の色情報（色相、彩度）、濃度、テクスチャーの特徴、奥行情報、その画像に含まれるエッジの特徴等、いかなる特徴を表すものであってもよい。

「識別条件」とは、特徴量を指標とした、目の中心位置を識別する条件を指す。

「マシンラーニング（machine learning）の手法」としては、例えば、ニューラルネットワーク、ブースティング等の既知の手法を用いることができる。

本発明による顔認証方法は、撮影により取得された顔を含む顔画像の入力を受け付け、
前記顔画像における目の中心位置を検出し、
前記検出された両目の中心位置間の距離が所定値となるように前記顔画像を規格化して規格化顔画像を得、
該規格化顔画像における両目の中心位置間の距離を基準とした所定の規格サイズを有する入力認証用画像を前記規格化顔画像から切り出し、
前記入力認証用画像と、登録された複数の人物のそれぞれについての前記所定の規格サイズを有する認証用画像とを照合して、前記画像入力手段が入力を受け付けた前記顔画像の人物が登録された人物であるか否かを判定して判定結果を出力することを特徴とするものである。

なお、本発明による顔認証方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、認証される人物の顔画像の入力が受け付けられ、顔画像における目の中心位置が検出され、検出された両目の中心位置間の距離が所定値となるように顔画像が規格化される。そして、規格化顔画像において、両目の中心位置間の距離を基準とした所定の規格サイズを有する入力認証用画像が規格化顔画像から切り出される。そして、入力認証用画像と、登録された複数の人物のそれぞれについての認証用画像とが照合されて、入力を受け付けた顔画像の人物が登録された人物であるか否かが判定され、判定結果が出力される。

このように、本発明においては、両目の中心位置間の距離が所定値となるように顔画像を規格化した後に、規格化画像における両目の中心位置間の距離を基準とした所定の規格サイズを有する入力認証用画像を規格化後の顔画像から切り出しているため、人物の撮影位置に拘わらず常に同一規格サイズを有する入力認証用画像を得ることができる。したがって、顔画像に含まれる顔のサイズや位置が顔画像毎に異なっていても、同一人物の画像を異なる人物であると認証することがなくなり、これにより、撮影時に撮影位置を正確に定める煩わしさをなくすことができる。

また、請求項２に係る本願発明によれば、顔画像から少なくとも１つの特徴量が算出される。そして、顔画像から算出された少なくとも１つの特徴量に基づいて参照データが参照されて、顔画像に含まれる目の中心位置の識別が行われる。

ここで、参照データを得る際の学習に用いられる顔であることが分かっているサンプル画像は、目の中心位置および／または位置関係が正規化されているため、顔画像における顔の位置が特定されれば、その顔における目の中心位置は、サンプル画像における目の中心位置に対応したものとなる。また、顔画像における目が前髪により隠れている等して不鮮明であっても、顔画像には顔の特徴を表す特徴量が含まれているため、顔画像に含まれる顔の位置さらには目の中心位置を識別できる。したがって、顔画像における目の中心位置を精度よく識別することができる。

また、参照データをマシンラーニングの手法によりあらかじめ学習して得ることにより、目の中心位置の識別性能をより向上させることができる。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による顔認証システムの構成を示す概略ブロック図である。図１に示すように、本実施形態による顔認証システムは、認証部１、および認証部１とＬＡＮ、公衆回線等のネットワーク２を介して接続された、認証を行おうとする人物の撮影を行って人物の顔画像を表す顔画像データＳ０を取得するデジタルカメラ、カメラ付き携帯電話等の撮像装置３を備える。なお、撮像装置３としてはデジタルカメラやカメラ付き携帯電話に限定されるものではなく、パソコンに接続されるＷｅｂカメラや、セキュリティチェックを行う機器に設けられているデジタルカメラであってもよい。

認証部１は、撮像装置３からネットワーク２を介して送信された顔画像データＳ０の入力を受け付けるネットワークインターフェース等の画像入力部１１、顔画像データＳ０により表される顔画像（以下顔画像についても参照符号Ｓ０を用いる）からあらかじめ定められた規格サイズを有する入力認証用画像Ｓ２を抽出する画像抽出部１２、登録された複数の人物のそれぞれについての認証用画像Ｓ３を保管するメモリ１３、および入力認証用画像Ｓ２とメモリ１３に保管された認証用画像Ｓ３とを照合して、撮像装置３が撮影した人物が登録された人物であるか否かを判定して判定結果を出力する照合部１４を備える。

画像抽出部１２は、顔画像Ｓ０に含まれる顔の目の中心位置を検出する目位置検出部２１、検出した両目の中心位置間の距離が所定値となるように顔画像Ｓ０を規格化して規格化顔画像Ｓ１を得る規格化部２２、および規格化顔画像Ｓ１における両目の中心位置間の距離を基準として規格サイズの入力認証用画像Ｓ２を顔画像Ｓ０から切り出す切り出し部２３を備える。

図２は目位置検出部２１の構成を示す概略ブロック図である。図２に示すように目位置検出部２１は、顔画像Ｓ０から特徴量Ｃ０を算出する特徴量算出部３１、後述する参照データＲ１が格納されているメモリ３２、特徴量算出部３１が算出した特徴量Ｃ０とメモリ３２内の参照データＲ１とに基づいて、顔画像Ｓ０に含まれる顔における目の中心位置を識別する識別部３３、識別部３３による識別結果を出力する出力部３４とを備える。

なお、本実施形態において目の中心位置とは、顔における目尻から目頭の間の中心位置であり、図３（ａ）に示すように正面を向いた目の場合においては瞳の位置（図中×で示す）となる。一方、図３（ｂ）に示すように右を向いた目の場合は瞳の位置ではなく、白目部分が目の中心位置となる。

特徴量算出部３１は、目の中心位置の識別に用いる特徴量Ｃ０を顔画像Ｓ０から算出する。具体的には、勾配ベクトル（すなわち顔画像Ｓ０上の各画素における濃度が変化する方向および変化の大きさ）を特徴量Ｃ０として算出する。以下、勾配ベクトルの算出について説明する。まず、特徴量算出部３１は、顔画像Ｓ０に対して図４（ａ）に示す水平方向のエッジ検出フィルタによるフィルタリング処理を施して顔画像Ｓ０における水平方向のエッジを検出する。また、特徴量算出部３１は、顔画像Ｓ０に対して図４（ｂ）に示す垂直方向のエッジ検出フィルタによるフィルタリング処理を施して顔画像Ｓ０における垂直方向のエッジを検出する。そして、顔画像Ｓ０上の各画素における水平方向のエッジの大きさＨおよび垂直方向のエッジの大きさＶとから、図５に示すように、各画素における勾配ベクトルＫを算出する。なお、特徴量算出部３１は、後述するように顔画像Ｓ０の変形の各段階において特徴量Ｃ０を算出する。

なお、このようにして算出された勾配ベクトルＫは、図６（ａ）に示すような人物の顔の場合、図６（ｂ）に示すように、目および口のように暗い部分においては目および口の中央を向き、鼻のように明るい部分においては鼻の位置から外側を向くものとなる。また、口よりも目の方が濃度の変化が大きいため、勾配ベクトルＫの大きさは口よりも目の方が大きくなる。

そして、この勾配ベクトルＫの方向および大きさを特徴量Ｃ０とする。なお、勾配ベクトルＫの方向は、勾配ベクトルＫの所定方向（例えば図５におけるｘ方向）を基準とした０から３５９度の値となる。

ここで、勾配ベクトルＫの大きさは正規化される。この正規化は、顔画像Ｓ０の全画素における勾配ベクトルＫの大きさのヒストグラムを求め、その大きさの分布が顔画像Ｓ０の各画素が取り得る値（８ビットであれば０〜２５５）に均一に分布されるようにヒストグラムを平滑化して勾配ベクトルＫの大きさを修正することにより行う。例えば、勾配ベクトルＫの大きさが小さく、図７（ａ）に示すように勾配ベクトルＫの大きさが小さい側に偏ってヒストグラムが分布している場合には、大きさが０〜２５５の全領域に亘るものとなるように勾配ベクトルＫの大きさを正規化して図７（ｂ）に示すようにヒストグラムが分布するようにする。なお、演算量を低減するために、図７（ｃ）に示すように、勾配ベクトルＫのヒストグラムにおける分布範囲を例えば５分割し、５分割された頻度分布が図７（ｄ）に示すように０〜２５５の値を５分割した範囲に亘るものとなるように正規化することが好ましい。

メモリ３２内に格納されている参照データＲ１は、後述するサンプル画像から選択された複数画素の組み合わせからなる複数種類の画素群のそれぞれについて、各画素群を構成する各画素における特徴量Ｃ０の組み合わせに対する識別条件を規定したものである。

参照データＲ１中の、各画素群を構成する各画素における特徴量Ｃ０の組み合わせおよび識別条件は、顔であることが分かっている複数のサンプル画像と顔でないことが分かっている複数のサンプル画像とからなるサンプル画像群の学習により、あらかじめ決められたものである。

なお、本実施形態においては、参照データＲ１を生成する際には、顔であることが分かっているサンプル画像として、３０×３０画素サイズを有し、図８に示すように両目の中心間の距離が１０画素のものを用いるものとする。ここで、すべてのサンプル画像において目の中心位置は同一となっている。この目の中心位置をサンプル画像の左上隅を原点とする座標上において（ｘ１，ｙ１）、（ｘ２，ｙ２）とする。そして、参照データＲ１の学習に用いられるサンプル画像における目の中心位置を、本実施形態において識別する目の中心位置とする。

また、顔でないことが分かっているサンプル画像としては、３０×３０画素サイズを有する任意の画像を用いるものとする。

以下、図９のフローチャートを参照しながらサンプル画像群の学習手法の一例を説明する。

学習の対象となるサンプル画像群は、顔であることが分かっている複数のサンプル画像と、顔でないことが分かっている複数のサンプル画像とからなる。各サンプル画像には、重みすなわち重要度が割り当てられる。まず、すべてのサンプル画像の重みの初期値が等しく１に設定される（ステップＳ１）。

次に、サンプル画像における複数種類の画素群のそれぞれについて識別器が作成される（ステップＳ２）。ここで、それぞれの識別器とは、１つの画素群を構成する各画素における特徴量Ｃ０の組み合わせを用いて、顔の画像と顔でない画像とを識別する基準を提供するものである。本実施形態においては、１つの画素群を構成する各画素における特徴量Ｃ０の組み合わせについてのヒストグラムを識別器として使用する。

図１０を参照しながらある識別器の作成について説明する。図１０の左側のサンプル画像に示すように、この識別器を作成するための画素群を構成する各画素は、顔であることが分かっている複数のサンプル画像上における、右目の中心にある画素Ｐ１、右側の頬の部分にある画素Ｐ２、額の部分にある画素Ｐ３および左側の頬の部分にある画素Ｐ４である。そして顔であることが分かっているすべてのサンプル画像について全画素Ｐ１〜Ｐ４における特徴量Ｃ０の組み合わせが求められ、そのヒストグラムが作成される。ここで、特徴量Ｃ０は勾配ベクトルＫの方向および大きさを表すが、勾配ベクトルＫの方向は０〜３５９の３６０通り、勾配ベクトルＫの大きさは０〜２５５の２５６通りあるため、これをそのまま用いたのでは、組み合わせの数は１画素につき３６０×２５６通りの４画素分、すなわち（３６０×２５６）⁴通りとなってしまい、学習および検出のために多大なサンプルの数、時間およびメモリを要することとなる。このため、本実施形態においては、勾配ベクトルの方向を０〜３５９を０〜４４と３１５〜３５９（右方向、値：０），４５〜１３４（上方向値：１），１３５〜２２４（左方向、値：２），２２５〜３１４（下方向、値３）に４値化し、勾配ベクトルの大きさを３値化（値：０〜２）する。そして、以下の式を用いて組み合わせの値を算出する。

組み合わせの値＝０（勾配ベクトルの大きさ＝０の場合）
組み合わせの値＝（（勾配ベクトルの方向＋１）×勾配ベクトルの大きさ（勾配ベクトルの大きさ＞０の場合）
これにより、組み合わせ数が９⁴通りとなるため、特徴量Ｃ０のデータ数を低減できる。

同様に、顔でないことが分かっている複数のサンプル画像についても、ヒストグラムが作成される。なお、顔でないことが分かっているサンプル画像については、顔であることが分かっているサンプル画像上における上記画素Ｐ１〜Ｐ４の位置に対応する画素が用いられる。これらの２つのヒストグラムが示す頻度値の比の対数値を取ってヒストグラムで表したものが、図１０の一番右側に示す、識別器として用いられるヒストグラムである。この識別器のヒストグラムが示す各縦軸の値を、以下、識別ポイントと称する。この識別器によれば、正の識別ポイントに対応する特徴量Ｃ０の分布を示す画像は顔である可能性が高く、識別ポイントの絶対値が大きいほどその可能性は高まると言える。逆に、負の識別ポイントに対応する特徴量Ｃ０の分布を示す画像は顔でない可能性が高く、やはり識別ポイントの絶対値が大きいほどその可能性は高まる。ステップＳ２では、識別に使用され得る複数種類の画素群を構成する各画素における特徴量Ｃ０の組み合わせについて、上記のヒストグラム形式の複数の識別器が作成される。

続いて、ステップＳ２で作成した複数の識別器のうち、画像が顔であるか否かを識別するのに最も有効な識別器が選択される。最も有効な識別器の選択は、各サンプル画像の重みを考慮して行われる。この例では、各識別器の重み付き正答率が比較され、最も高い重み付き正答率を示す識別器が選択される（ステップＳ３）。すなわち、最初のステップＳ３では、各サンプル画像の重みは等しく１であるので、単純にその識別器によって画像が顔であるか否かが正しく識別されるサンプル画像の数が最も多いものが、最も有効な識別器として選択される。一方、後述するステップＳ５において各サンプル画像の重みが更新された後の２回目のステップＳ３では、重みが１のサンプル画像、重みが１よりも大きいサンプル画像、および重みが１よりも小さいサンプル画像が混在しており、重みが１よりも大きいサンプル画像は、正答率の評価において、重みが１のサンプル画像よりも重みが大きい分多くカウントされる。これにより、２回目以降のステップＳ３では、重みが小さいサンプル画像よりも、重みが大きいサンプル画像が正しく識別されることに、より重点が置かれる。

次に、それまでに選択した識別器の組み合わせの正答率、すなわち、それまでに選択した識別器を組み合わせて使用して各サンプル画像が顔の画像であるか否かを識別した結果が、実際に顔の画像であるか否かの答えと一致する率が、所定の閾値を超えたか否かが確かめられる（ステップＳ４）。ここで、組み合わせの正答率の評価に用いられるのは、現在の重みが付けられたサンプル画像群でも、重みが等しくされたサンプル画像群でもよい。所定の閾値を超えた場合は、それまでに選択した識別器を用いれば画像が顔であるか否かを十分に高い確率で識別できるため、学習は終了する。所定の閾値以下である場合は、それまでに選択した識別器と組み合わせて用いるための追加の識別器を選択するために、ステップＳ６へと進む。

ステップＳ６では、直近のステップＳ３で選択された識別器が再び選択されないようにするため、その識別器が除外される。

次に、直近のステップＳ３で選択された識別器では顔であるか否かを正しく識別できなかったサンプル画像の重みが大きくされ、画像が顔であるか否かを正しく識別できたサンプル画像の重みが小さくされる（ステップＳ５）。このように重みを大小させる理由は、次の識別器の選択において、既に選択された識別器では正しく識別できなかった画像を重要視し、それらの画像が顔であるか否かを正しく識別できる識別器が選択されるようにして、識別器の組み合わせの効果を高めるためである。

続いて、ステップＳ３へと戻り、上記したように重み付き正答率を基準にして次に有効な識別器が選択される。

以上のステップＳ３からＳ６を繰り返して、顔が含まれるか否かを識別するのに適した識別器として、特定の画素群を構成する各画素における特徴量Ｃ０の組み合わせに対応する識別器が選択されたところで、ステップＳ４で確認される正答率が閾値を超えたとすると、顔が含まれるか否かの識別に用いる識別器の種類と識別条件とが確定され（ステップＳ７）、これにより参照データＲ１の学習を終了する。

なお、上記の学習手法を採用する場合において、識別器は、特定の画素群を構成する各画素における特徴量Ｃ０の組み合わせを用いて顔の画像と顔でない画像とを識別する基準を提供するものであれば、上記のヒストグラムの形式のものに限られずいかなるものであってもよく、例えば２値データ、閾値または関数等であってもよい。また、同じヒストグラムの形式であっても、図１０の中央に示した２つのヒストグラムの差分値の分布を示すヒストグラム等を用いてもよい。

また、学習の方法としては上記手法に限定されるものではなく、ニューラルネットワーク等他のマシンラーニングの手法を用いることができる。

識別部３３は、顔画像Ｓ０上において、複数種類の画素群を構成する各画素における特徴量Ｃ０の組み合わせのすべてについて参照データＲ１が学習した識別条件を参照して、各々の画素群を構成する各画素における特徴量Ｃ０の組み合わせについての識別ポイントを求め、すべての識別ポイントを総合して顔に含まれる目の中心位置を識別する。この際、特徴量Ｃ０である勾配ベクトルＫの方向は４値化され大きさは３値化される。

ここで、顔画像Ｓ０に含まれる顔のサイズは３０×３０画素のサンプル画像に含まれる顔とは異なり、各種サイズを有するものとなっている。また、平面上における顔の回転角度が０度であるとは限らない。このため、識別部３３は、図１１に示すように、顔画像Ｓ０を縦または横のサイズが３０画素（必要であればそれ以下）となるまで段階的に拡大縮小するとともに平面上で段階的に３６０度回転させつつ（図１１においては縮小する状態を示す）、各段階において拡大縮小された顔画像Ｓ０上に３０×３０画素サイズのマスクＭを設定し、マスクＭを拡大縮小された顔画像Ｓ０上において１画素ずつ移動させながら、マスク内の画像における目の中心位置の識別を行う。

なお、特徴量算出部３１は、顔画像の拡大縮小および回転という変形の各段階において特徴量Ｃ０を算出する。

そして、本実施形態では、抽出された顔画像の変形の全段階においてすべての識別ポイントを加算し、加算値が最も大きい変形の段階における３０×３０画素のマスクＭ内にサンプル画像に適合するサイズの顔が含まれると識別し、マスクＭ内の画像に左上隅を原点とする座標を設定し、サンプル画像における目の中心位置の座標（ｘ１，ｙ１）、（ｘ２，ｙ２）に対応する位置を求め、変形前の顔画像Ｓ０におけるこの位置に対応する位置を目の中心位置と識別する。この両目の中心位置の座標を（ｘ３，ｙ３）（顔画像Ｓ０に含まれる顔の右目）、（ｘ４，ｙ４）（左目）とする。なお、ｙ３＝ｙ４である。

出力部３４は、識別部３３が識別した目の中心位置を表す座標値（ｘ３，ｙ３）、（ｘ４，ｙ４）を出力する。

規格化部２２は、目位置検出部２１が検出した両目の中心位置の座標（ｘ３，ｙ３）、（ｘ４，ｙ４）に基づいて、顔画像Ｓ０から検出された両目の中心位置間の距離Ｄ０を算出し、この距離Ｄ０があらかじめ定められた所定値Ｄ１となるように、顔画像Ｓ０を拡大縮小することにより顔画像Ｓ０を規格化して規格化顔画像Ｓ１を得る。ここで、ｙ３＝ｙ４であることから顔画像Ｓ０における両目の中心間の画素数はｘ４−ｘ３となる。なお、所定値Ｄ１は後述する規格サイズの入力認証用画像Ｓ２が得られるような画素数に定められる。また、規格化顔画像Ｓ１においては、両目の中心間距離はＤ１となる。また、拡大縮小時の拡大率に応じて、規格化顔画像Ｓ１上における両目の中心位置を算出することが可能であり、規格化顔画像Ｓ１における両目の中心位置の座標を（ｘ５，ｙ５）（規格化顔画像Ｓ１に含まれる顔の右目）、（ｘ６，ｙ６）（左目）とする。なお、ｙ５＝ｙ６であることから規格化顔画像Ｓ１における両目の中心間の画素数はｘ５−ｘ６となる。

切り出し部２３は、所定解像度のプリンタによりプリント出力したり、所定解像度のモニタに表示した際に、図１２に示すように顔の長さ（すなわち顔の頭頂部から顎の先端部までの距離）が２７±２ｍｍ、頭頂部からトリミング枠上辺までの距離が７±２ｍｍ、横方向の長さが３５ｍｍ、縦方向の長さが４５ｍｍとなる顔画像が得られるように、規格化顔画像Ｓ１からあらかじめ定められた規格サイズの入力認証用画像Ｓ２を切り出す。具体的には下記のようにして規格化顔画像Ｓ１から入力認証用画像Ｓ２を切り出す。図１３は入力認証用画像Ｓ２の切り出しを説明するための図である。図１３に示すように、切り出し部２３は、規格化顔画像Ｓ１上において、両目の中心位置間の距離Ｄ１の垂直二等分線Ｌを設定する。ここで、切り出し部２３は、トリミング枠の左辺および右辺の位置を定めるパラメータＳｘを保管しており、垂直二等分線Ｌから左右にそれぞれ距離１／２Ｄ１×Ｓｘの位置にトリミング枠の左辺および右辺の位置を定める。

また、切り出し部２３は、トリミング枠の上辺および下辺の位置を定めるパラメータＳｙ１，Ｓｙ２を保管しており、各目の中心位置のｙ座標ｙ５，ｙ６を基準として上方向に距離Ｄ１×Ｓｙ１の位置にトリミング枠の上辺の位置を、下方向に距離Ｄ１×Ｓｙ２の位置にトリミング枠の下辺の位置を定める。

ここで、パラメータＳｘは、両目の中心位置間の距離をＤ１に規格化するとともに、プリント出力した際に図１２に示す規格サイズの画像を得ることが可能なサイズを有する多数のサンプル画像について、両目の中心位置間の距離Ｄ１の垂直二等分線Ｌからのサンプル画像の左辺および右辺までの距離Ｄ１０，Ｄ１１を求め、すべてのサンプル画像について、Ｄ１０＋Ｄ１１とＤ１×Ｓｘとの誤差が最小となるようにＳｘの値を定めることにより求められる。

また、パラメータＳｙ１は、両目の中心位置間の距離をＤ１に規格化するとともに、プリント出力した際に図１２に示す規格サイズの画像を得ることが可能なサイズを有する多数のサンプル画像上について、両目の中心位置のｙ座標の位置からサンプル画像の上辺までの距離Ｄ１２を求め、すべてのサンプル画像について、Ｄ１２とＤ１×Ｓｙ１との誤差が最小となるようにＳｙ１の値を定めることにより求められる。

また、パラメータＳｙ２は、両目の中心位置間の距離をＤ１に規格化するとともに、プリント出力した際に図１２に示す規格サイズの画像を得ることが可能なサイズを有する多数のサンプル画像上について、両目の中心位置のｙ座標の位置からサンプル画像の下辺までの距離Ｄ１３を求め、すべてのサンプル画像について、Ｄ１３とＤ１×Ｓｙ２との誤差が最小となるようにＳｙ１の値を定めることにより求められる。

なお、具体的には、各パラメータの比率がＳｘ：Ｓｙ１：Ｓｙ２＝５．０４：３．０１：３．４７となるようなパラメータＳｘ，Ｓｙ１，Ｓｙ２を用いる。

メモリ１３は、登録された複数の人物のそれぞれについての認証用画像Ｓ３を保管する。認証用画像Ｓ３は入力認証用画像Ｓ２を得た場合と同様に、登録する人物を撮影することにより得られた顔画像から両目の中心位置を検出し、両目の中心位置間の距離を基準として図１３に示すように規格サイズの領域を切り出すことにより得られる。

照合部１４は、例えば、上記非特許文献１に記載された方法を用いて顔画像Ｓ０の撮影を行った人物が登録された人物であるか否かの照合を行い、照合結果を出力する。

すなわち、入力認証用画像Ｓ２上における目、鼻および口などの顔器官の特徴点を検出し、その特徴点周辺の特徴量の類似度を、メモリ１３に保管されている複数の人物についての認証用画像Ｓ３の特徴量と比較することにより、顔画像Ｓ０の撮影を行った人物が登録された人物であるか否かの認証を行う。

次いで、本実施形態において行われる処理について説明する。図１４は本実施形態において行われる処理を示すフローチャートである。まず、画像入力部１１がネットワーク２を介して送信された撮像装置３が撮影した認証を行おうとしている人物の顔画像データＳ０の入力を受け付ける（ステップＳ１１）。次いで、画像抽出部１２の目位置検出部２１における特徴量算出部３１が顔画像Ｓ０の拡大縮小および回転の各段階において、顔画像Ｓ０の勾配ベクトルＫの方向および大きさを特徴量Ｃ０として算出する（ステップＳ１２）。そして、識別部３３がメモリ３２から参照データＲ１を読み出し（ステップＳ１３）、顔画像Ｓ０における目の中心位置を識別する（ステップＳ１４）。次いで、出力部３４が目の中心位置の座標値を出力する（ステップＳ１５）。

続いて、規格化部２２が両目の中心位置間の距離Ｄ０がＤ１となるように顔画像Ｓ０を規格化して規格化顔画像Ｓ１を得る（ステップＳ１６）。そして、切り出し部２３が規格化顔画像Ｓ１における両目の中心位置間の距離Ｄ１を基準として、規格化顔画像Ｓ１から図１３に示す規格サイズの入力認証用画像Ｓ２を切り出す（ステップＳ１７）。次いで、照合部１４が入力認証用画像Ｓ２とメモリ１３に保管された多数の人物についての認証用画像Ｓ３とを比較して、顔画像Ｓ０の撮影を行った人物が登録された人物であるか否かの照合を行い（ステップＳ１８）、さらに照合結果を出力し（ステップＳ１９）、処理を終了する。

照合結果は、例えばインターネットを用いての物品購入時における本人認証や、入退室が制限されているエリアへのセキュリティチェック等に用いられる。

このように本実施形態においては、両目の中心位置間の距離が所定値となるように顔画像Ｓ０を規格化した後に、規格化顔画像Ｓ１における両目の中心位置間の距離Ｄ１を基準とした規格サイズの入力認証用画像Ｓ２を規格化顔画像Ｓ１から切り出しているため、認証を行おうとする人物の撮影位置に拘わらず常に同一規格サイズの入力認証用画像Ｓ２を得ることができる。例えば、図１５（ａ）に示すように、顔画像Ｓ０上において顔が中心になくても、図１５（ｂ）に示すように顔画像Ｓ０の一杯に顔が含まれている場合でも、常に同一の規格サイズとなるように入力認証用画像Ｓ２を得ることができる。したがって、顔画像Ｓ０に含まれる顔のサイズや位置が顔画像毎に異なっていても、同一人物の画像を異なる人物であると認証することがなくなり、これにより、撮影時に撮影位置を正確に定める煩わしさをなくすことができる。

なお、上記実施形態においては、上述したようにマシンラーニングの手法による学習結果を用いて目の中心位置を検出しているが、目の形状のテンプレートを用いたテンプレートマッチング等、目の中心位置を検出することが可能な任意の手法を用いることができる。

また、規格サイズとして図１２に示す規格の顔画像が得られるものを用いているが、これに限定されるものではなく、任意の規格サイズを用いることができる。この場合、図１３に示したトリミング枠を定めるパラメータＳｘ，Ｓｙ１，Ｓｙ２の値は、規格サイズに応じて定めればよい。

また、上記実施形態においては、メモリ１３に認証用画像Ｓ３を保管しているが、照合部１４は顔の器官の特徴量を用いて照合を行っているため、認証用画像Ｓ３に代えて認証用画像Ｓ３おける顔の器官の特徴量のみを保管しておいてもよい。

以上、本発明の実施形態に係る装置について説明したが、コンピュータを、上記の画像入力部１１、画像抽出部１２、および照合部１４として機能させ、入力認証用画像Ｓ２と認証用画像Ｓ３とを照合する処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取可能な記録媒体も、本発明の実施形態の１つである。これらの場合においても、参照データＲ１や認証用画像Ｓ３を表す認証用画像データは、プログラム内あるいは同一の記録媒体内に含まれているものであってもよいし、外部の装置や別個の媒体から提供されるものであってもよい。

本発明の実施形態による顔認証システムの構成を示す概略ブロック図 目位置検出部の構成を示す概略ブロック図 目の中心位置を説明するための図であり、（ａ）は目が正面を向いた図、（ｂ）は目が右を向いた図 （ａ）は水平方向のエッジ検出フィルタを示す図、（ｂ）は垂直方向のエッジ検出フィルタを示す図 勾配ベクトルの算出を説明するための図 （ａ）は人物の顔を示す図、（ｂ）は（ａ）に示す人物の顔の目および口付近の勾配ベクトルを示す図 （ａ）は正規化前の勾配ベクトルの大きさのヒストグラムを示す図、（ｂ）は正規化後の勾配ベクトルの大きさのヒストグラムを示す図、（ｃ）は５値化した勾配ベクトルの大きさのヒストグラムを示す図、（ｄ）は正規化後の５値化した勾配ベクトルの大きさのヒストグラムを示す図 参照データの学習に用いられる顔であることが分かっているサンプル画像の例を示す図 参照データの学習手法を示すフローチャート 識別器の導出方法を示す図 顔画像の段階的な変形を説明するための図 入力認証用画像として切り出す規格化サイズを示す図 入力認証用画像の切り出しを説明するための図 本実施形態において行われる処理を示すフローチャート 様々な顔画像の例を示す図

符号の説明

１ 認証部
２ ネットワーク
３ 撮像装置
１１ 画像入力部
１２ 画像抽出部
１３ メモリ
１４ 照合部
２１ 目位置検出部
２２ 規格化部
２３ 切り出し部
３１ 特徴量算出部
３２ メモリ
３３ 識別部
３４ 出力部

Claims (4)

1. 撮影により取得された顔を含む顔画像の入力を受け付ける画像入力手段と、
   前記顔画像における目の中心位置を検出する目位置検出手段と、
   前記検出された両目の中心位置間の距離が所定値となるように前記顔画像を規格化して規格化顔画像を得る規格化手段と、
   該規格化顔画像における両目の中心位置間の距離を基準とした所定の規格サイズを有する入力認証用画像を前記規格化顔画像から切り出す切り出し手段と、
   登録された複数の人物のそれぞれについての前記所定の規格サイズを有する認証用画像を保管する画像保管手段と、
   前記入力認証用画像と、前記画像保管手段に保管された認証用画像とを照合して、前記画像入力手段が入力を受け付けた前記顔画像の人物が登録された人物であるか否かを判定して判定結果を出力する照合手段とを備えたことを特徴とする顔認証システム。
2. 前記目位置検出手段は、前記目の中心位置の識別に用いる少なくとも１つの特徴量を前記顔画像から算出する特徴量算出手段と、
   顔であることが分かっている、前記目の中心位置および／または位置関係が正規化された複数のサンプル画像と、顔でないことが分かっている複数のサンプル画像とからなる多数のサンプル画像群に含まれる前記少なくとも１つの特徴量をマシンラーニングの手法によりあらかじめ学習することにより得られた、前記少なくとも１つの特徴量と該少なくとも１つの特徴量の各々に対応する識別条件とをあらかじめ規定する参照データを、前記顔画像から算出された少なくとも１つの特徴量に基づいて参照して、前記顔画像に含まれる前記目の中心位置の識別を行う識別手段とを備えたことを特徴とする請求項１記載の顔認証システム。
3. 撮影により取得された顔を含む顔画像の入力を受け付け、
   前記顔画像における目の中心位置を検出し、
   前記検出された両目の中心位置間の距離が所定値となるように前記顔画像を規格化して規格化顔画像を得、
   該規格化顔画像における両目の中心位置間の距離を基準とした所定の規格サイズを有する入力認証用画像を前記規格化顔画像から切り出し、
   前記入力認証用画像と、登録された複数の人物のそれぞれについての前記所定の規格サイズを有する認証用画像とを照合して、前記画像入力手段が入力を受け付けた前記顔画像の人物が登録された人物であるか否かを判定して判定結果を出力することを特徴とする顔認証方法。
4. 撮影により取得された顔を含む顔画像の入力を受け付ける手順と、
   前記顔画像における目の中心位置を検出する手順と、
   前記検出された両目の中心位置間の距離が所定値となるように前記顔画像を規格化して規格化顔画像を得る手順と、
   該規格化顔画像における両目の中心位置間の距離を基準とした所定の規格サイズを有する入力認証用画像を前記規格化顔画像から切り出す手順と、
   前記入力認証用画像と、登録された複数の人物のそれぞれについての前記所定の規格サイズを有する認証用画像とを照合して、前記画像入力手段が入力を受け付けた前記顔画像の人物が登録された人物であるか否かを判定して判定結果を出力する手順とを有することを特徴とする顔認証方法をコンピュータに実行させるためのプログラム。

Images