以下に添付図面を参照して、本発明に係る画像照合手法を適用した画像照合装置および画像照合方法の実施例を詳細に説明する。なお、以下では、本発明に係る画像照合手法の概略について図1を用いて説明した後に、本発明に係る画像照合手法を適用した実施例を図2〜図8を用いて説明することとする。
まず、実施例の詳細な説明に先立ち、本発明に係る画像照合手法の概念について図1を用いて説明する。図1は、本発明に係る画像照合手法の概念を説明するための図である。ここで、同図の(A)には、入力顔画像に対するサンプル点の設定処理を、同図の(B)には、入力顔データと登録顔データとの照合処理をそれぞれ示している。
本発明に係る画像照合手法は、所定の対象物を撮影した入力画像とかかる対象物に関する登録画像との間で、サンプル点における特徴を比較することによって入力画像と登録画像とを照合する手法である。なお、ここでは、照合対象が人物の顔である場合について説明するが、本発明に係る画像照合手法は、掌紋等の身体の他の部位を照合対象としてもよいし、身体の部位以外の対象物を照合対象としてもよい。
同図の(A)に示したように、本発明に係る画像照合手法では、顔角度が異なる複数の平均顔データの集合である平均顔データ群を標準顔画像(標準画像)の集合である標準顔画像群(標準画像群)として用いて入力顔画像上にサンプル点を設定する点を特徴の一つとしている。なお、標準画像として特定の人物の顔を用いることも可能であるが、多様な入力顔画像に対応するためには、平均顔が望ましい。
ここで、「顔角度」とは、正面向きを基準としたときの顔向きの角度であり、水平方向の角度である方位角と垂直方向の角度である仰角との組合せで表される。また、「平均顔データ」とは、複数の人物の顔画像を平均した平均顔画像、かかる平均顔画像上にあらかじめ設定されたサンプル点およびサンプル点における特徴量を含んだデータである。なお、ここでは、平均顔画像および各サンプル点の特徴量が平均顔データに含まれる場合について説明するが、平均顔データは、少なくとも特徴量を含んでいればよい。
図1の(A)に示したように、本発明に係る画像照合手法では、照合対象となる入力顔画像を受け取ると、平均顔データ群の中から、入力顔画像の顔角度に対応する平均顔データを選択する(同図の(A−1)参照)。
具体的には、入力顔画像の顔角度を検出し、検出した顔角度に近い顔角度を持つ平均顔データを平均顔データ群から選択する。なお、顔角度の検出には、たとえば、顔角度ごとにあらかじめ用意されたテンプレートと照合を行い、類似度が高いテンプレートの角度を顔角度として検出する方法や顔角度ごとに特徴を抽出して学習した結果を用いて顔角度を検出する方法等の顔角度検出技術を用いることができる(たとえば、特開2001−291108号公報、特許第4092059号公報参照)。
つづいて、平均顔データ群から選択した平均顔データを用いて、この平均顔データの平均顔画像上に設定されたサンプル点に対応するサンプル点を入力顔画像上に設定する(同図の(A−2)参照)。具体的には、平均画像上のサンプル点周辺の部分領域と、これに対応する入力画像上のサンプル点周辺の部分領域との類似度が極大値となるような入力画像上のサンプル点の位置を探索して設定する(特許第4187494号公報または特開2005−346654号公報参照)。
このように、本発明に係る画像照合手法では、入力顔画像の顔角度に対応する顔角度の平均顔データを用いてサンプル点を設定することとしたため、入力画像上にサンプル点を適切に設定することができる。なお、ここでは、平均顔画像上に100個のサンプル点が設定されており、これらサンプル点に対応する100個のサンプル点が入力顔画像上に設定されることとなる。
さらに、本発明に係る画像照合手法では、図1の(B)に示したように、顔角度が異なる複数の登録顔データの集合である登録顔データ群から対応する登録顔データを選択して入力顔データとの照合を行う点にも特徴を有する。
ここで、「登録顔データ」とは、あらかじめ登録された人物の顔画像である登録顔画像、かかる登録顔画像上に設定されたサンプル点およびサンプル点における特徴量を含んだデータである。なお、登録顔データ群に含まれる登録顔データの顔角度は、平均顔データ群に含まれる平均顔データの顔角度と厳密に一致させる必要はない。これは、顔角度の差が小さい場合、照合精度の低下は軽微だからである。また、平均顔データと同様、登録顔データも少なくとも特徴量を含んでいればよい。
図1の(B)に示したように、本発明に係る画像照合手法では、入力顔画像に対するサンプル点の設定に用いた平均顔データの顔角度に対応する登録顔データを登録顔データ群から選択する(同図の(B−1)参照)。そして、入力顔データ上のサンプル点における特徴量と登録顔データ上のサンプル点における特徴量との類似度に基づいて入力顔画像と登録顔画像とを照合する(同図の(B−2)参照)。
このように、本発明に係る画像照合手法では、平均顔データ群の中から入力顔画像の顔角度に対応する平均顔データを選択し、選択した平均顔画像上のサンプル点に基づいて入力画像上のサンプル点を設定する。そして、本発明に係る画像照合手法では、設定した入力画像上のサンプル点における特徴量と登録画像上のサンプル点における特徴量との類似度に基づいて入力画像と登録画像とを照合することとした。したがって、入力画像の顔角度に関係なく入力顔画像と登録顔画像との照合を精度良く行うことができる。
また、本発明に係る画像照合手法では、入力顔画像の顔角度に対応する登録顔データを用いて入力顔画像の照合を行うこととしたため、入力顔画像と登録顔画像との照合精度をさらに高めることができる。
なお、本発明に係る画像照合手法では、登録顔データを登録する場合に、登録顔画像の顔角度に対応する平均顔データを用いることによって登録顔画像に対するサンプル点の設定を適切に行うこととしている。このように、入力顔画像に対するサンプル点の設定だけでなく、登録顔画像に対するサンプル点の設定も適切に行うことによって、入力顔画像と登録顔画像との照合精度をさらに高めることができる。かかる点の詳細については、実施例において後述することとする。
ところで、顔照合の照合精度は、一般的に、正面顔を照合する場合が最も高く、顔の向きが正面からずれるほど低くなる。すなわち、入力顔画像の顔角度が大きくなると、入力顔画像の人物と登録顔画像の人物が異なる人物であっても、両画像の類似度が高く算出され、本人と判定されるおそれがある。
そこで、本実施例に係る画像照合手法では、入力顔画像の顔角度に基づき、入力顔画像と登録顔画像との類似度を補正することで、顔角度の変化による照合精度の低下に対処することとしている。なお、かかる点の詳細についても、実施例において後述する。
なお、平均顔データの作成や各サンプル点における特徴量の抽出、類似度の算出等の具体的な処理については、特許第4187494号公報や特開2005−346654号公報等に記載された技術を用いることができる。
具体的には、特許第4187494号公報や特開2005−346654号公報に記載の技術では、照合前の学習段階において、複数の人物の顔画像の集まりである顔画像集合内の各画像を両目、鼻、口等の位置が重なるようにして正規化したうえで、各画素の濃淡値を平均することによって平均顔データを作成しておく。また、平均顔データに設定されたサンプル点に対応する顔画像集合内の各画像上のサンプル点を検出して該サンプル点における局所的な特徴を比較することによって類似度を算出し、画像を照合する。
サンプル点における局所的な特徴は、サンプル点周辺の画素の濃淡値やその濃淡値の変化率の他、任意の値を特徴量とすることができる。特徴量の集まりを一つの特徴ベクトルとし、登録画像の特徴ベクトルと入力画像の特徴ベクトルとの距離から類似度を算出する。
図2は、本実施例に係る顔画像照合装置の構成を示すブロック図である。なお、同図には、顔画像照合装置の特徴を説明するために必要な構成要素のみを示しており、一般的な構成要素についての記載を省略している。同図に示すように、顔画像照合装置1は、制御部11と記憶部12とを備えている。
制御部11は、顔画像照合装置1全体を制御する制御部であり、登録顔データ群を作成するための顔角度変換部11aと登録顔画像サンプル点設定部11b、入力顔画像を登録顔データと照合するための顔角度検出部11cと入力顔画像サンプル点設定部11dと登録顔データ選択部11eと照合部11fとを備えている。また、記憶部12は、各種情報を記憶するハードディスク装置や半導体記憶装置といったデバイスであり、平均顔データ群12aと、登録顔データ群12bとを記憶している。
顔角度変換部11aは、登録顔画像を受け取った場合に、受け取った登録顔画像の顔角度を規定の角度に変換して登録顔画像サンプル点設定部11bへ渡す処理部である。
ここで、登録顔画像の顔角度を変換する技術としては、たとえば、特開平4―256185号公報や特許第2787612号公報等において開示されている画像処理技術を用いることができる。具体的には、かかる画像処理技術は、対象となる顔の3次元形状を測定したデータや顔の2次元画像をもとにして、顔の3次元モデルを作成し、作成した3次元モデルの角度を変化させることで、任意の角度の顔画像を得る技術である。
なお、ここでは、正面画像が登録顔画像として入力されるものとするが、正面以外を向いた登録顔画像を用いて登録顔データを作成する場合には、顔角度変換部11aは、受け取った登録顔画像をそのまま登録顔画像サンプル点設定部11bへ渡す。
登録顔画像サンプル点設定部11bは、顔角度変換部11aから登録顔画像を受け取った場合に、受け取った登録顔画像上にサンプル点を設定する処理部である。
具体的には、登録顔画像サンプル点設定部11bは、まず、受け取った登録顔画像の顔角度に対応する平均顔データを平均顔データ群12aから選択する。また、登録顔画像サンプル点設定部11bは、選択された平均顔データに含まれる平均顔画像上のサンプル点に対応するサンプル点を登録顔画像に対して設定する。
また、登録顔画像サンプル点設定部11bは、設定した各サンプル点における特徴量を登録顔画像から抽出する。そして、登録顔画像サンプル点設定部11bは、登録顔画像とかかる登録顔画像上に設定されたサンプル点と各サンプル点における特徴量を含んだ登録顔データを生成して登録顔データ群12bとして記憶部12に記憶する。
ここで、顔角度変換部11aおよび登録顔画像サンプル点設定部11bを用いて実行される登録顔データの登録処理について図3を用いて説明する。図3は、登録顔データの登録処理を説明するための図である。なお、同図の(A)には、角度変換部11aの動作例を、同図の(B)には、登録顔画像サンプル点設定部11bの動作例を、同図の(C)には、登録顔データ群12bの一例をそれぞれ示している。
同図の(A)に示したように、顔角度変換部11aは、登録顔画像(正面画像)を受け取ると、受け取った登録顔画像を規定の顔角度へ変換する(同図の(A−1)参照)。具体的には、顔角度変換部11aは、方位角「−30°」、「−15°」、「0°」、「+15°」、「+30°」、仰角「−30°」、「0°」、「+30°」の組合せである15パターンから方位角「0°」、仰角「0°」(すなわち、正面画像)の1パターンを除外した計14パターンの顔角度の変換を行う。
このように、顔角度変換部11aは、1つの正面画像の顔角度を変換することによって、それぞれ顔角度が異なる計15個の登録顔画像を生成する。なお、ここでは、顔角度変換部11aが正面画像を角度変換して15個の登録顔画像を生成することとしたが、これに限ったものではなく、15パターンの顔角度の登録画像をあらかじめ用意しておくこととしてもよい。これらの15パターンの登録顔画像の集合が登録顔画像群であり、これらにサンプル点を設定して、登録顔データ群を作成する。
つづいて、図3の(B)に示したように、登録顔画像サンプル点設定部11bは、登録顔画像に対して平均顔データ群12aを用いてサンプル点を設定する。
ここで、図3の(B)に示したように、平均顔データ群12aは、顔角度が異なる複数の平均顔データの集合である。具体的には、平均顔データ群12aは、方位角「−30°」、「−15°」、「0°」、「+15°」、「+30°」、仰角「−30°」、「0°」、「+30°」の組合せである計15パターンの顔角度を持った平均顔データを含んでいる。
平均顔データは、それぞれの顔角度を中心とする角度領域を有している。たとえば、各平均顔データが方位角で±10°、仰角で±20°に対応可能とすると、方位角が−15°で仰角が0°の平均顔データは、方位角−5°〜+25°、仰角―20°〜+20°の角度範囲を持つ。ここでは、15個の平均顔データによって方位角「−30°〜+30°」、仰角「−30°〜+30°」の角度領域が埋め尽くされているので、登録顔画像の方位角や仰角が上記の範囲内ならば、対応できる平均顔データが必ず存在することとなる。
登録顔画像サンプル点設定部11bは、まず、登録顔画像の顔角度に対応する平均顔データを選択する(同図の(B−1)参照)。たとえば、登録顔画像サンプル点設定部11bは、方位角「−30°」、仰角「−30°」の登録顔画像に対してサンプル点を設定する場合には、方位角「−30°」、仰角「−30°」の平均顔データを平均顔データ群12aから選択する。
なお、ここでは、平均顔データ群12aに含まれる各平均顔データの顔角度と登録顔データ群12bに含まれる各登録顔データの顔角度とを一致させた場合について示しているが、登録顔データの顔角度は、必ずしも平均顔データの顔角度と一致させる必要はない。登録顔データの顔角度と平均顔データの顔角度とが一致しない場合には、登録顔画像サンプル点設定部11bは、登録顔データの顔角度と近い顔角度を持つ平均顔データを選択すればよい。
つづいて、登録顔画像サンプル点設定部11bは、選択した平均顔データを用いて登録顔データ上にサンプル点を設定する(同図の(B−2)参照)。そして、登録顔画像サンプル点設定部11bは、設定した各サンプル点における特徴量を登録顔画像から抽出して登録顔データを生成する。
なお、登録画像サンプル点設定部11bおよび後述する入力画像サンプル点設定部11dは、各平均顔データを用いてそれぞれの角度領域内の顔角度の顔画像に対して適切なサンプル点を設定可能である。ここで、角度領域については、照合アルゴリズムの性能に影響されるため、実験等で適切な値を定める。
また、サンプル点の具体的な設定方法および特徴量の具体的な抽出方法については、特許第4187494号公報または特開2005−346654号公報等に記載された方法を用いることができる。
このようにして、顔角度変換部11aによって生成された登録顔画像群について、登録顔画像サンプル点設定部11bが同図の(B)に示した処理を繰り返すことによって、同図の(C)に示すような登録顔データ群12bが作成される。なお、登録顔データ群12bは、1つの登録顔画像(正面画像)ごとに作成される。
このように、登録顔画像サンプル点設定部11bが、登録顔画像の顔角度に対応する平均顔データを平均顔データ群12aから選択するとともに、選択した平均顔データに含まれる平均顔画像上のサンプル点に基づいて登録顔画像上のサンプル点を設定することとした。したがって、顔角度の異なる複数の登録顔画像に対してサンプル点を適切に設定することができ、この結果、入力顔画像と登録顔画像との照合を精度良く行うことができる。
図2に戻り、制御部11についての説明を続ける。顔角度検出部11cは、入力顔画像を受け取った場合に、受け取った入力顔画像の顔角度を検出する処理部である。また、顔角度検出部11cは、顔角度を検出すると、検出した顔角度を入力顔画像とともに入力顔画像サンプル点設定部11dへ渡す処理も行う。
なお、顔角度検出部11cによる顔角度検出処理としては、前述の通り任意の顔角度検出技術を用いることができる。
入力顔画像サンプル点設定部11dは、顔角度検出部11cから顔角度および入力顔画像を受け取ると、受け取った顔角度に対応する平均顔データを用いて入力顔画像上にサンプル点を設定する処理部である。
具体的には、入力顔画像サンプル点設定部11dは、まず、受け取った顔角度を角度領域内に含む平均顔データを平均顔データ群12aから選択する。ここで、該当する平均顔データが複数存在する場合には、入力顔画像サンプル点設定部11dは、該当する全ての平均顔データを選択する。
このように、顔角度検出部11cが、入力顔画像の顔角度を検出し、入力顔画像サンプル点設定部11dが、検出された顔角度に対応する平均顔画像を平均顔データ群12aの中から選択することとしたため、入力顔画像の顔角度に対応する平均顔データをより確実に選択することができる。
また、入力顔画像サンプル点設定部11dは、選択された平均顔データに含まれる平均顔画像上のサンプル点に対応するサンプル点を入力顔画像に対して設定する。なお、複数の平均顔データが選択された場合には、それぞれの平均顔データに基づいてサンプル点を設定する。
また、入力顔画像サンプル点設定部11dは、入力顔画像に対してサンプル点を設定すると、設定されたサンプル点における特徴量を入力顔画像から抽出する。そして、入力顔画像サンプル点設定部11dは、入力顔画像と、かかる入力顔画像に対して設定されたサンプル点および各サンプル点における特徴量を含んだ入力顔データを登録顔データ選択部11eへ渡す。
登録顔データ選択部11eは、入力顔画像サンプル点設定部11dから入力顔データを受け取ると、対応する登録顔データを登録顔データ群12bから選択する処理部である。
具体的には、登録顔データ選択部11eは、入力顔画像に対してサンプル点を設定する際に入力顔画像サンプル点設定部11dによって選択された平均顔データの顔角度に対応する登録顔データを登録顔データ群12bから選択する。
また、登録顔データ選択部11eは、登録顔データを選択すると、選択した登録顔データを入力顔データとともに照合部11fへ渡す処理も行う。
照合部11fは、登録顔データ選択部11eから入力顔データおよび登録顔データを受け取ると、入力顔データの各サンプル点における特徴量と登録顔データの対応するサンプル点における特徴量との類似度に基づいて入力顔画像と登録顔画像とを照合する処理部である。
具体的には、照合部11fは、算出された類似度が所定のしきい値以上である場合に、入力顔画像の人物と登録顔画像の人物とを同一人物と判定し、しきい値未満である場合には、他人と判定する。
ここで、顔角度検出部11c、入力顔画像サンプル点設定部11d、登録顔データ選択部11eおよび照合部11fによって実行される入力顔画像の照合処理について図4を用いて説明する。図4は、照合処理を説明するための図である。なお、同図の(A)には、入力顔画像に対するサンプル点の設定処理の動作例を、同図の(B)には、照合処理の動作例をそれぞれ示している。
図4の(A)に示したように、顔角度検出部11cによって検出された入力顔画像の顔角度が、方位角「−25°」、仰角「−30°」であったとする。かかる場合、入力顔画像サンプル点設定部11dは、かかる顔角度を角度領域内に含む平均顔データを平均顔データ群12aから選択する。ここでは、方位角「−30°」、仰角「−30°」の顔角度を持つ平均顔データAと方位角「−15°」、仰角「−30°」の顔角度を持つ平均顔データBとが選択されたとする。
つづいて、入力顔画像サンプル点設定部11dは、選択した平均顔データをそれぞれ用いて入力顔画像上にサンプル点を設定する。ここでは、平均顔データAおよび平均顔データBをそれぞれ用いて入力顔画像上にサンプル点を設定する。この結果、平均顔データAを用いて設定されたサンプル点における特徴量を抽出した入力顔データAと、平均顔データBを用いて設定されたサンプル点における特徴量を抽出した入力顔データBとが得られる。
つづいて、図4の(B)に示したように、登録顔データ選択部11eは、平均顔データAおよび平均顔データBの顔角度にそれぞれ対応する登録顔データを登録顔データ群12bから選択する。
具体的には、登録顔データ選択部11eは、平均顔データAに対応する登録顔データとして方位角「−30°」、仰角「−30°」の顔角度を持つ登録顔データAを選択し、平均顔データBに対応する登録顔データとして方位角「−15°」、仰角「−30°」の顔角度を持つ登録顔データBを選択する。
つづいて、照合部11fは、平均顔データAを用いてサンプル点を設定した入力顔データAと、平均顔データAの顔角度に対応する登録顔データAとの間で、各サンプル点における特徴量の類似度を算出する(同図の(B−1)参照)。
同様に、照合部11fは、平均顔データBを用いてサンプル点を設定した入力顔データBと、平均顔データBの顔角度に対応する登録顔データBとの間で、各サンプル点における特徴量の類似度を算出する(同図の(B−2)参照)。このように、照合部11fは、同一の平均顔データによってサンプル点を設定された入力顔画像および登録顔画像同士の類似度を算出する。
また、照合部11fは、算出した各類似度に基づいて最終的な類似度を決定する(同図の(B−3)参照)。ここで、照合部11fは、算出した各類似度のうち値が最も大きい類似度を最終的な類似度として決定してもよいし、各類似度の平均値を最終的な類似度として決定してもよい。
なお、照合部11fは、各類似度を単純に平均化するのではなく、入力顔画像の顔角度と各平均顔データの顔角度とのずれに応じて重み付けを行ってもよい。すなわち、照合部11fは、入力顔画像の顔角度に近い顔角度を持つ平均顔データほど類似度に対する重み付けを大きくしてもよい。これによって、より正確な類似度を得ることができる。
そして、照合部11fは、最終的に決定した類似度が所定のしきい値以上であれば、入力顔画像の人物と登録顔画像の人物とを同一人物と判定する(同図の(B−4)参照)。
ところで、顔照合の照合精度は、一般的に、正面顔を照合する場合が最も高く、顔の向きが正面からずれるほど低くなる。すなわち、入力顔画像の顔角度が大きくなると、入力顔画像の人物と登録顔画像の人物が異なる人物であっても、両画像の類似度が高く算出され、本人と判定されるおそれがある。
そこで、顔角度の変化による照合精度の低下に対処するために、入力顔画像の顔角度に基づいて類似度を補正することとしてもよい。以下では、かかる点について図5を用いて説明する。
図5は、類似度補正について説明するための図である。なお、同図の(A)には、方位角に基づいて類似度補正を行う場合について、同図の(B)には、さらに仰角に基づいて類似度補正を行う場合についてそれぞれ示している。
同図の(A)に示したように、類似度に対して掛け合わせる係数が平均顔データごとにあらかじめ設定されている。たとえば、照合部11fは、方位角「−15°」の顔角度を持つ平均顔データを用いて入力顔画像上にサンプル点を設定した場合には、かかる平均顔データに対して設定された係数「α」を類似度に対して掛け合わせる。
ここで、平均顔データごとに設定された係数は、方位角の絶対値が大きくなるほど、小さくなるように設定されている。すなわち、方位角「−15°」の平均顔データに対して設定された係数「α」は、方位角「0°」の平均顔データに対して設定された係数「1」よりも小さく、方位角「−30°」の平均顔データに対して設定された係数「β」よりも大きい。
この結果、顔角度の方位角が大きい平均顔データを用いてサンプル点が設定された入力顔画像(すなわち、方位角が大きい入力顔角度)ほど類似度が小さく補正されることとなる。したがって、入力顔画像の顔角度が大きい場合に、入力顔画像の人物と登録顔画像の人物が異なる人物であるにもかかわらず、本人と判定されることを防止することができる。
このように、入力顔画像サンプル点設定部11dによって選択された平均顔データの顔角度に基づいて類似度を補正したうえで、補正後の類似度に基づいて入力顔画像と登録顔画像とを照合することによって、顔角度の変化に伴う照合精度の低下を防止することができる。
なお、同図の(A)では、顔角度のうち方位角のみに基づいて類似度を補正する場合について説明したが、さらに仰角も考慮して類似度補正を行ってもよい。
たとえば、同図の(B)に示したように、仰角「−30°」および「+30°」の顔角度を持つ平均顔データには、係数「γ」があらかじめ設定されている。かかる係数「γ」は、仰角「0°」の顔角度を持つ平均顔データに対して設定された係数「1」よりも小さい。
また、照合部11fは、方位角ごとに設定された係数「1」、「α」および「β」と仰角ごとに設定された係数「γ」との組合せによって類似度に対して掛け合わせる係数を決定する。
たとえば、入力顔画像に対するサンプル点の設定に用いられた平均顔データが、方位角「−30°」、仰角「−30°」の顔角度を持つ平均顔データである場合には、方位角「−30°」に対応する係数「β」と仰角「−30°」に対応する係数「γ」とを掛け合わせた「β・γ」を類似度に対して掛け合わせる係数として決定する。
なお、ここでは、方位角ごとに設定された係数と仰角ごとに設定された係数とを組み合わせることで、類似度に対して掛け合わせる係数を決定することとしたが、全ての平均顔データに係数があらかじめ設定されていてもよい。
次に、実施例1に係る顔画像照合装置1の具体的動作について説明する。まず、登録顔データの登録処理の処理手順について図6を用いて説明する。図6は、登録顔データの登録処理の処理手順を示すフローチャートである。
図6に示すように、顔画像照合装置1では、顔角度変換部11aが、登録顔画像を取得すると(ステップS101)、取得した登録顔画像の顔角度を規定の顔角度へ変換し(ステップS102)、登録顔画像サンプル点設定部11bが、変換後の顔角度に対応する平均顔データを平均顔データ群12aから選択する(ステップS103)。
つづいて、顔画像照合装置1では、登録顔画像サンプル点設定部11bが、選択した平均顔データ上のサンプル点に対応するサンプル点を登録顔画像上に設定し(ステップS104)、設定したサンプル点における特徴量を抽出して(ステップS105)、登録顔データとして記憶部12に記憶する(ステップS106)。
つづいて、顔画像照合装置1では、規定された全ての顔角度についてステップS102〜S106までの処理が完了したか否かを判定し(ステップS107)、処理済みでなければ(ステップS107、No)、未処理の顔角度についてステップS102〜S106までの処理を繰り返し、処理済みであれば(ステップS107、Yes)、処理を終了する。
次に、入力顔画像の照合処理について図7を用いて説明する。図7は、入力顔画像の照合処理の処理手順を示すフローチャートである。
図7に示すように、顔画像照合装置1では、顔角度検出部11cが、入力顔画像を取得すると、取得した入力顔画像の顔角度を検出し(ステップS201)、入力顔画像サンプル点設定部11dが、検出された顔角度に対応する平均顔データを平均顔データ群12aから選択する(ステップS202)。
つづいて、顔画像照合装置1では、入力顔画像サンプル点設定部11dが、選択した平均顔データのサンプル点に対応するサンプル点を入力顔画像上に設定し(ステップS203)、設定したサンプル点における特徴量を抽出する(ステップS204)。また、登録顔データ選択部11eは、入力顔画像サンプル点設定部11dによって選択された平均顔データの顔角度に対応する登録顔データを選択する(ステップS205)。
つづいて、顔画像照合装置1では、照合部11fが、入力顔データの各サンプル点における特徴量と登録顔データの対応するサンプル点における特徴量との類似度を算出する(ステップS206)。また、照合部11fは、算出した類似度を顔角度に応じて補正する(ステップS207)。
そして、照合部11fは、補正後の類似度がしきい値以上であるか否かを判定し(ステップS208)、しきい値以上である場合には(ステップS208、Yes)、入力顔画像の人物と登録顔画像の人物とが同一人物であると判定して(ステップS209)、処理を終える。一方、照合部11fは、補正後の類似度がしきい値未満である場合には(ステップS208、No)、入力顔画像の人物と登録顔画像の人物とが他人であると判定して(ステップS210)、処理を終える。
上述してきたように、本実施例では、入力顔画像サンプル点設定部が、平均顔データ群の中から入力顔画像の顔角度に対応する平均顔データを選択するとともに、選択した平均顔データのサンプル点に基づいて入力顔画像上のサンプル点を設定し、照合部が、入力顔画像上のサンプル点における特徴量と登録顔画像上のサンプル点における特徴量との類似度に基づいて入力顔画像と登録顔画像とを照合することとした。したがって、入力顔画像の顔角度に関係なく入力顔画像と登録顔画像との照合を精度良く行うことができる。
また、本実施例では、登録顔データ選択部が、入力顔画像サンプル点設定部によって選択された平均顔データの顔角度に対応する登録顔データを登録顔データ群の中から選択し、照合部が、登録顔データ選択部によって選択された登録顔画像と入力顔画像とを照合することとした。したがって、入力顔画像と登録顔画像とをより精度よく照合することができる。
ところで、上述してきた実施例では、顔角度検出部11cが、入力顔画像の顔角度を検出し、入力顔画像サンプル点設定部11dが、検出された顔角度に対応する平均顔データを平均顔データ群12aの中から選択することとしたが、必ずしも顔角度の検出を行う必要はない。
たとえば、入力顔画像サンプル点設定部11dは、平均顔データ群12aに含まれる各平均顔データを用いて入力顔画像上にサンプル点を設定したうえで、入力顔画像の顔角度に対応する平均顔データを絞り込むこととしてもよい。以下では、かかる点について図8を用いて説明しておく。図8は、顔角度の検出を行わない場合における入力顔画像サンプル点設定部11dの動作例を示す図である。
同図に示すように、入力顔画像サンプル点設定部11dは、入力顔画像を取得すると、平均顔データ群12aに含まれる各平均顔データ(ここでは、平均顔データA〜平均顔データO)を用いて入力顔画像上にサンプル点を設定する。また、入力顔画像サンプル点設定部11dは、設定したサンプル点における特徴量をそれぞれ抽出することによって、各平均顔データに対応する入力顔データ(ここでは、入力顔データA〜入力顔データO)を生成する。なお、ここでは、処理負荷を下げるため、設定したサンプル点の代表点についてのみ特徴量の抽出を行う。
つづいて、入力顔画像サンプル点設定部11dは、各入力顔データの代表点における特徴量に基づいて入力顔画像に対応する平均顔データを絞り込む。
ここで、入力顔画像上に設定したサンプル点における特徴量が、対応する平均顔データのサンプル点における特徴量と大きく異なる場合には、平均顔データの顔角度と入力顔画像の顔角度とのずれが大きく、入力顔画像上にサンプル点が適切に設定されなかったと考えられる。一方、両特徴量が近い場合には、平均顔データの顔角度が入力顔画像の顔角度と近いために、入力顔画像上にサンプル点が適切に設定されたと考えることができる。
そこで、入力顔画像サンプル点設定部11dは、入力顔画像上の代表点における特徴量と、対応する平均顔データのサンプル点における特徴量との類似度を算出し、この類似度があるしきい値よりも大きい場合に、あるいは、類似度が最も大きくなる場合に、かかる平均顔データを入力顔データに対応する平均顔データとして絞り込む。
なお、ここでは、最終的に1つの入力顔データAが絞り込まれる場合を示しているが、最終的に絞り込まれる入力顔データは、複数であってもよい。
ところで、上述してきた実施例では、登録顔データを登録する場合に、人物の正面画像を取得し、取得した正面画像の顔角度を規定の顔角度へ変換することによって顔角度ごとの登録顔データを生成する場合について説明してきた。しかしながら、監視カメラ等で撮影した画像から登録顔画像を生成するような場合には、人物の正面画像ではなく、顔角度が不明な画像しか取得できない可能性もある。
このような場合には、顔角度検出部11cが、取得した登録顔画像の顔角度を検出し、登録顔画像サンプル点設定部11bが、検出された顔角度に対応する顔角度の平均顔データを用いて登録顔画像上にサンプル点を設定し、設定した各サンプル点における特徴量を抽出して登録画像データを生成することとすればよい。このようにすれば、人物の正面画像以外の画像からでも登録顔データを生成することができる。
なお、上述してきた実施例では、登録顔データ選択部11eが、入力顔画像サンプル点設定部11dによって選択された平均顔データの顔角度に対応する登録顔データを選択することとしたが、これに限ったものではない。たとえば、登録顔データ選択部11eが、入力顔画像の顔角度に対応する登録顔データを選択し、入力顔画像サンプル点設定部11dが、登録顔データに設定されたサンプル点に基づいて入力顔画像中にサンプル点を設定してもよい。このようにすることで、平均顔データを用いる場合に比べて照合精度をさらに高めることができる。
同様に、上述してきた実施例では、照合部11fが、入力顔画像サンプル点設定部11dによって選択された平均顔データの顔角度に基づいて類似度を補正することとしたが、これに限ったものではなく、照合部11fは、入力顔画像の顔角度に基づいて類似度を補正することとしてもよい。