JP5628570B2 - 画像照合装置および画像照合方法 - Google Patents

Description

この発明は、対象物を撮影した入力画像をかかる対象物に関する複数の登録画像と照合する画像照合装置および画像照合方法に関する。

従来、顔や掌紋等をＣＣＤ（Charge Coupled Device）カメラ等で撮影して入力画像とし、この入力画像と予め登録してある顔や掌紋等の登録画像とを照合することによって本人確認を行う画像照合方法が知られている。

ここで、顔や掌紋等は、表情の変化や掌の開き加減等によって変形し易い。また、撮影角度によっても顔や掌紋等が変形して見える場合がある。このため、単に入力画像と複数の登録画像とを重ね合わせて一致の度合いを比較するだけでは高い識別能力を発揮することができない。

そこで、近年、入力画像上および登録画像上にそれぞれ複数のサンプル点を設定し、サンプル点ごとに照合を行うことで、顔や掌紋等の変形に対応することができる照合方法が提案されている（たとえば、特許文献１および２参照）。

ここで、特許文献１および２に記載の照合方法では、入力画像および登録画像に対してサンプル点を適切に設定するために、標準画像に対して設定されたサンプル点に基づいて入力画像上および登録画像上にサンプル点を設定することとしている。なお、標準画像とは、たとえば、複数人の顔や掌紋等の正面画像を平均化した平均画像である。

特許第４１８７４９４号公報 特開２００５−３４６６５４号公報

しかしながら、特許文献１および２に記載の照合方法には、入力画像中の対象物の向きによっては入力画像と登録画像との照合精度が低くなるという問題があった。

これは、サンプル点の設定に用いられる標準画像が正面画像であり、入力画像中の対象物の向きが正面から大きくずれている場合には、入力画像に対してサンプル点を適切に設定することができないためである。

なお、入力画像中の対象物の向きを正面向きに補正したうえでサンプル点を設定することも考えられる。しかしながら、一般的に、正面以外の方向を向いている対象物を正面向きに補正する処理は難しく、情報の欠落も生じ易いため、好ましくない。

これらのことから、入力画像中の対象物の向きに関係なく入力画像と登録画像との照合を精度良く行うことができる画像照合装置あるいは画像照合方法の実現が課題となっている。

本発明は、上述した従来技術による問題点を解消するためになされたものであって、入力画像中の対象物の向きに関係なく入力画像と登録画像との照合を精度良く行うことができる画像照合装置および画像照合方法を提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明は、所定の対象物を撮影した入力画像と複数の対象物の登録画像との間で、サンプル点における特徴を比較することによって前記入力画像と前記登録画像とを照合する画像照合装置であって、前記対象物に関する標準画像を前記対象物の角度ごとに作成した標準画像群の中から前記入力画像中の対象物の角度に対応する標準画像を選択する入力画像用標準画像選択部と、前記入力画像用標準画像選択部によって選択された標準画像上のサンプル点に対応したサンプル点を前記入力画像上に設定する入力画像サンプル点設定部と、前記対象物の角度が異なる複数の前記登録画像を含んだ登録画像群の中から、前記入力画像用標準画像選択部によって選択された標準画像中の対象物の角度または前記入力画像中の対象物の角度に対応する登録画像を選択する登録画像選択部と、前記入力画像サンプル点設定部によって設定された前記入力画像上のサンプル点における特徴量と前記登録画像上のサンプル点における特徴量との類似度に基づいて前記入力画像と前記登録画像とを照合する照合部とを備えたことを特徴とする。このため、本発明によれば、入力画像中の対象物の向きに関係なく入力画像と登録画像との照合を精度良く行うことができるという効果を奏する。

また、本発明は、上記の発明において、前記登録画像中の対象物の角度に対応する標準画像を前記標準画像群から選択する登録画像用標準画像選択部と、前記登録画像用標準画像選択部によって選択された標準画像上のサンプル点に基づいて前記登録画像上のサンプル点を設定する登録画像サンプル点設定部とをさらに備えたことを特徴とする。このため、本発明によれば、対象物の角度が異なる各登録画像に対してサンプル点を適切に設定することができ、この結果、入力画像と登録画像との照合を精度良く行うことができるという効果を奏する。

また、本発明は、上記の発明において、前記照合部は、前記入力画像用標準画像選択部によって選択された標準画像中の対象物の角度または前記入力画像中の対象物の角度に基づいて前記類似度を補正したうえで、補正後の類似度に基づいて前記入力画像と前記登録画像とを照合することを特徴とする。このため、本発明によれば、入力画像中の対象物の角度の変化に伴う照合精度の低下を防止することができるという効果を奏する。

本発明によれば、入力画像中の対象物の向きに関係なく入力画像と登録画像との照合を精度良く行うことができるという効果を奏する。

図１は、本発明に係る画像照合手法の概念を説明するための図である。 図２は、本実施例に係る画像照合装置の構成を示すブロック図である。 図３は、登録顔データの登録処理を説明するための図である。 図４は、照合処理を説明するための図である。 図５は、類似度補正について説明するための図である。 図６は、登録顔データの登録処理の処理手順を示すフローチャートである。 図７は、入力顔画像の照合処理の処理手順を示すフローチャートである。 図８は、顔角度の検出を行わない場合における入力顔画像サンプル点設定部の動作例を示す図である。

以下に添付図面を参照して、本発明に係る画像照合手法を適用した画像照合装置および画像照合方法の実施例を詳細に説明する。なお、以下では、本発明に係る画像照合手法の概略について図１を用いて説明した後に、本発明に係る画像照合手法を適用した実施例を図２〜図８を用いて説明することとする。

まず、実施例の詳細な説明に先立ち、本発明に係る画像照合手法の概念について図１を用いて説明する。図１は、本発明に係る画像照合手法の概念を説明するための図である。ここで、同図の（Ａ）には、入力顔画像に対するサンプル点の設定処理を、同図の（Ｂ）には、入力顔データと登録顔データとの照合処理をそれぞれ示している。

本発明に係る画像照合手法は、所定の対象物を撮影した入力画像とかかる対象物に関する登録画像との間で、サンプル点における特徴を比較することによって入力画像と登録画像とを照合する手法である。なお、ここでは、照合対象が人物の顔である場合について説明するが、本発明に係る画像照合手法は、掌紋等の身体の他の部位を照合対象としてもよいし、身体の部位以外の対象物を照合対象としてもよい。

同図の（Ａ）に示したように、本発明に係る画像照合手法では、顔角度が異なる複数の平均顔データの集合である平均顔データ群を標準顔画像（標準画像）の集合である標準顔画像群（標準画像群）として用いて入力顔画像上にサンプル点を設定する点を特徴の一つとしている。なお、標準画像として特定の人物の顔を用いることも可能であるが、多様な入力顔画像に対応するためには、平均顔が望ましい。

ここで、「顔角度」とは、正面向きを基準としたときの顔向きの角度であり、水平方向の角度である方位角と垂直方向の角度である仰角との組合せで表される。また、「平均顔データ」とは、複数の人物の顔画像を平均した平均顔画像、かかる平均顔画像上にあらかじめ設定されたサンプル点およびサンプル点における特徴量を含んだデータである。なお、ここでは、平均顔画像および各サンプル点の特徴量が平均顔データに含まれる場合について説明するが、平均顔データは、少なくとも特徴量を含んでいればよい。

図１の（Ａ）に示したように、本発明に係る画像照合手法では、照合対象となる入力顔画像を受け取ると、平均顔データ群の中から、入力顔画像の顔角度に対応する平均顔データを選択する（同図の（Ａ−１）参照）。

具体的には、入力顔画像の顔角度を検出し、検出した顔角度に近い顔角度を持つ平均顔データを平均顔データ群から選択する。なお、顔角度の検出には、たとえば、顔角度ごとにあらかじめ用意されたテンプレートと照合を行い、類似度が高いテンプレートの角度を顔角度として検出する方法や顔角度ごとに特徴を抽出して学習した結果を用いて顔角度を検出する方法等の顔角度検出技術を用いることができる（たとえば、特開２００１−２９１１０８号公報、特許第４０９２０５９号公報参照）。

つづいて、平均顔データ群から選択した平均顔データを用いて、この平均顔データの平均顔画像上に設定されたサンプル点に対応するサンプル点を入力顔画像上に設定する（同図の（Ａ−２）参照）。具体的には、平均画像上のサンプル点周辺の部分領域と、これに対応する入力画像上のサンプル点周辺の部分領域との類似度が極大値となるような入力画像上のサンプル点の位置を探索して設定する（特許第４１８７４９４号公報または特開２００５−３４６６５４号公報参照）。

このように、本発明に係る画像照合手法では、入力顔画像の顔角度に対応する顔角度の平均顔データを用いてサンプル点を設定することとしたため、入力画像上にサンプル点を適切に設定することができる。なお、ここでは、平均顔画像上に１００個のサンプル点が設定されており、これらサンプル点に対応する１００個のサンプル点が入力顔画像上に設定されることとなる。

さらに、本発明に係る画像照合手法では、図１の（Ｂ）に示したように、顔角度が異なる複数の登録顔データの集合である登録顔データ群から対応する登録顔データを選択して入力顔データとの照合を行う点にも特徴を有する。

ここで、「登録顔データ」とは、あらかじめ登録された人物の顔画像である登録顔画像、かかる登録顔画像上に設定されたサンプル点およびサンプル点における特徴量を含んだデータである。なお、登録顔データ群に含まれる登録顔データの顔角度は、平均顔データ群に含まれる平均顔データの顔角度と厳密に一致させる必要はない。これは、顔角度の差が小さい場合、照合精度の低下は軽微だからである。また、平均顔データと同様、登録顔データも少なくとも特徴量を含んでいればよい。

図１の（Ｂ）に示したように、本発明に係る画像照合手法では、入力顔画像に対するサンプル点の設定に用いた平均顔データの顔角度に対応する登録顔データを登録顔データ群から選択する（同図の（Ｂ−１）参照）。そして、入力顔データ上のサンプル点における特徴量と登録顔データ上のサンプル点における特徴量との類似度に基づいて入力顔画像と登録顔画像とを照合する（同図の（Ｂ−２）参照）。

このように、本発明に係る画像照合手法では、平均顔データ群の中から入力顔画像の顔角度に対応する平均顔データを選択し、選択した平均顔画像上のサンプル点に基づいて入力画像上のサンプル点を設定する。そして、本発明に係る画像照合手法では、設定した入力画像上のサンプル点における特徴量と登録画像上のサンプル点における特徴量との類似度に基づいて入力画像と登録画像とを照合することとした。したがって、入力画像の顔角度に関係なく入力顔画像と登録顔画像との照合を精度良く行うことができる。

また、本発明に係る画像照合手法では、入力顔画像の顔角度に対応する登録顔データを用いて入力顔画像の照合を行うこととしたため、入力顔画像と登録顔画像との照合精度をさらに高めることができる。

なお、本発明に係る画像照合手法では、登録顔データを登録する場合に、登録顔画像の顔角度に対応する平均顔データを用いることによって登録顔画像に対するサンプル点の設定を適切に行うこととしている。このように、入力顔画像に対するサンプル点の設定だけでなく、登録顔画像に対するサンプル点の設定も適切に行うことによって、入力顔画像と登録顔画像との照合精度をさらに高めることができる。かかる点の詳細については、実施例において後述することとする。

ところで、顔照合の照合精度は、一般的に、正面顔を照合する場合が最も高く、顔の向きが正面からずれるほど低くなる。すなわち、入力顔画像の顔角度が大きくなると、入力顔画像の人物と登録顔画像の人物が異なる人物であっても、両画像の類似度が高く算出され、本人と判定されるおそれがある。

そこで、本実施例に係る画像照合手法では、入力顔画像の顔角度に基づき、入力顔画像と登録顔画像との類似度を補正することで、顔角度の変化による照合精度の低下に対処することとしている。なお、かかる点の詳細についても、実施例において後述する。

なお、平均顔データの作成や各サンプル点における特徴量の抽出、類似度の算出等の具体的な処理については、特許第４１８７４９４号公報や特開２００５−３４６６５４号公報等に記載された技術を用いることができる。

具体的には、特許第４１８７４９４号公報や特開２００５−３４６６５４号公報に記載の技術では、照合前の学習段階において、複数の人物の顔画像の集まりである顔画像集合内の各画像を両目、鼻、口等の位置が重なるようにして正規化したうえで、各画素の濃淡値を平均することによって平均顔データを作成しておく。また、平均顔データに設定されたサンプル点に対応する顔画像集合内の各画像上のサンプル点を検出して該サンプル点における局所的な特徴を比較することによって類似度を算出し、画像を照合する。

サンプル点における局所的な特徴は、サンプル点周辺の画素の濃淡値やその濃淡値の変化率の他、任意の値を特徴量とすることができる。特徴量の集まりを一つの特徴ベクトルとし、登録画像の特徴ベクトルと入力画像の特徴ベクトルとの距離から類似度を算出する。

以下では、図１を用いて説明した画像照合手法を適用した画像照合装置および画像照合方法についての実施例を詳細に説明する。

図２は、本実施例に係る顔画像照合装置の構成を示すブロック図である。なお、同図には、顔画像照合装置の特徴を説明するために必要な構成要素のみを示しており、一般的な構成要素についての記載を省略している。同図に示すように、顔画像照合装置１は、制御部１１と記憶部１２とを備えている。

制御部１１は、顔画像照合装置１全体を制御する制御部であり、登録顔データ群を作成するための顔角度変換部１１ａと登録顔画像サンプル点設定部１１ｂ、入力顔画像を登録顔データと照合するための顔角度検出部１１ｃと入力顔画像サンプル点設定部１１ｄと登録顔データ選択部１１ｅと照合部１１ｆとを備えている。また、記憶部１２は、各種情報を記憶するハードディスク装置や半導体記憶装置といったデバイスであり、平均顔データ群１２ａと、登録顔データ群１２ｂとを記憶している。

顔角度変換部１１ａは、登録顔画像を受け取った場合に、受け取った登録顔画像の顔角度を規定の角度に変換して登録顔画像サンプル点設定部１１ｂへ渡す処理部である。

ここで、登録顔画像の顔角度を変換する技術としては、たとえば、特開平４―２５６１８５号公報や特許第２７８７６１２号公報等において開示されている画像処理技術を用いることができる。具体的には、かかる画像処理技術は、対象となる顔の３次元形状を測定したデータや顔の２次元画像をもとにして、顔の３次元モデルを作成し、作成した３次元モデルの角度を変化させることで、任意の角度の顔画像を得る技術である。

なお、ここでは、正面画像が登録顔画像として入力されるものとするが、正面以外を向いた登録顔画像を用いて登録顔データを作成する場合には、顔角度変換部１１ａは、受け取った登録顔画像をそのまま登録顔画像サンプル点設定部１１ｂへ渡す。

登録顔画像サンプル点設定部１１ｂは、顔角度変換部１１ａから登録顔画像を受け取った場合に、受け取った登録顔画像上にサンプル点を設定する処理部である。

具体的には、登録顔画像サンプル点設定部１１ｂは、まず、受け取った登録顔画像の顔角度に対応する平均顔データを平均顔データ群１２ａから選択する。また、登録顔画像サンプル点設定部１１ｂは、選択された平均顔データに含まれる平均顔画像上のサンプル点に対応するサンプル点を登録顔画像に対して設定する。

また、登録顔画像サンプル点設定部１１ｂは、設定した各サンプル点における特徴量を登録顔画像から抽出する。そして、登録顔画像サンプル点設定部１１ｂは、登録顔画像とかかる登録顔画像上に設定されたサンプル点と各サンプル点における特徴量を含んだ登録顔データを生成して登録顔データ群１２ｂとして記憶部１２に記憶する。

ここで、顔角度変換部１１ａおよび登録顔画像サンプル点設定部１１ｂを用いて実行される登録顔データの登録処理について図３を用いて説明する。図３は、登録顔データの登録処理を説明するための図である。なお、同図の（Ａ）には、角度変換部１１ａの動作例を、同図の（Ｂ）には、登録顔画像サンプル点設定部１１ｂの動作例を、同図の（Ｃ）には、登録顔データ群１２ｂの一例をそれぞれ示している。

同図の（Ａ）に示したように、顔角度変換部１１ａは、登録顔画像（正面画像）を受け取ると、受け取った登録顔画像を規定の顔角度へ変換する（同図の（Ａ−１）参照）。具体的には、顔角度変換部１１ａは、方位角「−３０°」、「−１５°」、「０°」、「＋１５°」、「＋３０°」、仰角「−３０°」、「０°」、「＋３０°」の組合せである１５パターンから方位角「０°」、仰角「０°」（すなわち、正面画像）の１パターンを除外した計１４パターンの顔角度の変換を行う。

このように、顔角度変換部１１ａは、１つの正面画像の顔角度を変換することによって、それぞれ顔角度が異なる計１５個の登録顔画像を生成する。なお、ここでは、顔角度変換部１１ａが正面画像を角度変換して１５個の登録顔画像を生成することとしたが、これに限ったものではなく、１５パターンの顔角度の登録画像をあらかじめ用意しておくこととしてもよい。これらの１５パターンの登録顔画像の集合が登録顔画像群であり、これらにサンプル点を設定して、登録顔データ群を作成する。

つづいて、図３の（Ｂ）に示したように、登録顔画像サンプル点設定部１１ｂは、登録顔画像に対して平均顔データ群１２ａを用いてサンプル点を設定する。

ここで、図３の（Ｂ）に示したように、平均顔データ群１２ａは、顔角度が異なる複数の平均顔データの集合である。具体的には、平均顔データ群１２ａは、方位角「−３０°」、「−１５°」、「０°」、「＋１５°」、「＋３０°」、仰角「−３０°」、「０°」、「＋３０°」の組合せである計１５パターンの顔角度を持った平均顔データを含んでいる。

平均顔データは、それぞれの顔角度を中心とする角度領域を有している。たとえば、各平均顔データが方位角で±１０°、仰角で±２０°に対応可能とすると、方位角が−１５°で仰角が０°の平均顔データは、方位角−５°〜＋２５°、仰角―２０°〜＋２０°の角度範囲を持つ。ここでは、１５個の平均顔データによって方位角「−３０°〜＋３０°」、仰角「−３０°〜＋３０°」の角度領域が埋め尽くされているので、登録顔画像の方位角や仰角が上記の範囲内ならば、対応できる平均顔データが必ず存在することとなる。

登録顔画像サンプル点設定部１１ｂは、まず、登録顔画像の顔角度に対応する平均顔データを選択する（同図の（Ｂ−１）参照）。たとえば、登録顔画像サンプル点設定部１１ｂは、方位角「−３０°」、仰角「−３０°」の登録顔画像に対してサンプル点を設定する場合には、方位角「−３０°」、仰角「−３０°」の平均顔データを平均顔データ群１２ａから選択する。

なお、ここでは、平均顔データ群１２ａに含まれる各平均顔データの顔角度と登録顔データ群１２ｂに含まれる各登録顔データの顔角度とを一致させた場合について示しているが、登録顔データの顔角度は、必ずしも平均顔データの顔角度と一致させる必要はない。登録顔データの顔角度と平均顔データの顔角度とが一致しない場合には、登録顔画像サンプル点設定部１１ｂは、登録顔データの顔角度と近い顔角度を持つ平均顔データを選択すればよい。

つづいて、登録顔画像サンプル点設定部１１ｂは、選択した平均顔データを用いて登録顔データ上にサンプル点を設定する（同図の（Ｂ−２）参照）。そして、登録顔画像サンプル点設定部１１ｂは、設定した各サンプル点における特徴量を登録顔画像から抽出して登録顔データを生成する。

なお、登録画像サンプル点設定部１１ｂおよび後述する入力画像サンプル点設定部１１ｄは、各平均顔データを用いてそれぞれの角度領域内の顔角度の顔画像に対して適切なサンプル点を設定可能である。ここで、角度領域については、照合アルゴリズムの性能に影響されるため、実験等で適切な値を定める。

また、サンプル点の具体的な設定方法および特徴量の具体的な抽出方法については、特許第４１８７４９４号公報または特開２００５−３４６６５４号公報等に記載された方法を用いることができる。

このようにして、顔角度変換部１１ａによって生成された登録顔画像群について、登録顔画像サンプル点設定部１１ｂが同図の（Ｂ）に示した処理を繰り返すことによって、同図の（Ｃ）に示すような登録顔データ群１２ｂが作成される。なお、登録顔データ群１２ｂは、１つの登録顔画像（正面画像）ごとに作成される。

このように、登録顔画像サンプル点設定部１１ｂが、登録顔画像の顔角度に対応する平均顔データを平均顔データ群１２ａから選択するとともに、選択した平均顔データに含まれる平均顔画像上のサンプル点に基づいて登録顔画像上のサンプル点を設定することとした。したがって、顔角度の異なる複数の登録顔画像に対してサンプル点を適切に設定することができ、この結果、入力顔画像と登録顔画像との照合を精度良く行うことができる。

図２に戻り、制御部１１についての説明を続ける。顔角度検出部１１ｃは、入力顔画像を受け取った場合に、受け取った入力顔画像の顔角度を検出する処理部である。また、顔角度検出部１１ｃは、顔角度を検出すると、検出した顔角度を入力顔画像とともに入力顔画像サンプル点設定部１１ｄへ渡す処理も行う。

なお、顔角度検出部１１ｃによる顔角度検出処理としては、前述の通り任意の顔角度検出技術を用いることができる。

入力顔画像サンプル点設定部１１ｄは、顔角度検出部１１ｃから顔角度および入力顔画像を受け取ると、受け取った顔角度に対応する平均顔データを用いて入力顔画像上にサンプル点を設定する処理部である。

具体的には、入力顔画像サンプル点設定部１１ｄは、まず、受け取った顔角度を角度領域内に含む平均顔データを平均顔データ群１２ａから選択する。ここで、該当する平均顔データが複数存在する場合には、入力顔画像サンプル点設定部１１ｄは、該当する全ての平均顔データを選択する。

このように、顔角度検出部１１ｃが、入力顔画像の顔角度を検出し、入力顔画像サンプル点設定部１１ｄが、検出された顔角度に対応する平均顔画像を平均顔データ群１２ａの中から選択することとしたため、入力顔画像の顔角度に対応する平均顔データをより確実に選択することができる。

また、入力顔画像サンプル点設定部１１ｄは、選択された平均顔データに含まれる平均顔画像上のサンプル点に対応するサンプル点を入力顔画像に対して設定する。なお、複数の平均顔データが選択された場合には、それぞれの平均顔データに基づいてサンプル点を設定する。

また、入力顔画像サンプル点設定部１１ｄは、入力顔画像に対してサンプル点を設定すると、設定されたサンプル点における特徴量を入力顔画像から抽出する。そして、入力顔画像サンプル点設定部１１ｄは、入力顔画像と、かかる入力顔画像に対して設定されたサンプル点および各サンプル点における特徴量を含んだ入力顔データを登録顔データ選択部１１ｅへ渡す。

登録顔データ選択部１１ｅは、入力顔画像サンプル点設定部１１ｄから入力顔データを受け取ると、対応する登録顔データを登録顔データ群１２ｂから選択する処理部である。

具体的には、登録顔データ選択部１１ｅは、入力顔画像に対してサンプル点を設定する際に入力顔画像サンプル点設定部１１ｄによって選択された平均顔データの顔角度に対応する登録顔データを登録顔データ群１２ｂから選択する。

また、登録顔データ選択部１１ｅは、登録顔データを選択すると、選択した登録顔データを入力顔データとともに照合部１１ｆへ渡す処理も行う。

照合部１１ｆは、登録顔データ選択部１１ｅから入力顔データおよび登録顔データを受け取ると、入力顔データの各サンプル点における特徴量と登録顔データの対応するサンプル点における特徴量との類似度に基づいて入力顔画像と登録顔画像とを照合する処理部である。

具体的には、照合部１１ｆは、算出された類似度が所定のしきい値以上である場合に、入力顔画像の人物と登録顔画像の人物とを同一人物と判定し、しきい値未満である場合には、他人と判定する。

ここで、顔角度検出部１１ｃ、入力顔画像サンプル点設定部１１ｄ、登録顔データ選択部１１ｅおよび照合部１１ｆによって実行される入力顔画像の照合処理について図４を用いて説明する。図４は、照合処理を説明するための図である。なお、同図の（Ａ）には、入力顔画像に対するサンプル点の設定処理の動作例を、同図の（Ｂ）には、照合処理の動作例をそれぞれ示している。

図４の（Ａ）に示したように、顔角度検出部１１ｃによって検出された入力顔画像の顔角度が、方位角「−２５°」、仰角「−３０°」であったとする。かかる場合、入力顔画像サンプル点設定部１１ｄは、かかる顔角度を角度領域内に含む平均顔データを平均顔データ群１２ａから選択する。ここでは、方位角「−３０°」、仰角「−３０°」の顔角度を持つ平均顔データＡと方位角「−１５°」、仰角「−３０°」の顔角度を持つ平均顔データＢとが選択されたとする。

つづいて、入力顔画像サンプル点設定部１１ｄは、選択した平均顔データをそれぞれ用いて入力顔画像上にサンプル点を設定する。ここでは、平均顔データＡおよび平均顔データＢをそれぞれ用いて入力顔画像上にサンプル点を設定する。この結果、平均顔データＡを用いて設定されたサンプル点における特徴量を抽出した入力顔データＡと、平均顔データＢを用いて設定されたサンプル点における特徴量を抽出した入力顔データＢとが得られる。

つづいて、図４の（Ｂ）に示したように、登録顔データ選択部１１ｅは、平均顔データＡおよび平均顔データＢの顔角度にそれぞれ対応する登録顔データを登録顔データ群１２ｂから選択する。

具体的には、登録顔データ選択部１１ｅは、平均顔データＡに対応する登録顔データとして方位角「−３０°」、仰角「−３０°」の顔角度を持つ登録顔データＡを選択し、平均顔データＢに対応する登録顔データとして方位角「−１５°」、仰角「−３０°」の顔角度を持つ登録顔データＢを選択する。

つづいて、照合部１１ｆは、平均顔データＡを用いてサンプル点を設定した入力顔データＡと、平均顔データＡの顔角度に対応する登録顔データＡとの間で、各サンプル点における特徴量の類似度を算出する（同図の（Ｂ−１）参照）。

同様に、照合部１１ｆは、平均顔データＢを用いてサンプル点を設定した入力顔データＢと、平均顔データＢの顔角度に対応する登録顔データＢとの間で、各サンプル点における特徴量の類似度を算出する（同図の（Ｂ−２）参照）。このように、照合部１１ｆは、同一の平均顔データによってサンプル点を設定された入力顔画像および登録顔画像同士の類似度を算出する。

また、照合部１１ｆは、算出した各類似度に基づいて最終的な類似度を決定する（同図の（Ｂ−３）参照）。ここで、照合部１１ｆは、算出した各類似度のうち値が最も大きい類似度を最終的な類似度として決定してもよいし、各類似度の平均値を最終的な類似度として決定してもよい。

なお、照合部１１ｆは、各類似度を単純に平均化するのではなく、入力顔画像の顔角度と各平均顔データの顔角度とのずれに応じて重み付けを行ってもよい。すなわち、照合部１１ｆは、入力顔画像の顔角度に近い顔角度を持つ平均顔データほど類似度に対する重み付けを大きくしてもよい。これによって、より正確な類似度を得ることができる。

そして、照合部１１ｆは、最終的に決定した類似度が所定のしきい値以上であれば、入力顔画像の人物と登録顔画像の人物とを同一人物と判定する（同図の（Ｂ−４）参照）。

ところで、顔照合の照合精度は、一般的に、正面顔を照合する場合が最も高く、顔の向きが正面からずれるほど低くなる。すなわち、入力顔画像の顔角度が大きくなると、入力顔画像の人物と登録顔画像の人物が異なる人物であっても、両画像の類似度が高く算出され、本人と判定されるおそれがある。

そこで、顔角度の変化による照合精度の低下に対処するために、入力顔画像の顔角度に基づいて類似度を補正することとしてもよい。以下では、かかる点について図５を用いて説明する。

図５は、類似度補正について説明するための図である。なお、同図の（Ａ）には、方位角に基づいて類似度補正を行う場合について、同図の（Ｂ）には、さらに仰角に基づいて類似度補正を行う場合についてそれぞれ示している。

同図の（Ａ）に示したように、類似度に対して掛け合わせる係数が平均顔データごとにあらかじめ設定されている。たとえば、照合部１１ｆは、方位角「−１５°」の顔角度を持つ平均顔データを用いて入力顔画像上にサンプル点を設定した場合には、かかる平均顔データに対して設定された係数「α」を類似度に対して掛け合わせる。

ここで、平均顔データごとに設定された係数は、方位角の絶対値が大きくなるほど、小さくなるように設定されている。すなわち、方位角「−１５°」の平均顔データに対して設定された係数「α」は、方位角「０°」の平均顔データに対して設定された係数「１」よりも小さく、方位角「−３０°」の平均顔データに対して設定された係数「β」よりも大きい。

この結果、顔角度の方位角が大きい平均顔データを用いてサンプル点が設定された入力顔画像（すなわち、方位角が大きい入力顔角度）ほど類似度が小さく補正されることとなる。したがって、入力顔画像の顔角度が大きい場合に、入力顔画像の人物と登録顔画像の人物が異なる人物であるにもかかわらず、本人と判定されることを防止することができる。

このように、入力顔画像サンプル点設定部１１ｄによって選択された平均顔データの顔角度に基づいて類似度を補正したうえで、補正後の類似度に基づいて入力顔画像と登録顔画像とを照合することによって、顔角度の変化に伴う照合精度の低下を防止することができる。

なお、同図の（Ａ）では、顔角度のうち方位角のみに基づいて類似度を補正する場合について説明したが、さらに仰角も考慮して類似度補正を行ってもよい。

たとえば、同図の（Ｂ）に示したように、仰角「−３０°」および「＋３０°」の顔角度を持つ平均顔データには、係数「γ」があらかじめ設定されている。かかる係数「γ」は、仰角「０°」の顔角度を持つ平均顔データに対して設定された係数「１」よりも小さい。

また、照合部１１ｆは、方位角ごとに設定された係数「１」、「α」および「β」と仰角ごとに設定された係数「γ」との組合せによって類似度に対して掛け合わせる係数を決定する。

たとえば、入力顔画像に対するサンプル点の設定に用いられた平均顔データが、方位角「−３０°」、仰角「−３０°」の顔角度を持つ平均顔データである場合には、方位角「−３０°」に対応する係数「β」と仰角「−３０°」に対応する係数「γ」とを掛け合わせた「β・γ」を類似度に対して掛け合わせる係数として決定する。

なお、ここでは、方位角ごとに設定された係数と仰角ごとに設定された係数とを組み合わせることで、類似度に対して掛け合わせる係数を決定することとしたが、全ての平均顔データに係数があらかじめ設定されていてもよい。

次に、実施例１に係る顔画像照合装置１の具体的動作について説明する。まず、登録顔データの登録処理の処理手順について図６を用いて説明する。図６は、登録顔データの登録処理の処理手順を示すフローチャートである。

図６に示すように、顔画像照合装置１では、顔角度変換部１１ａが、登録顔画像を取得すると（ステップＳ１０１）、取得した登録顔画像の顔角度を規定の顔角度へ変換し（ステップＳ１０２）、登録顔画像サンプル点設定部１１ｂが、変換後の顔角度に対応する平均顔データを平均顔データ群１２ａから選択する（ステップＳ１０３）。

つづいて、顔画像照合装置１では、登録顔画像サンプル点設定部１１ｂが、選択した平均顔データ上のサンプル点に対応するサンプル点を登録顔画像上に設定し（ステップＳ１０４）、設定したサンプル点における特徴量を抽出して（ステップＳ１０５）、登録顔データとして記憶部１２に記憶する（ステップＳ１０６）。

つづいて、顔画像照合装置１では、規定された全ての顔角度についてステップＳ１０２〜Ｓ１０６までの処理が完了したか否かを判定し（ステップＳ１０７）、処理済みでなければ（ステップＳ１０７、Ｎｏ）、未処理の顔角度についてステップＳ１０２〜Ｓ１０６までの処理を繰り返し、処理済みであれば（ステップＳ１０７、Ｙｅｓ）、処理を終了する。

次に、入力顔画像の照合処理について図７を用いて説明する。図７は、入力顔画像の照合処理の処理手順を示すフローチャートである。

図７に示すように、顔画像照合装置１では、顔角度検出部１１ｃが、入力顔画像を取得すると、取得した入力顔画像の顔角度を検出し（ステップＳ２０１）、入力顔画像サンプル点設定部１１ｄが、検出された顔角度に対応する平均顔データを平均顔データ群１２ａから選択する（ステップＳ２０２）。

つづいて、顔画像照合装置１では、入力顔画像サンプル点設定部１１ｄが、選択した平均顔データのサンプル点に対応するサンプル点を入力顔画像上に設定し（ステップＳ２０３）、設定したサンプル点における特徴量を抽出する（ステップＳ２０４）。また、登録顔データ選択部１１ｅは、入力顔画像サンプル点設定部１１ｄによって選択された平均顔データの顔角度に対応する登録顔データを選択する（ステップＳ２０５）。

つづいて、顔画像照合装置１では、照合部１１ｆが、入力顔データの各サンプル点における特徴量と登録顔データの対応するサンプル点における特徴量との類似度を算出する（ステップＳ２０６）。また、照合部１１ｆは、算出した類似度を顔角度に応じて補正する（ステップＳ２０７）。

そして、照合部１１ｆは、補正後の類似度がしきい値以上であるか否かを判定し（ステップＳ２０８）、しきい値以上である場合には（ステップＳ２０８、Ｙｅｓ）、入力顔画像の人物と登録顔画像の人物とが同一人物であると判定して（ステップＳ２０９）、処理を終える。一方、照合部１１ｆは、補正後の類似度がしきい値未満である場合には（ステップＳ２０８、Ｎｏ）、入力顔画像の人物と登録顔画像の人物とが他人であると判定して（ステップＳ２１０）、処理を終える。

上述してきたように、本実施例では、入力顔画像サンプル点設定部が、平均顔データ群の中から入力顔画像の顔角度に対応する平均顔データを選択するとともに、選択した平均顔データのサンプル点に基づいて入力顔画像上のサンプル点を設定し、照合部が、入力顔画像上のサンプル点における特徴量と登録顔画像上のサンプル点における特徴量との類似度に基づいて入力顔画像と登録顔画像とを照合することとした。したがって、入力顔画像の顔角度に関係なく入力顔画像と登録顔画像との照合を精度良く行うことができる。

また、本実施例では、登録顔データ選択部が、入力顔画像サンプル点設定部によって選択された平均顔データの顔角度に対応する登録顔データを登録顔データ群の中から選択し、照合部が、登録顔データ選択部によって選択された登録顔画像と入力顔画像とを照合することとした。したがって、入力顔画像と登録顔画像とをより精度よく照合することができる。

ところで、上述してきた実施例では、顔角度検出部１１ｃが、入力顔画像の顔角度を検出し、入力顔画像サンプル点設定部１１ｄが、検出された顔角度に対応する平均顔データを平均顔データ群１２ａの中から選択することとしたが、必ずしも顔角度の検出を行う必要はない。

たとえば、入力顔画像サンプル点設定部１１ｄは、平均顔データ群１２ａに含まれる各平均顔データを用いて入力顔画像上にサンプル点を設定したうえで、入力顔画像の顔角度に対応する平均顔データを絞り込むこととしてもよい。以下では、かかる点について図８を用いて説明しておく。図８は、顔角度の検出を行わない場合における入力顔画像サンプル点設定部１１ｄの動作例を示す図である。

同図に示すように、入力顔画像サンプル点設定部１１ｄは、入力顔画像を取得すると、平均顔データ群１２ａに含まれる各平均顔データ（ここでは、平均顔データＡ〜平均顔データＯ）を用いて入力顔画像上にサンプル点を設定する。また、入力顔画像サンプル点設定部１１ｄは、設定したサンプル点における特徴量をそれぞれ抽出することによって、各平均顔データに対応する入力顔データ（ここでは、入力顔データＡ〜入力顔データＯ）を生成する。なお、ここでは、処理負荷を下げるため、設定したサンプル点の代表点についてのみ特徴量の抽出を行う。

つづいて、入力顔画像サンプル点設定部１１ｄは、各入力顔データの代表点における特徴量に基づいて入力顔画像に対応する平均顔データを絞り込む。

ここで、入力顔画像上に設定したサンプル点における特徴量が、対応する平均顔データのサンプル点における特徴量と大きく異なる場合には、平均顔データの顔角度と入力顔画像の顔角度とのずれが大きく、入力顔画像上にサンプル点が適切に設定されなかったと考えられる。一方、両特徴量が近い場合には、平均顔データの顔角度が入力顔画像の顔角度と近いために、入力顔画像上にサンプル点が適切に設定されたと考えることができる。

そこで、入力顔画像サンプル点設定部１１ｄは、入力顔画像上の代表点における特徴量と、対応する平均顔データのサンプル点における特徴量との類似度を算出し、この類似度があるしきい値よりも大きい場合に、あるいは、類似度が最も大きくなる場合に、かかる平均顔データを入力顔データに対応する平均顔データとして絞り込む。

なお、ここでは、最終的に１つの入力顔データＡが絞り込まれる場合を示しているが、最終的に絞り込まれる入力顔データは、複数であってもよい。

ところで、上述してきた実施例では、登録顔データを登録する場合に、人物の正面画像を取得し、取得した正面画像の顔角度を規定の顔角度へ変換することによって顔角度ごとの登録顔データを生成する場合について説明してきた。しかしながら、監視カメラ等で撮影した画像から登録顔画像を生成するような場合には、人物の正面画像ではなく、顔角度が不明な画像しか取得できない可能性もある。

このような場合には、顔角度検出部１１ｃが、取得した登録顔画像の顔角度を検出し、登録顔画像サンプル点設定部１１ｂが、検出された顔角度に対応する顔角度の平均顔データを用いて登録顔画像上にサンプル点を設定し、設定した各サンプル点における特徴量を抽出して登録画像データを生成することとすればよい。このようにすれば、人物の正面画像以外の画像からでも登録顔データを生成することができる。

なお、上述してきた実施例では、登録顔データ選択部１１ｅが、入力顔画像サンプル点設定部１１ｄによって選択された平均顔データの顔角度に対応する登録顔データを選択することとしたが、これに限ったものではない。たとえば、登録顔データ選択部１１ｅが、入力顔画像の顔角度に対応する登録顔データを選択し、入力顔画像サンプル点設定部１１ｄが、登録顔データに設定されたサンプル点に基づいて入力顔画像中にサンプル点を設定してもよい。このようにすることで、平均顔データを用いる場合に比べて照合精度をさらに高めることができる。

同様に、上述してきた実施例では、照合部１１ｆが、入力顔画像サンプル点設定部１１ｄによって選択された平均顔データの顔角度に基づいて類似度を補正することとしたが、これに限ったものではなく、照合部１１ｆは、入力顔画像の顔角度に基づいて類似度を補正することとしてもよい。

以上のように、本発明に係る画像照合装置および画像照合方法は、入力画像中の対象物の向きに関係なく入力画像と登録画像との照合を精度良く行いたい場合に有用であり、特に、入力顔画像と登録顔画像とを照合して本人確認を行う場合に適している。

１ 顔画像照合装置
１１ 制御部
１１ａ 顔角度変換部
１１ｂ 登録顔画像サンプル点設定部
１１ｃ 顔角度検出部
１１ｄ 入力顔画像サンプル点設定部
１１ｅ 登録顔データ選択部
１１ｆ 照合部
１２ 記憶部
１２ａ 平均顔データ群
１２ｂ 登録顔データ群

Claims (4)

1. 所定の対象物を撮影した入力画像と複数の対象物の登録画像との間で、サンプル点における特徴を比較することによって前記入力画像と前記登録画像とを照合する画像照合装置であって、
   前記対象物に関する標準画像を前記対象物の角度ごとに作成した標準画像群の中から前記入力画像中の対象物の角度に対応する標準画像を選択する入力画像用標準画像選択部と、
   前記入力画像用標準画像選択部によって選択された標準画像上のサンプル点に対応したサンプル点を前記入力画像上に設定する入力画像サンプル点設定部と、
   前記対象物の角度が異なる複数の前記登録画像を含んだ登録画像群の中から、前記入力画像用標準画像選択部によって選択された標準画像中の対象物の角度または前記入力画像中の対象物の角度に対応する登録画像を選択する登録画像選択部と、
   前記入力画像サンプル点設定部によって設定された前記入力画像上のサンプル点における特徴量と前記登録画像上のサンプル点における特徴量との類似度に基づいて前記入力画像と前記登録画像とを照合する照合部と
   を備えたことを特徴とする画像照合装置。
2. 前記登録画像中の対象物の角度に対応する標準画像を前記標準画像群から選択する登録画像用標準画像選択部と、
   前記登録画像用標準画像選択部によって選択された標準画像上のサンプル点に基づいて前記登録画像上のサンプル点を設定する登録画像サンプル点設定部と
   をさらに備えたことを特徴とする請求項１に記載の画像照合装置。
3. 前記照合部は、
   前記入力画像用標準画像選択部によって選択された標準画像中の対象物の角度または前記入力画像中の対象物の角度に基づいて前記類似度を補正したうえで、補正後の類似度に基づいて前記入力画像と前記登録画像とを照合することを特徴とする請求項１または２に記載の画像照合装置。
4. 所定の対象物を撮影した入力画像と複数の対象物の登録画像との間で、サンプル点における特徴を比較することによって前記入力画像と前記登録画像とを照合する画像照合方法であって、
   前記対象物に関する標準画像を前記対象物の角度ごとに作成した標準画像群の中から前記入力画像中の対象物の角度に対応する標準画像を選択する入力画像用標準画像選択工程と、
   前記入力画像用標準画像選択工程において選択された標準画像上のサンプル点に対応したサンプル点を前記入力画像上に設定する入力画像サンプル点設定工程と、
   前記対象物の角度が異なる複数の前記登録画像を含んだ登録画像群の中から、前記入力画像用標準画像選択工程において選択された標準画像中の対象物の角度または前記入力画像中の対象物の角度に対応する登録画像を選択する登録画像選択工程と、
   前記入力画像サンプル点設定工程において設定した前記入力画像上のサンプル点における特徴量と前記登録画像上のサンプル点における特徴量との類似度に基づいて前記入力画像と前記登録画像とを照合する照合工程と
   を含んだことを特徴とする画像照合方法。