以下、添付の図面を用いて、本実施形態にかかる本人照合システムについて説明する。
(第1の実施形態)
図1は、第1の実施形態にかかる本人照合システムの構成の一例を示す図である。図1に示すように、本実施形態にかかる本人照合システムは、ID画像登録部101、撮像画像登録部102、類似度算出部103、正規化部104、補正部105、照合部106、および出力部107を有する。
ID画像登録部101(取得物の一例)は、IDカード(記憶媒体の一例)から、建物等への入退出を管理するゲート等の所定位置を通過する照合対象人物の第1顔画像と、照合対象人物の属性(例えば、年齢、性別)を示す第1属性情報と、照合対象人物の第1顔画像から抽出する第1特徴量とを取得する。そして、ID画像登録部101は、取得した顔画像と、第1属性情報と、第1特徴量とを対応付けて記憶部に保存する。
撮像画像登録部102(撮像部の一例)は、所定位置を通過する照合対象人物の顔を撮像可能に設けられる。また、撮像画像登録部102は、所定位置を通過する照合対象人物の顔を撮像して得られる第2顔画像と、当該第2顔画像に基づく照合対象人物の属性を示す第2属性情報と、当該第2顔画像から抽出する第2特徴量とを取得する。そして、撮像画像登録部102は、取得した第2顔画像と、第2属性情報と、第2特徴量とを対応付けて記憶部に保存する。
類似度算出部103は、第1特徴量と第2特徴量とに基づいて、第1顔画像と第2顔画像との類似度を算出する。照合部106は、類似度算出部103により算出される類似度が予め設定された閾値R(所定閾値の一例)以上であるか否かに基づいて、第1顔画像と第2顔画像とを照合する照合処理を実行する。
正規化部104は、照合対象人物の属性(第1属性情報または第2属性情報が示す属性)を有する過去の照合対象人物の類似度の分布が、当該照合対象人物の属性について予め設定された分布(以下、所定分布と言う。例えば、正規分布)に近づく規則(修正量)を求める。言い換えると、正規化部104は、照合対象人物の属性を有する過去の照合対象人物の類似度の分布を、所定分布に沿うように変形する規則を求める。ここで、過去の照合対象人物とは、ID画像登録部101によって、最後に、IDカードから、第1顔画像と第1属性情報と第1特徴量とを取得した人物よりも前に所定位置を通過した人物である。
そして、正規化部104は、求めた規則に従って、類似度算出部103により算出される類似度を正規化する。これにより、照合処理の照合率を上げるために、照合対象人物の属性に応じた照合方法を事前に登録しておくことを必要としないので、本人照合システムの記憶容量を抑えたまま、照合対象人物の照合処理の照合率を上げることができる。また、第1特徴量および第2特徴量に加えて、照合対象人物の属性に応じた特徴量を増やす必要が無く、類似度を正規化するだけなので、照合処理に要する処理時間の増加を抑えることができ、人物の入退出の管理を効率的に行うことができる。
補正部105は、第1属性情報または第2属性情報が、類似度を補正すべき所定条件を満たす場合、照合処理の照合率が高くなるように、類似度算出部103により算出される類似度、または閾値Rをシフト(本実施形態では、予め設定された値だけシフト)する。これにより、照合処理の照合率を上げるために、照合対象人物の属性に応じた照合方法を事前に登録しておくことを必要としないので、本人照合システムの記憶容量を抑えたまま、照合対象人物の照合処理の照合率を上げることができる。また、第1特徴量および第2特徴量に加えて、照合対象人物の属性に応じた特徴量を増やす必要が無く、類似度を補正するだけなので、照合処理に要する処理時間の増加を抑えることができ、人物の入退出の管理を効率的に行うことができる。
次に、図1を用いて、本実施形態かかる本人照合システムの各部の詳細について説明する。ID画像登録部101は、IDカードから、第1顔画像と第1属性情報と第1特徴量とを読み取る読取部を有する。当該読取部は、照合対象人物が所定位置を通過する際に手の届く範囲に設置され、当該照合対象人物がかざしたIDカードから、第1顔画像と第1属性情報と第1特徴量とを読み取る。
ここで、IDカードは、旅券、運転免許証、マイナンバーカードなど、照合対象人物を識別可能とする識別情報を記憶可能な記憶媒体であれば良い。また、ID画像登録部101は、IDカードが第1顔画像を記憶していない場合、本人照合システムが通信可能なデータサーバから、IDカードに記憶された識別情報により特定される人物の顔画像を取得し、当該顔画像を第1顔画像としても良い。
第1特徴量は、IDカードに予め記憶されていても良いし、第1顔画像から抽出した特徴量であっても良い。第1顔画像から第1特徴量を抽出する場合、ID画像登録部101は、複数の顔画像の矩形領域の平均的な画像を、顔画像のテンプレート(以下、顔テンプレートと言う)として予め作成しておくものとする。ID画像登録部101は、IDカードから取得した第1顔画像上において、顔テンプレートを平行移動、回転、拡大縮小等する。次いで、ID画像登録部101は、第1顔画像上において、顔テンプレートとの輝度値の差分が最も小さい位置を、照合対象人物の顔に対応する検出領域として検出する。
そして、ID画像登録部101は、検出した検出領域の特徴量を、第1特徴量として抽出する。例えば、ID画像登録部101は、検出した検出領域を、m×nピクセルの矩形領域に拡大または縮小し、当該拡大または縮小した矩形領域の輝度値を、m×n次元の特徴ベクトルに変換し、当該特徴ベクトルを第1特徴量とする。また、ID画像登録部101は、本人照合システムが通信可能なデータサーバから、IDカードに記憶された識別情報により特定される人物の顔画像の特徴量を取得し、当該取得した特徴量を第1特徴量としても良い。
撮像画像登録部102は、照合対象人物が所定位置を通過する際に、当該照合対象人物の顔を撮像可能に設けられるカメラを有する。当該カメラは、平均的な身長の高さの照合対象人物の顔を撮像可能に設けられている。または、当該カメラは、照合対象人物がIDカードを、ID画像登録部101が有する読取部にかざした際に、当該照合対象人物の顔を撮像可能に設けられていても良い。また、撮像画像登録部102は、カメラによって照合対象人物の顔を撮像して得られる第2顔画像から、第2特徴量を抽出する。具体的には、撮像画像登録部102は、第2顔画像上において、顔テンプレートを平行移動、回転、拡大縮小等する。そして、ID画像登録部101は、第1顔画像上において、顔テンプレートとの輝度値の差分が最も小さい位置を、照合対象人物の顔に対応する検出領域として検出する。
次いで、ID画像登録部101は、検出した検出領域の特徴量を、第1特徴量として抽出する。例えば、ID画像登録部101は、検出した検出領域を、m×nピクセルの矩形領域に拡大または縮小し、当該拡大または縮小した矩形領域の輝度値を、m×n次元の特徴ベクトルに変換し、当該特徴ベクトルを第1特徴量とする。また、撮像画像登録部102は、第2顔画像に基づいて、第2属性情報を取得する。本実施形態では、撮像画像登録部102は、線形回帰等の回帰分析によって、第2顔画像から検出した検出領域の輝度値または第2顔画像における目や鼻等の位置関係から、照合対象人物の第2属性情報を推定する。
類似度算出部103は、第1特徴量と第2特徴量とを用いて、第1顔画像と第2顔画像との類似度を算出する。本実施形態では、類似度算出部103は、第1特徴量と第2特徴量の内積を、類似度として算出する。
正規化部104は、照合対象人物の属性または撮像画像登録部102が有するカメラの撮像条件に基づいて、算出した類似度を正規化する。本実施形態では、正規化部104は、本システムにおいて過去の照合対象人物について算出した類似度の平均値や標準偏差等に基づいて、照合対象人物の属性を有する過去の照合対象人物の類似度の分布を算出する。
そして、正規化部104は、算出した類似度の分布が、照合対象人物の属性の所定分布に沿うように変形させる規則(修正量)を求め、当該規則に従って、算出した類似度を正規化する。これにより、照合処理の照合率を上げるために、照合対象人物の属性に応じた照合方法を事前に登録しておくことを必要としないので、本人照合システムの記憶容量を抑えたまま、照合対象人物の照合処理の照合率を上げることができる。また、第1特徴量および第2特徴量に加えて、照合対象人物の属性に応じた特徴量を増やす必要が無く、類似度を正規化するだけなので、照合処理に要する処理時間の増加を抑えることができ、人物の入退出の管理を効率的に行うことができる。
また、正規化部104は、過去の照合対象人物について算出される類似度をデータサーバに保存しておき、照合対象人物の類似度を正規化する際に、データサーバに記憶される類似度の平均値および標準偏差を求める。または、正規化部104は、照合対象人物について類似度が算出される度に、過去の照合対象人物の属性の類似度の平均値および標準偏差を更新しても良い。正規化部104は、過去の照合対象人物の延べ人数を属性毎に求めておき、当該属性毎の過去の照合対象人物の延べ人数を用いて、過去の照合対象人物の属性毎の類似度の平均値および標準偏差を求める。
補正部105は、第1属性情報または第2属性情報が、所定条件を満たすか否かを判断し、第1属性情報または第2属性情報が所定条件を満たす場合に、照合処理による第1顔画像と第2顔画像との照合率が高くなるように、類似度算出部103により算出される類似度および閾値Rの少なくとも一方を、予め設定された値、シフト(補正)する。これにより、照合処理の照合率を上げるために、照合対象人物の属性に応じた照合方法を事前に登録しておくことを必要としないので、本人照合システムの記憶容量を抑えたまま、照合対象人物の照合処理の照合率を上げることができる。また、第1特徴量および第2特徴量に加えて、照合対象人物の属性に応じた特徴量を増やす必要が無く、類似度を補正するだけなので、照合処理に要する処理時間の増加を抑えることができ、人物の入退出の管理を効率的に行うことができる。
ここで、閾値Rは、照合部106の照合処理のベンチマークデータセット等を用いて、照合対象人物の属性毎の照合対象人物本人に受入率(所定位置の通過を許可する割合)または排除率(所定位置の通過を禁止する割合)を求め、当該受入率または排除率になるように予め設定される。
ここで、所定条件は、類似度算出部103により算出される類似度を補正すべきと判断する属性情報の条件である。例えば、所定条件は、第1属性情報または第2属性情報が示す年齢と第1顔画像に基づく照合対象人物の年齢との差が所定値以上であること、第1属性情報または第2属性情報が示す性別と第1顔画像に基づく照合対象人物の性別とが異なること、第1属性情報が示す年齢と第2属性情報が示す年齢との差が所定値以上であること、第1属性情報が示す性別と第2属性情報が示す性別とが異なること等である。本実施形態では、補正部105は、照合対象人物の属性の違いによる類似度の平均値や標準偏差等を蓄積したベンチマークデータセットを用いて、所定条件を設定する。
照合部106は、補正部105によりシフト(補正)された類似度が閾値R以上であるか否かに基づいて、第1顔画像と第2顔画像とを照合する照合処理を実行する。本実施形態では、照合部106は、補正部105により補正された類似度を、浮動小数点数で表されたスコアに変換し、当該スコアが閾値R以上であるか否かに基づいて、第1顔画像と第2顔画像とを照合する照合処理を実行する。
出力部107は、照合部106による照合処理の結果を出力する。本実施形態では、出力部107は、照合部106により照合処理の結果を表すテキスト、照合処理の結果を表す記号(例えば、〇、×、矢印)や絵、または照合処理の結果を表すアニメーション等を、液晶ディスプレイ等の表示部に表示させる。
次に、図2を用いて、本実施形態にかかる本人照合システムによる照合対象人物の照合処理の流れの一例について説明する。図2は、第1の実施形態にかかる本人照合システムによる照合対象人物の照合処理の流れの一例を示すフローチャートである。
ID画像登録部101は、IDカードから、第1顔画像および第1属性情報を取得する(ステップS201、ステップS202)。また、ID画像登録部101は、取得した第1顔画像から第1特徴量を抽出する(ステップS203)。
撮像画像登録部102は、所定位置を通過する照合対象人物の顔を撮像して、第2顔画像を取得する(ステップS204)。また、撮像画像登録部102は、取得した第2顔画像に基づいて、第2属性情報を取得する(ステップS205)。さらに、撮像画像登録部102は、取得した第2顔画像から、第2特徴量を抽出する(ステップS206)。
次に、類似度算出部103は、第1特徴量と第2特徴量とを用いて、第1顔画像と第2顔画像との類似度を算出する(ステップS207)。正規化部104は、照合対象人物の属性を有する過去の照合対象人物の類似度の分布が、照合対象人物の属性の所定分布に近づく規則に従って、類似度算出部103により算出された類似度を正規化する(ステップS208)。
次いで、補正部105は、第1属性情報が所定条件を満たすか否か、すなわち、算出した類似度を補正する必要があるか否かを判断する(ステップS209)。ここで、第1属性情報が所定条件を満たすか否かを判断する例について説明するが、第2属性情報が所定条件を満たすか否かを判断しても良い。第1属性情報が所定条件を満たさない場合(ステップS209:No)、照合部106は、補正部105によって補正されていない類似度(すなわち、類似度算出部103により算出されたそのままの類似度)が閾値R以上であるか否かに基づいて、第1顔画像と第2顔画像の照合処理を実行する(ステップS210)。類似度算出部103により算出された類似度が閾値R以上である場合(ステップS211:Yes)、照合部106は、第1顔画像と第2顔画像との照合が成功したと判断する。そして、出力部107は、第1顔画像と第2顔画像との照合が成功したことを、表示部に表示する(ステップS212)。
一方、第1属性情報が所定条件を満たす場合(ステップS209:Yes)、補正部105は、照合処理による第1顔画像と第2顔画像との照合率が高くなるように、予め設定された値、類似度算出部103により算出される類似度をシフトする(ステップS213)。その後、照合部106は、補正した類似度が閾値R以上であるか否かに基づいて、第1顔画像と第2顔画像の照合処理を実行する(ステップS210)。
補正した類似度が閾値R以上である場合(ステップS211:Yes)、照合部106は、第1顔画像と第2顔画像との照合が成功したと判断する。そして、出力部107は、第1顔画像と第2顔画像との照合が成功したことを、表示部に表示する(ステップS212)。一方、補正した類似度が閾値Rより低い場合(ステップS211:No)、照合部106は、同一の第1顔画像と第2顔画像について照合処理を行った回数が予め設定された上限回数を超えたか否かを判断する(ステップS214)。ここで、上限回数は、所定位置以外の有人ゲートや他の所定位置における照合対象人物の照合の進行状況に応じて変更しても良い。
同一の第1顔画像と第2顔画像について照合処理を行った回数が上限回数を超えた場合(ステップS214:Yes)、出力部107は、有人ゲートへの移動を促すメッセージを表示部に表示させる(ステップS215)。または、本人照合システムは、同一の第1顔画像と第2顔画像について照合処理を行った回数が上限回数を超えた場合、照合対象人物の所定位置の通過を禁止しても良い。一方、同一の第1顔画像と第2顔画像について照合処理を行った回数が上限回数以下である場合(ステップS214:No)、ステップS213に戻り、補正部105は、類似度算出部103による算出される類似度を補正し直す。
次に、図3を用いて、本実施形態にかかる本人照合システムにおいて第2顔画像を取得する処理の流れの一例について説明する。図3は、第1の実施形態にかかる本人照合システムにおいて第2顔画像を取得する処理の流れの一例を示すフローチャートである。
撮像画像登録部102は、ID画像登録部101が有する読取部に対してIDカードがかざされるまでの間に、予め設定された周期で、当該照合対象人物の顔を撮像して、当該照合対象人物の顔画像を取得する(ステップS301)。すなわち、撮像画像登録部102は、所定位置を通過する同一の照合対象人物の顔を複数回撮像する。次いで、撮像画像登録部102は、取得した顔画像に対して、当該顔画像が照合処理に適する度合いである顔スコアを算出する(ステップS302)。本実施形態では、撮像画像登録部102は、複数の顔画像それぞれの輝度値、当該顔画像における各器官の位置情報等に基づいて、照合対象人物の表情や顔の向きを求め、求めた照合対象人物の表情や顔の向きに基づいて、顔スコアを算出するものとする。
その後、撮像画像登録部102は、照合対象人物の顔の撮像を終了するか否かを判断する(ステップS303)。本実施形態では、撮像画像登録部102は、ID画像登録部101が有する読取部に対して、照合対象人物がIDカードをかざした場合、照合対象人物の撮像を終了すると判断する。照合対象人物の顔の撮像を終了しないと判断した場合(ステップS303:No)、ステップS301に戻り、撮像画像登録部102は、照合対象人物の顔の撮像を継続する。
一方、照合対象人物の顔の撮像を終了すると判断した場合(ステップS303:Yes)、撮像画像登録部102は、取得した顔画像のうち、顔スコアが最も高い顔画像を、第2顔画像として取得する(ステップS304)。以上の処理によって、撮像画像登録部102は、同一の照合対象人物の顔を複数回撮像して得られる複数の顔画像の中から、ベストショット画像を、第2顔画像として取得する。これにより、照合処理に適した第2顔画像を取得できるので、第1顔画像と第2顔画像の照合処理の精度を向上させることができる。
このように、第1の実施形態にかかる本人照合システムによれば、第1属性情報または第2属性情報が、類似度を補正すべき所定条件を満たす場合、照合処理の照合率が高くなるように、類似度算出部103により算出される類似度を補正することにより、照合処理の照合率を上げるために、照合対象人物の属性に応じた照合方法を事前に登録しておくことを必要としないので、本人照合システムの記憶容量を抑えたまま、照合対象人物の照合処理の照合率を上げることができる。
(第2の実施形態)
本実施形態は、第1顔画像および第2顔画像の一方が、照合対象人物の顔に対する装着物の画像を含む場合、第1顔画像および第2顔画像のうち、装着物の画像が検出されなかった顔画像に対して、装着物の画像を合成する例である。以下の説明では、第1の実施形態と同様の構成については説明を省略する。
図4は、第2の実施形態にかかる本人照合システムの構成の一例を示す図である。図4に示すように、本実施形態にかかる本人照合システムは、ID画像登録部101、撮像画像登録部102、類似度算出部103、正規化部104、補正部105、照合部106、および出力部107に加えて、ID画像判定部401、ID画像合成部402、撮像画像判定部403、撮像画像合成部404、テクスチャデータベース405、ID画像特徴抽出部406、および撮像画像特徴抽出部407を有する。
ID画像判定部401は、第1顔画像が、照合対象人物の顔に装着された装着物の画像(以下、装着物画像と言う)を含むか否かを判定する。撮像画像判定部403は、第2顔画像が、装着物画像を含むか否かを判定する。テクスチャデータベース405は、装着物画像のモデル画像(以下、テクスチャ画像と言う)を記憶する。
ID画像合成部402は、第1顔画像に装着物画像が含まれずかつ第2顔画像に装着物画像が含まれる場合、第1顔画像に対して、装着物の画像(本実施形態では、テクスチャ画像)を合成する。撮像画像合成部404は、第1顔画像に装着物画像が含まれかつ第2顔画像に装着物画像が含まれない場合、第2顔画像に対して、装着物の画像(本実施形態では、テクスチャ画像)を合成する。
すなわち、ID画像合成部402および撮像画像合成部404は、第1顔画像および第2顔画像の一方が、照合対象人物の顔に対する装着物の画像を含む場合、第1顔画像および第2顔画像のうち、装着物の画像が検出されなかった顔画像に対して、装着物の画像を合成する合成部の一例として機能する。これにより、第1顔画像と第2顔画像との照合率を上げることができるので、人物の入退出の管理を効率的に行うことができる。
ID画像特徴抽出部406は、ID画像合成部402によって第1顔画像に対してテクスチャ画像が合成された場合に、テクスチャ画像が合成された第1顔画像から、第1特徴量を抽出する。撮像画像特徴抽出部407は、撮像画像合成部404によって第2顔画像に対してテクスチャ画像が合成された場合に、テクスチャ画像が合成された第2顔画像から、第2特徴量を抽出する。
次に、図4を用いて、本実施形態にかかる本人照合システムの各部の詳細について説明する。ID画像判定部401は、第1顔画像に含まれる各器官の輝度値を求め、当該各器官の輝度値と人物の肌の輝度値との差分が予め設定された差分より大きい場合に、第1顔画像に装着物画像が含まれると判定する。撮像画像判定部403は、第2顔画像に含まれる各器官の輝度値を求め、当該各器官の輝度値と人物の肌の輝度値との差分が予め設定された差分より大きい場合に、第2顔画像に装着物画像が含まれると判定する。
テクスチャデータベース405は、人物の顔の一部を隠蔽可能な装着物(例えば、眼鏡、マスク、ターバン)のモデル画像であるテクスチャ画像を記憶する。本実施形態では、テクスチャデータベース405は、本人照合システムが設置された環境において、照合対象人物が装着する可能性が高い装着物のテクスチャ画像を記憶する。また、本実施形態では、テクスチャデータベース405は、装着物の名称と、当該器官を隠蔽する装着部のテクスチャ画像とを対応付けて記憶する。
ID画像合成部402は、第1顔画像に装着物画像が含まれずかつ第2顔画像に装着物画像が含まれる場合、テクスチャデータベース405に記憶されるテクスチャ画像のうち、第2顔画像に含まれる装着物画像と一致または類似するテクスチャ画像を第1顔画像に対して合成する。ID画像合成部402は、第1顔画像に対してテクスチャ画像を合成する際、第1顔画像上の第1座標と第2顔画像上の第2座標とを対応付けておく。そして、ID画像合成部402は、第2顔画像における装着物画像の第2座標に対応する、第1顔画像における第1座標に対して、テクスチャ画像を合成する。さらに、ID画像合成部402は、第1顔画像の第1座標に存在する器官が隠蔽されるように、テクスチャ画像に対して拡大や縮小等の変形を加えた上で、第1顔画像に対してテクスチャ画像を合成する。
撮像画像合成部404は、第1顔画像に装着物画像が含まれかつ第2顔画像に装着物画像が含まれない場合、テクスチャデータベース405に記憶されるテクスチャ画像のうち、第1顔画像に含まれる装着物画像と一致または類似するテクスチャ画像を第2顔画像に対して合成する。撮像画像合成部404は、第2顔画像に対してテクスチャ画像を合成する際、第1顔画像上の第1座標と第2顔画像上の第2座標とを対応付けておく。そして、撮像画像合成部404は、第1顔画像における装着物画像の第1座標に対応する、第2顔画像における第2座標に対して、テクスチャ画像を合成する。さらに、撮像画像合成部404は、第2顔画像の第2座標に存在する器官が隠蔽されるように、テクスチャ画像に対して拡大や縮小等の変形を加えた上で、第2顔画像に対してテクスチャ画像を合成する。
ID画像特徴抽出部406は、第1の実施形態のID画像登録部101による第1特徴量の抽出と同様の方法によって、テクスチャ画像が合成された第1顔画像から第1特徴量を抽出する。撮像画像抽出部407は、第1の実施形態の撮像画像登録部102による第2特徴量の抽出と同様の方法によって、テクスチャ画像が合成された第2顔画像から第2特徴量を抽出する。
次に、図5を用いて、本実施形態にかかる本人照合システムによる照合対象人物の照合処理の流れの一例について説明する。図5は、第2の実施形態にかかる本人照合システムによる照合対象人物の照合処理の流れの一例を示すフローチャートである。
本実施形態では、ID画像登録部101によって、第1属性情報が取得されると、ID画像判定部401は、第1顔画像が、装着物画像を含むか否かを判定する(ステップS501)。また、撮像画像登録部102によって、第2属性情報が取得されると、撮像画像判定部403は、第2顔画像が装着物画像を含むか否かを判定する(ステップS502)。その後、ID画像合成部402は、第1顔画像に装着物画像が含まれるか否かを判定する(ステップS503)。
第1顔画像に装着物画像が含まれない場合(ステップS503:No)、ID画像合成部402は、第2顔画像に装着物画像が含まれるか否かを判定する(ステップS504)。そして、第1顔画像の装着物画像が含まれずかつ第2顔画像に装着物画像が含まれる場合(ステップS504:Yes)、ID画像合成部402は、第1顔画像に対して、第2顔画像に含まれる装着物画像と一致または類似するテクスチャ画像を合成する(ステップS505)。そして、ID画像特徴抽出部406は、テクスチャ画像が合成された第1顔画像から第1特徴量を抽出する(ステップS506)。第1顔画像および第2顔画像が共に装着物画像を含まない場合、ID画像登録部101は、IDカードから、第1特徴量を取得する。また、第1顔画像および第2顔画像が共に装着物画像を含まない場合、撮像画像登録部102は、装着物画像が含まれない第2顔画像から第2特徴量を取得する。
一方、第1顔画像に装着物画像が含まれる場合(ステップS503:Yes)、撮像画像合成部404は、第2顔画像に装着物画像が含まれないか否かを判定する(ステップS507)。第1顔画像に装着物画像が含まれかつ第2顔画像に装着物画像が含まれない場合(ステップS507:No)、撮像画像合成部404は、第2顔画像に対して、第1顔画像に含まれる装着物画像と一致または類似するテクスチャ画像を合成する(ステップS508)。そして、撮像画像特徴抽出部407は、テクスチャ画像が合成された第2顔画像から第2特徴量を抽出する(ステップS509)。また、第1顔画像および第2顔画像が共に装着物画像を含む場合、ID画像登録部101は、IDカードから、第1特徴量を取得する。また、第1顔画像および第2顔画像が共に装着物画像を含む場合、撮像画像登録部102は、装着物画像を含む第2顔画像から第2特徴量を取得する。
その後、類似度算出部103は、ID画像登録部101またはID画像特徴抽出部406により抽出された第1特徴量と、撮像画像登録部102または撮像画像特徴抽出部407により抽出された第2特徴量とを用いて、第1顔画像と第2顔画像との類似度を算出する(ステップS207)。
このように、第2の実施形態にかかる本人照合システムによれば、第1顔画像および第2顔画像の一方が、照合対象人物の顔に対する装着物の画像を含む場合、第1顔画像および第2顔画像のうち、装着物の画像が検出されなかった顔画像に対して、装着物の画像を合成することにより、第1顔画像と第2顔画像との照合率を上げることができるので、人物の入退出の管理を効率的に行うことができる。
(第3の実施形態)
本実施形態は、第1顔画像から、照合対象人物の属性を示す第3属性情報を取得し、IDカードから取得した第1属性情報と、第1顔画像から取得した第3属性情報とが異なる場合、第1属性情報と第3属性情報のうち信頼度が高い属性情報が所定条件を満たすか否かを判断する例である。以下の説明では、上述の実施形態と同様の構成については説明を省略する。
図6は、第3の実施形態にかかる本人照合システムの構成の一例を示す図である。図6に示すように、本実施形態にかかる本人照合システムは、ID画像登録部101、撮像画像登録部102、類似度算出部103、正規化部104、補正部105、照合部106、出力部107、ID画像判定部401、ID画像合成部402、撮像画像判定部403、撮像画像合成部404、テクスチャデータベース405、ID画像特徴抽出部406、および撮像画像特徴抽出部407に加えて、ID画像属性算出部601を有する。
ID画像属性算出部601は、第1顔画像から、照合対象人物の属性を示す第3属性情報を取得する。本実施形態では、ID画像属性算出部601は、線形回帰等の回帰分析によって、第1顔画像から検出した検出領域の輝度値または第1顔画像における目や鼻等の器官の位置関係に基づいて、照合対象人物の第3属性情報を推定する。
補正部105は、第1属性情報と第3属性情報とが一致する場合、第1属性情報が所定条件を満たすか否かを判断し、第1属性情報が所定条件を満たす場合、類似度算出部103により算出される類似度をシフトする。
一方、補正部105は、第1属性情報と第3属性情報とが一致しない場合、第1属性情報と第3属性情報のうち信頼度が高い属性情報が所定条件を満たすか否かを判断し、当該属性情報が所定条件を満たす場合に、類似度算出部103により算出される類似度をシフトする。これにより、信頼度が高い属性情報が所定条件を満たした場合に、類似度が補正され、第1顔画像と第2顔画像との照合率を上げることができるので、人物の入退出の管理を効率的に行うことができる。ここで、第1属性情報の信頼度は、第1属性情報を、浮動小数点数で表されたスコアに変換し、当該スコアと第1属性情報が信頼できるか否かを判定する所定閾値との差分の大小に基づいて、決定するものとする。所定閾値は、第1属性情報の信頼度を表すスコアと第1属性情報のグランドトゥルースとに基づいて決定する。
また、正規化部104は、第1属性情報と第3属性情報とが一致しない場合、第1属性情報と第3属性情報のうち信頼度が高い属性情報が示す属性を有する過去の照合対象人物の類似度の分布が、当該信頼度が高い属性情報が示す属性について予め設定された所定分布に近づく規則(修正量)を求めるものとする。
このように、第3の実施形態にかかる本人照合システムによれば、信頼度が高い属性情報が所定条件を満たした場合に、類似度が補正され、第1顔画像と第2顔画像との照合率を上げることができるので、人物の入退出の管理を効率的に行うことができる。
以上説明したとおり、第1から第3の実施形態によれば、照合対象人物の属性に応じた照合方法を事前に登録しておくことを必要としないので、本人照合システムの記憶容量を抑えたまま、照合対象人物の照合処理の照合率を上げることができる。
なお、本実施形態の本人照合システムで実行されるプログラムは、ROM等に予め組み込まれて提供されるが、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成しても良い。
さらに、本実施形態の本人照合システムで実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の本人照合システムで実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
本実施形態の本人照合システムで実行されるプログラムは、上述した各部(類似度算出部103、正規化部104、補正部105、照合部106、出力部107、ID画像判定部401、ID画像合成部402、撮像画像判定部403、撮像画像合成部404、テクスチャデータベース405、ID画像特徴抽出部406、撮像画像特徴抽出部407、およびID画像属性算出部601)を含むモジュール構成となっており、実際のハードウェアとしてはCPU(Central Processing Unit)が上記ROMからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、類似度算出部103、正規化部104、補正部105、照合部106、出力部107、ID画像判定部401、ID画像合成部402、撮像画像判定部403、撮像画像合成部404、テクスチャデータベース405、ID画像特徴抽出部406、撮像画像特徴抽出部407、およびID画像属性算出部601が主記憶装置上に生成されるようになっている。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。