JP2014071684A - 顔画像認証装置 - Google Patents

Abstract

【課題】相互に顔が類似している人物が登録されている場合でも高精度に人物を認証することができる顔画像認証装置を提供する。
【解決手段】顔画像認証装置は、登録人物の登録顔情報と相補人物との対応関係を記憶する記憶部と、入力画像から抽出された顔領域に含まれる顔の特徴を表す入力顔情報を複数の登録人物の登録顔情報のそれぞれと照合し、複数の登録人物のうちその入力顔情報と類似する登録顔情報の登録人物を認証候補人物として特定する類似判定手段と、撮影時刻が異なる複数の入力画像において、登録人物またはその登録人物に対応付けられた相補人物の何れかが認証候補人物として特定された候補回数に基づき、その複数の入力画像に写っている顔がその登録人物の顔であると判定する同一性判定手段と、を有する。
【選択図】図１

Description

本発明は、顔画像に基づいて人物を認証する顔画像認証装置に関する。

従来、歩行する人物を認証するために、歩行する人物を撮影した画像から人物の顔を含む領域の画像を顔領域画像として抽出し、抽出した顔領域画像と、予め登録された複数の登録人物の顔画像である登録顔画像のそれぞれとの照合スコア即ち類似度を時系列の順に算出する、いわゆるウォークスルー型の顔画像認証装置が開発されている。

ウォークスルー型の顔画像認証装置は、複数地点又は複数時点で歩行中の人物を撮影した画像から顔領域画像を抽出し、これらの顔領域画像と登録顔画像との類似度を算出する。そして、類似度が一定以上の登録顔画像の人物を、地点又は時点ごとに特定する。さらに、各地点又は各時点における類似度の最大値又は平均値を、特定した人物ごとに算出する。最終的には、このように算出した最大値又は平均値に基づいて人物を認証する（特許文献１）。

複数の画像に亘って抽出された同一人物の顔領域画像について登録顔画像に対する類似度を時系列で取得する場合、即ち同一人物についての直近の複数の顔領域画像について類似度を順次取得する場合、いずれの類似度も高くなるのが望ましい。この場合、複数の類似度の最大値又は平均値を用いても、正確な認証結果を得ることができる。

しかしながら、通行する人物の顔を順次撮影するような状況では、歩行中に自然に生じる表情、顔の向き、照明の当たり具合による陰影等に変動が生じうる。このような変動が生じた場合、本人であっても類似度は低くなる一方で、顔領域画像に写っている顔の人物が本人以外の人物であると判定されるいわゆる「他人の空似」が発生し、本人の類似度より他人の類似度が高くなる可能性がある。これにより他人の受け入れにつながるので、単に複数の類似度の最大値に基づいて判定するのは不適切である。また、複数の類似度の平均値に基づいて判定する場合、複数の類似度の平均値が認証閾値を超えなくなり、本人を正しく判定できないことがある。

そこで、複数回の照合処理の結果に基づいて人物を認証する認証装置が開示されている。この認証装置は、登録人物毎に複数の登録顔画像を記憶し、入力された認証対象者の照合画像について、各登録顔画像との類似度を算出し、類似度が所定順位以内となった登録顔画像が最も多い登録人物をその照合画像についての代表者とする。認証装置は、照合画像が入力される度に同様の処理を実行して代表者を決定し、特定の登録人物が所定回数連続して代表者となった場合、または所定回数以上代表者となった場合、その特定の登録人物を、認証対象者として最も確からしいと判定する（特許文献２）。

特開２００４−１１８３５９号公報 特開２００８−５９５３３号公報

特許文献２に開示された認証装置は、複数回の照合処理の結果に基づいて人物を精度良く認証することができる。しかし、双子のように、相互に顔が非常に類似している人物が登録人物として登録されている場合、各照合画像についての代表者となる登録人物が分散され、特定の登録人物が所定回数連続して代表者とならなかったり、所定回数以上代表者とならない可能性がある。その場合、認証対象者が登録されているにも関わらず、認証失敗となるおそれがある。

本発明の目的は、相互に顔が類似している人物が登録されている場合でも高精度に人物を認証することができる顔画像認証装置を提供することにある。

かかる課題を解決するための本発明は、顔画像認証装置を提供する。係る顔画像認証装置は、予め登録された複数の登録人物のそれぞれについて、その登録人物の顔の特徴を表す登録顔情報と、その登録人物と関連する他の登録人物である相補人物との対応関係を記憶する記憶部と、所定の撮影領域を撮影した入力画像を順次取得する画像取得部と、入力画像から人物の顔を含む顔領域を抽出する顔検出手段と、抽出された顔領域に含まれる顔の特徴を表す入力顔情報を複数の登録人物の登録顔情報のそれぞれと照合し、複数の登録人物のうちその入力顔情報と類似する登録顔情報の登録人物を認証候補人物として特定する類似判定手段と、撮影時刻が異なる複数の入力画像において、登録人物またはその登録人物に対応付けられた相補人物の何れかが認証候補人物として特定された候補回数に基づき、その複数の入力画像に写っている顔がその登録人物の顔であると判定する同一性判定手段と、を有する。

また、本発明に係る顔画像認証装置において、同一性判定手段は、複数の入力画像における、同一の登録人物に関する候補回数、または、その複数の入力画像のフレーム数に対する候補回数の割合が判定基準を満たすとき、その登録人物であると判定することが好ましい。

また、本発明に係る顔画像認証装置において、同一性判定手段は、複数の登録人物のうち、複数の入力画像に対する照合の結果最高の類似度を得た登録人物について、候補回数に基づく判定を行うことが好ましい。

また、本発明に係る顔画像認証装置において、操作部と、操作部からの操作に従って登録人物に相補人物を対応付ける設定手段と、をさらに備え、設定手段は、操作部にて指示された複数の登録人物の登録顔情報の類似度が所定の閾値以上である場合に、一方の登録人物に他方の登録人物を相補人物として対応付けることが好ましい。

本発明に係る顔画像認証装置は、相互に顔が類似している人物が登録されている場合でも高精度に人物を認証することができるという効果を奏する。

本発明を適用した顔画像認証装置の概略構成図である。 顔画像認証装置がオフィスビルの入り口に設置される場合の撮像部の設置例を表す模式図である。 記憶部に記憶される登録テーブルの模式図である。 記憶部に記憶される照合テーブルの模式図である。 図４に示す照合テーブルの一部を構成する照合履歴の模式図である。 （ａ）は、登録人物の登録顔画像の例を示す模式図であり、（ｂ）は、顔領域画像の例を示す模式図である。 本発明による顔画像認証装置の動作を示すフローチャートである。 顔照合手段により実行される、認証処理の動作を示すフローチャートである。

以下、本発明の一実施形態である顔画像認証装置について図を参照しつつ説明する。
本発明を適用した顔画像認証装置は、予め登録された複数の登録人物の顔画像である登録顔画像を記憶しておく。その際、登録人物と関連する他の登録人物（以下、便宜上、相補人物と称する）が存在する場合、その登録人物を相補人物と対応付けておく。相補人物として、例えば双子のように、顔画像認証装置の顔照合処理においてその登録人物に顔が類似していると判断され得る人物が設定される。顔画像認証装置は、歩行する人物を順次撮影した入力画像において追跡された顔画像のそれぞれと、予め記憶された登録顔画像のそれぞれとの類似度を算出する。そして、直近の複数の顔画像に対して算出された類似度の中で最高の類似度が算出された登録顔画像の登録人物が、その直近の複数の顔画像のそれぞれに対して類似度が１位となった回数と、その登録人物の相補人物が、類似度が１位となった回数との総和に基づいて、歩行する人物がその登録人物であるか否かを判定する。このように、顔画像認証装置は、類似度が１位となった回数を登録人物と相補人物とで共有することにより、相互に顔が類似している人物が登録されている場合でも、類似度が１位となる登録人物が分散することを抑制し、高精度に人物を認証することを図る。

図１は、本発明を適用した顔画像認証装置１０の概略構成を示す図である。図１に示すように、顔画像認証装置１０は、撮像部１００、出力部２００、表示部３００、操作部４００及び画像処理部５００を有する。以下、顔画像認証装置１０の各部について詳細に説明する。

撮像部１００は、所定の領域を撮影する監視カメラである。以下、撮像部１００が撮影する所定の領域を撮影領域と称する。撮像部１００は、例えば、２次元に配列され、受光した光量に応じた電気信号を出力する光電変換素子（例えば、ＣＣＤセンサ、Ｃ−ＭＯＳなど）と、その光電変換素子上に撮影領域の像を結像するための結像光学系を有する。
撮像部１００は、撮影領域内を通行する人物の顔を順次撮影できるように設置される。そして撮像部１００は、撮影領域を撮影した入力画像を、所定の時間間隔（例えば、200msec）ごとに取得する。撮像部１００は、画像処理部５００と接続され、取得した入力画像を画像処理部５００へ渡す。

図２に、顔画像認証装置１０がオフィスビルの入り口に設置される場合の撮像部１００の設置例を模式的に示す。図２に示すように、例えば、顔画像認証装置１０がオフィスビルの入り口２５３に設置される場合、撮像部１００は、入り口２５３に通じる通路を撮影領域に含むよう、入り口２５３が設置された壁の上方または天井に、撮影方向をやや下方へ向け、その通路側へ向けた状態で取り付けられる。これにより撮像部１００は、入り口２５３に向かう（進行方向２５４へ向かう）人物を所定の時間間隔で撮像することができる。なお図２では、撮像部１００が、時刻t、t+1、t+2において入り口２５３に向かう同一の人物２５０、２５１、２５２を順次撮影する様子を示している。

入力画像は、グレースケールまたはカラーの多階調の画像とすることができる。本実施形態では、入力画像を、横1280画素×縦960画素を有し、ＲＧＢ各色について８ビットの輝度分解能を持つカラー画像とした。ただし、入力画像として、この実施形態以外の解像度及び階調を有するものを使用してもよい。以下、便宜上、最新の入力画像を現フレームと称し、その一つ前の入力画像を前フレームと称する場合がある。

出力部２００は、例えば電気錠、又は電気錠を制御する外部機器等に接続する通信インターフェース及びその制御回路を有する。そして出力部２００は、画像処理部５００から認証成功を示す信号を受け取ると、接続された機器へ、例えば電気錠の解錠を要求する信号を出力する。

表示部３００は、画像処理部５００と接続され、液晶ディスプレイ、有機ＥＬディスプレイなどの表示装置を有する。そして表示部３００は、画像処理部５００から受け取った各種情報等を表示して、管理者へ通知する。

操作部４００は、キーボード、マウス等の入力デバイスで構成された入力インターフェースであり、管理者からの操作を受け付け、その操作に対応する信号を画像処理部５００へ出力する。また、表示部３００をタッチパネルディスプレイで構成することにより、表示部３００と操作部４００を一体化してもよい。

画像処理部５００は、例えば、いわゆるコンピュータにより構成される。そして画像処理部５００は、撮像部１００から受け取った入力画像に基づいて人物を認証する。そのために、画像処理部５００は、記憶部５１０及び照合部５２０を有する。さらに、照合部５２０は、設定手段５２１、顔検出手段５２２、顔追跡手段５２３及び顔照合手段５２４を有する。

記憶部５１０は、ＲＯＭ、ＲＡＭなどの半導体メモリ、あるいは磁気記録媒体及びそのアクセス装置若しくは光記録媒体及びそのアクセス装置などを有する。そして記憶部５１０には、顔画像認証装置１０を制御するためのコンピュータプログラム及び各種パラメータなどが予め記憶される。また記憶部５１０は、照合に使用するための、登録された人物（以降、登録人物と称する）に関する情報を管理するための登録テーブルを記憶する。この登録テーブルの詳細については後述する。また記憶部５１０は、画像処理により生じた人物に関する情報を管理するための照合テーブルを記憶する。この照合テーブルの詳細については後述する。

照合部５２０の各手段は、マイクロプロセッサ、メモリ、その周辺回路及びそのマイクロプロセッサ上で動作するソフトウェアにより実装される機能モジュールである。あるいは、これらの手段を、ファームウェアにより一体化して構成してもよい。また、これらの手段の一部または全てを、独立した電子回路、ファームウェア、マイクロプロセッサなどで構成してもよい。以下、照合部５２０の各手段について詳細に説明する。

設定手段５２１は、記憶部５１０に記憶された登録テーブル内の各情報の登録、更新又は削除の指示を管理者にさせるために必要な画面を表示部３００に表示させる。また、設定手段５２１は、操作部４００から受け取った管理者からの操作に対応する信号に応じて記憶部５１０に記憶された登録テーブル内の各情報を登録、更新又は削除する。

図３に登録テーブルの例を示す。図３に示すように登録テーブル３１０は、登録人物ごとに管理され、登録人物ＩＤ３１１、登録顔情報３１２及び相補人物ＩＤ３１３を含む。登録人物ＩＤ３１１は、登録人物を他の登録人物と識別するための識別番号である。
登録顔情報３１２は、照合に使用するための、登録人物の顔の特徴を表す情報であり、登録人物の顔画像である登録顔画像、及び登録顔画像から抽出されたその登録顔画像に写っている人物の顔特有の特徴量である顔特徴量を含む。なお、登録顔画像及び顔特徴量のうち何れか一方は省略してもよい。顔特徴量は、例えば、登録顔画像における目、鼻、口といった顔の特徴的な部位の位置、形状及びそれら特徴的な部位または皮膚部分のテクスチャ情報とすることができる。さらにテクスチャ情報としては、例えば、各部位の輝度分散値、フラクタル次元、空間周波数分布などを用いることができる。設定手段５２１は、登録顔画像から顔特徴量を算出するための公知の様々な手法を用いることができる。例えば、設定手段５２１は、顔画像に対してエッジ抽出処理を行って周辺画素との輝度差が大きいエッジ画素を抽出する。そして設定手段５２１は、エッジ画素の位置、パターンなどに基づいて求めた特徴量が、目、鼻、口などの部位について予め定められた条件を満たすか否かを調べて各部位の位置を特定することにより、顔上の特徴的な部位の位置を抽出し、顔特徴量とすることができる。
相補人物ＩＤ３１３は、登録人物と関連する他の登録人物である相補人物についての登録人物ＩＤであり、登録人物に相補人物が存在する場合にその相補人物についての登録人物ＩＤが記憶される。相補人物は、双子など、顔画像認証装置１０の顔照合処理においてその登録人物に顔が類似していると判断され、区別がつかない可能性がある他の登録人物であり、登録テーブル３１０に登録済みの登録人物の中から選択されて対応付けられる。

顔検出手段５２２は、撮像部１００から入力画像を受け取る度に、受け取った入力画像から人物の顔が写っている領域である顔領域を検出し、顔領域画像を抽出する。
顔領域を検出するために、顔検出手段５２２は、例えばフレーム間差分処理または背景差分処理を利用して、撮像部１００によって取得される複数の入力画像において輝度値の時間的な変化のある変化領域を抽出する。そして顔検出手段５２２は、抽出した変化領域のうち、その変化領域の大きさ等の特徴量から人物らしいと考えられる変化領域を人物領域として抽出する。そして顔検出手段５２２は、抽出した人物領域に対してSobelフィルタなどを用いて輝度変化の傾き方向が分かるようにエッジ画素を抽出する。そして顔検出手段５２２は、抽出したエッジ画素から、所定の大きさをもつ、頭部の輪郭形状を近似した楕円形状のエッジ分布を検出し、そのエッジ分布に囲まれた領域を、顔領域として抽出する。この場合において、顔検出手段５２２は、例えば、一般化ハフ変換を用いて、楕円形状のエッジ分布を検出することができる。

あるいは顔検出手段５２２は、Adaboost識別器を用いて顔領域を検出してもよい。この方法についてはP.Violaと M.Jonesによる論文「Rapid Object Detection Using a Boosted Cascade of Simple Features」（Proc. the IEEE International Conference on Computer Vision and Pattern Recognition, vol.1, pp.511-518, 2001）を参照することができる。
そして顔検出手段５２２は、抽出した顔領域を入力画像から切り出して顔領域画像を作成し、その顔領域画像及び入力画像における顔領域の座標情報を顔追跡手段５２３に出力する。

顔追跡手段５２３は、所定の時間間隔で連続して取得される複数の入力画像にわたって顔検出手段５２２から抽出された顔領域に対して公知のトラッキング技術を利用して追跡処理を行い、同一人物の顔が写っている顔領域同士を対応付けることで顔領域画像を追跡する。
例えば、顔追跡手段５２３は、現フレームから抽出された顔領域の重心位置と、前フレームから抽出された顔領域の重心位置の距離を求めて、その距離が所定の閾値以下である場合に、その顔領域を同一人物によるものとして対応付ける。なお、人物が撮像部１００から離れているときに一定の距離を移動した場合と撮像部１００の近くにいるときに同じ距離を移動した場合とでは、その移動の前後において入力画像における顔領域の位置の差は異なる。そのため、例えば所定の閾値を顔領域の大きさとすることにより、撮影領域内の人物の位置にかかわらず、現フレームの顔領域と前フレームの顔領域が同一人物によるものか否かを適切に評価することができる。複数の顔領域が抽出されている場合には、重心位置の距離が最も近い顔領域同士が対応付くか否かを調べる。

あるいは、顔追跡手段５２３は、オプティカルフロー、パーティクルフィルタ等の方法を用いて顔領域の追跡処理を行ってもよい。

顔追跡手段５２３は、新たに顔領域を検出するか、顔領域の対応付けを行うと、記憶部５１０に格納されている照合テーブルを更新する。図４に照合テーブルの例を示す。図４に示すように照合テーブル４１０は、追跡中の人物ごとに系列データを管理する。系列データは、照合テーブル４１０の各行にあらわされるデータの組であり、顔追跡手段５２３は、系列データのうち、系列ＩＤ４１１、更新時刻４１２、追跡フラグ４１３及び追跡位置情報４１４を更新する。

図４に示した照合テーブル４１０において、系列ＩＤ４１１は、追跡中の人物を他の人物と識別するための識別番号であり、人物が撮影領域内に存在している間、つまり顔追跡手段５２３によって追跡がされている間、同一の識別番号が割り当てられ続ける。系列ＩＤ４１１は、一意に定まるように付与されるものとなる。例えば、顔追跡手段５２３が追跡を開始した時刻を基に、乱数を発生させればよい。
更新時刻４１２は、顔検出手段５２２がその人物について最新の顔領域画像を抽出した時刻を表す。
追跡フラグ４１３は、その人物に対する追跡が継続しているか否かをあらわすフラグであり、顔追跡手段５２３がその人物の追跡を開始するとＯＮになり、追跡を終了するとＯＦＦになる。つまり、追跡フラグ４１３がＯＮのときはその人物は撮影領域内に存在し、追跡フラグ４１３がＯＦＦのときはその人物が既に認証されて入室したか、又は認証されずに撮影領域から離れたということになる。
追跡位置情報４１４は、顔領域画像が切り出された入力画像内の顔領域の座標情報及び追跡処理がされた時刻を示す時刻情報である。

顔追跡手段５２３は、着目する現フレームの顔領域について前フレームの顔領域と対応付けることができなかった場合、その現フレームの顔領域には新たに撮影領域内に入ってきた人物が写っているものとして、照合テーブル４１０にその人物についての系列データを新たに追加し、初期化処理を行う。即ち顔追跡手段５２３は、その系列データに新たな系列ＩＤ４１１を割り当てるとともに、更新時刻４１２として現在時刻を記録し、追跡フラグ４１３をＯＮに設定する。また顔追跡手段５２３は、追跡位置情報４１４としてその現フレームの顔領域の座標情報及び現在時刻を記録する。また顔追跡手段５２３は、認証フラグ４１６をＯＦＦに設定し、新たに追加した系列データ及びその系列データに対応付けた現フレームの顔領域から作成された顔領域画像を顔照合手段５２４に出力する。

一方、顔追跡手段５２３が、着目する現フレームの顔領域について前フレームの顔領域と対応付けることができた場合、その人物についての系列データは、既に照合テーブル４１０に作成されている。そのため、顔追跡手段５２３は、照合テーブル４１０の、対応する系列データの追跡位置情報４１４にその現フレームの顔領域の座標情報及び現在時刻を追加する更新処理を行う。そして顔追跡手段５２３は、その系列データ及びその系列データに対応付けた現フレームの顔領域から作成された顔領域画像を顔照合手段５２４に出力する。

また、顔追跡手段５２３は、前フレームの顔領域について、全ての現フレームの顔領域と対応付けられなかったものがある場合、照合テーブル４１０の、対応する系列データの追跡フラグ４１３をＯＦＦにして、その人物についての追跡処理を終了する。

顔照合手段５２４は、類似度算出手段５２５、認証候補人物特定手段５２６、検出度合い算出手段５２７及び認証判定手段５２８を有し、入力画像に写っている人物の顔と、登録顔画像に写っている顔とを照合することにより人物を認証する。ここで、類似度算出手段５２５及び認証候補人物特定手段５２６は本発明の類似判定手段に対応し、検出度合い算出手段５２７及び認証判定手段５２８は本発明の同一性判定手段に対応する。顔照合手段５２４は、顔追跡手段５２３から出力された系列データのうち、図４に示した認証フラグ４１６がＯＦＦとなっている系列データに対応付けられた顔領域画像について照合処理を行い、照合履歴４１５及び認証フラグ４１６を更新する。

照合履歴４１５は、各入力画像についての追跡位置情報４１４に対応するフレーム照合結果４２０を含む。図５に照合履歴４１５の例を示す。図５に示すように照合履歴４１５では、顔追跡手段５２３によって追跡された顔領域画像ごとにフレーム照合結果４２０が管理される。
時刻４２１は、その顔領域画像が取得された時刻である。なお、時刻に代えて、入力画像のフレーム番号としてもよい。
１位人物ＩＤ４２２は、その顔領域画像に写っている顔の特徴を表す顔情報と、記憶部５１０に記憶された複数の登録顔情報のそれぞれとの類似度（照合スコア）のうち、最高（１位）となった類似度が算出された登録人物の登録人物ＩＤである。
類似度４２３は、その顔領域画像の顔情報に対して、１位人物ＩＤ４２２について得られた類似度である。

なお、顔照合手段５２４は、最新の入力画像から過去に遡った直近のＮ枚（Ｎは２以上の整数であり、例えば１０）の入力画像から算出された照合履歴４１５を照合テーブル４１０に記憶する。あるいは、顔照合手段５２４は、その人物が追跡されている間、即ち照合テーブル４１０にその系列データが記憶されている間は、照合履歴４１５を蓄積し続けてもよい。

図４に戻り、認証フラグ４１６は、その人物に対する認証が成功したか否かを表すフラグである。即ちその人物が登録人物のいずれかであると判定された場合にはＯＮにセットされ、その人物の追跡が始まったばかりの状態のように認証結果が得られていない状態の場合又はその人物が登録人物ではないと判定された場合にはＯＦＦにセットされる。

類似度算出手段５２５は、入力画像から検出された顔領域画像についての顔情報と、記憶部５１０に記憶された登録顔情報のそれぞれとの類似度を算出する。類似度算出手段５２５は、処理対象の顔領域画像から顔特徴量を抽出し、抽出した顔特徴量と記憶部５１０に記憶された登録顔画像の顔特徴量との差を正規化した値の逆数を類似度として求める。なお、顔特徴量の抽出方法は、設定手段５２１が登録顔画像について算出する顔特徴量の算出方法と同様であるため、説明を省略する。
あるいは、類似度算出手段５２５は、公知の顔照合技術を用いて類似度を算出してもよい。例えば、類似度算出手段５２５は、顔領域画像と登録顔画像の位置をずらしながら顔領域画像に含まれる各画素と登録顔画像の対応画素の輝度値の差の二乗和を算出し、算出した二乗和のうち最も小さいものを顔領域画像に含まれる画素数で割って正規化した値の逆数を類似度として求める。

認証候補人物特定手段５２６は、処理対象の顔領域画像についての顔情報と類似する登録顔情報を持つ登録人物を認証候補人物として特定する。ここでは、記憶部５１０に記憶された登録顔情報のそれぞれとの類似度の中で最高の類似度が第１の閾値以上の場合、その最高の類似度が算出された登録人物を認証候補人物とする。第１の閾値は、ある程度の類似性が認められると判断するための値に設定され、例えば、類似度が０〜１の範囲で算出される場合、０．７に設定することができる。認証候補人物特定手段５２６は、認証候補人物として特定した登録人物の登録人物ＩＤを、図５に示す照合履歴４１５の１位人物ＩＤ４２２に記憶し、その類似度を類似度４２３に記憶する。

検出度合い算出手段５２７は、直近Ｎ回の照合結果において、ある登録人物またはその登録人物の相補人物が１位人物ＩＤ４２２に設定された回数（候補回数）に基づいて、追跡している人物が、登録人物であるか否か判定する。ここでは、直近のＮ枚の入力画像から抽出された顔領域画像について算出された全ての類似度の中の最高値、即ち照合履歴４１５の最新のＮ個の類似度４２３の中の最高値が第２の閾値以上の場合、その最高値に対応する１位人物ＩＤ４２２に記憶された登録人物ＩＤを特定する。第２の閾値は、顔領域画像に写っている顔が、登録顔画像に写っている登録人物の顔であるとみなせる下限値に設定され、例えば、類似度が０〜１の範囲で算出される場合、０．８５に設定することができる。検出度合い算出手段５２７は、直近のＮ枚の顔領域画像について、その特定した登録人物ＩＤに対応する登録人物が認証候補人物として特定された回数、即ちその登録人物ＩＤが最新のＮ個の１位人物ＩＤ４２２に記録されている数を登録人物についての１位ヒット回数として算出する。
さらに、検出度合い算出手段５２７は、登録テーブルにおいてその登録人物に相補人物ＩＤが設定されているか否かを判定する。相補人物ＩＤが設定されている場合、直近のＮ枚の顔領域画像について、その相補人物ＩＤに対応する相補人物が認証候補人物として特定された回数、即ちその相補人物ＩＤが最新のＮ個の１位人物ＩＤ４２２に記録されている数を相補人物についての１位ヒット回数として算出する。そして、登録人物についての１位ヒット回数に、相補人物についての１位ヒット回数を加算した値を改めて登録人物についての１位ヒット回数（候補回数）とする。
そして、検出度合い算出手段５２７は、直近の顔領域画像の枚数Ｎに対する、登録人物についての１位ヒット回数の割合を１位ヒット率とする。

認証判定手段５２８は、１位ヒット率が直近のＮ枚の顔領域画像に写っている顔がその登録人物の顔であるとみなせる条件を満たすか否かを判定する。その条件は、例えば１位ヒット率が認証閾値以上であることである。認証閾値は、顔領域画像に写っている顔がその登録人物の顔であるか否かを判別できる値に設定され、例えば、７０％に設定することができる。１位ヒット率が認証閾値以上である場合、認証判定手段５２８は、顔領域画像に写っている顔がその特定された登録人物の顔であると判定し、撮影領域内を通行する人物がその特定された登録人物であると判定する。そして、照合テーブル４１０において、その系列データの認証フラグ４１６をＯＮに設定し、認証成功を示す信号を出力部２００に出力する。

一方、１位ヒット率が認証閾値以上となる登録人物が検出されない場合、認証判定手段５２８は、認証失敗としてその系列データの認証フラグ４１６をＯＦＦのままにする。また、追跡開始直後であり、Ｎ枚の入力画像に対する照合履歴４１５が取得されていない場合にもその系列データの認証フラグ４１６はＯＦＦのまま維持される。

ここで、登録人物についての１位ヒット回数に、相補人物についての１位ヒット回数を加算した値を改めてその登録人物についての１位ヒット回数とすることにより奏される効果を、図５、図６（ａ）及び図６（ｂ）を用いて説明する。
図６（ａ）は、登録人物ＩＤがＩＤ０１である登録人物の登録顔画像６０１と、その登録人物に顔が非常に類似している、登録人物ＩＤがＩＤ０４である登録人物の登録顔画像６０２とを示す。図６（ｂ）は、図５に示した照合履歴４１５の時刻t1〜t10において、それぞれ抽出された顔領域画像６１１〜６２０を示す。
複数の入力画像に亘って抽出された同一人物の顔領域画像において、各顔領域画像の顔情報について算出される類似度の中で、本人の登録顔情報に対する類似度が常に最も高くなるのが望ましい。しかしながら、図６（ａ）に示すように、相互に顔が類似している人物がそれぞれ登録されている場合、本人の登録顔情報に対する類似度が最高にならず、本人に類似している人物の登録顔情報に対する類似度が１位となってしまう場合がある。

図６（ｂ）に示すように、時刻t1、t2、t5、t7、t9及びt10における顔領域画像６１１、６１２、６１５、６１７、６１９及び６２０については、照明、表情、顔の向き等の撮影条件が登録顔画像６０１の撮影条件と概ね合致している。その結果、これらの顔領域画像の顔情報については、登録顔画像６０１の登録顔情報との類似度が最高となり、図５に示すように、認証候補人物（１位人物ＩＤ４２２）はＩＤ０１の登録人物であると判定される。
一方、図６（ｂ）に示すように、時刻t4及びt8における顔領域画像６１４及び６２０の撮影条件は、登録顔画像６０１の撮影条件より登録顔画像６０２の撮影条件に近い。その結果、これらの顔領域画像の顔情報については、登録顔画像６０２の登録顔情報との類似度が最高となり、図５に示すように、認証候補人物（１位人物ＩＤ４２２）はＩＤ０４の登録人物であると判定される。
また、図６（ｂ）に示すように、時刻t3及びt6における顔領域画像６１３及び６１６については、顔の向きが正面から大きくずれている。その結果、これらの顔領域画像の顔情報については、登録顔画像６０１の登録顔情報及び登録顔画像６０２の登録顔情報との類似度が低くなり、図５に示すように、認証候補人物（１位人物ＩＤ４２２）は、それぞれＩＤ０１の登録人物でもＩＤ０４の登録人物でもない、ＩＤ０７の登録人物、ＩＤ０５の登録人物であると判定される。

図５に示すように、時刻t1〜t10において算出された類似度の中で時刻t5における類似度０．９３が最も高く、第２の閾値（０．８５）以上である。そのため、検出度合い算出手段５２７は、時刻t5において認証候補人物として特定されたＩＤ０１の登録人物について、１位ヒット回数及び１位ヒット率を求める。この例では、１位ヒット回数が、特にＩＤ０１の登録人物とＩＤ０４の登録人物に分散された結果、ＩＤ０１の登録人物の１位ヒット回数は６回となり、１位ヒット率は６０％となった。したがって、認証閾値が７０％に設定されている場合、１位ヒット率は認証閾値を超えず、撮影領域内を通行する人物は、ＩＤ０１の登録人物でないと判定される。この場合、認証閾値を低くすれば撮影領域内を通行する人物がＩＤ０１の登録人物であると判定することができる。しかしながら、顔画像認証では、顔の向き、照明条件等によりいわゆる「他人の空似」が発生し、本人の類似度より他人の類似度が高くなる現象が偶発的に発生しうる。したがって、本人以外の登録人物を誤って受け入れてしまう可能性が高くなるので、単に認証閾値を低くするのは好ましくない。

そこで、ＩＤ０１の登録人物に顔が類似しているＩＤ０４の登録人物を相補人物としてＩＤ０１の登録人物に関連付けて、ＩＤ０１の登録人物についての１位ヒット回数に、ＩＤ０４の登録人物についての１位ヒット回数を加算した値を改めてＩＤ０１の登録人物についての１位ヒット回数とする。これにより、相互に顔が類似している登録人物の間で１位ヒット回数が分散されることが抑制される。ＩＤ０１の登録人物の１位ヒット回数は８回となり、１位ヒット率は８０％となって、１位ヒット率が認証閾値を超えるので、撮影領域内を通行する人物がＩＤ０１の登録人物であると判定することができる。

以下、図７に示したフローチャートを参照しつつ、本発明による顔画像認証装置１０の動作を説明する。なお、以下に説明する動作のフローは、画像処理部５００を構成するマイクロプロセッサ上で動作する。なお、以下に説明する処理の実施前に、図４に示す照合テーブル４１０は空白になるよう初期化される。また、以下に説明する動作は、顔画像認証装置１０の電源が投入されたとき、或いは、認証モードが設定されたときに開始される。

最初に、顔画像認証装置１０は、撮像部１００により、撮影領域を撮影した入力画像を取得し、画像処理部５００の照合部５２０へ送る（ステップＳ７０１）。次に、照合部５２０の顔検出手段５２２は、取得された入力画像から、人物の顔が写っている顔領域を抽出し、その顔領域を入力画像から切り出して顔領域画像を作成する（ステップＳ７０２）。次に、顔検出手段５２２は、一つ以上の顔領域が抽出されたか否か判定する（ステップＳ７０３）。顔領域が全く抽出されなかった場合、ステップＳ７０１へ移行し、顔領域が抽出されるまで順次取得する入力画像に対してステップＳ７０１〜Ｓ７０３の処理を繰り返す。一方、一つ以上の顔領域が抽出された場合、顔追跡手段５２３は、抽出された全ての顔領域を追跡し、照合テーブル４１０を更新する（ステップＳ７０４）。

次に、顔照合手段５２４は、照合テーブル４１０において、追跡フラグ４１３がＯＮであり、かつ、認証フラグ４１６がＯＦＦになっている系列データがあるか否か判定する（ステップＳ７０５）。追跡中であり、かつ、認証未完了の追跡対象がない場合、ステップＳ７０１へ移行する。一方、追跡中であり、かつ、認証未完了の追跡対象がある場合、顔照合手段５２４は、その追跡対象の系列データごとに、認証処理を実行する（ステップＳ７０６）。認証処理の詳細については後述する。

次に、顔照合手段５２４は、追跡フラグ４１３がＯＮであり、かつ、認証フラグ４１６がＯＦＦになっている系列データのうち、まだ認証処理が実行されていない系列データがあるか否かを判定する（ステップＳ７０７）。抽出した顔領域のうちまだ認証処理が実行されていない追跡対象がある場合、顔照合手段５２４は、ステップＳ７０６へ移行し、その系列データについて認証処理を実行する。一方、全ての追跡対象について認証処理が完了すると、ステップＳ７０１へ移行し、顔画像認証装置１０は、新たな入力画像を取得する。

図８は、顔照合手段５２４により実行される、認証処理の動作を示すフローチャートである。図８に示す認証処理は、図７のステップＳ７１０において実行される。

最初に、類似度算出手段５２５は、系列データに対応する現フレームの顔領域画像に対して顔情報を抽出し、記憶部５１０に記憶された全ての登録顔情報との類似度を算出する（ステップＳ８０１）。認証候補人物特定手段５２６は、算出した類似度の中で最高の類似度が第１の閾値以上であるか否かを判定し（ステップＳ８０２）、最高の類似度が第１の閾値未満である場合、特に処理を行わず、認証処理を終了してステップＳ７０７の処理へ移行する。一方、最高の類似度が第１の閾値以上である場合、その最高の類似度が算出された登録人物を認証候補人物として特定して、その登録人物の登録人物ＩＤを照合履歴の１位人物ＩＤ４２２に記憶し、その類似度を類似度４２３に記憶する（ステップＳ８０３）。

次に、検出度合い算出手段５２７は、照合回数が所定回数Ｎ以上であるか否か、即ち系列データに蓄積された照合履歴４１５のフレーム数がＮ以上であるか否かを判定する（ステップＳ８０４）。検出度合い算出手段５２７は、照合回数が所定回数Ｎ未満である場合、特に処理を行わず、認証処理を終了する。一方、照合回数が所定回数Ｎ以上である場合、直近のＮ枚の入力画像から抽出された顔領域画像について算出された全ての類似度の中の最高値、即ち照合履歴４１５の最新のＮ個の類似度４２３の中の最高値を特定する（ステップＳ８０５）。

次に、検出度合い算出手段５２７は、特定された類似度４２３の中の最高値が第２の閾値以上であるか否かを判定する（ステップＳ８０６）。検出度合い算出手段５２７は、特定された最高値が第２の閾値未満である場合、特に処理を行わず、認証処理を終了する。一方、特定された最高値が第２の閾値以上である場合、その最高値に対応する１位人物ＩＤ４２２に記憶された登録人物ＩＤが最新のＮ個の１位人物ＩＤ４２２に記録されている数をその登録人物ＩＤに対応する登録人物についての１位ヒット回数として算出する（ステップＳ８０７）。
次に、検出度合い算出手段５２７は、登録テーブルにおいて、その登録人物に相補人物ＩＤが設定されているか否かを判定する（ステップＳ８０８）。検出度合い算出手段５２７は、相補人物ＩＤが設定されていない場合、特に処理を行わず、ステップＳ８１０へ処理を移行する。一方、相補人物ＩＤが設定されている場合、その相補人物ＩＤが最新のＮ個の１位人物ＩＤ４２２に記録されている数をその相補人物ＩＤに対応する相補人物についての１位ヒット回数として算出する。そして、登録人物についての１位ヒット回数に、相補人物についての１位ヒット回数を加算した値を改めて登録人物についての補完１位ヒット回数とする（ステップＳ８０９）。
次に、検出度合い算出手段５２７は、算出した１位ヒット回数から判定期間のＮフレーム中の１位ヒット率を算出する（ステップＳ８１０）。

次に、認証判定手段５２８は、１位ヒット率が認証閾値以上であるか否かを判定する（ステップＳ８１１）。認証判定手段５２８は、１位ヒット率が認証閾値未満である場合、特に処理を行わず、認証処理を終了する。一方、認証判定手段５２８は、１位ヒット率が認証閾値以上である場合、認証成功を示す信号を出力部２００に出力し、認証フラグ４１６をＯＮに設定し（ステップＳ８１２）、認証処理を終了する。

ステップＳ８１２で認証成功を示す信号が出力部２００に出力された場合、顔照合手段５２４は、出力部２００を介して電気錠を解錠する。これにより認証成功となった人物は、入室することができる。なお、電気錠は、人物の入室が確認できた後にすみやかに、または所定時間経過後に自動的に施錠されるものとする。

以上説明してきたように、本発明を適用した顔画像認証装置は、登録人物の登録顔情報をその登録人物と顔が類似している相補人物と対応付けて記憶する。そして、直近の複数の顔領域画像に対して認証候補として特定された登録人物の１位ヒット回数に、その登録人物に対応付けられた相補人物の１位ヒット回数を加えた数に基づいて、顔領域画像に写っている顔がその登録人物の顔であるか否かを判定する。これにより、顔画像認証装置は、双子のように相互に顔が類似している人物が登録されている場合でも、類似度が１位となる登録人物が分散することを抑制し、本人棄却を防止することができる。

本発明は、上記実施の形態に限定されるものではなく、幾多の変更及び変形が可能である。例えば、顔照合手段は、顔領域画像の画質が照合処理に適したものであるか否か、即ち１位ヒット率の計算に適したものであるか否かを判定し、照合処理に適していないと判定した場合はその画像を照合処理の対象から除外してもよい。例えば、撮像部のレンズとしてオートフォーカスタイプのレンズを使用する場合に、顔照合手段は、顔領域画像の周波数成分を抽出し、周波数成分が所定の値以下である顔領域画像は照合処理に適さない顔領域画像であると判定し、その画像を照合処理の対象から除外する。これにより、ピントが合っていない画像を照合処理の対象から予め除外することができ、顔画像認証装置の認証性能を向上させることができる。なお、照合処理の対象から外したフレームについては、１位ヒット率の算出における母数にも加えない。

また、設定手段は、登録人物と相補人物の対応付けの設定の指示を操作部から受け取った場合、その登録人物についての登録顔情報と相補人物についての登録顔情報との類似度を算出し、類似度が１又は複数回続けて所定の閾値以上である場合に限り、その登録人物の登録顔情報を、相補人物の登録顔情報と対応付けても良い。所定の閾値は、登録人物の顔と相補人物の顔とが区別できないとみなせる下限値に設定される。所定の閾値は、第２の閾値と同程度の値に設定されるのが好ましく、例えば、類似度が０〜１の範囲で算出される場合、０．８０〜０．８５に設定することができる。これにより、管理者によって相補人物が誤って設定されることを防止できる。さらに、登録人物と区別することが十分に可能な人物が相補人物として設定されることも防止できる。

また、設定手段は、登録人物の登録顔画像の登録の指示を操作部から受け取った場合、その登録顔画像についての登録顔情報と、既に登録されている全ての登録顔情報との類似度を算出してもよい。そして、設定手段は、類似度が所定の閾値以上となる登録済みの登録顔情報が存在する場合、相補人物として設定するか否かを確認する画面を表示部に表示させる。これにより、新たに登録する人物に双子等が存在することを管理者が把握していない場合でも、相補人物の設定漏れが発生することを防止できる。あるいは、設定手段は、類似度が所定の閾値以上となる登録済みの登録顔情報が存在する場合、自動的に相補人物として設定してもよい。これにより、管理者は相補人物を設定する必要がなくなり、利便性を向上させることができる。

また、相補人物の設定においては、相互の登録人物が関連付けられていればよく、相補人物の登録人物ＩＤに代えて相補グループＩＤを用いてもよい。また、３人以上の登録人物の間で相補人物の対応付けを行ってもよい。

また、認証判定手段は、１位ヒット率が認証閾値以上であるか否かにより、認証判定をするのではなく、所定期間内の１位ヒット回数が認証閾値以上であるか否かにより、認証判定をしてもよい。
あるいは、認証判定手段は、類似度が１位となった連続数が認証閾値以上であるか否か、即ち特定の登録人物またはその登録人物の相補人物についての類似度が認証閾値以上連続して１位となるか否かにより、認証判定をしてもよい。その場合、顔照合手段が参照する照合履歴は認証閾値の数でよく、顔照合手段は認証閾値の数の分の照合履歴を照合テーブルに記憶しておけばよい。

また、検出度合い算出手段は、直近のＮ枚の顔領域画像についての類似度の中の最高値が算出された登録人物についてのみ、１位ヒット回数及び１位ヒット率を求めるのではなく、類似度が第２の閾値以上となった複数の登録人物について１位ヒット回数及び１位ヒット率を求め、類似度が高い順に認証する構成としてもよい。

また、認証判定手段は、類似度が最高値となった登録人物の１位ヒット率が認証閾値以上の場合に通行人物をその登録人物と判定するのではなく、単に１位ヒット率が最も高い登録人物の１位ヒット率が認証閾値以上の場合に通行人物をその登録人物と判定してもよい。さらに、１位ヒット率が最も高い登録人物に関して算出された類似度が第２の閾値以上である場合に通行人物をその登録人物と判定してもよい。これらの場合、相互に相補人物として設定されている登録人物のうち、類似度が最高値となった登録人物が通行人物と判定されるのではなく、１位ヒット率または１位ヒット回数が最高値となった登録人物が最終的に通行人物と判定される。

また、認証判定手段は、類似度の最高値を得た認証候補人物について１位ヒット率に基づいて登録人物であるか否かを判定する構成としたが、他の要素に基づいて認証判定してもよい。例えば、類似度の最高値が算出された登録人物について算出した類似度の平均値から、他の全ての登録人物について算出した類似度の平均値を引いた差を相対スコアとして算出し、相対スコアが最高の登録人物を各フレームの認証候補人物とする、或いは、各フレームの認証候補人物の相対スコアの最高値が閾値以上である場合にその登録人物についての１位ヒット率を判定する。相対スコアとして、全ての登録人物について算出した類似度に対する、類似度の最高値の偏差値を算出してもよい。

１０ 顔画像認証装置
１００ 撮像部
２００ 出力部
３００ 表示部
４００ 操作部
５００ 画像処理部
５１０ 記憶部
５２０ 照合部
５２１ 設定手段
５２２ 顔検出手段
５２３ 顔追跡手段
５２４ 顔照合手段
５２５ 類似度算出手段
５２６ 認証候補人物特定手段
５２７ 検出度合い算出手段
５２８ 認証判定手段

Claims (4)

1. 予め登録された複数の登録人物のそれぞれについて、当該登録人物の顔の特徴を表す登録顔情報と、当該登録人物と関連する他の登録人物である相補人物との対応関係を記憶する記憶部と、
   所定の撮影領域を撮影した入力画像を順次取得する画像取得部と、
   前記入力画像から人物の顔を含む顔領域を抽出する顔検出手段と、
   前記抽出された顔領域に含まれる顔の特徴を表す入力顔情報を前記複数の登録人物の前記登録顔情報のそれぞれと照合し、前記複数の登録人物のうち当該入力顔情報と類似する登録顔情報の登録人物を認証候補人物として特定する類似判定手段と、
   撮影時刻が異なる複数の入力画像において、前記登録人物または当該登録人物に対応付けられた前記相補人物の何れかが前記認証候補人物として特定された候補回数に基づき、当該複数の入力画像に写っている顔が当該登録人物の顔であると判定する同一性判定手段と、
   を有することを特徴とした顔画像認証装置。
2. 前記同一性判定手段は、前記複数の入力画像における、同一の登録人物に関する前記候補回数、または、当該複数の入力画像のフレーム数に対する前記候補回数の割合が判定基準を満たすとき、当該登録人物であると判定する、請求項１に記載の顔画像認証装置。
3. 前記同一性判定手段は、前記複数の登録人物のうち、前記複数の入力画像に対する照合の結果最高の類似度を得た登録人物について、前記候補回数に基づく判定を行う、請求項１又は２に記載の顔画像認証装置。
4. 操作部と、
   前記操作部からの操作に従って前記登録人物に前記相補人物を対応付ける設定手段と、をさらに備え、
   前記設定手段は、前記操作部にて指示された複数の前記登録人物の登録顔情報の類似度が所定の閾値以上である場合に、一方の登録人物に他方の登録人物を相補人物として対応付ける、請求項１〜３の何れか一項に記載の顔画像認証装置。

Images