JP5955056B2 - 顔画像認証装置 - Google Patents

Description

本発明は、顔画像認証装置に関し、特に、予め登録している顔画像に基づいて利用者を認証する顔画像認証装置に関する。

予め登録された登録者以外の建物、部屋等への進入を制限するために利用者が登録者であるか否かを判定するための認証装置が利用されている。一般に、認証装置は、パスワード、ＩＤカード又は利用者の指紋、静脈パターン、虹彩、顔等の生体情報を照合することにより、利用者が登録者であるか否かを判定する。そして、利用者が登録者であると判定すると、建物、部屋等の入口を通行可能とするようにその入口に設けられた扉を制御する。このような認証装置において、利用者が登録者であると判定されて入口が通行可能とされた時に、登録者と判定された利用者と共に登録者と判定されていない人物が進入する、いわゆる共連れ進入の問題があった。

そこで、特許文献１には、共連れ行為を検出する監視装置が提案されている。この監視装置は、ＩＣカードに記録された情報を読み取るＩＣカードリーダ、暗証番号の入力を受け付ける操作パネル、被認証者の生体情報を読み取る装置等を有する認証装置と、被認証者を含む監視画像を撮影する撮像装置とを備える。そして監視装置は、認証装置による認証が成功したタイミングで撮像装置により撮像された画像に複数の人物が含まれるか否かを判定し、複数の人物が含まれる場合には、不正な通行の兆候があるとして異常信号を出力する。

特開２００９−２３０２８４号公報

特許文献１に記載された監視装置は、撮像された監視画像の中に被認証者以外の人物が写っているか否かを判定することにより、共連れ行為を検出することができる。しかしながら、特許文献１に記載された監視装置は、例えば認証装置による認証が成功した時には監視画像に写っておらず、その後扉が開いている間に入室しようとする人物による共連れ行為を検出することはできない。

一方、監視領域内を歩行する人物を認証するために、監視画像を順次撮影し、撮影した各監視画像から抽出した、人物の顔を含む顔領域画像を追跡し、予め登録された登録顔画像との類似度を算出し、追跡した系列ごとに登録者か否かを認証するいわゆるウォークスルー型の顔画像認証装置が従来用いられている。複数の人物が撮像される場合、従来のウォークスルー型の顔画像認証装置では、撮影される顔画像の状態によって、複数の人物毎に認証結果が出るタイミングが異なる。例えば、併行して歩いている二人の人物であっても、正面方向を向いている顔画像が取得された人物は、横方向を向いている顔画像が取得された人物より早く認証結果が出ることが多いなど、顔画像の取得環境によって認証結果が出るタイミングが異なる。
このため、従来のウォークスルー型の顔画像認証装置では、特許文献１のように認証が成功した時点で被認証者以外の人物がいる場合に共連れ行為と判定してしまうと、その後に登録者と判定される他の人物が存在する場合も誤って共連れ行為と判定してしまうという課題があった。

本発明の目的は、共連れ進入の有無を適切に判定することができるウォークスルー型の顔画像認証装置を提供することにある。

かかる課題を解決するための本発明は、共連れ進入を判定する顔画像認証装置を提供する。係る顔画像認証装置は、監視領域を撮影した監視画像を順次取得する撮像部と、登録者の登録顔画像を記憶する記憶部と、監視画像から人物の顔を含む顔領域画像を抽出する顔検出手段と、同一人物の顔領域画像を追跡して系列化し、系列データを生成する顔追跡手段と、系列データ毎に、当該系列データに含まれる顔領域画像と登録顔画像を比較して当該系列データの人物が登録者であるか未登録者であるかを判定する認証判定手段と、特定の系列データの人物が登録者と判定された認証時刻の前後の所定期間に、未登録者と判定された他の系列データが存在すれば共連れ進入と判定する共連れ判定手段と、を有する。

また、本発明に係る顔画像認証装置において、認証判定手段は、認証判定手段は、顔領域画像の追跡を開始してから判定保留期間が経過するまでに登録者と判定されなかった系列データの人物を未登録者と判定し、共連れ判定手段は、登録者と判定されていない系列データについては、判定保留期間が経過してから共連れ進入を判定することが好ましい。

また、本発明に係る顔画像認証装置において、特定の系列データの人物が登録者であると判定されると、監視領域から制限領域への入口を通行可能とするように入口に設けられた扉を制御する扉制御手段をさらに有し、所定期間は、認証時刻の後の入口が通行可能とされる第１の期間と、認証時刻の前の第１の期間よりも短い第２の期間であることが好ましい。

また、本発明に係る顔画像認証装置において、扉制御手段は、扉に設けられた電気錠から解錠状態と施錠状態を示す信号を取得し、第１の期間は、認証時刻の後に施錠状態を示す信号を取得した時に終了する期間とすることが好ましい。

また、本発明に係る顔画像認証装置において、顔検出手段は、監視画像から人物を表す人物領域を抽出し、さらに当該人物領域から顔領域画像を抽出し、顔追跡手段は、顔領域画像を追跡して系列化するのに代えて、同一人物の人物領域を追跡して系列化することが好ましい。

本発明に係るウォークスルー型の顔画像認証装置は、共連れ進入の有無を適切に判定することができるという効果を奏する。

本発明を適用した顔画像認証装置が部屋の入口に設置される場合の撮像部の設置例を表す模式図である。 顔画像認証装置の概略構成図である。 共連れ判定手段により共連れ進入と判定される前の履歴テーブルの模式図である。 共連れ判定手段により共連れ進入と判定される前の履歴テーブルの模式図である。 共連れ判定手段により共連れ進入と判定される前の履歴テーブルの模式図である。 共連れ判定手段により共連れ進入と判定された後の履歴テーブルの模式図である。 本発明による顔画像認証装置の認証処理の動作を示すフローチャートである。 共連れ判定手段による共連れ進入の判定処理の動作を示すフローチャートである。

以下、本発明を適用した顔画像認証装置を部屋等の入室が制限される制限領域への入口に設置した一実施形態について図を参照しつつ説明する。
本発明を適用した顔画像認証装置は、監視領域を撮影した監視画像に写っている人物が予め登録された登録者であるか、あるいは登録者でない未登録者であるかを判定し、登録者である場合には建物、部屋等の入室が制限される制限領域への入口を通行可能にする。また、顔画像認証装置は、特定の人物を登録者と判定した時刻の前後の所定期間に監視領域に進入した他の人を未登録者と判定すると、未登録者が登録者に随行して制限領域へ進入した、いわゆる共連れ進入があったと判定する。これにより、顔画像認証装置は、共連れ進入の有無を適切に判定する。

図１に、顔画像認証装置が部屋の入口に設置される場合の撮像部の設置例を模式的に示す。図１に示す例では部屋を、予め登録された登録者以外の進入を制限する制限領域２５６とし、部屋の入口２５１の外側に監視領域２５５が設定される。図１に示すように、例えば、顔画像認証装置が部屋の入口２５１に設置される場合、撮像部１００は、入口２５１に通じる通路を監視領域２５５に含むよう、入口２５１が設置された壁の上方または天井に、撮影方向をやや下方へ向け、その通路側へ向けた状態で取り付けられる。これにより撮像部１００は、進行方向２５２に沿って入口２５１に向かう人物２６０、２６１を所定の時間間隔で撮像することができる。なお、人物２６２は監視領域２５５の外に存在し、監視画像には写っていないものとする。図１では、人物２６０は制限領域２５６へ進入可能な人物として登録された登録者であり、人物２６１、２６２は登録者でない未登録者とする。

また入口２５１には、扉２５３が設けられ、その扉２５３には電気錠２５４が設けられる。電気錠２５４は、通常時において施錠されている。その電気錠２５４は、顔画像認証装置と接続されており、顔画像認証装置により施錠及び解錠の制御が可能となっている。なお、電気錠２５４は、解錠され扉が開けられた後、扉が閉じて一定時間（例えば０．５秒）が経過すると、自動的に施錠される。

顔画像認証装置が判定対象とする共連れ進入について、図１を用いて説明する。図１に示す人物２６０が登録者と判定されて電気錠２５４が解錠されると、一定時間（例えば１０秒）、人物２６０は扉２５３を開けて入口２５１を通行可能となる。監視領域２５５は端から端まで数秒程度で移動可能な領域に設定される。そのため、共連れ進入を企てる多くの未登録者は、人物２６２のように人物２６０が登録者と判定されるまで監視領域２５５の外で待機して、人物２６０が登録者と判定され、電気錠２５４が解錠されてから監視領域２５５に進入し、人物２６０が扉２５３を開けている間に入口２５１を通行しようとする。この人物２６２の行為を以下では「駆け込み」と称する。
あるいは、共連れ進入を企てる多くの未登録者は、人物２６１のように、登録者である人物２６０のすぐ近く（特に、すぐ後ろ）をついて歩くことにより、人物２６０が扉２５３を開けたときに入口２５１を通行しようとする。ウォークスルー型の顔画像認証装置では、例えば人物が撮像部１００の近くに移動するまでうつむいていた場合、他人の背後にいて監視画像に顔の一部しか写っていない場合等、登録者と判定されるのに時間を要する場合がある。そのため、人物２６０が監視領域２５５に進入した直後に登録者と判定されるとは限られず、人物２６１の方が先に未登録者と判定される可能性がある。このように、人物２６０が登録者と判定される前に未登録者と判定された人物２６１についても共連れ進入が可能となる。これを以下では「入れ替わり」と称する。

図２は、本発明を適用した顔画像認証装置１０の概略構成を示す図である。図２に示すように、顔画像認証装置１０は、撮像部１００、出力部２００及び画像処理部３００を有する。以下、顔画像認証装置１０の各部について詳細に説明する。

撮像部１００は、図１に示したように所定の監視領域を撮影する監視カメラであり、例えば、２次元に配列され、受光した光量に応じた電気信号を出力する光電変換素子（例えば、ＣＣＤセンサ、Ｃ−ＭＯＳなど）と、その光電変換素子上に監視領域の像を結像するための結像光学系を有する。
撮像部１００は、監視領域内を通行する人物の顔を順次撮影できるように人物の通行方向の略正面に設置される。そして撮像部１００は、監視領域を撮影した監視画像を、所定の時間間隔（例えば、200msec）ごとに取得する。撮像部１００は、画像処理部３００と接続され、取得した監視画像を画像処理部３００へ渡す。

監視画像は、グレースケールまたはカラーの多階調の画像とすることができる。本実施形態では、監視画像を、横1280画素×縦960画素を有し、ＲＧＢ各色について８ビットの輝度分解能を持つカラー画像とした。ただし、監視画像として、この実施形態以外の解像度及び階調を有するものを使用してもよい。

出力部２００は、例えば電気錠２５４、又は電気錠２５４を制御する外部機器等に接続する通信インターフェース及びその制御回路を有する。そして出力部２００は、画像処理部３００から人物についての認証成功を示す信号を受け取ると、接続された機器へ、例えば電気錠２５４の解錠を要求する信号を出力する。また、出力部２００は、画像処理部３００から共連れ進入があったことを示す信号を受け取ると、出力部２００に接続された、不図示の警報ランプを点灯させ、又は不図示のブザーを鳴動させる。または、共連れ進入があったことを示す信号を不図示の監視センタ装置へ出力する。

画像処理部３００は、例えば、いわゆるコンピュータにより構成される。そして画像処理部３００は、撮像部１００から受け取った監視画像から人物の顔を含む領域の画像を顔領域画像として抽出し、各顔領域画像を用いて顔照合処理を実施する。そして、監視画像に写っている人物を登録者と判定すると、電気錠２５４を解錠する。さらに、登録者と判定された人物と共に、登録者でない人物が入室可能であるか否かを判定する。そのために、画像処理部３００は、記憶部３１０及び照合部３２０を有する。さらに、照合部３２０は、計時手段３２１、顔検出手段３２２、顔追跡手段３２３、認証判定手段３２４、扉制御手段３２５及び共連れ判定手段３２６を有する。

記憶部３１０は、ＲＯＭ、ＲＡＭなどの半導体メモリ、あるいは磁気記録媒体及びそのアクセス装置若しくは光記録媒体及びそのアクセス装置などを有する。そして記憶部３１０には、顔画像認証装置１０を制御するためのコンピュータプログラム及び各種パラメータなどが予め記憶される。また記憶部３１０は、一人以上の登録者のそれぞれについて、その登録者の顔が写った登録顔画像を、その登録者の登録者ＩＤと関連付けて予め記憶する。また記憶部３１０は、画像処理により生じた人物に関する情報を管理するための履歴テーブルを記憶する。この履歴テーブルの詳細については後述する。

照合部３２０の各手段は、マイクロプロセッサ、メモリ、その周辺回路及びそのマイクロプロセッサ上で動作するソフトウェアにより実装される機能モジュールである。あるいは、これらの手段を、ファームウェアにより一体化して構成してもよい。また、これらの手段の一部または全てを、独立した電子回路、ファームウェア、マイクロプロセッサなどで構成してもよい。以下、照合部３２０の各手段について詳細に説明する。

計時手段３２１は、撮像部１００から監視画像を取得する度に、その監視画像を取得した時刻を記憶部３１０に記憶する。

顔検出手段３２２は、撮像部１００から監視画像を取得する度に、取得した監視画像から人物の顔が写っている領域である顔領域を検出し、顔領域画像を抽出する。
顔領域を検出するために、顔検出手段３２２は、例えばフレーム間差分処理または背景差分処理を利用して、撮像部１００によって生成される複数の監視画像において輝度値の時間的な変化のある変化領域を抽出する。そして顔検出手段３２２は、抽出した変化領域のうち、その変化領域の大きさ等の特徴量から人物らしいと考えられる変化領域を人物を表す人物領域として抽出する。そして顔検出手段３２２は、抽出した人物領域に対してSobelフィルタなどを用いて輝度変化の傾き方向が分かるようにエッジ画素抽出を行う。そして顔検出手段３２２は、抽出したエッジ画素から、所定の大きさをもつ、頭部の輪郭形状を近似した楕円形状のエッジ分布を検出し、そのエッジ分布に囲まれた領域を、顔領域として抽出する。この場合において、顔検出手段３２２は、例えば、一般化ハフ変換を用いて、楕円形状のエッジ分布を検出することができる。

あるいは顔検出手段３２２は、Adaboost識別器を用いて顔領域を検出してもよい。この方法についてはP.Violaと M.Jonesによる論文「Rapid Object Detection Using a Boosted Cascade of Simple Features」（Proc. the IEEE International Conference on Computer Vision and Pattern Recognition, vol.1, pp.511-518, 2001）を参照することができる。
そして顔検出手段３２２は、検出した顔領域を監視画像から切り出して顔領域画像を作成し、その顔領域画像及び監視画像における顔領域の座標情報を顔追跡手段３２３に出力する。

顔追跡手段３２３は、所定の時間間隔で連続して取得される複数の監視画像のそれぞれから顔検出手段３２２により検出された顔領域に対して公知のトラッキング技術を利用して追跡処理を行い、同一と思われる人物の顔が写っている連続して抽出された顔領域画像を同一系列の顔画像のデータとする。
例えば、顔追跡手段３２３は、最新の監視画像から検出された顔領域（以降、現フレームの顔領域と称する）の重心位置と、１フレーム前の監視画像から検出された顔領域（以降、前フレームの顔領域と称する）の重心位置の距離を求めて、その距離が所定の閾値以下である場合に、その顔領域を同一人物によるものとして対応付ける。なお、人物が撮像部１００から離れているときに一定の距離を移動した場合と撮像部１００の近くにいるときに同じ距離を移動した場合とでは、その移動の前後において監視画像における顔領域の位置の差は異なる。そのため、例えば所定の閾値を顔領域の大きさとすることにより、監視領域内の人物の位置にかかわらず、現フレームの顔領域と前フレームの顔領域が同一人物によるものか否かを適切に評価することができる。複数の顔領域が抽出されている場合には、重心位置の距離が最も近い顔領域どうしが対応づくか否かを調べる。

あるいは、顔追跡手段３２３は、オプティカルフロー、パーティクルフィルタ等の方法を用いて顔領域の追跡処理を行ってもよい。

顔追跡手段３２３は、顔領域の追跡処理を行うと、記憶部３１０に格納されている履歴テーブルを更新する。図３Ａ〜図３Ｃに履歴テーブルの例を示す。図３Ａ〜図３Ｃに示すように履歴テーブル３５０は、人物ごとに系列データを管理する。系列データは、履歴テーブル３５０の各行にあらわされるデータの組であり、顔追跡手段３２３は、系列データのうち、試行番号３５１、追跡フラグ３５２、顔画像データ３５３及び追跡位置情報３５４を更新する。

ここで、履歴テーブル３５０における試行番号３５１は、追跡中の人物の系列データを他の人物の系列データと識別するための識別番号であり、人物が監視領域２５５内に存在している間、つまり顔追跡手段３２３によって追跡がされている間、同一の識別番号が割り当てられ続ける。
追跡フラグ３５２は、その人物に対する追跡が継続しているか否かをあらわすフラグであり、顔追跡手段３２３がその人物の追跡を開始するとＯＮになり、追跡を終了するとＯＦＦになる。
顔画像データ３５３は、顔検出手段３２２によって抽出された顔領域画像であって、顔追跡手段３２３による追跡処理で同一人物のものとして対応付けられた系列データに記憶される。
追跡位置情報３５４は、顔追跡手段３２３による追跡処理でその人物のものとして対応付けられた顔領域の監視画像内の座標情報と、計時手段３２１により記録された、その監視画像を取得した時刻を示す時刻情報を顔領域画像と対応付けて記憶したものである。

顔追跡手段３２３は、着目する現フレームの顔領域について前フレームの顔領域と対応付けることができなかった場合、その現フレームの顔領域には新たに監視領域２５５内に入ってきた人物が写っているものとして、履歴テーブル３５０にその人物についての系列データを新たに追加する。即ち顔追跡手段３２３は、その系列データに新たな試行番号３５１を割り当てるとともに、追跡フラグ３５２をＯＮに設定する。また顔追跡手段３２３は、顔画像データ３５３にその現フレームの顔領域から作成された顔領域画像を記録するとともに、追跡位置情報３５４にその顔領域の座標情報及びその顔領域を含む監視画像の時刻情報を記録する。また、顔追跡手段３２３は、後述する認証候補人物３５５、類似度３５６、認証結果３５７、認証時刻３５８に初期値としてブランクを記録し、共連れフラグ３５９と通報フラグ３６０に初期値としてＯＦＦを設定する。そして、顔追跡手段３２３は、新たに追加した系列データを認証判定手段３２４に出力する。

一方、顔追跡手段３２３が、着目する現フレームの顔領域について前フレームの顔領域と対応付けることができた場合、その人物についての系列データは、既に履歴テーブル３５０に作成されている。そのため、顔追跡手段３２３は、履歴テーブル３５０の、対応する系列データの顔画像データ３５３にその現フレームの顔領域から作成された顔領域画像を追加するとともに、追跡位置情報３５４にその顔領域の座標情報及びその顔領域を含む監視画像の時刻情報を追加する更新処理を行う。そして、顔追跡手段３２３は、その系列データを認証判定手段３２４に出力する。

また、顔追跡手段３２３は、前フレームの顔領域について、全ての現フレームの顔領域と対応付けられなかったものがある場合、履歴テーブル３５０の、対応する系列データの追跡フラグ３５２をＯＦＦにして、その人物についての追跡処理を終了する。

認証判定手段３２４は、顔追跡手段３２３によって系列化された系列データ、即ち、図３Ａ〜図３Ｃに示す履歴テーブル３５０の系列データ毎に、各顔領域画像と記憶部３１０に予め記憶された各登録顔画像との類似度を算出する。認証判定手段３２４は、公知の顔照合技術を用いて類似度を算出する。例えば、認証判定手段３２４は、顔領域画像と登録顔画像の位置をずらしながら顔領域画像に含まれる各画素と登録顔画像の対応画素の輝度値の差の二乗和を算出し、算出した二乗和のうち最も小さいものを顔領域画像に含まれる画素数で割って正規化した値の逆数を類似度として求める。
そして、算出した類似度のうちの最も高い類似度が認証閾値を越えている場合、その系列データの各顔領域画像に写っている人物を登録者と判定する。この認証閾値は、顔領域画像に含まれる顔が登録者の顔であるか否かを認証するための基準である。なお、各顔領域画像について算出した、特定の登録顔画像との類似度のうち、所定数（例えば３つ）以上の類似度が認証閾値を越えた場合にその人物を登録者と判定してもよい。

一方、特定の系列データの顔領域画像が所定の判定保留期間にわたって抽出されているが、その抽出された顔領域画像についての類似度が何れも認証閾値以下である場合、認証判定手段３２４は、その系列データの各顔領域画像に写っている人物を未登録者と判定する。つまり、この未登録者には、予め登録されていない来客者だけでなく、犯罪等を企てる不審者も含まれる。なお、判定保留期間は、ある人物が登録者と判定された時にまだ認証判定されていない他の人物が、その後に登録者と判定されるような場合に共連れ進入と誤判定しないように用いられる時間であり、人物が監視領域２５５に入って監視画像に写り始めてから、歩行して監視画像に写らなくなるまでの平均的な時間を基準に決定される。判定保留期間は、撮像部１００の性能、設置場所等によって予め経験的に決めることができ、例えば、監視領域２５５の長さが１０ｍの場合、５秒に設定することができる。
このように、認証判定手段３２４は、登録者と判定されていない人物について、判定保留期間が経過するまでは登録者でも未登録者でもない未確定の状態を維持し、判定保留期間が経過したときに未登録者との判定を確定する。

また、認証判定手段３２４は、判定保留期間が経過していなくても、登録者と判定されないまま監視領域２５５の外に移動した人物も未登録者と判定する。

図３Ａ〜図３Ｃに戻り、認証候補人物３５５は、認証判定手段３２４によって人物が登録者と判定された場合のその登録者の識別ＩＤである。
類似度３５６は、認証候補人物３５５を特定することになった照合スコアである。
認証結果３５７は、人物が登録者であるか、又は未登録者であるかを表す。人物の追跡が始まったばかりの状態のように、認証判定手段３２４によって人物が登録者であるか未登録者であるかが判定されていない未確定の場合にはブランクがセットされ、登録者と判定された場合には「登録者」と記録され、未登録者と判定された場合には「未登録者」と記録される。
認証時刻３５８は、認証判定手段３２４が人物を登録者又は未登録者と判定した時刻を表す。

認証判定手段３２４は、顔追跡手段３２３から出力された系列データのうち、履歴テーブル３５０の追跡フラグ３５２がＯＮかつ認証結果３５７が登録者となっていない系列データの最新の顔領域画像と記憶部３１０に予め記憶された各登録顔画像との類似度を算出する。そして、算出した類似度のうち最も高い類似度が認証閾値を越えている場合、その系列データの人物を登録者と判定し、追跡フラグ３５２をＯＦＦに設定するとともに、類似度３５６にその最も高い類似度を記録し、認証結果３５７に登録者と記録し、認証時刻３５８に現在時刻を記録する。さらに、その最も高い類似度に対応する登録顔画像の登録者を特定し、その情報（登録者の識別ＩＤ）を認証候補人物３５５に記憶する。

一方、認証判定手段３２４は、判定保留期間が経過するまで認証結果３５７が未確定のままである系列データ、または認証結果３５７が未確定のまま追跡フラグ３５２がＯＦＦとなった系列データの人物については未登録者と判定し、認証結果３５７に未登録者と記録して、認証時刻３５８に現在時刻を記録する。なお、登録者の検知精度を向上させるために、認証判定手段３２４は、未登録者と判定した系列データについては追跡フラグ３５２をＯＮのままとし、以降の監視画像においても登録者か否かの判定を継続する。あるいは、未登録者と判定した系列データについて、追跡フラグ３５２をＯＦＦに設定し、以降の監視画像においては登録者か否かを判定しないようにしてもよい。

扉制御手段３２５は、認証判定手段３２４によって、監視領域２５５を通行する人物が登録者であると判定されると、入口２５１を通行可能とするように扉２５３を制御するために、認証成功を示す信号を出力部２００に出力する。

共連れ判定手段３２６は、履歴テーブル３５０に基づいて、未登録者による制限領域２５６への共連れ進入の有無を判定する。共連れ判定手段３２６は、特定の系列データの人物が登録者と判定された認証時刻の前後の所定期間に他の系列データが存在し、その他の系列データの人物が未登録者と判定された場合、共連れ進入があったと判定する。

共連れ判定手段３２６は、特定の系列データの人物が登録者と判定された認証時刻の後の所定期間（以下、認証成功後期間と称する）に顔領域画像の追跡が開始された、未登録者と判定された他の系列データが存在する場合、駆け込みによる共連れ進入があったと判定する。この認証成功後期間は、図１に示した人物２６０が登録者と判定された後の入口２５１が通行可能とされている期間、即ち電気錠２５４が解錠されてから人物２６０が扉２５３を開けて入室して、扉２５３が閉じて施錠されるまでに要する時間を考慮して決定することができる（例えば１２秒）。

一方、共連れ判定手段３２６は、特定の系列データの人物が登録者と判定された認証時刻の前の所定期間（以下、認証成功前期間と称する）に顔領域画像の追跡が開始された、未登録者と判定された他の系列データが存在する場合、入れ替わりによる共連れ進入があったと判定する。この認証成功前期間は、認証成功後期間より短い期間とする。認証成功前期間を認証成功後期間より短く設定するのは、登録者と判定された人物より前に監視領域に進入しており、認証成功とならずに引き返そうとしている人物については共連れ進入と判定すべきでないからである。また、入れ替わりが発生する場合、登録者と判定された人物と未登録者と判定された人物は近接して歩行しており、登録者と未登録者の判定は連続的になされると考えられるからである。したがって、認証成功前期間は、認証成功とならずに引き返そうとしている人物について共連れ進入と誤判定せず、かつ連続的に判定される登録者と未登録者を検出できる時間とし、例えば６秒とする。

このように、駆け込み及び入れ替わりの何れの場合でも、共連れ判定手段３２６は、未登録者と判定された人物の顔領域画像の追跡開始時刻が、他の系列データの人物が登録者と判定された認証時刻３５８の前後の所定期間内である場合に共連れ進入があったと判定する。これにより、共連れ進入があった旨を外部に出力して、警報を通知することができ、管理者等は適切な対応を取ることができる。

図３Ａ〜図３Ｃに戻り、共連れフラグ３５９は、その系列データの人物について共連れ進入があったと判定されたか否かを表すフラグである。共連れ進入があったと判定されていない場合はＯＦＦに、共連れ進入があったと判定されている場合はＯＮに設定される。
通報フラグ３６０は、共連れ進入があったと判定された系列データについて、その旨が外部に通報されたか否かを表すフラグである。通報フラグ３６０の初期値はＯＦＦであり、共連れ判定手段３２６により共連れフラグ３５９がＯＮに設定され、通報処理がされると、ＯＮに設定される。つまり、通報フラグ３６０がＯＮであるということは既に通報処理がされたことを示す。

共連れ判定手段３２６が判定する共連れ進入の例について、図３Ａ〜図３Ｃと図４を用いて説明する。図３Ａ〜図３Ｃは、共連れ判定手段３２６により共連れ進入と判定される前の履歴テーブル３５０を示し、図４は、共連れ判定手段３２６により共連れ進入と判定された後の履歴テーブル３５０を示す。
試行番号３５１が「１２」と「１３」の系列データは、図３Ａにおいて試行番号３５１が「１２」の系列データの人物が登録者と判定され、図４において試行番号３５１が「１３」の系列データの人物が未登録者と判定されて、駆け込みによる共連れ進入があったと判定された例を示す。試行番号３５１が「２４」と「２５」の系列データは、図３Ｂにおいて試行番号３５１が「２４」の系列データの人物が登録者と判定され、図４において試行番号３５１が「２５」の系列データの人物が未登録者と判定されて、駆け込みによる共連れ進入があったと判定された例を示す。試行番号３５１が「３６」と「３７」の系列データは、図３Ｃにおいて試行番号３５１が「３６」の系列データの人物が登録者と判定され、図４において試行番号３５１が「３７」の系列データの人物が未登録者と判定されて、入れ替わりによる共連れ進入があったと判定された例を示す。

以下、図５に示したフローチャートを参照しつつ、本発明を適用した顔画像認証装置１０による認証処理の動作を説明する。なお、以下に説明する動作のフローは、画像処理部３００を構成するマイクロプロセッサ上で動作し、顔画像認証装置１０全体を制御する制御部（図示せず）により制御される。なお、以下に説明する処理の実施前に、履歴テーブル３５０は空白になるよう初期化される。また、以下に説明する動作は、監視画像を一つ取得するごとに実施される。

最初に、顔画像認証装置１０の撮像部１００は、監視領域を撮影した監視画像を取得し、画像処理部３００の照合部３２０へ送る（ステップＳ５０１）。照合部３２０が監視画像を取得すると、計時手段３２１は、その監視画像を取得した時刻を監視画像に対応付けて記憶部３１０に記憶する。次に、顔検出手段３２２は、取得された監視画像から、人物の顔が写っている顔領域を検出し、その顔領域を監視画像から切り出して顔領域画像を抽出する（ステップＳ５０２）。次に、顔検出手段３２２は、一つ以上の顔領域が検出されたか否か判定する（ステップＳ５０３）。顔領域が全く検出されなかった場合、ステップＳ５０１へ処理を移行し、顔領域が検出されるまでステップＳ５０１〜Ｓ５０３の処理を繰り返す。

一方、ステップＳ５０３において、一つ以上の顔領域が検出され、顔領域画像が抽出された場合、顔追跡手段３２３は、検出された全ての顔領域について、履歴テーブル３５０における追跡フラグ３５２がＯＮとなっている系列データとの対応付けを実施する（ステップＳ５０４）。そして顔追跡手段３２３は、追跡フラグ３５２がＯＮとなっている系列データについて、現フレームの顔領域のいずれとも対応付けられなかったものがあるか否かを判定する（ステップＳ５０５）。現フレームの顔領域のいずれとも対応付けられなかったものがない場合、ステップＳ５０７へ処理を移行する。一方、現フレームの顔領域のいずれとも対応付けられなかった、追跡フラグ３５２がＯＮとなっている系列データがある場合、その系列データの人物は、認証成功となって入室したか、又は認証されずに監視領域から離れたと考えられる。そのため、顔追跡手段３２３は、現フレームの顔領域のいずれとも対応付けられなかった系列データの追跡フラグ３５２をＯＦＦに設定して、以後その系列データに対する追跡処理を実施しないようにする（ステップＳ５０６）。

そして顔追跡手段３２３は、現フレームの顔領域について、追跡フラグ３５２がＯＮとなっている系列データと対応付けることができなかったものがあるか否かを判定する（ステップＳ５０７）。追跡フラグ３５２がＯＮとなっている系列データと対応付けることができなかったものがある場合、顔追跡手段３２３は、対応付けることができなかった顔領域の人物についての系列データを履歴テーブル３５０に新たに追加する。即ち顔追跡手段３２３は、対応付けることができなかった顔領域の人物についての系列データに新たな試行番号３５１を割り当てる。そして、追跡フラグ３５２をＯＮに設定し、顔画像データ３５３に現フレームの顔領域から作成された顔領域画像を記録し、追跡位置情報３５４にその顔領域の座標情報及び監視画像の時刻情報を記録し、認証結果３５７にブランクを記録する。さらに、共連れフラグ３５９をＯＦＦに設定し、通報フラグ３６０をＯＦＦに設定する（ステップＳ５０８）。

なお、現フレームの顔領域について、追跡フラグ３５２がＯＮとなっている系列データと対応付けることができた場合、顔追跡手段３２３は、その顔領域の座標情報及び監視画像の時刻情報を、対応する系列データの追跡位置情報３５４に追加する更新処理を行う。そして顔追跡手段３２３は、更新した系列データを認証判定手段３２４に出力する。

以下のステップＳ５０９〜Ｓ５１４の処理は、追跡フラグ３５２がＯＮであり、かつ認証結果３５７が登録者でない系列データごとに行われる。追跡フラグ３５２がＯＮである系列データのうち認証結果３５７が登録者である系列データを処理対象としないのは、既に認証がなされているためである。

認証判定手段３２４は、処理対象の系列データの最新の顔領域画像に対して、記憶部３１０に記憶された全ての登録顔画像との間で類似度を算出する（ステップＳ５０９）。

次に、認証判定手段３２４は、算出した類似度のうち最高となった類似度が認証閾値を越えているか否かにより人物が登録者であるか否かを判定する（ステップＳ５１０）。人物が登録者でないと判定した場合、ステップＳ５１３へ処理を移行する。一方、人物が登録者であると判定した場合、認証判定手段３２４は、その系列データの追跡フラグ３５２をＯＦＦに設定し、類似度３５６にその最高となった類似度を記録し、認証結果３５７に登録者と記録し、認証時刻３５８に現在時刻を記録する。さらに、その最高となった類似度に対応する登録顔画像の登録者の情報を認証候補人物３５５に記憶する（ステップＳ５１１）。

そして、扉制御手段３２５は、認証成功を示す信号を出力部２００に出力する（ステップＳ５１２）。認証成功を示す信号が出力部２００に出力された場合、出力部２００を介して電気錠の解錠が行われる。これにより認証成功となった人物は、入室することができる。電気錠は、人物の入室が確認できた後にすみやかに、または所定時間経過後に自動的に施錠される。

次に、ステップＳ５１０で類似度が認証閾値を越えていないと判定した場合について説明する。
認証判定手段３２４は、その人物について追跡を開始してから判定保留期間が経過しているか否かを判定する（ステップＳ５１３）。判定保留期間が経過している場合、認証判定手段３２４は、その人物を未登録者であると判定して、その系列データの認証結果３５７に未登録者と記録し、認証時刻３５８に現在時刻を記録する（ステップＳ５１４）。一方、まだ判定保留期間が経過していない場合、その人物についての認証結果３５７を未確定のままとして、特に処理はしない。
そして、認証判定手段３２４は、追跡フラグ３５２がＯＮ、かつ認証結果３５７が登録者となっていない系列データがまだあるならばステップＳ５０９へ処理を移行し、ないならばステップＳ５１５へ処理を移行する。

認証判定手段３２４は、履歴テーブル３５０を参照して、追跡フラグ３５２がＯＦＦであり、かつ認証結果３５７が未確定である系列データについて、ステップＳ５１５の処理を実施する。認証判定手段３２４は、ステップＳ５１５において、ステップＳ５１４と同様に、その人物を未登録者であると判定して、認証結果３５７に未登録者と記録し、認証時刻３５８に現在時刻を記録する。

次に、共連れ判定手段３２６は、履歴テーブル３５０を参照して、共連れ進入があったか否かを判定する（ステップＳ５１６）。この処理の詳細は図６に示すフローチャートを用いて後述する。

共連れ判定手段３２６は、共連れフラグ３５９がＯＮかつ通報フラグ３６０がＯＦＦである系列データがあるか否かにより、共連れ進入の判定処理において共連れ進入があったと判定され、かつ外部にその旨がまだ通報されていない系列データがあるか否かを判定する（ステップＳ５１７）。そのような系列データがある場合、共連れ判定手段３２６は、共連れ進入があったことを示す信号を出力部２００に出力するとともに、その系列データの通報フラグ３６０をＯＮに設定し（ステップＳ５１８）、処理をステップＳ５０１へ戻す。一方、そのような系列データがない場合、特に処理をせず、ステップＳ５０１へ処理を戻す。
共連れ進入があったことを示す信号が出力部２００に出力された場合、出力部２００を介して不図示の警報ランプの点灯、不図示のブザーの鳴動等が行われる。あるいは、出力部２００を介して、その共連れ進入があったことを示す信号が不図示の監視センタ装置へ出力される。これにより監視センタ装置は、共連れ進入があったことを管理者に通知し、またその履歴を記録することができる。

次に、図６のフローチャートを参照しつつ、図５のフローチャートのステップＳ５１６において、共連れ判定手段３２６により行われる共連れ進入判定処理ついて説明する。
まず、共連れ判定手段３２６は、履歴テーブル３５０から、最近の所定期間（例えば１０分）内に追跡がされていた系列データ、即ち追跡位置情報３５４の最新時刻が最近の所定期間内である系列データのうち、共連れフラグ３５９がＯＦＦ、かつ通報フラグ３６０がＯＦＦである系列データを取得する（ステップＳ６０１）。

共連れ判定手段３２６は、取得した全ての系列データについて、ステップＳ６０２〜Ｓ６０５の処理を実施する。共連れ判定手段３２６は、取得した系列データから、認証結果３５７が登録者である系列データを抽出する（ステップＳ６０２）。

共連れ判定手段３２６は、取得した系列データのうち、ステップＳ６０２で抽出した系列データ以外の、他の全ての系列データについて、ステップＳ６０３〜Ｓ６０５の処理を実施する。共連れ判定手段３２６は、他の系列データから、認証結果３５７が未登録者である系列データを抽出する（ステップＳ６０３）。次に、共連れ判定手段３２６は、抽出した系列データの追跡位置情報３５４の追跡開始時刻がステップＳ６０２で抽出した系列データの認証時刻３５８の前後の所定期間内であるか否かにより、抽出した系列データが登録者の認証成功の前後の所定期間内の系列データであるか否かを判定する（ステップＳ６０４）。なお、この認証成功の前後の所定期間は、前述した認証成功前期間及び認証成功後期間である。そして、抽出した系列データが登録者の認証成功の前後の所定期間内の系列データである場合、共連れ判定手段３２６は、共連れ進入があったと判定し、ステップＳ６０２で抽出した登録者についての系列データとステップＳ６０３で抽出した未登録者についての系列データの共連れフラグ３５９をＯＮに設定する（ステップＳ６０５）。一方、抽出した系列データが登録者の認証成功の前後の所定期間内の系列データでない場合、特に処理はしない。
そして、共連れ判定手段３２６は、ステップＳ６０２で抽出した系列データ以外の、他の全ての系列データのうち、ステップＳ６０３で抽出されていない、認証結果３５７が未登録者である系列データがまだあるならばステップＳ６０３へ処理を移行する。一方、ない場合、ステップＳ６０１で取得した全ての系列データのうち、ステップＳ６０２で抽出されていない、認証結果３５７が登録者である系列データがまだあるならば、ステップＳ６０２へ処理を移行し、ないならば図６のフローチャートの処理を終了してステップＳ５１７へ処理を移行する。

このように、共連れ判定手段３２６は、認証結果３５７が登録者である系列データと未登録者である系列データを比較して共連れ進入を判定する。すなわち、登録者と判定されていない系列データについては、未登録者と判定されるまで共連れ進入の判定の対象とせず、その系列データの人物を追跡している限り、判定保留期間が経過してから共連れ進入を判定する。これにより、監視領域内に存在する、登録者とも未登録者とも判定されていない人物について共連れ進入と判定するまでに一定の期間を担保することができ、共連れ進入の誤判定を抑制できる。

以下、図３Ａ〜図３Ｃ、図４に示す履歴テーブル３５０について、図５、図６のフローチャートでどのように処理されるかの例について説明する。なお、以下では認証成功後期間は１２秒間、認証成功前期間は６秒間であるものとして説明する。また、説明を容易にするために、監視画像は１秒間隔で取得され、履歴テーブル３５０は１秒間隔で更新されるものとする。

まず、図３Ａ、図４の試行番号３５１が「１２」と「１３」の系列データについて説明する。試行番号３５１が「１２」の系列データの人物は登録者であり、図１の人物２６０に相当する。一方、試行番号３５１が「１３」の系列データの人物は、駆け込みによる共連れ進入を企てる未登録者であり、図１の人物２６２に相当する。この人物は、試行番号３５１が「１２」の系列データの人物が登録者と判定されてから監視領域２５５へ進入し、その登録者と判定された人物が扉２５３を開けてから扉２５３が閉まるまでに制限領域２５６へ進入しようとしている。
図６のフローチャートのステップＳ６０１において、共連れ判定手段３２６は、最近の所定期間内に追跡がされていた系列データとして、図３Ａの試行番号３５１が「１２」と「１３」の二つの系列データを取得したものとする。この場合、共連れ判定手段３２６は、ステップＳ６０２で認証結果３５７が登録者である系列データとして試行番号３５１が「１２」の系列データを抽出するが、ステップＳ６０３では認証結果３５７が未登録者である系列データを抽出できず、処理を終了する。
一方、図４に示すように、その後、試行番号３５１が「１３」の系列データの人物が監視領域２５５の外に出ると、図５のステップＳ５０６でその系列データの追跡フラグ３５２はＯＦＦに設定され、ステップＳ５１５で認証結果３５７に未登録者と記録される。その後、図６のフローチャートの処理が実施されると、共連れ判定手段３２６は、ステップＳ６０２で認証結果３５７が登録者である系列データとして試行番号３５１が「１２」の系列データを抽出し、ステップＳ６０３で認証結果３５７が未登録者である系列データとして試行番号３５１が「１３」の系列データを抽出する。試行番号３５１が「１３」の系列データの追跡位置情報３５４に記録されている最初の時刻（以下、追跡開始時刻と称する）「08:50:15」は、試行番号３５１が「１２」の系列データの認証時刻３５８「08:50:12」より後であり認証成功後期間に含まれるため、ステップＳ６０５で試行番号３５１が「１２」と「１３」の系列データの共連れフラグ３５９はＯＮに設定される。そして、ステップＳ５１８で共連れ進入があったことを示す信号が出力されて、通報フラグ３６０はＯＮに設定される。

次に、図３Ｂ、図４の試行番号３５１が「２４」と「２５」の系列データについて説明する。試行番号３５１が「２４」の系列データの人物は、試行番号３５１が「１２」の系列データの人物と同様に、登録者であり、図１の人物２６０に相当する。一方、試行番号３５１が「２５」の系列データの人物は、試行番号３５１が「１３」の系列データの人物と同様に、駆け込みによる共連れ進入を企てる未登録者であり、図１の人物２６２に相当する。ただし、試行番号３５１が「１３」の系列データの人物と異なり、この人物は登録者と判定されないまま判定保留期間が経過して未登録者と判定されている。
図６のフローチャートのステップＳ６０１において、共連れ判定手段３２６は、最近の所定期間内に追跡がされていた系列データとして、図３Ｂの試行番号３５１が「２４」と「２５」の二つの系列データを取得したものとする。図３Ａの場合と同様に、この場合、共連れ判定手段３２６は、ステップＳ６０３では認証結果３５７が未登録者である系列データを抽出できず、処理を終了する。
一方、図４に示すように、その後、試行番号３５１が「２５」の系列データについて判定保留期間が経過すると、図５のステップＳ５１４で認証結果３５７に未登録者と記録される。共連れ判定手段３２６は、以降、試行番号３５１が「１２」と「１３」の系列データの場合と同様にして、試行番号３５１が「２４」と「２５」の系列データの更新を行う。

次に、図３Ｃ、図４の試行番号３５１が「３６」と「３７」の系列データについて説明する。試行番号３５１が「３６」の系列データの人物は入れ替わりによる共連れ進入を行う未登録者であり、図１の人物２６１に相当する。一方、試行番号３５１が「３７」の系列データの人物は登録者であり、図１の人物２６０に相当する。即ち、試行番号３５１が「３６」の系列データの人物は試行番号３５１が「３７」の系列データの人物のすぐ後ろを歩いているが、試行番号３５１が「３７」の系列データの人物が登録者と判定される前に監視領域２５５へ進入している。
図６のフローチャートのステップＳ６０１において、共連れ判定手段３２６は、最近の所定期間内に追跡がされていた系列データとして、図３Ｃの試行番号３５１が「３６」と「３７」の二つの系列データを取得したものとする。この場合、共連れ判定手段３２６は、ステップＳ６０２で認証結果３５７が登録者である系列データを抽出できず、処理を終了する。
一方、図４に示すように、その後、試行番号３５１が「３７」の系列データの人物が登録者と判定されると、図５のステップＳ５１１でその系列データの認証結果３５７に登録者と記録される。その後、図６のフローチャートの処理が実施されると、共連れ判定手段３２６は、ステップＳ６０２で認証結果３５７が登録者である系列データとして試行番号３５１が「３７」の系列データを抽出し、ステップＳ６０３で認証結果３５７が未登録者である系列データとして試行番号３５１が「３６」の系列データを抽出する。試行番号３５１が「３６」の系列データの追跡位置情報３５４に記録されている追跡開始時刻「10:24:19」は、試行番号３５１が「３７」の系列データの認証時刻３５８「10:24:24」より前であり認証成功前期間に含まれるため、以降、試行番号３５１が「１２」と「１３」の系列データの場合と同様にして、試行番号３５１が「３６」と「３７」の系列データが更新される。

以上説明してきたように、本発明を適用した顔画像認証装置は、監視領域を撮影した監視画像に写っている人物が登録者であるか未登録者であるかを判定し、登録者である場合に制限領域への入口を通行可能にする。一方、特定の人物を登録者と判定した時刻の前後の所定期間に監視領域に進入した他の人物を未登録者と判定すると共連れ進入があったと判定する。これにより、顔画像認証装置は、共連れ進入の有無を適切に判定することができる。

以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、本実施形態では、認証成功後期間を入口が通行可能とされている一定期間としたが、顔画像認証装置が電気錠により施錠したことを示す信号を取得できる場合は、電気錠が解錠されてから施錠されるまでの期間としてもよい。その場合、扉制御手段が、電気錠から解錠状態と施錠状態を示す信号を取得し、共連れ判定手段は、認証成功後期間に扉制御手段が電気錠から施錠状態を示す信号を取得すると、認証成功後期間を終了させる。これにより、実際の施解錠状態に基づいて、共連れ進入の有無をより適切に判定することができる。
また、人物が監視領域の端から端まで移動するのに要する時間を考慮して、監視領域の広さに応じて認証成功後期間を短くしてもよい。また、共連れ判定手段は、人物の移動速度から電気錠が解錠されている間にその人物が入室できるか否かを判定することにより、共連れ進入のおそれがあるか否かを判定してもよい。その場合、例えば予め記憶部に、顔領域の監視画像内の位置とその顔領域に写っている人物の監視領域内の位置との対応関係を表すリストを記憶しておく。そして、共連れ判定手段は、各系列データにおける顔領域の位置の変化からその人物の監視領域内の位置の変化を求めて、その移動速度を算出する。

また本実施形態では、監視画像から抽出した顔領域を追跡して系列データを生成し、共連れ進入を判定する例を示したが、必ずしも全ての人物について顔領域を抽出できるとは限らない。
そこで、顔追跡手段は、顔領域を追跡するのに代えて、顔検出手段が抽出した人物領域を追跡し系列化してもよい。なお、顔領域が抽出できない人物は不審者である可能性が高いため、顔領域が抽出できない系列データについての判定保留期間は、通常の判定保留期間よりも短く（例えば３秒）設定してもよい。
これにより、顔を隠して制限領域に進入しようとする不審者を適切に検出することができる。

また、本実施の形態では、追跡開始時刻が認証成功後時間内にあり、判定保留期間の経過後に未登録者と判定されると共連れ進入があったと判定する例を示したが、かかる判定保留期間の経過を待つことなく共連れ進入があったと判定してもよい。つまり、共連れ判定手段は、各人物を登録者と判定した時刻と、未登録者と判定した時刻とを比較して共連れ進入の有無を判定する。但し、この場合、登録者であるにもかかわらず、未判定である人物について共連れ進入と誤判定する可能性が高くなる。
また、時刻を比較するのではなく、例えば、各監視画像にフレーム番号を付与し、未登録者と判定された人物の追跡を開始した監視画像のフレーム番号と、登録者と判定された人物を判定した監視画像のフレーム番号とを比較して共連れ進入の有無を判定してもよい。あるいは、所定時間間隔でカウントアップするカウンタを用いて、未登録者と判定された人物の追跡を開始したときのカウンタ値と、登録者と判定された人物のその判定したときのカウンタ値とを比較して共連れ進入の有無を判定してもよい。

また本実施形態では、顔画像認証装置が、監視領域を通行する人物が登録者であるか否かにより部屋等の制限領域の入口の通行可否を制御する例を示したが、本発明はこれに限定されない。例えば、顔画像認証装置は、監視領域を通行する人物が登録者であるか未登録者であるかを判別して、単に外部に通知するものでもよい。その場合も、顔画像認証装置は、監視領域を、登録者のみが通行しているのか、未登録者のみが通行しているのか、または未登録者が登録者に随行して通行しているのかを適切に判別でき、不正に監視領域を通行しようとする不審者を適切に検出することができる。

また、顔画像認証装置は、共連れ進入を検出した場合には、警報を発するだけでなく、電気錠を施錠したり、電気錠の施錠を維持することにより、監視領域内の人物が制限領域へ進入できないようにしてもよい。

また、本実施形態では顔画像認証装置の例を示したが、本発明は他のウォークスルー型の認証装置に適用することができるものであり、例えばＲＦＩＤタグにより認証を行う認証装置、虹彩により認証を行う認証装置にも適用可能である。

以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

１０ 顔画像認証装置
１００ 撮像部
２００ 出力部
３００ 画像処理部
３１０ 記憶部
３２０ 照合部
３２１ 計時手段
３２２ 顔検出手段
３２３ 顔追跡手段
３２４ 認証判定手段
３２５ 扉制御手段
３２６ 共連れ判定手段

Claims (4)

1. 共連れ進入を判定する顔画像認証装置であって、
   監視領域を撮影した監視画像を順次取得する撮像部と、
   登録者の登録顔画像を記憶する記憶部と、
   前記監視画像から人物の顔を含む顔領域画像を抽出する顔検出手段と、
   同一人物の前記顔領域画像を追跡して系列化し、系列データを生成する顔追跡手段と、
   前記系列データ毎に、当該系列データに含まれる前記顔領域画像と前記登録顔画像を比較して当該系列データの人物が登録者であるか未登録者であるかを判定する認証判定手段と、
   特定の系列データの人物が登録者と判定された認証時刻の前後の所定期間に、未登録者と判定された他の系列データが存在すれば共連れ進入と判定する共連れ判定手段と、を有し、
   前記認証判定手段は、前記顔領域画像の追跡を開始してから判定保留期間が経過するまでに登録者と判定されなかった系列データの人物を未登録者と判定し、
   前記共連れ判定手段は、登録者と判定されていない系列データについては、前記判定保留期間が経過してから共連れ進入を判定する、
   ことを特徴とする顔画像認証装置。
2. 特定の系列データの人物が登録者であると判定されると、前記監視領域から制限領域への入口を通行可能とするように前記入口に設けられた扉を制御する扉制御手段をさらに有し、
   前記所定期間は、前記認証時刻の後の前記入口が通行可能とされる第１の期間と、前記認証時刻の前の前記第１の期間よりも短い第２の期間である、請求項１に記載の顔画像認証装置。
3. 前記扉制御手段は、前記扉に設けられた電気錠から解錠状態と施錠状態を示す信号を取得し、
   前記第１の期間は、前記認証時刻の後に前記施錠状態を示す信号を取得した時に終了する期間とする、請求項２に記載の顔画像認証装置。
4. 前記顔検出手段は、前記監視画像から人物を表す人物領域を抽出し、さらに当該人物領域から顔領域画像を抽出し、
   前記顔追跡手段は、顔領域画像を追跡して系列化するのに代えて、同一人物の前記人物領域を追跡して系列化する、請求項１〜３の何れか一項に記載の顔画像認証装置。

Images