JP2007272810A - 人物認識システム、通行制御システム、人物認識システムの監視方法、および、通行制御システムの監視方法 - Google Patents

Abstract

【課題】 人物認識装置１０において発生したイベントのうち予め設定されているイベントが発生した場合にのみ、そのイベントの内容を監視装置２０が監視員Ｈに報知することができる。
【解決手段】 人物認識装置１０において発生したイベントのうち通知すべきイベントを監視装置２０で予め設定しておき、当該監視装置２０では、当該人物認識装置１０における処理状況を監視し、当該人物認識装置１０において通知対象とするイベントが発生したことを検出した場合、検出したイベントが予め設定されている通知すべきイベントであれば、そのイベントの内容を表示部２０４に表示するようにしたものである。
【選択図】 図１

Description

この発明は、例えば、顔画像などの生体情報の照合により人物を認識する人物認識システム、および、生体照合を用いて重要施設（部屋、フロア、建物など）の出入りや機器のアクセス管理などを行う通行制御システムに関する。

従来、人物認識システムとしては、顔画像、指紋、手形、声紋、筆跡、網膜、虹彩などの生体情報（バイオメトリクス）を用いて人物を認識するものが提案されている。これらの生体情報は、接触型と非接触型に分類される。接触型の生体情報とは、本人が装置に触れることにより得られる生体情報である。また、非接触型の生体情報とは、本人が装置に触れることなく得られる生体情報である。たとえば、指紋、手形、筆跡などは、接触型の生体情報に属する。これらのような接触型の生体情報を用いた人物認識装置では、認証対象者が生体情報を入力するために装置に接触しなければならないという欠点がある。これに対して、顔画像、声紋、網膜、虹彩などは、非接触型の生体情報に属する。これらのような非接触型の生体情報を用いた人物認識装置では、認識対象者が装置に接触することなく生体情報を入力することができるという利点がある。特に、顔画像は、他の生体情報に比べて認識対象者が意識することなく生体情報としての顔画像を入力できる面で優れている。

しかしながら、生体情報を用いた人物認識システムでは、生体情報の変化、あるいは、環境の変化などによって必ずしも永久的に１００％の認識率を保証できるものではない。このため、従来の通行制御システムなどに用いられる人物認識システムでは、取得した生体情報あるいは認識対象者の画像を監視する監視装置を設けているものがある。このような監視装置では、登録情報との照合に失敗した認識対象者を監視員が監視する。しかしながら、従来のシステムで用いられる監視装置では、常時、撮影装置で撮影している画像を表示装置に表示しているため、監視員が特定の画像（認識対象者の顔画像など）に注目して視認するのが難しいことがある。
特開２００２−１５８７８３号公報 特開２００２−３４２７３７号公報

この発明は、上記のような問題点を解決するものであり、監視する者の意図に応じて人物認識システムにおける処理状況を容易に監視することができる人物認識システム、通行制御システム、人物認識システムの監視方法および通行制御システムの監視方法を提供することを目的とする。

この発明の一形態としての人物認識システムは、登録者の顔画像が登録されている登録手段と、認識対象者を撮影する撮影手段と、この撮影手段により撮影した画像から顔画像を検出する顔画像検出手段と、この顔画像検出手段により検出した顔画像と前記登録手段に登録されている登録者の顔画像とを照合する顔照合手段と、この顔照合手段により実行した照合処理に関する情報を履歴データとして保存する履歴保持手段と、この履歴保持手段に保存される履歴データの更新状況を監視する監視手段と、この監視手段により前記履歴保持手段に保存されている履歴データが更新されたことを検出した場合、更新された履歴データで示される処理状況を通知するか否かを判断する判断手段と、この判断手段により更新された履歴データで示される処理状況を通知すると判断した場合、当該履歴データで示される処理状況を通知する通知手段とを有する。

この発明の一形態としての人物認識システムの監視方法は、認識対象者の顔を含む画像を撮影し、撮影した画像から顔画像を検出し、検出した顔画像と登録者の顔画像が登録されている登録手段に登録されている顔画像とを照合し、実行した照合処理に関する情報を履歴データとして記憶手段に保存し、前記記憶手段に保存される履歴データの更新状況を監視し、前記記憶手段に保存されている履歴データが更新されたことを検出した場合、更新された履歴データで示される処理状況を通知するか否かを判断し、更新された履歴データで示される処理状況を通知すると判断した場合、当該履歴データで示される処理状況を通知する。

この発明によれば、監視する者の意図に応じて人物認識システムにおける処理状況を容易に監視することができる人物認識システム、通行制御システム、人物認識システムの監視方法および通行制御システムの監視方法を提供できる。

この発明を実施するための最良の形態について図面を参照しつつ説明する。
図１は、本実施の形態に係る通行制御システムの構成例を概略的に示す図である。通行制御システムは、人物認識装置１０、監視装置２０、ドア開閉装置３０により構成されている。なお、本実施の形態で説明するシステム構成は、運用形態などに応じて、適宜、変更可能である。たとえば、人物認識装置１０と監視装置２０と一体的に形成しても良いし、人物認識装置１０とドア開閉装置３０とを一体的に形成しても良いし、監視装置２０とドア開閉装置３０とを一体的に形成しても良い。

まず、上記人物認識装置１０について説明する。
上記人物認識装置１０は、図１に示すように、ユーザインターフェース部１１と処理部１２とを有している。なお、上記ユーザインターフェース部１１と処理部１２の実現形態も、運用形態等に応じて、適宜、変更可能である。たとえば、上記ユーザインターフェース部１１と処理部１２とは、一体的に形成するようにしても良いし、処理部１２を上記監視装置２０あるいは上記ドア開閉装置と一体的に形成するようにしても良い。

上記ユーザインターフェース部１１は、カメラ１１０、表示部１１１、及び補助照明１１２などにより構成される。上記ユーザインターフェース部１１は、人物の通行を制御するためのドアの近傍に設置される。上記ユーザインターフェース部１１では、ユーザの顔を含む画像を撮影するためのユニットである。なお、上記ユーザインターフェース部１１には、ユーザが識別情報などを入力するための操作部を設けるようにしても良い。

上記カメラ１１０は、ＣＣＤセンサなどの撮像素子を用いたテレビジョンカメラにより構成される。上記カメラ１１０では、動画あるいは連続した静止画を撮影する。上記カメラ１１０は、認識対象者Ｐの顔画像（少なくとも顔を含んでいる画像）を撮影する撮影手段として機能する。
上記表示部１１１は、認識対象者Ｐに対する操作案内あるいは上記カメラ１１０にて撮影している画像などを表示する表示装置である。例えば、上記カメラ１１０に対する認識対象者Ｐの距離や左右方向の位置が最適になるようなガイダンスを表示する場合、上記表示部１１１には、上記カメラ１１０にて撮影中の画像とともに最適な顔の位置を丸印等で案内表示する。

上記補助照明部１１２（１１２ａ、１１２ｂ）は、上記カメラ１１０で撮影する認識対象者Ｐに対して補助照明としての光を照射する蛍光灯などの照明機器である。上記補助照明１１２は、撮影する場所の明るさが十分でない場合であっても、認識対象者Ｐの顔をカメラ１１０が鮮明に撮影するためにものである。上記補助照明部１１２は、例えば、カメラ１１０の右上方あるいは左上方から認識対象者Ｐの少なくとも顔に向けて光を照射する補助照明１１２ａと、カメラ１１０の下方から認識対象者Ｐの少なくとも顔に向けて光を照射する補助照明１１２ｂとにより構成される。なお、上記カメラ１１０にて撮影する領域における照度が十分なものであれば、上記補助照明部１１２は省略するようにしても良い。

次に、上記人物認識装置１０の処理部１２について説明する。
上記処理部１２は、たとえば、コンピュータ等の構成によって実現可能である。すなわち、上記処理部１２は、ハードディスク装置や光ディスク等の記憶媒体に予め記録した種々の制御プログラムを図示しないＣＰＵなどからなる制御部が実行することによって、処理手段として機能し、後述するような種々の動作を実現している。以下、処理部１２の具体的な構成例について図１を参照して詳細に説明する。

上記処理部１２は、画像入力部１２０、認証処理部１２１、登録情報保持部１２４、イベント検出部（自動認証開始判定部）１２６、通行制御部１２７、および、履歴データ保持部１２８などを有している。
上記画像入力部１２０は、画像入力手段として機能する。上記画像入力部１２０は、画像データを送受信するためのインターフェースにより構成される。上記画像入力部１２０は、例えば、上記カメラ１１０から取得した撮影画像としてのアナログの画像データをＡ／Ｄ変換してデジタル化し、後段の各部（認証処理部１２１、イベント検出部１２６あるいは履歴データ保持部１２８）へ供給するようになっている。

上記認証処理部１２１は、認証処理手段として機能する。上記認証処理部１２１は、顔検出手段としての顔検出部１２２、特徴抽出手段としての特徴抽出部１２３、および、照合手段としての照合部１２５などを有している。
上記顔検出部１２２は、上記画像入力部１２０から供給された上記カメラ１１０にて撮影した画像から認識対象者Ｐの顔画像を検出する。上記顔検出部１２２における顔領域の検出方法は、たとえば、あらかじめ用意されたテンプレートと画像中を移動させながら相関値を求めることにより、最も高い相関値をもった場所を顔領域として検出し、その顔領域の画像を顔画像とする。その他、上記顔検出部１２２としては、固有空間法や部分空間法を利用した顔領域抽出法などの顔領域の検出方法を用いるようにしても良い。

上記特徴抽出部１２３は、上記顔検出部１２２にて検出した顔画像を用いて、濃淡情報あるいは部分空間情報などの顔の特徴量を抽出するものである。例えば、上記特徴抽出部１２３は、上記顔検出部１２２にて検出された顔画像から顔の特徴量としての目、鼻の位置を検出する。さらに、上記特徴抽出部１２３は、顔画像から検出された顔の特徴量としての目、鼻などの位置を基に、顔領域を一定の大きさ、形状に切り出し、その濃淡情報を特徴量として抽出する。たとえば、上記特徴量は、ｍピクセル×ｎピクセルの領域の濃淡値をそのまま情報として用いて、ｍ×ｎ次元の情報を特徴ベクトルとして抽出される。

上記登録情報保持部１２４は、登録情報保持手段として機能する。上記登録情報保持部１２４は、ハードディスク装置などの記憶装置により構成され、予め登録者に関する認識データ等が登録される。例えば、上記登録情報保持部１２４には、管理者が操作する動作モードにおいて、登録者の識別情報（ＩＤ情報）、登録者の氏名等の個人情報、および、登録者を認識するための認識データなどが登録される。上記認識データは、例えば、登録者の顔画像、上記特徴抽出部１２３で抽出される登録者の顔の特徴量などである。

上記照合部１２５は、上記カメラ１１０にて撮影した認識対象者Ｐを認識（認証）する処理を行うものである。上記照合部１２５は、認識対象者Ｐを顔画像により認識する処理として、上記登録情報保持部１２４に認識データとして登録されている登録者の特徴量と上記特徴抽出部１２３で得られた特徴量とを照合（比較）する顔画像による照合処理を行う。

また、顔画像による照合処理としては、上記照合部１２５は、上記カメラ１１０にて撮影した認識対象者Ｐが上記登録情報保持部１２４に登録されている登録者のうち誰であるか認識する１対Ｎ照合と呼ばれる処理モード（１対Ｎ照合モード）で照合処理を行う機能と、上記カメラ１１０にて撮影した認識対象者Ｐが上記登録情報保持部１２４に登録されている特定の登録者と一致（同定）するか否かを認識する１対１照合と呼ばれる処理モード（１対１照合モード）で照合処理を行う機能とを有している。

例えば、１対Ｎ照合モードでの照合処理は、上記カメラ１１０で撮影した認識対象者Ｐの顔画像と上記登録情報保持部１２４に登録されている各登録者の顔画像との照合度としての類似度を算出して最大類似度を判断し、その最大類似度が所定の閾値以上である場合に、認識対象者Ｐが当該最大類似度となる認識データに対応する登録者であることを判断するものである。
また、１対１照合モードでの認識処理は、上記登録情報保持部１２４に登録されている各登録者のうち認識対象者Ｐが識別情報等などにより指定する登録者の顔画像と上記カメラ１１０で撮影した認識対象者Ｐの顔画像との照合度としての類似度を算出し、その類似度が所定の閾値以上であるか否かにより認識対象者Ｐが登録者であるか否かを判断するものである。
なお、本実施の形態では、通行制御システムが、１対Ｎ照合モードでの認識処理を行う場合について説明するが、１対１照合モードであっても同様な実施の形態が実現可能である。

また、上記イベント検出部１２６は、イベント検出手段として機能する。上記イベント検出部１２６は、認証処理の開始、あるいは、装置の異常などのイベントを検出する。たとえば、上記イベント検出部１２６では、上記カメラ１１０にて撮影した画像に基づいて人物の有無を検知し、その検知結果に基づいて認識（認証）処理の開始を判定する。すなわち、上記イベント検出部１２６には、上記画像入力部１２０を介して上記カメラ１１０にて撮影された画像が連続的に供給される。上記イベント検出部１２６は、上記カメラ１１０にて撮影された連続する画像の差分情報に基づいて上記カメラ１１０の撮影範囲（撮影画像）に人物が存在するか否かを判定する。これにより、人物が存在すると判定した場合、上記イベント検出部１２６は、認証処理の開始を判断する。また、当該通行制御装置内の各部に異常が発生した場合、上記イベント検出部１２６は、各部からの異常発生を示す信号に基づいて装置の異常を検出する。

また、上記通行制御部１２７は、上記認証処理部１２１による認識対象者Ｐに対する認証処理の結果に基づいてドア開閉装置３０を制御することにより、上記認識対象者Ｐの通行を制御するものである。上記ドア開閉装置３０は、施設への入出用のドアに設けられ、そのドアの開閉あるいはドアの開錠施錠を制御する機構である。従って、認識対象者Ｐの通行を許可する場合、上記通行制御部１２７は、ドア開閉装置３０によりドアを開放する制御を行う。また、認識対象者Ｐの通行を不許可とする場合、上記通行制御部１２７は、ドア開閉装置３０によりドアを閉鎖する制御を行う。

例えば、上記照合部１２５にて認識対象者Ｐが上記登録情報保持部１２４に登録されている登録者である場合、上記通行制御部１２７は、上記認証処理部１２１からの認識対象者Ｐが登録者であることが認証された旨の通知を受けて、上記ドア開閉装置３０によりドアを開放する。また、登録者のうち一部の登録者（ドアの通行権限を有する人物）のみが上記ドアの通行可能とする場合、上記通行制御部１２７は、上記認証処理部１２１により認識対象者Ｐがドアの通行権限を有する人物であると認証された際に、上記ドア開閉装置３０によるドアの開放を行うように制御する。

また、上記履歴データ保持部１２８は、認証処理の履歴データとして、認証日時、認証の対象となった画像および認証結果などを保存するものである。また、上記履歴データ保持部１２８には、上記カメラ１１０が撮影している連続画像（映像）を保存するようにしても良い。また、上記履歴データ保持部１２８には、図示しないインターフェースが設けられ、上記履歴データ保持部１２８に保存した履歴データが上記監視装置２０に出力されるようになっている。

次に、上記監視装置２０について説明する。
上記監視装置２０は、たとえば、人物認識装置（通行制御装置）１０にネットワーク接続された遠隔装置として機能する。上記監視装置２０では、監視員Hによって上記通行制御装置１０のカメラ１１０で撮影した画像などが監視される。また、上記監視装置２０は、たとえば、コンピュータ等の構成によって実現可能である。すなわち、上記監視装置２０は、ハードディスク装置や光ディスク等の記憶媒体に予め記録した種々の制御プログラムを図示しないＣＰＵなどからなる制御部が実行することによって、処理手段として機能し、後述するような種々の動作を実現している。

以下、監視装置２０の具体的な構成例について図１を参照して詳細に説明する。
上記監視装置２０は、監視部２０１、設定保持部２０２、表示制御部２０３、表示部２０４、操作部２０５、通行制御部２０６などにより構成される。なお、上記監視部２０１、設定保持部２０２、表示制御部２０３及び通行制御部２０６などは、ＣＰＵ、各種メモリ及び各種インターフェースなどを有する制御ユニットにより構成される。

上記監視部２０１は、上記通行制御装置１０の動作状況を監視する。上記監視部２０１は、監視手段として機能する。上記監視部２０１では、上記通行制御装置１０で発生したイベントを検出する。上記監視部２０１では、検出した上記通行制御装置１０で発生したイベントを示す情報を表示制御部２０３へ通知する。たとえば、上記監視部２０１では、上記通行制御装置１０の履歴データの変化に基づいて上記通行制御装置１０で発生したイベントを検出するようになっている。

すなわち、上記通行制御装置１０では、上述したように、上記履歴データ保持部１２８に認証処理などの履歴データが蓄積される。上記履歴データ保持部１２８は、履歴保持手段として機能する。従って、上記履歴データ保持部１２８に保存される履歴データの変化に基づいて上記通行制御装置１０で発生したイベントが検出できる。上記監視部２０１では、上記履歴データ保持部１２８に保存される履歴データをほぼリアルタイムで取り込む。これにより、上記監視部２０１では、上記履歴データ保持部１２８に保存される履歴データの変化から上記通行制御装置１０で発生したイベントを検出する。

上記設定保持部２０２は、当該監視装置の動作に関わる設定情報を保持するものである。上記設定保持部２０２は、設定保持手段あるいは記憶手段として機能する。上記設定保持部２０２では、特に、上記表示部２０４に表示する対象となるイベントあるいは表示内容などの表示に関する設定情報（表示設定情報）を保持する。たとえば、上記設定保持部２０２には、上記通行制御装置１０が実行した全ての顔照合（認証）処理の処理結果を表示するような表示設定情報を保存するようにしても良い。また、上記設定保持部２０２には、上記通行制御装置１０が実行した顔照合（認証）処理のうち照合失敗となった情報を表示するような表示設定情報を保存するようにしても良い。また、上記設定保持部２０２には、上記通行制御装置１０が実行した顔照合（認証）処理によって特定の人物であることが認証（検出）された場合に、その処理結果を表示するような表示設定情報を保存するようにしても良い。

上記表示制御部２０３は、上記表示部２０４の表示制御を行うものである。上記表示制御部２０３では、上記設定保持部２０２に保存されている表示設定情報に基づいて上記表示部２０４の表示制御を行う。また、上記表示制御部２０３には、上記監視部２０１が検出した上記通行制御装置１０で発生したイベントを示す情報が供給される。これにより、上記表示制御部２０３では、上記監視部２０１から供給される上記人物認識装置１０で発生したイベントを示す情報が供給された場合、上記設定保持部２０２に保存している表示設定情報に基づいて当該イベントに関する情報を表示するか否かを判断する。また、上記人物認識装置１０で発生したイベントに関する情報を表示すると判断した場合には、上記表示制御部２０３は、当該イベントに関する情報を上記通行制御装置１０から取得し、当該表示設定情報に基づく上記通行制御装置１０から取得した情報を含む表示データを作成し、作成した表示データを表示部２０４に表示する。

上記表示部２０４は、上記表示制御部２０３による表示制御に基づいて種々の表示データを表示するものである。上記表示部２０４は、通知手段として機能する。上記表示部２０４は、上記通行制御装置１０を監視する者（監視員）Ｈによって監視される表示装置である。また、上記表示部２０４は、上記通行制御装置１０と離れた場所に設定されるようにしても良い。なお、上記監視員Ｈは、人物の通行の可否を判断する権限を有する者であるとする。

上記操作部２０５は、特定の権限を有する監視員Ｈによって操作されるものである。上記操作部２０５は、上記表示部２０４の近傍に設定される（あるいは表示部２０４と一体的に形成される）。上記操作部２０５は、キーボードなどの操作装置によって構成される。特に、上記操作部２０５には、上記通行制御装置１０が制御しているドアの開閉を指示するためのキーが設けられる。たとえば、監視員Ｈの判断によって通行者を通行を許可する場合、監視員Ｈは、上記操作部２０５に設けられたドアの解錠（人物の通行の許可）を指示するキーを指示するようになっている。

上記通行制御部２０６は、上記ドア開閉装置３０を制御するものである。上記通行制御部２０６では、上記操作部２０５による監視員Ｈの指示などに応じて上記ドア開閉装置３０を制御することにより、ドアの開閉（人物の通行）を制御するようになっている。

次に、上記監視装置２０の設定例について説明する。
上述したように、上記監視装置２０が監視員Ｈに通知する対象とする内容は、上記設定保持部２０２に保存される表示設定情報により設定される。上記表示設定情報は、上記操作部２０５を操作することにより特定の権限を有する人物（ここでは、監視員Ｈとする）により指定（設定）されるものである。

図２は、上記表示部２０４に表示される上記表示設定情報の設定画面の表示例である。
図２に示す設定画面の例では、通知する内容（通知設定）あるいは通知する際に発生させる音声（ビープ音設定）などの設定内容が入力されるようになっている。また、上記通知設定とは、上記表示部２０４に表示させる上記人物認識装置（通行制御装置）１０で発生したイベントの設定である。図２に示す設定画面の例では、通知設定として、全通知、通行ＮＧ、通知ＩＤ、警告が設定できるようになっている。なお、本実施の形態において、イベントとは、上記人物認識装置１０における処理の実行、あるいは、上記人物認識装置１０の動作状況の変化などである。たとえば、人物の顔照合（認証）処理を実行した場合（つまり、人物の顔を検出した場合）、イベントとして顔照合処理が行われたものとする。また、上記人物認識装置１０に異常が発生した場合、イベントとして装置異常が発生したものとする。

たとえば、通知設定における全通知とは、上記人物認識装置１０による顔照合（認証）処理結果の全てを通知する場合に設定される項目である。この場合、上記表示部２０４には、上記人物認識装置１０による顔照合（認証）処理結果に関する情報（上記人物認識装置１０が検出した顔画像および認証結果などを含む情報）が全て表示される。
また、通知設定における通行ＮＧとは、上記人物認識装置１０による顔照合（認証）処理のうち認証が失敗した顔照合（認証）処理結果を通知する場合に設定される項目である。この場合、上記表示部２０４には、上記人物認識装置１０による顔照合（認証）が失敗した顔照合（認証）処理結果に関する情報（上記人物認識装置１０が検出した顔画像および認証結果などを含む情報）が表示される。

また、通知設定における通知ＩＤとは、上記人物認識装置１０が顔照合（認証）処理により特定の人物（ＩＤ情報などにより特定される人物）を検出したことを通知する場合に設定される項目である。この場合、上記表示部２０４には、上記人物認識装置１０が顔照合（認証）処理により特定の人物を検出したことを示す情報（上記人物認識装置１０が検出した顔画像および認証結果などを含む情報）が表示される。
また、図２に示す設定画面の例では、ビープ音設定として、全通知、通行ＮＧ、通知ＩＤ、警告などのイベントが発生した場合に発する音が設定できるようになっている。なお、ビープ音設定により設定された音は、図示しないスピーカなどにより発生される。

次に、上記監視装置２０におけるイベントの通知の例について説明する。
図３は、イベントが発生した場合に監視装置２０の表示部に表示される表示画面の例である。
図３は、上記人物認識装置１０でのイベントとして顔照合（認証）処理が行われた場合に、上記人物認識装置１０が実行した顔照合処理に関する情報を通知する表示例である。また、図３に示す表示例では、人物認識装置１０が顔照合処理を行った場合における顔照合処理に関する情報の通知例である。

図３に示す表示例では、照合結果、照合日時、撮影場所、撮影した顔画像、登録顔画像、識別情報、氏名などが表示されている。
照合結果は、上記人物認識装置１０における顔照合処理に結果として、認識対象者Ｐが登録者であることと判定されたか否かを示す。図３に示す表示例では、上記人物認識装置１０における顔照合処理に結果として、認識対象者Ｐが登録者であることと判定されたことを示している。上記照合日時は、上記人物認識装置１０における顔照合処理の実行日時を示す。また、上記人物認識装置１０における顔照合処理は、上記カメラ１１０にて撮影された画像から人物（認識対象者）Ｐの顔画像が検出された際に実行される。従って、上記照合日時は、上記カメラ１１０にて撮影された画像から人物（認識対象者）が検出された日時を示すものでもある。

上記撮影場所は、上記ドア開閉装置３０による制御対象となるドアの設置場所を示す。上記監視装置２０が１箇所のみを監視している場合、撮影場所は、省略しても良い。また、上記監視装置２０が複数の人物認識装置１０を監視している場合、あるいは、複数のドア開閉装置３０を制御する人物認識装置１０を監視している場合、撮影場所としては、認識対象者Ｐの顔画像を撮影した場所（つまり制御対象となるドアの設置場所）を示す情報が表示される。
上記撮影した顔画像は、上記人物認識装置１０のカメラ１１０が撮影した画像から検出された認識対象者Ｐの顔画像を示す。つまり、上記撮影した顔画像としては、上記人物認識装置１０での顔照合処理において登録者の顔画像と照合された顔画像が表示される。

上記登録顔画像、上記識別情報および上記氏名は、上記人物認識装置１０における顔照合処理により認証された登録者（顔画像が認識対象者Ｐと一致すると判定された登録者）に関する情報である。上記登録顔画像、上記識別情報および上記氏名は、上記登録情報保持部１２４から読み出される情報である。
上記登録顔画像は、上記人物認識装置１０における顔照合処理により認証された登録者（顔画像が認識対象者Ｐと一致すると判定された登録者）の登録データとして上記登録情報保持部１２４に登録されている顔画像である。また、図３に示す表示例では、上記登録顔画像は、撮影した顔画像と並べて表示される。このため、監視員Ｈが、撮影した顔画像（認識対象者Ｐの顔画像）と登録顔画像とを見比べつつ視認することができるようになっている。

上記識別情報は、上記人物認識装置１０における顔照合処理により認証された登録者（顔画像が認識対象者Ｐと一致すると判定された登録者）の識別情報（ＩＤ）を示す。上記識別情報は、上記登録情報保持部１２４に保存される各登録者のデータ（登録データ）を識別するための識別情報であり、各登録者に固有な情報である。上記氏名は、上記人物認識装置１０における顔照合処理により認証された登録者（顔画像が認識対象者Ｐと一致すると判定された登録者）の氏名を示す。

また、上記人物認識装置１０における顔照合が失敗した場合であっても、上記表示部２０４には、最も類似度の高い登録者（顔画像が認識対象者Ｐと最も類似していると判定された登録者）に関する情報（登録顔画像、識別情報および氏名等）を表示するようにしても良い。このように、上記人物認識装置１０における顔照合が失敗した場合に、最も類似度の高い登録者に関する情報を表示するか否かは、管理者あるいは監視員Ｈによって設定できるようになっているものとする。

次に、上記人物認識システム（通行制御システム）における処理の流れを概略的に説明する。
図４は、上記人物認識装置１０における処理の流れを概略的に説明するためのフローチャートである。
まず、上記人物認識装置１０は、通常、１対Ｎで顔照合を行う動作モード（１対Ｎ照合モード）で動作しているものとする。このような動作時において、上記人物認識装置１０では、常時、上記カメラ１１０が撮影した画像を上記画像入力部１２０で入力しているものとする。この状態において、上記イベント検出部（自動認証開始判定部）１２６は、上記カメラ１１０により撮影され、上記画像入力部１２０により取り込んだ画像に基づいて顔照合（認証）処理を開始するか否かを判定している（ステップＳ１１）。たとえば、上記イベント検出部１２６は、連続する画像の差分データに基づいて、上記カメラ１１０により撮影している画像に変化があったか否かを判断する（ステップＳ１２）。

なお、上記カメラ１１０の撮影範囲における人物の有無を検知するセンサを設け、当該センサの検知信号に基づいて上記イベント検出部１２６が認証処理の開始を判定するようにしても良い。この場合、上記センサから人物を検知したことを示す検知信号を受信した際に、上記イベント検出部１２６は、上記カメラ１１０が撮影した画像を上記画像入力部１２０により取り込んで顔照合（認証）処理を開始するように制御する。また、上記イベント検出部１２６では、上記顔検出部１２２により顔領域が検出されたか否かにより顔照合処理を開始するか否かを判定するようにしても良い。つまり、上記顔検出部１２２は、上記画像入力部１２０に取り込まれた画像に対して顔領域の検出を行い、その検出結果をイベント検出部１２６に通知するようにしても良い。この場合、上記顔検出部１２２により顔領域が検出された場合に、上記イベント検出部１２６は、顔照合（認証）処理を開始すると判定する。

上記イベント検出部１２６により顔照合処理の開始を判定した場合（ステップＳ１２、ＹＥＳ）、上記画像入力部１２０は、上記カメラ１１０が撮影している画像を取り込み、その画像を認証処理部１２１の上記顔検出部１２２へ供給する。上記画像入力部１２０により画像が供給された上記顔検出部１２２では、当該画像から人物の顔らしい領域（顔領域）を検出する顔検出処理を行う（ステップＳ１３）。

この顔検出処理により上記画像入力部１２０により供給された顔画像から顔領域が検出できなかった場合（ステップＳ１４、ＮＯ、上記顔検出部１２２は、顔が検出できなかった旨を照合部１２５あるいはイベント検出部１２６に通知する。この場合、上記照合部１２５あるいは上記イベント検出部１２６では、顔照合処理が不能であるものとして当該顔照合処理を終了する。また、この場合、当該顔照合処理に関する情報（たとえば、撮影した画像、日時、撮影場所、顔が検出できなかった旨を示す情報など）は、履歴データとして履歴データ保持部１２８に保存するようにしても良い。

また、上記顔検出処理により上記画像入力部１２０により供給された画像から顔領域が検出された場合（ステップＳ１４、ＹＥＳ）、上記顔検出部１２２は、当該画像と検出した顔領域を示す情報とを特徴抽出部１２３に出力する。なお、上記顔検出部１２２では、正規化などの画像処理を施した顔領域の画像を特徴抽出部１２３に供給するようにしても良い。

上記顔検出部１２２から当該画像と検出した顔領域を示す情報とが供給された特徴抽出部１２３では、当該顔領域から顔の特徴量を抽出する処理を行う（ステップＳ１５）。これにより抽出された顔の特徴量は、上記照合部１２５に供給される。上記特徴抽出部１２３から顔の特徴量が供給された照合部１２５では、上記特徴抽出部１２３により抽出した顔の特徴量と上記登録情報保持部１２４に登録されている各登録者の顔の特徴量とを照合する顔照合（認証）処理を行う（ステップＳ１６）。

この顔照合処理では、上記特徴抽出部１２３により抽出した顔の特徴量と上記登録情報保持部１２４に登録されている各登録者の顔画像における顔の特徴量とを類似度を算出する。これにより、各登録者との類似度を算出すると、上記照合部１２５は、最大となる類似度が所定の値以上であるか否かを判断する。

この判断により最大となる類似度が所定の値以上である場合、上記照合部１２５は、上記カメラ１１０により撮影された人物と最大類似度となる登録者とが一致したものと判定する（照合が成功したものと判定する）。この場合、上記照合部１２５は、上記カメラ１１０により撮影された人物に対する照合が成功したことを示す情報を通行制御部１２７に通知する。これとともに、上記照合部１２５は、当該顔照合処理に関する情報として登録者を示す情報を上記履歴データ保持部１２８に供給する。

また、上記判断により最大となる類似度が所定の値未満である場合、上記照合部１２５は、照合が失敗したものと判定する。この場合、上記照合部１２５は、上記カメラ１１０により撮影された人物に対する照合が失敗したことを示す情報を通行制御部１２７に通知する。これとともに、上記照合部１２５は、当該顔照合処理の履歴データとして当該顔照合処理が失敗したことを示す情報を上記履歴データ保持部１２８に供給する。なお、照合が失敗した場合であっても、上記照合部１２５は、顔照合処理が失敗したことを示す情報とともに最大類似度となった登録者を示す情報を上記履歴データ保持部１２８に供給するようにしても良い。

上記通行制御部１２７では、上記照合部１２５による顔照合処理の結果に基づいて上記ドア開閉装置３０を制御する処理を行う（ステップＳ１７〜Ｓ１９）。
たとえば、上記照合部１２５から照合が成功した旨の通知を受けた場合、上記通行制御部１２７は、上記カメラ１１０により撮影している認識対象者Ｐの通行を許可する（ステップＳ１７、ＹＥＳ）。この場合、上記上記通行制御部１２７は、ドアを開放するようために、上記ドア開閉装置３０にドアを開放することを指示する信号を出力する。この信号を受けた上記ドア開閉装置３０では、ドアを開放し、当該認識対象者Ｐがドアを通過できるようにする（ステップＳ１８）。なお、上記通行制御部１２７は、通行が許可である旨を上記表示部１１１に表示することにより、通行可能であることを認識対象者Ｐに報知するようにしても良い。

また、上記照合部１２５から照合が失敗した旨の通知を受けた場合、上記通行制御部１２７は、上記カメラ１１０により撮影している認識対象者Ｐの通行を不許可とする（ステップＳ１７、ＮＯ）。この場合、上記上記通行制御部１２７は、ドアを閉鎖するようために、上記ドア開閉装置３０にドアを閉鎖したままとすることを指示する信号を出力する（あるいは、ドアを開放することを指示する信号を出力しないようにする）。これにより、上記ドア開閉装置３０では、ドアを閉鎖したままとし、当該認識対象者Ｐがドアを通行できないようにする（ステップＳ１９）。なお、上記通行制御部１２７は、通行が不許可となった旨を上記表示部１１１に表示することにより、通行不可能であることを認識対象者Ｐに報知するようにしても良い。

また、上記履歴データ保持部１２８には、当該顔照合（認証）処理に関する情報が履歴データとして保存される（ステップＳ２０）。たとえば、上記履歴データ保持部１２８には、上記認証処理部１２１から一連の顔照合処理に関する情報が供給される。また、上記カメラ１１０にて撮影した画像については、上記画像入力部１２０から取得するようにしても良い。一連の顔照合処理に関する情報が供給されると、上記履歴データ保持部１２８では、それらの一連の顔照合処理に関する情報を１件分の履歴データとして保存する。これにより、上記履歴データ保持部１２８は、当該人物認識装置１０が顔照合処理を実行するごとに履歴データが更新される。なお、顔照合処理以外のイベント（たとえば、装置異常など）が発生した場合も、上記履歴データ保持部１２８には、当該イベントに関する情報を履歴データとして保持するようにしても良い。

次に、上記監視装置２０における処理の流れを説明する。
図５は、上記監視装置２０における第１の処理例を概略的に説明するためのフローチャートである。
ここで、予め監視装置２０では、上記人物認識装置１０で発生したイベントのうち通知対象とするイベント（全イベント、照合失敗、特定の人物の検出、装置の異常など）、および、その通知の方法（音声、画面）が設定されているものとする。たとえば、通知対象とするイベントおよびその通知方法は、図２に示すような設定画面において設定される。

このような設定状態において、上記監視装置２０は、常時（あるいは所定時間ごとに）、上記監視部２０１により上記人物認識装置１０の履歴データ保持部１２８の更新状況を監視している（ステップＳ３１）。上述したように、上記履歴データ保持部１２８には、上記人物認識装置１０で発生したイベントを示す情報が履歴データとして蓄積される。従って、上記監視部２０１は、上記履歴データ保持部１２８に保存されている履歴データに基づいて上記人物認識装置１０の動作状況を監視することが可能となる。

すなわち、上記監視部２０１は、上記履歴データ保持部１２８に新たな履歴データが保存されたか否かにより上記人物認識装置１０においてイベントが発生したか否かを判定している（ステップＳ３２）。これにより、上記人物認識装置１０でイベントが発生したことを検出した場合、つまり、新たに保存された履歴データ（以下、新規履歴データと称する）を検出した場合（ステップＳ３２、ＹＥＳ）、上記監視部２０１は、当該新規履歴データを上記履歴データ保持部１２８から読み出して上記表示制御部２０３に供給する。上記表示制御部２０３では、上記設定保持部２０２に保存されている設定内容に基づいて当該新規履歴データが通知対象とするイベントを示すものであるか否かを判断する（ステップＳ３３）。

この判断により当該新規履歴データが通知対象とするイベントを示す情報でないと判断した場合（ステップＳ３３、ＮＯ）、当該監視装置２０は、上記ステップＳ３１へ戻り、上記監視部２０１による上記人物認識装置１０の監視を行う。
また、上記判断により当該新規履歴データが通知対象とするイベントを示す情報であると判断した場合（ステップＳ３３、ＹＥＳ）、上記表示制御部２０３は、当該新規履歴データと上記設定保持部２０２に保存されている表示設定情報とに基づいて上記表示部２０４に表示する表示データを作成する処理を行う（ステップＳ３４）。この処理により表示データを作成すると、上記表示制御部２０３は、当該表示データを上記表示部２０４に表示する（ステップＳ３５）。

たとえば、上記監視装置２０が人物認識装置１０が実行した顔照合処理に関する情報を通知する設定であるものとする。このような設定において上記監視部２０１が顔照合処理が成功したことを示す新規履歴データを検出した場合、上記表示制御部２０３は、図３に示すような表示画面の表示データを作成する。この場合、上記表示制御部２０３は、認証された登録者の登録データを上記人物認識装置１０の登録情報保持部１２４から読み出す。この登録データには、登録者の識別情報、氏名、登録時の顔画像が含まれている。また、顔照合処理が成功した場合の新規履歴データには、上記カメラ１１０で撮影した顔画像、顔照合処理の日時（照合日時）、顔照合が成功したことを示す情報（照合結果）などが含まれている。これにより、上記表示制御部２０３は、照合結果、照合日時、撮影した顔画像、登録時の顔画像、登録者の識別情報および氏名などを表示する表示データを作成し、上記表示部２０４に表示する。

上記のように、本人物認識システム（通行制御システム）では、人物認識装置において発生したイベントのうち通知すべきイベントを監視装置で予め設定しておく。当該監視装置では、当該人物認識装置における処理状況を監視し、当該人物認識装置において通知対象とするイベントが発生したことを検出した場合、検出したイベントが予め設定されている通知すべきイベントであれば、そのイベントの内容を表示部に表示するようにしたものである。これにより、上記監視装置では、予め設定されているイベントが発生した場合にのみ、そのイベントの内容を監視員Ｈに知らせることができる。

また、上記監視装置では、顔照合処理を実行したこと、顔照合処理による顔照合が失敗したこと、あるいは、顔照合処理により特定の人物との顔照合が成功したこと、などを通知対象とするイベントとして設定することができる。これにより、顔照合が実行したこと（人物が検出された場合）、顔画像が失敗したこと（未登録者が検出された場合）、あるいは、特定の人物との顔照合が成功したこと（特定人物が検出された場合）などの特定の場合にだけ、その内容を監視員Ｈに通知するようにすることができる。この結果として、監視員Ｈは監視作業が軽減される。

たとえば、顔照合が失敗したことを通知するように設定した場合、顔照合が成功した認識対象者Ｐの顔画像は表示されずに、顔照合が失敗となった認識対象者Ｐの顔画像が監視装置にて表示される。これにより、監視員Ｈは、顔照合が失敗した場合のみを監視することができ、顔照合が失敗した認識対象者Ｐに対して、監視員Ｈの判断による通行制御などの迅速な対応が可能となる。さらに、未登録者（来訪者）が照合失敗となった場合には、来訪者の顔画像が表示される。このため、あらかじめ監視員Ｈが来訪者の情報（顔写真等）を承知していれば、監視員Ｈが来訪者に対して迅速に対応することができ、監視員Ｈの判断による来訪者の通行を効率的に制御することが可能となる。

次に、上記監視装置２０において通知対象として特定のイベントが設定されている場合の処理例を第２、第３、第４の処理例として説明する。

まず、第２の処理例として、通知対象のイベントとして特定人物が検出されたことを通知することが設定される監視装置２０にける処理の流れを説明する。
図６は、特定人物が検出されたことを通知する設定の監視装置２０における処理例（第２の処理例）を概略的に説明するためのフローチャートである。なお、ここでは、特定人物とは、上記登録情報保持部１２４に登録データが登録されている登録者のうち何れかの人物であるものとする。つまり、特定人物に関するデータ（登録時の顔画像、識別情報、および、氏名など）は、上記登録情報保持部１２４に登録データとして保存されているものとする。

特定の人物が検出されたことを通知する設定状態において、上記監視装置２０は、常時（あるいは所定時間ごとに）、上記監視部２０１により上記人物認識装置１０の履歴データ保持部１２８の更新状況を監視し（ステップＳ４１）、上記履歴データ保持部１２８に新たな履歴データが保存されたか否かにより上記人物認識装置１０においてイベントが発生したか否かを判定する（ステップＳ４２）。これにより、上記人物認識装置１０でイベントが発生したことを検出した場合、つまり、新たに保存された履歴データ（以下、新規履歴データと称する）を検出した場合（ステップＳ４２、ＹＥＳ）、上記監視部２０１は、当該新規履歴データを上記履歴データ保持部１２８から読み出して上記表示制御部２０３に供給する。

ここでは、特定人物が検出されたことを通知する設定内容が上記設定保持部２０２に保存されている。このため、上記表示制御部２０３では、まず、当該新規履歴データが顔照合処理を実行したことを示す情報であるか否かを判断する（ステップＳ４３）。この判断により当該新規履歴データが顔照合処理を実行したことを示す情報であると判断した場合（ステップＳ４３、ＹＥＳ）、上記表示制御部２０３は、さらに、当該新規履歴データで示される顔照合の結果が特定の人物を検出したことを示す情報（特定の人物との照合が成功したことを示す情報）であるか否かを判断する（ステップＳ４４）。

この判断により当該新規履歴データが特定人物を検出したことを示す情報であると判断した場合（ステップＳ４４、ＹＥＳ）、上記表示制御部２０３は、検出された特定人物の登録データを上記人物認識装置１０の登録情報保持部１２４から読み出す（ステップＳ４５）。特定人物の登録データを読み出すと、上記表示制御部２０３は、たとえば、新規履歴データに含まれる照合結果と照合日時と撮影した顔画像、および、登録データに含まれる特定人物の登録時の顔画像と特定人物の識別情報と特定人物の氏名などを表示する表示データを作成し（ステップＳ４６）、当該表示データを上記表示部２０４に表示する（ステップＳ４７）。

上記のように、第２の処理利では、表示設定情報において特定人物が検出されたことを通知対象とするイベントとして登録されている。したがって、上記監視装置では、上記人物認識装置における顔照合処理で特定人物との顔照合が成功したことを検出した場合、当該顔照合処理に関する情報を通知するようにしている。
これにより、上記監視装置では、上記人物認識装置における顔照合処理により特定の人物との顔照合が成功したこと、つまり、特定の人物がカメラで撮影されたことを選択的に監視員Ｈに通知できる。この結果として、監視員Ｈは、特殊な案内あるいは対応が必要となるような特定の人物者に対して、確実かつ迅速に対応することが可能となる。

次に、第３の処理例として、通知対象のイベントとして顔照合処理が失敗であった場合には、特徴が最も近い登録者（顔照合処理において最大類似度となった登録者）に関する情報を表示することが設定される監視装置２０における処理の流れを説明する。
図７は、顔照合処理が失敗した場合には認識対象者Ｐと特徴が最も近いと判定された登録者を通知する設定における監視装置２０の処理例（第３の処理例）を概略的に説明するためのフローチャートである。ここでは、通知対象のイベントとして顔照合処理の実行が設定され、さらに、顔照合処理が失敗した場合には最も類似度が高いと判定された登録者の登録データ（登録時の顔画像、識別情報、および、氏名など）を通知する設定となっているものとする。

このような設定状態において、上記監視装置２０は、常時（あるいは所定時間ごとに）、上記監視部２０１により上記人物認識装置１０の履歴データ保持部１２８の更新状況を監視し（ステップＳ５１）、上記履歴データ保持部１２８に新たな履歴データが保存されたか否かにより上記人物認識装置１０においてイベントが発生したか否かを判定する（ステップＳ５２）。これにより、上記人物認識装置１０でイベントが発生したことを検出した場合、つまり、新たに保存された履歴データ（以下、新規履歴データと称する）を検出した場合（ステップＳ５２、ＹＥＳ）、上記監視部２０１は、当該新規履歴データを上記履歴データ保持部１２８から読み出して上記表示制御部２０３に供給する。

ここでは、顔照合処理が実行されたことを通知する設定内容が上記設定保持部２０２に保存されている。このため、上記表示制御部２０３では、まず、当該新規履歴データが顔照合処理を実行したことを示す情報であるか否かを判断する（ステップＳ５３）。この判断により当該新規履歴データが顔照合処理を実行したことを示す情報であると判断した場合（ステップＳ５３、ＹＥＳ）、上記表示制御部２０３は、さらに、当該新規履歴データで示される顔照合の結果として顔照合処理が成功したか否かをを判断する（ステップＳ５４）。

この判断により当該新規履歴データが顔照合処理の成功を示す情報であると判断した場合（ステップＳ５４、ＹＥＳ）、上記表示制御部２０３は、認識対象者Ｐとの顔照合が成功した登録者の登録データを上記人物認識装置１０の登録情報保持部１２４から読み出す（ステップＳ５５）。顔照合が成功した登録者の登録データを読み出すと、上記表示制御部２０３は、たとえば、新規履歴データに含まれる照合結果（この場合は照合成功）と照合日時と撮影した顔画像、および、登録データに含まれる当該登録者の登録時の顔画像と当該登録者の識別情報と当該登録者の氏名などを表示する表示データを作成し（ステップＳ５６）、当該表示データを上記表示部２０４に表示する（ステップＳ５７）。

また、上記判断により当該新規履歴データが顔照合処理の失敗を示す情報であると判断した場合（ステップＳ５４、ＮＯ）、上記表示制御部２０３は、認識対象者Ｐとの顔照合処理において最も類似度が高い登録者の登録データを上記人物認識装置１０の登録情報保持部１２４から読み出す（ステップＳ５８）。なお、ここでは、顔照合が失敗した場合には顔照合処理において最大類似度となった登録者を示す情報が履歴データに含まれているものとする。従って、上記表示制御部２０３は、当該新規履歴データに基づいて最大類似度となった登録者の登録データを上記登録情報保持部１２４から収集できるようになっているものとする。

上記登録情報保持部１２４から最大類似度となった登録者の登録データを読み出すと、上記表示制御部２０３は、上記ステップＳ５６及びＳ５７と同様に、新規履歴データに含まれる照合結果（この場合は照合失敗）と照合日時と撮影した顔画像、および、登録データに含まれる最大類似度となった人物の登録時の顔画像と最大類似度となった人物の識別情報と最大類似度となった人物の氏名などを表示する表示データを作成し（ステップＳ５６）、当該表示データを上記表示部２０４に表示する（ステップＳ５７）。

上記のように、第３の処理例では、表示設定情報において顔照合処理が実行されたこと検出されたことを通知対象とするイベントとして登録され、さらに、顔照合処理が失敗した場合には最も類似している登録者のデータを通知することが登録されている。したがって、上記監視装置では、上記人物認識装置において実行された当該顔照合処理に関する情報を通知し、さらに、当該顔照合処理が失敗である場合には最も類似している登録者のデータを通知するようにしている。

これにより、上記監視装置では、上記人物認識装置において実行された当該顔照合処理を監視することができ、顔照合が失敗した場合には最も類似している登録者のデータを簡単に確認することができる。この結果として、監視員Ｈは、人物認識装置における顔照合処理の状況を監視することができるとともに、顔照合が失敗した認識対象者Ｐについては最も類似する登録者の顔画像などのデータも容易に参照することができる。

顔照合処理では、顔画像の撮影条件あるいは経年変化などによって認識対象者Ｐが登録者であるにもかかわらずに顔照合が失敗することがありうる。このような顔照合の失敗では、顔照合の類似度が所定の値に満たないためであることが多い。このような場合、顔照合の結果が失敗であっても顔照合処理において最も類似している登録者が認識対象者Ｐである可能性がある。言い換えると、顔照合が失敗した場合に最も類似している登録者のデータは、監視員Ｈの判断や対応などを支援するための有用なデータである。従って、顔照合が失敗した場合に最も類似する登録者のデータを通知することにより、監視員Ｈは、容易に処理状況などを判断することが可能となる。

次に、第４の処理例として、過去に通行したことがある人物を検出したことを通知する設定となっている監視装置２０における処理の流れを説明する。
図８は、過去に通行暦がある人物を検出したことを通知する設定となっている監視装置２０の処理例（第４の処理例）を概略的に説明するためのフローチャートである。
ここでは、人物認識装置１０が上記カメラ１１０が撮影した顔画像（認識対象者Ｐの顔画像）と履歴データ保持部１２８に履歴データとして保存されている顔画像との顔照合処理を行うものとする。この場合、当該イベントの履歴データとしては、過去の履歴データにおける顔画像との顔照合処理を実行したことを示す情報が保持されるものとする。また、上記監視装置２０には、通知対象のイベントとして、過去の履歴データにおける顔画像との顔照合処理が成功したことが設定される。

なお、人物認識装置１０は、特定の条件となった場合に認識対象者Ｐの顔画像と過去の履歴データにおける顔画像との顔照合処理を行うようにしても良い。たとえば、人物認識装置１０では、認識対象者Ｐの顔画像と登録情報保持部１２４に登録されている登録者の顔画像との顔照合を行い、登録者の顔画像との顔画像が失敗した場合に、認識対象者Ｐの顔画像と過去の履歴データにおける顔画像との顔照合処理を行うようにしても良い。

上記のような設定状態において、上記監視装置２０は、常時（あるいは所定時間ごとに）、上記監視部２０１により上記人物認識装置１０の履歴データ保持部１２８の更新状況を監視し（ステップＳ６１）、上記履歴データ保持部１２８に新たな履歴データが保存されたか否かにより上記人物認識装置１０においてイベントが発生したか否かを判定する（ステップＳ６２）。これにより、上記人物認識装置１０でイベントが発生したことを検出した場合、つまり、新たに保存された履歴データ（以下、新規履歴データと称する）を検出した場合（ステップＳ６２、ＹＥＳ）、上記監視部２０１は、当該新規履歴データを上記履歴データ保持部１２８から読み出して上記表示制御部２０３に供給する。

ここでは、認識対象者Ｐの顔画像と過去の履歴データにおける顔画像との顔照合処理が実行されたことを通知する設定内容が上記設定保持部２０２に保存されている。このため、上記表示制御部２０３では、まず、当該新規履歴データが過去の履歴データにおける顔画像との顔照合処理を実行したことを示す情報であるか否かを判断する（ステップＳ６３）。この判断により当該新規履歴データが過去の履歴データとの顔照合処理を実行したことを示す情報であると判断した場合（ステップＳ６３、ＹＥＳ）、上記表示制御部２０３は、さらに、当該新規履歴データで示される過去の履歴データとの顔照合処理の結果として顔照合処理が成功したか否かをを判断する（ステップＳ６４）。

つまり、上記ステップＳ６４の判断では、認識対象者Ｐの顔画像と一致する過去の履歴データにおける顔画像が存在するか否かにより当該認識対象者Ｐが過去に当該人物認識装置１０の認識対象となったことがあるか否かを判断している。また、ここでは、通行制御装置１０に適用されることも想定しているため、上記ステップＳ６４の判断では、人物認識装置１０による通行制御の対象となっているドアを当該認識対象者Ｐが過去に通行したことがあるか否かを判断しているということもできる。

上記判断により当該新規履歴データが認識対象者Ｐの顔画像と過去の履歴データにおける顔画像との顔照合処理が成功を示す情報であると判断した場合、つまり、当該認識対象者Ｐが過去に通行したことがあると判断した場合（ステップＳ６４、ＹＥＳ）、上記表示制御部２０３は、認識対象者Ｐとの顔照合が成功した過去の履歴データを上記人物認識装置１０の履歴データ保持部１２８から読み出す（ステップＳ６５）。顔照合が成功した過去の履歴データを読み出すと、上記表示制御部２０３は、たとえば、新規履歴データに含まれる照合結果（この場合は過去の履歴データとの照合成功）、照合日時および撮影した顔画像などと、過去の履歴データに含まれる過去の撮影時（通行時）の顔画像、過去の撮影（通行）日時などと、を表示する表示データを作成し（ステップＳ６６）、当該表示データを上記表示部２０４に表示する（ステップＳ６７）。

上記のように、第４の処理例では、人物認識装置では、認識対象者Ｐの顔画像と過去の履歴データに含まれる顔画像との顔照合を行い、監視装置には表示設定情報において過去に通行したことがある認識対象者Ｐが検出されたことを通知対象とするイベントとして登録しておく。したがって、上記監視装置では、上記人物認識装置において認識対象者Ｐの顔画像と過去の履歴データに含まれる顔画像との照合が成功したこと検出した場合、認識対象者Ｐの顔画像とともに、認識対象者Ｐの顔画像と一致した過去の履歴データに含まれる顔画像を通知するようにしている。
これにより、上記監視装置では、カメラにて撮影された認識対象者Ｐの顔画像と過去の通行時の顔画像とを容易に確認することができ、認識対象者Ｐの過去の通行履歴を容易に監視することができる。

本実施の形態に係る人物認識システム（通行制御システム）の概略構成を示す図 監視装置における設定画面の表示例を示す図。 人物認識装置で発生したイベントを通知するための監視装置における表示例を示す図。 人物認識装置での顔照合（認証）処理の流れを概略的に説明するためのフローチャート。 監視装置による第１の処理例を説明するフローチャート。 監視装置による第２の処理例を説明するフローチャート。 監視装置による第３の処理例を説明するフローチャート。 監視装置による第４の処理例を説明するフローチャート。

符号の説明

１０…人物認識装置（通行制御装置）、１１…ユーザインターフェース部、１２…処理部、２０…監視装置、３０…ドア開閉装置、１１０…カメラ、１１１…表示部、１１２（１１２ａ、１１２ｂ）…補助照明、１２０…画像入力部、１２１…認証処理部、１２２…顔検出部、１２３…特徴抽出部、１２４…登録情報保持部、１２５…照合部、１２６…イベント検出部、１２７…通行制御部、１２８…履歴データ保持部、２０１…監視部、２０２…設定保持部、２０３…表示制御部、２０４…表示部、２０５…操作部、２０６…通行制御部

Claims (10)

1. 登録者の顔画像が登録されている登録手段と、
   認識対象者を撮影する撮影手段と、
   この撮影手段により撮影した画像から顔画像を検出する顔画像検出手段と、
   この顔画像検出手段により検出した顔画像と前記登録手段に登録されている登録者の顔画像とを照合する顔照合手段と、
   この顔照合手段により実行した照合処理に関する情報を履歴データとして保存する履歴保持手段と、
   この履歴保持手段に保存される履歴データの更新状況を監視する監視手段と、
   この監視手段により前記履歴保持手段に保存されている履歴データが更新されたことを検出した場合、更新された履歴データで示される処理状況を通知するか否かを判断する判断手段と、
   この判断手段により更新された履歴データで示される処理状況を通知すると判断した場合、当該履歴データで示される処理状況を通知する通知手段と、
   を有することを特徴とする人物認識システム。
2. 前記通知手段は、前記監視手段により更新されたことが検出された履歴データで示される処理状況を表示する表示手段である、ことを特徴とする前記請求項１に記載の人物認識システム。
3. さらに、前記履歴保持手段に保存される履歴データで示される動作状況を通知対象とするか否かを判断するための設定情報を保存する設定保持手段を有し、
   前記判断手段は、前記設定保持手段に保存されている設定情報に基づいて、更新された履歴データで示される動作状況を通知するか否かを判断する、
   ことを特徴とする前記請求項１に記載の人物認識システム。
4. 前記判断手段は、前記履歴保持手段に新たに保存された履歴データが顔照合処理を示す履歴データである場合、当該履歴データで示される顔照合処理に関する情報を通知することを判断する、
   ことを特徴とする前記請求項１に記載の人物認識システム。
5. 前記判断手段は、前記履歴保持手段に新たに保存された履歴データが顔照合処理を示す履歴データであり、かつ、当該顔照合処理の処理結果として認識対象者が前記登録手段に登録されている登録者であることが認証されなかった場合、当該履歴データで示される顔照合処理に関する情報を通知することを判断する、
   ことを特徴とする前記請求項１に記載の人物認識システム。
6. 前記判断手段は、前記履歴保持手段に新たに保存された履歴データが顔照合処理を示す履歴データであり、かつ、当該顔照合処理の処理結果として認識対象者が特定の人物であることが認証された場合、当該履歴データで示される顔照合処理に関する情報を通知することを判断する、
   ことを特徴とする前記請求項１に記載の人物認識システム。
7. 前記登録手段、前記撮影手段、前記顔画像検出手段、前記顔照合手段、および、前記履歴保持手段を有する人物認識装置と、
   前記監視手段、前記判断手段、および、前記通知手段を有する監視装置と、
   から構成されることを特徴とする前記請求項１に記載の人物認識システム。
8. 登録者の顔画像が登録されている登録手段と、
   認識対象者を撮影する撮影手段と、
   この撮影手段により撮影した画像を入力する画像入力手段と、
   この画像入力手段により入力した画像から顔画像を検出する顔画像検出手段と、
   この顔画像検出手段により検出した顔画像と前記登録手段に登録されている登録者の顔画像とを照合する顔照合手段と、
   この顔照合手段により前記顔画像検出手段にて検出した顔画像が前記登録手段に登録されている登録者の顔画像と一致した場合、前記認識対象者の通行を許可し、前記顔画像検出手段にて検出した顔画像が前記登録手段に登録されている登録者の顔画像と一致しなかった場合、前記認識対象者の通行を不許可とする通行制御手段と、
   前記顔照合手段により実行した照合処理に関する情報を履歴データとして保存する履歴保持手段と、
   この履歴保持手段に保存される履歴データの更新状況を監視する監視手段と、
   この監視手段により前記履歴保持手段に保存されている履歴データが更新されたことを検出した場合、更新された履歴データで示される処理状況を通知するか否かを判断する判断手段と、
   この判断手段により更新された履歴データで示される処理状況を通知すると判断した場合、当該履歴データで示される処理状況を通知する通知手段と、
   この通知手段により処理状況が通知された特定の権限を有する人物の操作に応じて前記認識対象者の通行を制御する第２の通行制御手段と、
   を有することを特徴とする通行制御システム。
9. 認識対象者の顔を含む画像を撮影し、
   撮影した画像から顔画像を検出し、
   検出した顔画像と登録者の顔画像が登録されている登録手段に登録されている顔画像とを照合し、
   実行した照合処理に関する情報を履歴データとして記憶手段に保存し、
   前記記憶手段に保存される履歴データの更新状況を監視し、
   前記記憶手段に保存されている履歴データが更新されたことを検出した場合、更新された履歴データで示される処理状況を通知するか否かを判断し、
   更新された履歴データで示される処理状況を通知すると判断した場合、当該履歴データで示される処理状況を通知する、
   ことを特徴とする人物認識システムの監視方法。
10. 認識対象者の顔を含む画像を撮影し、
    撮影した画像から顔画像を検出し、
    検出した顔画像と登録者の顔画像が登録されている登録手段に登録されている顔画像とを照合し、
    検出した顔画像が前記登録手段に登録されている顔画像と一致した場合、前記認識対象者の通行を許可し、検出した顔画像が前記登録手段に登録されている顔画像と一致しなかった場合、前記認識対象者の通行を不許可とし、
    実行した照合処理に関する情報を履歴データとして記憶手段に保存し、
    前記記憶手段に保存される履歴データの更新状況を監視し、
    前記記憶手段に保存されている履歴データが更新されたことを検出した場合、更新された履歴データで示される処理状況を通知するか否かを判断し、
    更新された履歴データで示される処理状況を通知すると判断した場合、当該履歴データで示される処理状況を通知し、
    処理状況が通知された特定の権限を有する人物の操作に応じて前記認識対象者の通行を制御する、
    ことを特徴とする通行制御システムの監視方法。

Images