JP6049253B2 - 顔認証データベース管理方法、顔認証データベース管理装置及び顔認証データベース管理プログラム - Google Patents

Description

この発明は、カメラ等の撮像装置で撮像された画像データから切り出された利用者の顔部分を含む部分画像データ（以下、「顔画像データ」と言う）を該利用者の利用者識別情報（以下、「利用者ＩＤ」と言う）と対応付けて管理する顔認証データベース管理方法、顔認証データベース管理装置及び顔認証データベース管理プログラムに関する。

従来、認証対象者となる利用者に対して会員証や社員証などのＩＤカード（Identity Card）を発行しておき、各利用者の入退室時にＩＤカードに記録した利用者ＩＤをリーダライタで読み取って個人認証を行う個人認証システムが知られている。また、かかるＩＤカードの偽造等の不正に対応するために、利用者の指紋等を用いて個人認証を行う個人認証技術も知られている。

ところが、上記個人認証技術を用いる場合には、利用者を認証する度に該利用者を静止させて指紋等を採取しなければならず、利用者の利便性の観点から見て好ましくない。このため、最近では、歩行する利用者を静止させなくとも個人認証を行うことができる顔認証技術が注目されている。例えば、特許文献１には、あらかじめ利用者の顔画像データの特徴量を辞書情報として登録しておき、歩行中の利用者がカメラに近づく際に、該カメラで利用者の顔部分を撮像して顔画像データを取得し、取得した利用者の顔画像データの特徴量と辞書情報の内容とを照合して利用者の顔認証を行う技術が開示されている。

ここで、顔認証を行うには、あらかじめ利用者の顔画像データが格納されたデータベースを構築しておく必要がある。特許文献２では、利用者にカメラの前を歩いてもらうだけで、容易にデータベースの自動構築を行うことができるようにしている。例えば、検出した人物と、既にデータベースに登録されている人物とが同一であるか否かを判定し、異なる人物であると判定した場合には、新規ＩＤを付与して顔画像データを登録し、同一人物であると判定した場合には、この人物のＩＤに顔画像データを追加するようにしている。これによって、データベースの構築時における作業者の負担が軽減される。

特開２００９−１０４５９９号公報 特開２０１０−２３８１８１号公報

しかしながら、利用者ごとに複数の顔画像データが関連付けられて登録される顔認証データベースの自動構築の場合、既に登録された人物であっても、未登録の人物であると誤って判定し、同一人物に複数の利用者ＩＤを付与してしまう場合がある。また、利用者１人当たりに複数枚の顔画像データを関連付けて登録する場合には、誤認証によって１つの利用者ＩＤ内に異なる複数の人物の顔画像データが関連付けられてしまう場合がある。したがって、顔認証データベースの修正が必要となるが、作業者の手動によって、利用者ＩＤと顔画像データとの関連付けを修正する場合には、多大な時間と労力とがかかることになる。なお、利用者ＩＤと顔画像データとの関連付けを正しく修正しないと、誤認証を誘発してしまう。

本発明は、上述した従来技術の課題を解消するためになされたものであって、顔認証データベース内の利用者ＩＤと顔画像データとの関連付けを自動的に修正することができる顔認証データベース管理方法、顔認証データベース管理装置及び顔認証データベース管理プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明は、利用者を一意に識別する利用者識別情報と、撮像装置により撮像された利用者の複数の顔画像データとを関連付けて記憶する顔認証データベースを管理する顔認証データベース管理方法であって、各利用者識別情報に関連付けられた複数の顔画像データ相互間の類似度及び互いに異なる利用者識別情報にそれぞれ関連付けられた顔画像データ相互間の類似度を算定する類似度算定工程と、前記類似度算定工程により算定された類似度に基づいて、各利用者識別情報に関連付けられた複数の顔画像データのうちの所定の顔画像データを他の利用者識別情報に関連付けるよう関連付けを自動修正する関連付け修正工程とを含み、前記関連付け修正工程は、第１の利用者識別情報に関連付けられた複数の顔画像データのうちの孤立顔画像データと第２の利用者識別情報に関連付けられた複数の顔画像データとの間の類似度の最大値である第１の類似度が、該孤立顔画像データと前記第１の利用者識別情報に関連付けられた他の顔画像データとの間の各類似度の最大値である第２の類似度以上であり、前記第２の類似度が所定の認識しきい値以上である場合に、前記孤立顔画像データを前記第２の利用者識別情報に関連付けるよう関連付けを自動修正することを特徴とする。

また、本発明は、上記発明において、前記関連付け修正工程は、利用者識別情報ごとに前記孤立顔画像データの移行先となる利用者識別情報をそれぞれ一時記憶し、一時記憶された孤立顔画像データをそれぞれ移行先となる利用者識別情報に関連付けるよう関連付けを自動修正することを特徴とする。

また、本発明は、上記発明において、前記関連付け修正工程は、１つの孤立顔画像データの移行先となる利用者識別情報が複数存在する場合に、該孤立顔画像データを前記第１の類似度が最大となる利用者識別情報に関連付けるよう関連付けを修正することを特徴とする。

また、本発明は、上記発明において、前記関連付け修正工程は、利用者識別情報ごとに前記孤立顔画像データの移行先となる利用者識別情報をそれぞれ特定する都度、特定された孤立顔画像データを移行先となる利用者識別情報に関連付けるよう関連付けを自動修正することを特徴とする。

また、本発明は、利用者を一意に識別する利用者識別情報と、撮像装置により撮像された利用者の複数の顔画像データとを関連付けて記憶する顔認証データベースを管理する顔認証データベース管理方法であって、各利用者識別情報に関連付けられた複数の顔画像データ相互間の類似度及び互いに異なる利用者識別情報にそれぞれ関連付けられた顔画像データ相互間の類似度を算定する類似度算定工程と、前記類似度算定工程により算定された類似度に基づいて、各利用者識別情報に関連付けられた複数の顔画像データのうちの所定の顔画像データを他の利用者識別情報に関連付けるよう関連付けを自動修正する関連付け修正工程とを含み、前記関連付け修正工程は、第１の利用者識別情報に関連付けられた複数の顔画像データと第２の利用者識別情報に関連付けられた複数の顔画像データとの間でそれぞれ算定された複数の類似度のうちの所定数以上が、所定の認証しきい値以上である場合に、前記第２の利用者識別情報に関連付けられた複数の顔画像データをそれぞれ前記第１の利用者識別情報に関連付けるよう関連付けを自動修正することを特徴とする。

また、本発明は、上記発明において、所定数の顔画像データの更新登録が行われた時点で、前記関連付け修正工程の処理を開始させる修正開始判定工程をさらに含んだことを特徴とする。

また、本発明は、上記発明において、新たな利用者識別情報が登録された時点で、前記関連付け修正工程の処理を開始させる修正開始判定工程をさらに含んだことを特徴とする。

また、本発明は、上記発明において、所定時刻に達した時点で、前記関連付け修正工程の処理を開始させる修正開始判定工程をさらに含んだことを特徴とする。

また、本発明は、上記発明において、所定の入力部からの関連付け修正指示を受けた時点で、前記関連付け修正工程の処理を開始させる修正開始判定工程をさらに含んだことを特徴とする。

また、本発明は、利用者を一意に識別する利用者識別情報と、撮像装置により撮像された利用者の複数の顔画像データとを関連付けて記憶する顔認証データベースを管理する顔認証データベース管理装置であって、各利用者識別情報に関連付けられた複数の顔画像データ相互間の類似度及び互いに異なる利用者識別情報にそれぞれ関連付けられた顔画像データ相互間の類似度を算定する類似度算定手段と、前記類似度算定手段により算定された類似度に基づいて、各利用者識別情報に関連付けられた複数の顔画像データのうちの所定の顔画像データを他の利用者識別情報に関連付けるよう関連付けを自動修正する関連付け修正手段とを備え、前記関連付け修正手段は、第１の利用者識別情報に関連付けられた複数の顔画像データのうちの孤立顔画像データと第２の利用者識別情報に関連付けられた複数の顔画像データとの間の類似度の最大値である第１の類似度が、該孤立顔画像データと前記第１の利用者識別情報に関連付けられた他の顔画像データとの間の各類似度の最大値である第２の類似度以上であり、前記第２の類似度が所定の認識しきい値以上である場合に、前記孤立顔画像データを前記第２の利用者識別情報に関連付けるよう関連付けを自動修正することを特徴とする。
また、本発明は、利用者を一意に識別する利用者識別情報と、撮像装置により撮像された利用者の複数の顔画像データとを関連付けて記憶する顔認証データベースを管理する顔認証データベース管理装置であって、各利用者識別情報に関連付けられた複数の顔画像データ相互間の類似度及び互いに異なる利用者識別情報にそれぞれ関連付けられた顔画像データ相互間の類似度を算定する類似度算定手段と、前記類似度算定手段により算定された類似度に基づいて、各利用者識別情報に関連付けられた複数の顔画像データのうちの所定の顔画像データを他の利用者識別情報に関連付けるよう関連付けを自動修正する関連付け修正手段とを備え、前記関連付け修正手段は、第１の利用者識別情報に関連付けられた複数の顔画像データと第２の利用者識別情報に関連付けられた複数の顔画像データとの間でそれぞれ算定された複数の類似度のうちの所定数以上が、所定の認証しきい値以上である場合に、前記第２の利用者識別情報に関連付けられた複数の顔画像データをそれぞれ前記第１の利用者識別情報に関連付けるよう関連付けを自動修正することを特徴とする。

また、本発明は、利用者を一意に識別する利用者識別情報と、撮像装置により撮像された利用者の複数の顔画像データとを関連付けて記憶する顔認証データベースを管理する顔認証データベース管理装置で実行される顔認証データベース管理プログラムであって、各利用者識別情報に関連付けられた複数の顔画像データ相互間の類似度及び互いに異なる利用者識別情報にそれぞれ関連付けられた顔画像データ相互間の類似度を算定する類似度算定手順と、前記類似度算定手順により算定された類似度に基づいて、各利用者識別情報に関連付けられた複数の顔画像データのうちの所定の顔画像データを他の利用者識別情報に関連付けるよう関連付けを自動修正する関連付け修正手順とをコンピュータに実行させ、前記関連付け修正手順は、第１の利用者識別情報に関連付けられた複数の顔画像データのうちの孤立顔画像データと第２の利用者識別情報に関連付けられた複数の顔画像データとの間の類似度の最大値である第１の類似度が、該孤立顔画像データと前記第１の利用者識別情報に関連付けられた他の顔画像データとの間の各類似度の最大値である第２の類似度以上であり、前記第２の類似度が所定の認識しきい値以上である場合に、前記孤立顔画像データを前記第２の利用者識別情報に関連付けるよう関連付けを自動修正することを特徴とする。
また、本発明は、利用者を一意に識別する利用者識別情報と、撮像装置により撮像された利用者の複数の顔画像データとを関連付けて記憶する顔認証データベースを管理する顔認証データベース管理装置で実行される顔認証データベース管理プログラムであって、各利用者識別情報に関連付けられた複数の顔画像データ相互間の類似度及び互いに異なる利用者識別情報にそれぞれ関連付けられた顔画像データ相互間の類似度を算定する類似度算定手順と、前記類似度算定手順により算定された類似度に基づいて、各利用者識別情報に関連付けられた複数の顔画像データのうちの所定の顔画像データを他の利用者識別情報に関連付けるよう関連付けを自動修正する関連付け修正手順とをコンピュータに実行させ、前記関連付け修正手順は、第１の利用者識別情報に関連付けられた複数の顔画像データと第２の利用者識別情報に関連付けられた複数の顔画像データとの間でそれぞれ算定された複数の類似度のうちの所定数以上が、所定の認証しきい値以上である場合に、前記第２の利用者識別情報に関連付けられた複数の顔画像データをそれぞれ前記第１の利用者識別情報に関連付けるよう関連付けを自動修正することを特徴とする。

本発明によれば、各利用者識別情報に関連付けられた複数の顔画像データ相互間の類似度及び互いに異なる利用者識別情報にそれぞれ関連付けられた顔画像データ相互間の類似度を算定し、算定された類似度に基づいて、各利用者識別情報に関連付けられた複数の顔画像データのうちの所定の顔画像データを他の利用者識別情報に関連付けるよう関連付けを自動修正するよう構成したので、顔認証データベース内の利用者識別情報と顔画像データとの関連付けを自動的に修正することができ、その結果として認証精度の向上、作業員に係る人的労力の軽減並びに顔認証データベースのデータ量の低減を図ることが可能となる。

図１は、本実施例に係る入退室管理装置の構成を示す図である。 図２は、図１に示した顔画像検出部によって取得される顔画像データの一例を示す図である。 図３は、図１に示した関連付け修正部による孤立顔画像データの移行処理の概念を説明するための説明図である。 図４は、図１に示した関連付け修正部による利用者ＩＤの統合処理の概念を説明するための説明図である。 図５は、孤立顔画像データの移行となる利用者ＩＤが複数存在する場合の対応について説明するための説明図である。 図６は、図１に示した関連付け修正部による孤立顔画像データの移行処理手順を示すフローチャートである。 図７は、図１に示した関連付け修正部による利用者ＩＤの統合処理手順を示すフローチャートである。 図８は、本実施例２における関連付け修正部による孤立顔画像データの移行処理手順を示すフローチャート（１）である。 図９は、本実施例２における関連付け修正部による孤立顔画像データの移行処理手順を示すフローチャート（２）である。

以下に、添付図面を参照して、本発明に係る顔認証データベース管理方法、顔認証データベース管理装置及び顔認証データベース管理プログラムの好適な実施例を詳細に説明する。以下に示す実施例１及び２では、本発明に係る顔認証データベース管理方法、顔認証データベース管理装置及び顔認証データベース管理プログラムを入退室管理装置に適用した場合について説明する。

まず、本実施例１に係る入退室管理装置１の特徴及び構成について説明する。図１は、本実施例１に係る入退室管理装置１の構成を示す図である。図１に示す入退室管理装置１は、顔認証を利用して利用者Ｍの入退室管理を行う装置である。本実施例１では、利用者Ｍに対してＩＤカードを付与するのではなく、利用者Ｍの顔画像データは実環境で取得して登録する。利用者Ｍが新たな利用者である場合には、新規の利用者ＩＤを付与し、この利用者ＩＤと顔画像データを顔認証データベース５に新規登録する。また、利用者Ｍが新たな利用者である場合には、作業員の呼出を行って、作業員の立ち会いの下、ゲート１０を開放して入室を許可する。

一方、かかる利用者Ｍがすでに登録済みの利用者である場合には、正当な登録者であることが顔認証されることを条件に、ゲート１０を開放して入室を許可する。また、利用者Ｍの顔認証時に取得された新たな顔画像データは、利用者ＩＤに対応付けて顔認証データベース５に追加登録する。

このように、この入退室管理装置１は、ＩＤカード等を用いた初期登録を行っておらず、新たな利用者Ｍが到来する度に自動的に新規の利用者ＩＤを付与する点を前提としているため、同一の利用者Ｍであるにも係わらず、顔認証データベース５に登録された顔画像データとカメラ３で撮像した顔画像データとの類似度が低い場合には、同一人物に異なる利用者ＩＤが付与されてしまうという問題がある。また、異なる人物であるにも係わらず、その類似度が高い場合には、一つの利用者ＩＤ内に異なる人物の顔画像データが登録されてしまうという問題もある。

このため、本実施例１に係る入退室管理装置１では、一つの利用者ＩＤ内に本来の利用者の顔画像から孤立している他の人物の顔画像データ（以下、「孤立顔画像データ」と言う）が含まれていると判定した場合には、かかる孤立顔画像データを本来あるべき利用者の利用者ＩＤに移行させるよう関連付けを修正する。ただし、孤立顔画像データが含まれている可能性が高いと判定した場合であっても、当該他の人物の利用者ＩＤが未登録である場合には、その時点では新たな利用者ＩＤの付与を条件とした移行処理は行わない。当該他の人物がその後に入室する際に新たな利用者ＩＤが付与されるからである。

また、利用者ＩＤ内に孤立顔画像データが存在しない場合であっても、同一の利用者に複数の利用者ＩＤが付与される場合がある。かかる場合には、複数の利用者ＩＤ内の顔画像データを一つの利用者ＩＤに統合するよう関連付けを修正する。同一の利用者に複数の利用者ＩＤが付与されると、顔画像データベース５のデータ量が累増するという問題や、認証精度の低下を招くという問題があるためである。

具体的には、本実施例１に係る入退室管理装置１では、同一の利用者ＩＤに含まれる複数の顔画像データの中に孤立顔画像データすなわち他の人物の顔画像データが存在するか否かを確認し、孤立顔画像データが含まれていると判定されたならば、該孤立顔画像データの移行先となる利用者ＩＤを特定する処理を繰り返す。一方、孤立顔画像データが含まれていないと判定されたならば、複数の利用者ＩＤを統合すべきか否かを判定する。そして、最終的に孤立顔画像データをそれぞれ移行先の利用者ＩＤに移行させるよう関連付けを修正する処理を行う。

ここで、各利用者ＩＤ内に上記孤立顔画像データが存在するか否かを判定する際には、同一の利用者ＩＤ内に所在する各顔画像データ相互間の類似度Ｓｗと、他の利用者ＩＤ内に所在する各顔画像データ相互間の類似度Ｓｂと、同一人物であると判定する際の基準となる認証しきい値Ｔを用いる。なお、かかる認証しきい値Ｔは、全ての利用者に対して経験的に求めた所定値を付与する。そして、「Ｓｂ≧Ｓｗ≧Ｔ」の関係が成立すれば、ある利用者ＩＤ内に本来他の利用者ＩＤに属するべき孤立顔画像データが存在するものと判定する。

一方、複数の利用者ＩＤを統合すべきか否かを判定する際には、一方の利用者ＩＤに属する各顔画像データと他方の利用者ＩＤに属する顔画像データとの類似度Ｓｂをそれぞれ求め、これらの類似度Ｓｂが全て所定値（例えば、認証しきい値Ｔ）よりも高い場合には、両者の利用者ＩＤ内の顔画像データを統合する。かかる統合に際しては、一方の利用者ＩＤ内に所在する顔画像データを他方の利用者ＩＤ内に移行させ、顔画像データが存在しなくなった利用者ＩＤを破棄する。

図１に示すように、本実施例１に係る入退室管理装置１は、カメラ３と、制御部４と、顔認証データベース５と、ゲート１０と、記憶部６と、入出力部８とを有する。また、制御部４は、顔画像検出部１２と、登録処理部１３と、顔認証処理部１４と、関連付け修正部１５と、修正開始判定部１６と、警報出力部１７とを有する。なお、図１では入退室管理装置１のうちの入室側の構成を図示したが、顔認証データベース５を退室側にも共通使用することができる。

カメラ３は、利用者Ｍを撮像して画像データを出力するＣＣＤ（Charge Coupled Device）素子などからなる撮像装置である。このカメラ３は、利用者がゲート１０に至る途中での該利用者Ｍの顔部分を撮像できる画角にあらかじめ設定されている。なお、本実施例１では、かかるカメラ３で撮像される画像データは、説明の便宜上、２５６階調の白黒濃淡画像（黒画素の画素値が「０」であり白画素の画素値が「２５５」）であるものとするが、カラー画像を対象とすることもできる。

制御部４は、入退室管理装置１を全体制御するコンピュータであり、カメラ３、顔認証データベース５、入出力部８及びゲート１０と接続されている。この制御部４は、利用者Ｍの顔画像データを利用者ＩＤに関連付けて顔認証データベース５に自動登録および自動更新登録する処理を行う。具体的には、利用者Ｍの顔画像データを撮像した際に、該利用者Ｍの顔画像データと顔認証データベース５内の全ての利用者ＩＤ内の各顔画像データとの類似度を算出し、この類似度を認証しきい値と比較する。その結果、各類似度がいずれも認証しきい値を超えない場合には、新規の利用者であると判定して、新たな利用者ＩＤを発行するとともに、該利用者ＩＤに対応付けて顔画像データを顔認証データベース５に自動登録する。

また、この制御部４は、顔認証データベース５内の各顔画像データの関連付けを修正する処理を行う。同一の利用者であるにも係わらず複数の利用者ＩＤが登録されている場合や、一つの利用者ＩＤ内に孤立顔画像データが存在する場合に、かかる関連付けを修正する必要があるからである。

さらに、この制御部４は、顔認証データベース５に登録された顔画像データを用いて利用者Ｍの顔認証処理を行い、この認証結果に基づいて利用者Ｍの入退室管理を行う。具体的には、制御部４は、利用者Ｍを認証できた場合にはゲート１０を開き、利用者Ｍを認証できない場合には作業員の到着までゲート１０の閉鎖状態を維持する制御を行う。なお、ゲート１０の開閉制御は周知の技術を用いることができるため、ここではその詳細な説明を省略する。

顔認証データベース５は、少なくとも利用者ＩＤと１又は複数の顔画像データとを関連付けて格納するデータベースである。この顔認証データベース５は、初回利用時に利用者Ｍの顔画像データが登録される。なお、上記制御部４は、顔認証データベース５のデータベース管理装置（ＤＢＭＳ）の役割を果たす。

記憶部６は、ハードディスク装置や不揮発性メモリなどからなる記憶デバイスであり、顔認証処理部１４が顔認証処理を行う際に用いる認証しきい値Ｔを記憶する。入出力部８は、各種の入力デバイス及び出力デバイスで実現され、特に、関連付け修正部１５による関連付け修正処理の開始指示を入力する。また、入出力部８は、出力された情報を参照して各種情報を入力設定することができる。

顔画像検出部１２は、カメラ３によって撮像された白黒濃淡画像データ（以下、単に「画像データ」と言う）内に存在する人の顔部分を含む矩形の顔画像データを切り出す処理部である。この顔画像検出部１２により切り出された顔画像データについても２５６階調の白黒濃淡画像となる。図２は、顔画像検出部１２によって検出される顔画像データの一例を示す図である。同図に示すように、ここではカメラ３で撮像された画像データ２０内に利用者Ｍが含まれており、この利用者Ｍの顔画像データ２１を切り出す状況を示している。ここで、利用者Ｍの顔画像データを切り出す際には、人の一般的な顔の輪郭を示すテンプレート（マスクパターン）を準備し、このテンプレートを画像データ２０にずらしマッチングすることで、画像データ内に存在する顔画像データ２１を検出することができる。なお、かかるテンプレートマッチングだけではなく、公知の各種顔検出アルゴリズム（画像処理技術）を用いることができる。

登録処理部１３は、利用者Ｍの顔画像データを利用者ＩＤに関連付けて顔認証データベース５に登録する処理部である。すでに説明したように、本実施例１では、利用者Ｍが初回に入室する時点で新たな利用者ＩＤを発行して実環境下で利用者Ｍの顔画像データを顔認証データベース５に登録することになる。

また、登録処理部１３は、利用者Ｍが２回目以降の入退室を行う際に、新たな顔画像データを利用者ＩＤに関連付けて顔認証データベース５に追加登録する。そして、検出された利用者Ｍの顔画像データが認証された場合、顔認証データベース５の顔画像データが登録可能な所定数に達していない場合には、そのまま顔画像データを追加登録する。また、顔画像データが所定数に達し、かつ、認証に利用された頻度（以下、「認証利用度」と言う）がしきい値未満の顔画像データが存在する場合には、そのうちの最も古い顔画像データを削除して、認証された顔画像データを更新登録する。一方、顔画像データが所定数に達し、かつ、認証利用度が所定のしきい値未満のものが存在しない場合には、全ての顔画像データが頻繁に利用されていることになるので、認証された顔画像データを登録せずに削除し、現在登録状態の顔画像データを維持する。

顔認証処理部１４は、利用者Ｍが顔認証データベース５に登録された登録済みの利用者であるか否かを認証する処理部である。具体的には、顔画像検出部１２により検出された利用者Ｍの顔画像データと顔認証データベース５に登録された顔画像データとの類似度を算出し、算出された類似度及び認証しきい値Ｔに基づいて、該利用者Ｍが顔認証データベース５に登録された登録済みの利用者であるか否かを認証する。顔認証データベース５に登録済みの利用者Ｍは、ゲート１０を開制御する必要があるためである。ここで、上記類似度の一例として、顔画像データ相互間の相互相関係数を用いることができ、両顔画像データに同一人物の顔部分が含まれる場合に類似度が高くなり、両顔画像データに異なる人物の顔部分が含まれる場合に類似度が低くなる。なお、かかる類似度としては、上記の相互相関係数以外の公知の類似度算出技術を用いることもできる。

そして、顔認証データベース５に登録された顔画像データが一つのみである場合には、上記顔画像データ間の類似度が所定の閾値以上である場合に、利用者Ｍが顔認証データベース５に登録済みであると判定し、顔認証データベース５に登録された顔画像データが複数存在する場合には、顔画像検出部１２により検出された利用者Ｍの顔画像データと顔認証データベース５に登録された複数の顔画像データの各類似度のうちの例えば上位３つの類似度を抽出し、抽出した上位３つの類似度のうちの平均値が所定の閾値以上である場合に、利用者Ｍが顔認証データベース５に登録済みであると判定することができる。なお、かかる判定処理としては、既存の周知技術を用いることができる。

関連付け修正部１５は、顔画像データベース５に登録された各顔画像データと利用者ＩＤの関連付けを修正する処理部である。ある利用者ＩＤ内に孤立顔画像データが存在する場合には、この孤立顔画像データを適正な利用者ＩＤに移行させるよう修正する。また、同一の利用者についての複数の利用者ＩＤが存在する場合には、一方の利用者ＩＤに各顔画像データを集約するよう関連付けを修正する。

具体的には、あらかじめ各利用者ＩＤ内に所在する顔画像データ相互間の類似度Ｓｗを算出して、利用者ＩＤ内で最大値となる類似度をＩＤ内最大類似度Ｓｗｍａｘとする。例えば、ある利用者ＩＤ内に顔画像データＡ１、Ａ２及びＡ３が存在する場合には、顔画像データＡ１及びＡ２の類似度Ｓｗ１、顔画像データＡ２及びＡ３の類似度Ｓｗ２、顔画像データＡ１及びＡ３の類似度Ｓｗ３をそれぞれ求め、その最大値をＳｗｍａｘとする。

また、ある利用者ＩＤ内のある顔画像データと他の利用者ＩＤ内の各顔画像データとの類似度Ｓｂをそれぞれ算出し、最大値となる類似度ＳｂをＩＤ間最大類似度Ｓｂｍａｘとする。例えば、ある利用者ＩＤ内の顔画像データＡ１と他の利用者ＩＤ内の顔画像データＢ１、Ｂ２及びＢ３が存在する場合には、顔画像データＡ１及びＢ１の類似度Ｓｂ１、顔画像データＡ１及びＢ２の類似度Ｓｂ２、顔画像データＡ１及びＢ３の類似度Ｓｂ３をそれぞれ求め、その最大値をＳｂｍａｘとする。

そして、「ＩＤ間最大類似度Ｓｂｍａｘ≧ＩＤ内最大類似度Ｓｗｍａｘ≧認証しきい値Ｔ」の条件を満たす場合には、この顔画像データＡ１が孤立顔画像データであるものとみなして、利用者ＩＤ内の顔画像データＡ１を他の利用者ＩＤに関連付けるよう修正する。かかる一連の処理を全ての利用者ＩＤについて繰り返す。これにより、利用者ＩＤ内に所在する孤立顔画像データを本来の利用者ＩＤに移行させることができる。

ただし、利用者ＩＤ内に孤立顔画像データが存在しない反面で、同一の利用者の利用者ＩＤが複数存在する場合には、上記一連の処理を行ったとしても、その問題を解消することができない。このため、利用者ＩＤ内の各顔画像データと他の利用者ＩＤ内の各顔画像データの類似度Ｓｂをそれぞれ算定し、全ての類似度若しくは所定数以上の類似度が認証しきい値Ｔを超える場合には、両者の利用者ＩＤを統合する処理を行う。

修正開始判定部１６は、関連付け修正部１５による関連付け修正処理の開始時期を判定する処理部である。例えば、修正開始判定部１６は、所定数の顔画像データの更新登録が行われた時点で関連付け修正処理を開始する判定を行う。また、修正開始判定部１６は、新規の利用者ＩＤが登録された時点で関連付け修正処理を開始する判定を行う。また、修正開始判定部１６は、所定時刻（例えば、毎日午前０時）に達した時点で関連付け修正処理を開始する判定を行う。また、修正開始判定部１６は、入出力部８からの関連付け修正指示を受けた時点で関連付け修正処理を開始する判定を行う。

警報出力部１７は、顔認証処理部１４により利用者が顔認証データベース５に登録済みでないと判定された場合に、警報を出力する処理部である。かかる警報出力としては、実際に音声出力するほか、所定の作業員の携帯端末に「新規利用者あり」を報知するものでも良い。なお、かかる警報を出力している間は、ゲート１０の閉鎖状態が維持される。

次に、図１に示した関連付け修正部１５による孤立顔画像データの移行処理の概念について説明する。図３は、図１に示した関連付け修正部１５による孤立顔画像データの移行処理の概念を説明するための説明図である。以下では、顔画像データの移行先の利用者ＩＤを移行先ＩＤと呼び、顔画像データの移行元の利用者ＩＤを移行元ＩＤと呼ぶこととする。

同図に示すように、移行元ＩＤ（利用者ＩＤ；０００２）内には、３つの顔画像データＤ１１、Ｄ１２及びＤ１３が登録されており、移行先ＩＤ（利用者ＩＤ；０００１）内には、３つの顔画像データＤ１、Ｄ２及びＤ３が登録されている。まず、移行元ＩＤ内の顔画像データＤ１１及びＤ１２の類似度Ｓｗ１、顔画像データＤ１２及びＤ１３の類似度Ｓｗ２、顔画像データＤ１１及びＤ１３の類似度Ｓｗ３を求め、その最大値をＩＤ内最大類似度Ｓｗｍａｘとする。ここでは、顔画像データＤ１１及びＤ１２の類似度Ｓｗ１がＩＤ内最大類似度Ｓｗｍａｘとなる状況を示している。

その後、移行元ＩＤ内の顔画像データＤ１１と、移行先ＩＤ内の顔画像データＤ１、Ｄ２及びＤ３との類似度を算出する。具体的には、顔画像データＤ１１及びＤ１の類似度Ｓｂ１、顔画像データＤ１１及びＤ２の類似度Ｓｂ２、顔画像データＤ１１及びＤ３の類似度Ｓｂ３を算定し、その最大値をＩＤ間最大類似度Ｓｂｍａｘとする。ここでは、顔画像データＤ１１及びＤ３の類似度Ｓｂ３がＩＤ内最大類似度Ｓｂｍａｘとなる状況を示している。

そして、「ＩＤ間最大類似度Ｓｂｍａｘ≧ＩＤ内最大類似度Ｓｗｍａｘ≧認証しきい値Ｔ」の関係を満たすか否かを判定し、上式の関係を満たす場合には、図中に破線で示したように、顔画像データＤ１１を統合先ＩＤに関連付け、統合元ＩＤとの関連付けを解消する。なお、顔画像データベース５では、利用者ＩＤと顔画像データの関連付けをリンク関係で保持しているため、関連付けを修正する場合には、かかるリンクの付け換えを行えば良い。

次に、図１に示した関連付け修正部１５による利用者ＩＤの統合処理の概念について説明する。図４は、図１に示した関連付け修正部１５による利用者ＩＤの統合処理の概念を説明するための説明図である。

同図に示すように、移行元ＩＤ（利用者ＩＤ；０００２）内には、３つの顔画像データＤ１１、Ｄ１２及びＤ１３が登録されており、移行先ＩＤ（利用者ＩＤ；０００１）内には、３つの顔画像データＤ１、Ｄ２及びＤ３が登録されている。ここでは、移行元ＩＤ及び移行先ＩＤ内に孤立顔画像データが存在しないものとする。

ここで、移行元ＩＤ内の顔画像データＤ１１、Ｄ１２及びＤ１３と、移行先ＩＤ内の顔画像データＤ１、Ｄ２及びＤ３の類似度Ｓｂをそれぞれ算出する。ここでは、合計９つの類似度Ｓｂが求まることになる。

その後、全ての類似度Ｓｂが認証しきい値Ｔ以上であるか否かを調べ、全ての類似度Ｓｂが認証しきい値Ｔ以上であれば、移行元ＩＤ内の顔画像データＤ１１、Ｄ１２及びＤ１３を移行先ＩＤに移行させるよう関連付けを修正し、移行元ＩＤを削除する。なお、ここでは説明の便宜上、全ての類似度Ｓｂが認証しきい値以上であることを条件としたが、本発明はこれに限定されるものではなく、全ての類似度のうちの所定数（例えば、２／３）が認証しきい値以上である場合に、利用者ＩＤを統合するよう構成することもできる。

次に、図１に示した関連付け修正部１５による孤立顔画像データの移行処理手順について説明する。図５は、図１に示した関連付け修正部１５による孤立顔画像データの移行処理手順を示すフローチャートである。同図に示すように、関連付け修正部１５は、まず修正開始判定部１６から孤立顔画像データの修正に関する関連付け修正の開始指示を受けたか否かを判定する（ステップＳ１０１）。関連付け修正の開始指示を受けていない場合には（ステップＳ１０１，Ｎｏ）、かかる判定処理を繰り返す。一方、関連付け修正の開始指示を受けた場合には（ステップＳ１０１，Ｙｅｓ）、全利用者ＩＤの処理フラグ及び全顔画像データの処理フラグを未処理に設定する（ステップＳ１０２）。

その後、記憶部６から認証しきい値Ｔを取得した後（ステップＳ１０３）、各利用者ＩＤのＩＤ内最大類似度Ｓｗｍａｘを算定する（ステップＳ１０４）。具体的には、利用者ＩＤ内の各顔画像データ相互間の類似度Ｓｗを求め、求めた類似度Ｓｗの最大値をＩＤ内最大類似度Ｓｗｍａｘとする処理を各利用者ＩＤについて繰り返すことになる。

その後、処理フラグが未処理となっている利用者ＩＤを１つ選択し（ステップＳ１０５）、選択された利用者ＩＤ内の未処理の顔画像データを選択し（ステップＳ１０６）、ＩＤ間最大類似度Ｓｂｍａｘを算定する（ステップＳ１０７）。具体的には、選択された顔画像データと他の利用者ＩＤ内の各顔画像データとの類似度Ｓｂを算定し、最大値となる類似度ＳｂをＩＤ間最大類似度Ｓｂｍａｘとする。かかる処理を他の利用者ＩＤごとに繰り返すため、結果的に他の利用者ＩＤごとにＩＤ間最大類似度Ｓｂｍａｘが求まることになる。

その後、「ＩＤ間最大類似度Ｓｂｍａｘ≧ＩＤ内最大類似度Ｓｗｍａｘ≧認証しきい値Ｔ」の関係が成立する利用者ＩＤが存在するか否かを判定し（ステップＳ１０８）、該当する利用者ＩＤが存在する場合には（ステップＳ１０８，Ｙｅｓ）、顔画像データの処理フラグを「移行対象」に設定するとともに、該当する利用者ＩＤを移行先ＩＤとして一時記憶する（ステップＳ１０９）。なお、該当する利用者ＩＤが複数存在する場合には、ＩＤ間最大類似度Ｓｂｍａｘが最大値となる利用者ＩＤを移行先ＩＤとして選択する。かかる処理によって、孤立顔画像データの移行先ＩＤを特定できることになる。一方、上記関係式が成立する利用者ＩＤが存在しない場合には（ステップＳ１０８，Ｎｏ）、顔画像データの処理フラグに「処理済」を設定する（ステップＳ１１０）。

そして、処理フラグが「未処理」に設定された顔画像データが存在する場合には（ステップＳ１１１，Ｙｅｓ）、上記ステップＳ１０６に移行して同様の処理を繰り返し、処理フラグが「未処理」に設定された顔画像データが存在しない場合には（ステップＳ１１１，Ｎｏ）、利用者ＩＤの処理フラグに「処理済」を設定する（ステップＳ１１２）。

その後、処理フラグが「未処理」の利用者ＩＤが存在する場合には（ステップＳ１１３，Ｙｅｓ）、上記ステップＳ１０５に移行して同様の処理を繰り返し、処理フラグが「未処理」の利用者ＩＤが存在しない場合には（ステップＳ１１３，Ｎｏ）、処理フラグが「移行対象」に設定された各顔画像データの移行処理を行う（ステップＳ１１４）。上記一連の処理を行うことにより、各利用者ＩＤに含まれる孤立顔画像データを本来あるべき利用者ＩＤ内に移行させることが可能となる。

ところで、上記のように、孤立顔画像データを一括して移行処理する場合には、孤立顔画像データが複数の利用者ＩＤに移行させるべきとの判定がなされた場合に問題が生ずる。図６に示すように、顔画像データＤ１１が、２つ以上の移行先ＩＤ（ＩＤ＝０００１，０００３）に対して関連付け修正を行うべきとの判定結果が得られた場合には、ＩＤ間最大類似度Ｓｂｍａｘが最大となる移行先ＩＤに関連付けすることができる。このように、一度に各顔画像データの関連付け修正処理を行うと、逐次の時系列処理に比較して、各利用者ＩＤ間に対等で整合のとれた関連付け修正処理を行うことができる。

次に、図１に示した関連付け修正部１５による利用者ＩＤの統合処理手順について説明する。図７は、図１に示した関連付け修正部１５による利用者ＩＤの統合処理手順を示すフローチャートである。ここでは、説明の便宜上、上記孤立顔画像データの移行処理とは異なる統合処理に関する開始指示を受け付けることとしている。

同図に示すように、関連付け修正部１５は、まず修正開始判定部１６から利用者ＩＤの統合に関する関連付け修正の開始指示を受けたか否かを判定する（ステップＳ２０１）。関連付け修正の開始指示を受けていない場合には（ステップＳ２０１，Ｎｏ）、かかる判定処理を繰り返す。一方、関連付け修正の開始指示を受けた場合には（ステップＳ２０１，Ｙｅｓ）、全利用者ＩＤの処理フラグを未処理に設定する（ステップＳ２０２）。

その後、記憶部６から認証しきい値Ｔを取得した後（ステップＳ２０３）、処理フラグが「未処理」に設定された利用者ＩＤ（これを「利用者ＩＤａ」とする）を選択するとともに（ステップＳ２０４）、この利用者ＩＤａの統合元候補となる他の利用者ＩＤ（これを「利用者ＩＤｂ」とする）を選択し（ステップＳ２０５）、利用者ＩＤａ内の各顔画像データと利用者ＩＤｂ内の各顔画像データとの類似度Ｓｂをそれぞれ算出する（ステップＳ２０６）。

そして、全ての類似度Ｓｂが認証しきい値Ｔ以上であるか否かを判定し（ステップＳ２０７）、全ての類似度Ｓｂが認証しきい値Ｔ以上である場合には（ステップＳ２０７，Ｙｅｓ）、利用者ＩＤｂ内の各顔画像データを利用者ＩＤａに移行するよう関連付け（ステップＳ２０８）、利用者ＩＤｂを削除するとともに（ステップＳ２０９）、利用者ＩＤａの処理フラグを「処理済」とする（ステップＳ２１０）。

ステップＳ２１０の後、若しくはいずれか一つの類似度Ｓｂが認証しきい値Ｔ未満である場合には（ステップＳ２０７，Ｎｏ）、統合元候補である利用者ＩＤｂとして未選択の利用者ＩＤが残っているか否かを判定する（ステップＳ２１０）。統合元候補である利用者ＩＤｂとして未選択の利用者ＩＤが残っているならば（ステップＳ２１０，Ｙｅｓ）、ステップＳ２０５に移行して、利用者ＩＤｂを選択する。一方、利用者ＩＤａ以外の全ての利用者ＩＤを統合元候補である利用者ＩＤｂとして選択済であるならば、利用者ＩＤａの処理フラグを「処理済」に設定し（ステップＳ２１１）、ステップＳ２１２に移行する。

その後、未処理の利用者ＩＤが存在する場合には（ステップＳ２１２，Ｙｅｓ）、ステップＳ２０４に移行して同様の処理を繰り返し、未処理の利用者ＩＤが存在しなくなった場合には（ステップＳ２１２，Ｎｏ）、処理を終了する。

上記一連の処理を行うことにより、同一の利用者に複数の利用者ＩＤが付与されている場合に、これらの利用者ＩＤ内の顔画像データを統合することができる。なお、ここでは説明の便宜上その説明を省略したが、利用者ＩＤ内の顔画像データを統合する際に、合計の顔画像データ数が所定枚数（例えば、１０枚）を超える場合には、認証利用度の低いものから順に削除すれば良い。

上述してきたように、本実施例１では、利用者ＩＤ内に所在する孤立顔画像データを本来の利用者ＩＤに移行させる関連付け修正処理と、同一の利用者に複数の利用者ＩＤが付与されている場合の利用者ＩＤの統合処理を行うよう構成したので、顔認証データベース内の利用者ＩＤと顔画像データとの関連付けを自動的に修正し、もって認証精度の向上並びに顔認証データベース５内のデータ量の圧縮を行うことが可能となる。特に、作業員が顔認証データベース５の更新作業を行う必要がなくなるため、その人的労力を低減することができる。

ところで、上記実施例１では、全ての孤立顔画像データを抽出した後に、各孤立顔画像データの他の利用者ＩＤへの移行処理を一括して行う場合を示したが、本発明はこれに限定されることなく、孤立顔画像データを抽出する都度他の利用者ＩＤへ移行させることもできる。そこで、本実施例２では、孤立顔画像データを抽出する都度他の利用者ＩＤへ移行させる場合について説明する。なお、本実施例２の構成図等は上記実施例１のものと同様になるため、ここでは関連付け修正部１５による孤立顔画像データの移行処理手順を説明することとする。

図８及び図９は、本実施例２における関連付け修正部１５による孤立顔画像データの移行処理手順を示すフローチャートである。図８に示すように、関連付け修正部１５は、まず修正開始判定部１６から孤立顔画像データの修正に関する関連付け修正の開始指示を受けたか否かを判定する（ステップＳ３０１）。関連付け修正の開始指示を受けていない場合には（ステップＳ３０１，Ｎｏ）、この判定処理を繰り返し、関連付け修正の開始指示を受けた場合には（ステップＳ３０１，Ｙｅｓ）、全利用者ＩＤの利用者ＩＤの処理フラグ及び全顔画像データの処理フラグを全て「未処理」に設定する（ステップＳ３０２）。

その後、記憶部６から認証しきい値Ｔを取得する（ステップＳ３０３）。さらに、処理フラグが未処理の利用者ＩＤ（これを「利用者ＩＤａ」とする）を１つ選択する（ステップＳ３０４）。さらに、この選択された利用者ＩＤａ以外の利用者ＩＤから、移行元候補となる利用者ＩＤ（これを「利用者ＩＤｂ」とする）を１つ選択する（ステップＳ３０５）。さらに、選択された利用者ＩＤｂ内の、処理フラグが未処理の顔画像データを１つ選択する（ステップＳ３０６）。その後、この選択された顔画像データに対する関連付け修正処理を行って、具体的な関連付け修正を行う（ステップＳ３０７）。なお、かかる関連付け修正処理については、図８を用いて説明する。

その後、ステップＳ３０６で選択された顔画像データの処理フラグを「処理済」に設定する（ステップＳ３０８）。さらに、選択された利用者ＩＤｂ内に、処理フラグが未処理の顔画像データが存在するか否かを判定する（ステップＳ３０９）。処理フラグが未処理の顔画像データが存在する場合には（ステップＳ３０９，Ｙｅｓ）、ステップＳ３０６に移行し、選択された利用者ＩＤｂ内の他の未処理の顔画像データに対する関連付け修正処理を行う。

一方、処理フラグが未処理の顔画像データが存在しない場合には（ステップＳ３０９，Ｎｏ）、全顔画像データの処理フラグを全て「未処理」に設定する（ステップＳ３１０）。その後、移行元候補の利用者ＩＤｂとして未選択の利用者ＩＤが残っているか否かを判定する（ステップＳ３１１）。移行元候補の利用者ＩＤｂとして未選択の利用者ＩＤが残っているならば（ステップＳ３１１，Ｙｅｓ）、ステップＳ３０５に移行し、他の利用者ＩＤｂを選択して上述した処理を繰り返す。

一方、利用者ＩＤａ以外の全ての利用者ＩＤを移行元候補である利用者ＩＤｂとして選択済であるならば（ステップＳ３１１，Ｎｏ）、選択された利用者ＩＤａの処理フラグを「処理済」に設定する（ステップＳ３１２）。その後、さらに、処理フラグが未処理の利用者ＩＤａが存在するか否かを判定する（ステップＳ３１３）。処理フラグが未処理の利用者ＩＤａがある場合には（ステップＳ３１３，Ｙｅｓ）、ステップＳ３０４に移行し、処理フラグが未処理の他の利用者ＩＤａを選択して上述した処理を繰り返す。一方、処理フラグが未処理の利用者ＩＤａが存在しない場合には（ステップＳ３１３，Ｎｏ）、本処理を終了する。このような処理手順を踏むことによって、全ての顔画像データに対して、全ての利用者ＩＤに対する関連付け修正処理を行うことができる。

ここで、上記ステップＳ３０７の関連付け修正処理手順について説明する。図９に示すように、まず、選択された顔画像データと、選択された利用者ＩＤｂ内の他の顔画像データとの類似度Ｓｗを求め、ＩＤ内最大類似度Ｓｗｍａｘを算出する（ステップＳ４０１）。その後、選択された顔画像データと、選択された利用者ＩＤａ内の全顔画像データとの類似度Ｓｂを求め、ＩＤ間最大類似度Ｓｂｍａｘを算出する（ステップＳ４０２）。

その後、「ＩＤ間最大類似度Ｓｂｍａｘ≧ＩＤ内最大類似度Ｓｗｍａｘ≧認証しきい値Ｔ」の関係式が成立するか否かを判定する（ステップＳ４０３）。この関係式が成立する場合には（ステップＳ４０３，Ｙｅｓ）、選択された顔画像データを、選択された利用者ＩＤａの顔画像データとして関連付け、利用者ＩＤｂから取り除く処理を行って（ステップＳ４０４）、ステップＳ３０８に移行する。一方、「ＩＤ間最大類似度Ｓｂｍａｘ≧ＩＤ内最大類似度Ｓｗｍａｘ≧認証しきい値Ｔ」の関係式が成立しない場合には（ステップＳ４０３，Ｎｏ）、そのままステップＳ３０８に移行する。

上述した実施例１及び２では、移行先の利用者ＩＤ内の顔画像データが１つの場合であっても、「ＩＤ間最大類似度Ｓｂｍａｘ≧ＩＤ内最大類似度Ｓｗｍａｘ≧認証しきい値Ｔ」の関係式が成立すると、関連付け修正処理を行うようにしているが、本発明はこれに限定されるものではない。具体的には、指定した数以上の統合先の顔画像データに対して下記条件が成立する場合に、関連付けの修正を行うこともできる。

かかる関連付け修正の条件としては、「（１）指定した数（例えば、登録上限の３０％）の顔画像データが登録されている移行先の利用者ＩＤの、少なくとも１つの顔画像データとの類似度が認証しきい値Ｔ以上となり、かつ、その移行先の利用者ＩＤの顔画像データとの類似度が、移行元の利用者ＩＤの全ての顔画像データとの類似度以上であること」が挙げられる。

また、「（２）指定した数（例えば、登録上限の３０％）の顔画像データが登録されている移行先の利用者ＩＤの指定した数（例えば、登録上限の１０％）以上の顔画像データとの類似度が認証しきい値Ｔ以上となり、かつ、それらの移行先の利用者ＩＤの顔画像データとの類似度がそれぞれ移行元の利用者ＩＤの全ての顔画像データとの類似度以上であること」や、「（３）指定した数（例えば、登録上限の３０％）の顔画像データが登録されている移行先の利用者ＩＤの指定した数（例えば、登録上限の１０％）以上の顔画像データとの類似度が認証しきい値Ｔ以上となり、かつ、それらの移行先の利用者ＩＤの顔画像データのうち、指定した数（例えば、認証しきい値Ｔ以上となった顔画像データの全数の３０％）の類似度が、それぞれ移行元の利用者ＩＤの全ての顔画像データとの類似度以上であること」と条件としても良い。

なお、上述した実施例１及び２では、移行元の利用者ＩＤ内の類似度Ｓｗのうちの最大値を用いることとしたが、本発明はこれに限定されるものではなく、利用者ＩＤ内の類似度Ｓｗの平均値を用いることもできる。また、移行元の利用者ＩＤ内の顔画像データが１つの場合における類似度Ｓｗは、認証しきい値Ｔで置き換えて処理を行うことが好ましい。

また、上記実施例１及び２では、本発明を入退室管理システムに適用した場合を示したが、本発明はこれに限定されるものではなく、勤怠管理システムなど各種システムに適用することができる。これにより、入退室管理や勤怠管理に顔認証を導入することができる。そして、顔認証用の顔画像データが自動登録されるため、利用者は、わざわざＩＤカードをかざさなくても、電気錠の開錠やタイムカードの打刻が可能になる。

本発明に係る顔認証データベース管理方法、顔認証データベース管理装置及び顔認証データベース管理プログラムは、入退室監視システムや勤怠管理システムなどに適しており、特に、関連付け修正の自動処理による認証精度の低下を抑制するとともに安定した認証精度を得る場合に適している。

１ 入退室管理装置
３ カメラ
４ 制御部
５ 顔認証データベース
６ 記憶部
８ 入出力部
１０ ゲート
１２ 顔画像検出部
１３ 登録処理部
１４ 顔認証処理部
１５ 関連付け修正部
１６ 修正開始判定部
１７ 警報出力部
２０ 画像データ
２１ 顔画像データ
Ｍ 利用者

Claims (13)

1. 利用者を一意に識別する利用者識別情報と、撮像装置により撮像された利用者の複数の顔画像データとを関連付けて記憶する顔認証データベースを管理する顔認証データベース管理方法であって、
   各利用者識別情報に関連付けられた複数の顔画像データ相互間の類似度及び互いに異なる利用者識別情報にそれぞれ関連付けられた顔画像データ相互間の類似度を算定する類似度算定工程と、
   前記類似度算定工程により算定された類似度に基づいて、各利用者識別情報に関連付けられた複数の顔画像データのうちの所定の顔画像データを他の利用者識別情報に関連付けるよう関連付けを自動修正する関連付け修正工程と
   を含み、
   前記関連付け修正工程は、
   第１の利用者識別情報に関連付けられた複数の顔画像データのうちの孤立顔画像データと第２の利用者識別情報に関連付けられた複数の顔画像データとの間の類似度の最大値である第１の類似度が、該孤立顔画像データと前記第１の利用者識別情報に関連付けられた他の顔画像データとの間の各類似度の最大値である第２の類似度以上であり、前記第２の類似度が所定の認識しきい値以上である場合に、前記孤立顔画像データを前記第２の利用者識別情報に関連付けるよう関連付けを自動修正する
   ことを特徴とする顔認証データベース管理方法。
2. 前記関連付け修正工程は、
   利用者識別情報ごとに前記孤立顔画像データの移行先となる利用者識別情報をそれぞれ一時記憶し、一時記憶された孤立顔画像データをそれぞれ移行先となる利用者識別情報に関連付けるよう関連付けを自動修正する
   ことを特徴とする請求項１に記載の顔認証データベース管理方法。
3. 前記関連付け修正工程は、
   １つの孤立顔画像データの移行先となる利用者識別情報が複数存在する場合に、該孤立顔画像データを前記第１の類似度が最大となる利用者識別情報に関連付けるよう関連付けを修正する
   ことを特徴とする請求項２に記載の顔認証データベース管理方法。
4. 前記関連付け修正工程は、
   利用者識別情報ごとに前記孤立顔画像データの移行先となる利用者識別情報をそれぞれ特定する都度、特定された孤立顔画像データを移行先となる利用者識別情報に関連付けるよう関連付けを自動修正する
   ことを特徴とする請求項１に記載の顔認証データベース管理方法。
5. 利用者を一意に識別する利用者識別情報と、撮像装置により撮像された利用者の複数の顔画像データとを関連付けて記憶する顔認証データベースを管理する顔認証データベース管理方法であって、
   各利用者識別情報に関連付けられた複数の顔画像データ相互間の類似度及び互いに異なる利用者識別情報にそれぞれ関連付けられた顔画像データ相互間の類似度を算定する類似度算定工程と、
   前記類似度算定工程により算定された類似度に基づいて、各利用者識別情報に関連付けられた複数の顔画像データのうちの所定の顔画像データを他の利用者識別情報に関連付けるよう関連付けを自動修正する関連付け修正工程と
   を含み、
   前記関連付け修正工程は、
   第１の利用者識別情報に関連付けられた複数の顔画像データと第２の利用者識別情報に関連付けられた複数の顔画像データとの間でそれぞれ算定された複数の類似度のうちの所定数以上が、所定の認証しきい値以上である場合に、前記第２の利用者識別情報に関連付けられた複数の顔画像データをそれぞれ前記第１の利用者識別情報に関連付けるよう関連付けを自動修正する
   ことを特徴とする顔認証データベース管理方法。
6. 所定数の顔画像データの更新登録が行われた時点で、前記関連付け修正工程の処理を開始させる修正開始判定工程をさらに含んだことを特徴とする請求項１〜５のいずれか一つに記載の顔認証データベース管理方法。
7. 新たな利用者識別情報が登録された時点で、前記関連付け修正工程の処理を開始させる修正開始判定工程をさらに含んだことを特徴とする請求項１〜５のいずれか一つに記載の顔認証データベース管理方法。
8. 所定時刻に達した時点で、前記関連付け修正工程の処理を開始させる修正開始判定工程をさらに含んだことを特徴とする請求項１〜５のいずれか一つに記載の顔認証データベース管理方法。
9. 所定の入力部からの関連付け修正指示を受けた時点で、前記関連付け修正工程の処理を開始させる修正開始判定工程をさらに含んだことを特徴とする請求項１〜５のいずれか一つに記載の顔認証データベース管理方法。
10. 利用者を一意に識別する利用者識別情報と、撮像装置により撮像された利用者の複数の顔画像データとを関連付けて記憶する顔認証データベースを管理する顔認証データベース管理装置であって、
    各利用者識別情報に関連付けられた複数の顔画像データ相互間の類似度及び互いに異なる利用者識別情報にそれぞれ関連付けられた顔画像データ相互間の類似度を算定する類似度算定手段と、
    前記類似度算定手段により算定された類似度に基づいて、各利用者識別情報に関連付けられた複数の顔画像データのうちの所定の顔画像データを他の利用者識別情報に関連付けるよう関連付けを自動修正する関連付け修正手段と
    を備え、
    前記関連付け修正手段は、
    第１の利用者識別情報に関連付けられた複数の顔画像データのうちの孤立顔画像データと第２の利用者識別情報に関連付けられた複数の顔画像データとの間の類似度の最大値である第１の類似度が、該孤立顔画像データと前記第１の利用者識別情報に関連付けられた他の顔画像データとの間の各類似度の最大値である第２の類似度以上であり、前記第２の類似度が所定の認識しきい値以上である場合に、前記孤立顔画像データを前記第２の利用者識別情報に関連付けるよう関連付けを自動修正する
    ことを特徴とする顔認証データベース管理装置。
11. 利用者を一意に識別する利用者識別情報と、撮像装置により撮像された利用者の複数の顔画像データとを関連付けて記憶する顔認証データベースを管理する顔認証データベース管理装置であって、
    各利用者識別情報に関連付けられた複数の顔画像データ相互間の類似度及び互いに異なる利用者識別情報にそれぞれ関連付けられた顔画像データ相互間の類似度を算定する類似度算定手段と、
    前記類似度算定手段により算定された類似度に基づいて、各利用者識別情報に関連付けられた複数の顔画像データのうちの所定の顔画像データを他の利用者識別情報に関連付けるよう関連付けを自動修正する関連付け修正手段と
    を備え、
    前記関連付け修正手段は、
    第１の利用者識別情報に関連付けられた複数の顔画像データと第２の利用者識別情報に関連付けられた複数の顔画像データとの間でそれぞれ算定された複数の類似度のうちの所定数以上が、所定の認証しきい値以上である場合に、前記第２の利用者識別情報に関連付けられた複数の顔画像データをそれぞれ前記第１の利用者識別情報に関連付けるよう関連付けを自動修正する
    ことを特徴とする顔認証データベース管理装置。
12. 利用者を一意に識別する利用者識別情報と、撮像装置により撮像された利用者の複数の顔画像データとを関連付けて記憶する顔認証データベースを管理する顔認証データベース管理装置で実行される顔認証データベース管理プログラムであって、
    各利用者識別情報に関連付けられた複数の顔画像データ相互間の類似度及び互いに異なる利用者識別情報にそれぞれ関連付けられた顔画像データ相互間の類似度を算定する類似度算定手順と、
    前記類似度算定手順により算定された類似度に基づいて、各利用者識別情報に関連付けられた複数の顔画像データのうちの所定の顔画像データを他の利用者識別情報に関連付けるよう関連付けを自動修正する関連付け修正手順と
    をコンピュータに実行させ、
    前記関連付け修正手順は、
    第１の利用者識別情報に関連付けられた複数の顔画像データのうちの孤立顔画像データと第２の利用者識別情報に関連付けられた複数の顔画像データとの間の類似度の最大値である第１の類似度が、該孤立顔画像データと前記第１の利用者識別情報に関連付けられた他の顔画像データとの間の各類似度の最大値である第２の類似度以上であり、前記第２の類似度が所定の認識しきい値以上である場合に、前記孤立顔画像データを前記第２の利用者識別情報に関連付けるよう関連付けを自動修正する
    ことを特徴とする顔認証データベース管理プログラム。
13. 利用者を一意に識別する利用者識別情報と、撮像装置により撮像された利用者の複数の顔画像データとを関連付けて記憶する顔認証データベースを管理する顔認証データベース管理装置で実行される顔認証データベース管理プログラムであって、
    各利用者識別情報に関連付けられた複数の顔画像データ相互間の類似度及び互いに異なる利用者識別情報にそれぞれ関連付けられた顔画像データ相互間の類似度を算定する類似度算定手順と、
    前記類似度算定手順により算定された類似度に基づいて、各利用者識別情報に関連付けられた複数の顔画像データのうちの所定の顔画像データを他の利用者識別情報に関連付けるよう関連付けを自動修正する関連付け修正手順と
    をコンピュータに実行させ、
    前記関連付け修正手順は、
    第１の利用者識別情報に関連付けられた複数の顔画像データと第２の利用者識別情報に関連付けられた複数の顔画像データとの間でそれぞれ算定された複数の類似度のうちの所定数以上が、所定の認証しきい値以上である場合に、前記第２の利用者識別情報に関連付けられた複数の顔画像データをそれぞれ前記第１の利用者識別情報に関連付けるよう関連付けを自動修正する
    ことを特徴とする顔認証データベース管理プログラム。

Images