JP5508088B2 - 顔認証装置、方法、およびプログラム - Google Patents

Description

本発明は、カメラなどの撮像手段で撮影された人物の画像について顔認証を行う顔認証装置、方法、およびプログラムに関する。

一般に、カメラなどで撮影された人物の画像について、予め準備されたデータベースとの間でマッチングを行い、その相関値を求めることにより顔認証を行うシステムが知られている。

こうした顔認証のシステムとして、外れ値を考慮した重み付け演算を行い、誤認証を低減させようとするものがある（例えば、特許文献１参照）。

また、こうした顔認証のシステムとして、マッチングによる相関値が認証のための閾値未満の場合に、撮像部から新たな対象画像を得て再度マッチングを行うことを所定の制限回数まで繰り返し、誤認証を低減させようとするものがある（例えば、特許文献２参照）。

特開２００６−１７８６５１号公報 特開２００９−５４０５２号公報

しかしながら、例えばある地点を通過する人数をカウントする場合などでは、同一人物の重複カウントを防止するために顔認証を用いようにも、不特定多数の人物を対象とすることとなるため、顔認証のためのデータベースを予め準備しておくことができない。このように、データベースを予め準備できない状況下では、上述した特許文献１，２のような従来の誤認証低減を行うことができない問題があった。

本発明はこのような状況に鑑みてなされたものであり、顔認証のためのデータベースの事前準備ができない状況であっても、データベースに登録を行いながら、そうして登録された人物と同一人物であるかを認証する顔認証について、誤認証を軽減することができる顔認証装置、方法、およびプログラムを提供することを目的とする。

かかる目的を達成するために、本発明に係る顔認証装置は、人物識別情報に関連付けて記憶される第１の顔画像の特徴と、撮影された人物の画像から検出された第２の顔画像の特徴とを比較して、第２の顔画像が人物識別情報の人物と同一人物と判断されず、かつ所定条件を満たす場合に該第２の顔画像の特徴情報を保存し、第１の顔画像の特徴と、画像とは異なる画像から検出された第３の顔画像の特徴とを比較して、第３の顔画像が人物識別情報の人物と同一人物と判断された場合、第２の顔画像の特徴と第３の顔画像の特徴とを比較して該第２の顔画像が人物識別情報の人物と同一人物か否かを判断することを特徴とする。

また、本発明に係る顔認証装置は、撮像手段で撮影された人物の画像から顔画像を検出する検出手段と、検出手段により検出された顔画像から特徴点を抽出する特徴点抽出手段と、記憶手段と、特徴点抽出手段により特徴点を抽出された抽出データを記憶手段に登録する登録手段と、記憶手段に記憶された抽出データおよび特徴点抽出手段からの抽出データの相関値を算出することにより同一人物か否かの顔認証を行う顔認証手段と、顔認証手段で同一人物でないと判定されると共に所定条件を満たす抽出データに対して再判断を行う再判断手段と、を備えたことを特徴とする。

また、本発明に係る顔認証方法は、撮像手段で撮影された人物の画像から顔画像を検出する検出工程と、検出工程により検出された顔画像から特徴点を抽出する特徴点抽出工程と、特徴点抽出工程により特徴点を抽出された抽出データを記憶手段に登録する登録工程と、記憶手段に記憶された抽出データおよび特徴点抽出工程での抽出データの相関値を算出することにより同一人物か否かの顔認証を行う顔認証工程と、顔認証工程で同一人物でないと判定されると共に所定条件を満たす抽出データに対して再判断を行う再判断工程と、を備えたことを特徴とする。

また、本発明に係る顔認証プログラムは、撮像手段で撮影された人物の画像から顔画像を検出する検出手順と、検出手順により検出された顔画像から特徴点を抽出する特徴点抽出手順と、特徴点抽出手順により特徴点を抽出された抽出データを記憶手段に登録する登録手順と、記憶手段に記憶された抽出データおよび特徴点抽出手順での抽出データの相関値を算出することにより同一人物か否かの顔認証を行う顔認証手順と、顔認証手順で同一人物でないと判定されると共に所定条件を満たす抽出データに対して再判断を行う再判断手順と、をコンピュータに実行させることを特徴とする。

以上のように、本発明によれば、顔認証のためのデータベースの事前準備ができない状況であっても、データベースに登録を行いながら、そうして登録された人物と同一人物であるかを認証する顔認証について、誤認証を軽減することができる。

本発明の実施形態としての人数カウントシステムの構成例を示すブロック図である。 登録者データベース２５のデータ構造例を示す図である。 本実施形態による認証、登録動作の概略を示すフローチャートである。 登録者データベース２５への新規登録と追加登録の具体例を示す図である。 データベースに上限値まで登録データが格納されている場合の動作例を示すフローチャートである。 登録者データベース２５の更新動作の具体例を示す図である。 本実施形態による認証、カウント、登録動作の概略を示すフローチャートである。 グレーゾーンに仮保存されたデータが存在する状態の動作例を示すフローチャートである。 仮保存されたデータも同一人物である場合の一具体例を示す図である。 仮保存されたデータは別人物である場合の一具体例を示す図である。

次に、本発明に係る顔認証装置、方法、およびプログラムを、人数カウントシステムに適用した一実施形態について、図面を用いて詳細に説明する。

まず、本実施形態の概略について説明する。
本実施形態は、例えばある地点を通過する人数をカウントする場合のように、顔認証のためのデータベースが事前に準備されていない状態から、データベースへの登録を行いつつ、一度登録された人物と同一人物であるかを顔認証する。

また、連続して検出された人物が同一人物か否かの判定の際に、マッチング結果が同一人物と判定できるレベルではないが、同一人物と判定する認証閾値に近い場合、グレーゾーンとしてデータを仮保存（判定保留状態）し、グレーゾーンとしての再判断を追加で行う機能を備える。
このことにより、例えば１人の人物が歩きながら後ろを振り向いたりきょろきょろと周りを見渡した場合などに複数人数としてカウントされてしまう誤認証の問題を回避し、正確な人数カウントができるようにするものである。

次に、本実施形態としての人数カウントシステムの構成について、図１を参照して説明する。

図１に示すように、本実施形態としての人数カウントシステムは、カメラ１が、情報処理装置（顔認証装置）２に接続されて構成される。情報処理装置２は、本実施形態に係るプログラムが実装されたＰＣなどであってよい。

情報処理装置２は、カメラ１による人物撮影画像から人間の顔画像を検出する顔検出部２１と、検出された顔画像から特徴点を抽出する特徴点抽出部２２と、信頼度を算出する信頼度算出部２３と、データベースの登録や更新を行う登録／更新部２４と、登録者データベース２５と、顔認証部２６と、人数カウントを行うカウント部２７とを備える。

信頼度算出部２３は、例えば瞳間隔や瞳の並行度合いなどから、特徴点抽出部２２により特徴点を抽出された抽出データが、人間の顔画像である可能性がどれだけ高いかを信頼度として算出するものである。
顔検出部２１による顔画像検出処理、特徴点抽出部２２による特徴点抽出処理、信頼度算出部２３による信頼度算出処理については、各種の公知技術を用いてよく、詳細な説明を省略する。

顔認証部２６は、登録者データベース２５に登録された抽出データや、グレーゾーンとして仮保存された抽出データと、特徴点抽出部２２により抽出された抽出データとの類似度を相関値として算出する。相関値の算出方法は、各種の公知技術を用いてよく、詳細な説明を省略する。

顔認証部２６により別人物と判定された場合、登録／更新部２４は、別人物と判定された抽出データを登録者データベース２５に新規登録し、カウント部２７は、人数カウントに１を加える。

次に、登録者データベース２５のデータ構造について、図２の例を参照して説明する。
登録者データベース２５は、別人物と判定された各登録者について、各登録者に割り当てられた人物識別情報（図２の例ではＡさん、Ｂさん）に、照合データおよび登録データという２種類の抽出データの組み合わせを関連付けて格納する。

照合データは、特徴点抽出部２２が簡易的に特徴点を抽出した抽出データに、信頼度算出部により算出された信頼度が関連付けられたデータである。主に、既登録データとの照合用データなどに用いられる。

登録データは、登録用として特徴点抽出部２２で再度画像処理を行い、照合データよりも詳細に（より多い所定数の）特徴点を抽出したデータである。主に、特徴点抽出部２２により新規に抽出された新規抽出データとのマッチングに用いられる。

次に、本実施形態による動作について説明する。
まず、カメラ１による画像取得からの動作概略について、図３のフローチャートを参照して説明する。

カメラ１が画像撮影を行い、顔検出部２１は動画による画像を取得し、取得された画像データから人間の顔画像を検出する。こうして検出された顔画像から特徴点抽出部２２が特徴点を簡易的に抽出し、信頼度算出部２３が信頼度を算出する（ステップＳ１）。

こうして算出された信頼度が、予め設定された信頼閾値以上である場合（ステップＳ２；Ｙｅｓ）、顔認証部２６が登録者データベース２５に登録されたデータとのマッチングを行い（ステップＳ３）、登録／更新部２４が登録者データベース２５への登録や更新を行う（ステップＳ４）。

ステップＳ３の顔認証で、特徴点抽出部２２による新規の抽出データが、登録者データベース２５に登録された何れかの人物識別情報のデータと同一人物と判定された場合、カウント部２７は人数カウントを加算しない。また、登録／更新部２４は、その判定対象である新規の抽出データについての照合データおよび登録データを、同一人物と判定された人物識別情報に関連付けて登録者データベース２５に登録する。

ステップＳ３の顔認証で、特徴点抽出部２２による新規の抽出データが、登録者データベース２５に登録された何れの人物識別情報のデータとも別人物と判定された場合、カウント部２７は人数カウントを＋１に加算する。また、登録／更新部２４は、その判定対象である新規の抽出データについての照合データおよび登録データを、新規の人物識別情報に関連付けて登録者データベース２５に登録する。

算出された信頼度が、予め設定された信頼閾値より低い場合（ステップＳ２；Ｎｏ）、顔認証部２６による顔認証や登録者データベース２５への登録を行わず、抽出データを破棄する（ステップＳ５）。

次に、登録者データベース２５への新規登録と追加登録の動作について、図４の具体例を参照して説明する。
以下に、具体例としては、信頼閾値が７０％、同一人物と判定する認証閾値が７０％、グレーゾーンとして仮保存するグレー閾値が６５％として予め設定されている場合について説明する。

図４（ａ）は、登録者データベース２５にデータが登録されていない状態から新規登録を行う場合の例を示す。

まず、顔検出部２１により顔画像として検出され、特徴点抽出部２２により新規に特徴点を抽出された新規抽出データについて、信頼度が信頼閾値である７０％未満のデータは破棄される。信頼度が７０％以上であれば、その新規抽出データの抽出元となる顔画像に対して、特徴点抽出部２２が再度より詳細に特徴点の抽出を行い、登録データを生成する。
登録／更新部２４は、新規抽出データに信頼度を関連付けた照合データと、登録データとを１組のデータとして関連付け、この照合データおよび登録データの組を人物識別情報（図４の例ではＡさん）に関連付けて登録する。

図４（ｂ）は、登録者データベース２５に登録済みのデータに追加登録を行う場合の例を示す。

新規抽出データの信頼度が信頼閾値の７０％以上であれば、顔認証部２６は、登録者データベース２５に登録された各人物識別情報の登録データとの間で相関値を算出し、顔認証を行う。この認証結果（相関値）が認証閾値である７０％以上であれば、顔認証部２６は同一人物と判定する（図３ステップＳ３）。

同一人物と判定されると、登録／更新部２４は、新規抽出データに信頼度を関連付けた照合データと、登録データとを１組のデータとして関連付け、この照合データおよび登録データの組を、同一人物とされた人物識別情報（図４の例ではＡさん）に関連付けて追加登録する（図３ステップＳ４）。

なお、登録者データベース２５中に、１つの人物識別情報に関連付けられた照合データおよび登録データの組が複数存在する場合、顔認証部２６による認証結果と認証閾値との比較では、１つの人物識別情報に関連付けられた登録データの何れかと新規抽出データとの認証結果が認証閾値以上である場合に同一人物と判定してもよい。
また、１つの人物識別情報に関連付けられた照合データおよび登録データの組の中で信頼度が最高である照合データと組みである登録データと新規抽出データとの認証結果が認証閾値以上である場合に同一人物と判定してもよい。
また、予め設定された設定内容に応じて重み付けを行うなど、各種の判定方法であってもよい。

次に、登録者データベース２５の登録情報の更新動作について、図５、図６を参照して説明する。図６は、更新動作における一具体例を示す。

登録者データベース２５への登録データ数について上限値が設定されていない場合、登録対象とされた照合データおよび登録データの組はそのまま登録されるが、上限値が設定されており、すでにその上限値まで登録データが登録されている場合、上書き登録するか登録しないかの何れかの動作が行われることとなる。

図５は、データベースに上限値まで登録データが格納されている場合の動作例を示すフローチャートである。

まず、新規抽出データについて信頼度が信頼閾値以上であり、登録者データベース２５に登録された何れかの登録人物と同一人物と顔認証部２６により判定された場合、登録／更新部２４は、その同一人物の人物識別情報について登録された全照合データ中で信頼度が最低である照合データと信頼度を比較する（ステップＳ１１）。

新規抽出データの方が、登録済みデータ中で信頼度が最低である照合データよりも信頼度が低い場合、図６（ｂ）に例示するように、登録／更新部２４は、登録者データベース２５を更新せずそのままとし、新規抽出データを破棄する（ステップＳ１３）。

新規抽出データの方が、登録済みデータ中で信頼度が最低である照合データよりも信頼度が高い場合、図６（ａ）に例示するように、登録／更新部２４は、その信頼度が最低である照合データを削除し、新規抽出データによる照合データおよび登録データの組を、同一人物と判定された人物識別情報に関連付けて上書き登録する（ステップＳ１４）。

新規抽出データの信頼度と、登録済みデータ中で信頼度が最低である照合データの信頼度が同一である場合、登録／更新部２４は、その同一人物の人物識別情報について登録された全照合データ中で信頼度が最高である照合データと組みである登録データとの認証結果を参照し、信頼度が最低である照合データとの認証結果と、新規抽出データに対する認証結果とを比較する（ステップＳ１２）。

新規抽出データの方が、登録済みデータ中で認証結果が最低である登録データよりも認証結果が低い場合、図６（ｂ）に例示するように、登録／更新部２４は、登録者データベース２５を更新せずそのままとし、新規抽出データを破棄する（ステップＳ１３）。

新規抽出データの方が、登録済みデータ中で認証結果が最低である登録データよりも認証結果が高い場合、図６（ａ）に例示するように、登録／更新部２４は、その認証結果が最低である照合データを削除し、新規抽出データによる照合データおよび登録データの組を、同一人物と判定された人物識別情報に関連付けて上書き登録する（ステップＳ１４）。

このようにデータベースの更新動作を行うことにより、より信頼度やマッチングレベルの高いデータで登録者データベース２５を構成していくことができる。

なお、上述したステップＳ１１での比較で、新規抽出データと同一人物と判定された人物識別情報について登録された全照合データ中で信頼度が最低である照合データと、新規抽出データの信頼度とを比較し、比較結果における差異が所定の閾値未満である場合、登録者データベース２５を更新するか否かの判定として、予め設定された設定内容に応じて、認証結果や信頼度を用いて重み付けを行うなど各種の判定方法であってもよい。

次に、本実施形態による顔認証を行い、人数カウントや登録者データベース２５への登録などを行う動作例について、図７のフローチャートを参照して説明する。

まず、顔検出部２１により顔画像として検出され、特徴点抽出部２２により新規に特徴点を抽出された新規抽出データについて、信頼度が所定の信頼閾値以上であれば、顔認証部２６はその新規抽出データと、登録者データベース２５に登録された各人物識別情報についての登録データとの相関値を算出する。この認証結果（相関値）が所定の認証閾値以上であれば（ステップＳ２１）、顔認証部２６はその認証結果となる登録データの関連付けられた人物識別情報と同一人物と判定する（ステップＳ２２）。このため、登録／更新部２４は、新規抽出データによる照合データおよび登録データの組を、その同一人物と判定された人物識別情報に関連付けて追加登録する（ステップＳ２３）。

ステップＳ２１での認証結果が所定の認証閾値より低く、所定のグレー閾値以上である場合（ステップＳ２４；Ｙｅｓ）、登録／更新部２４は、新規抽出データによる照合データおよび登録データの組を、グレーゾーンとして仮保存する（ステップＳ２５）。

ステップＳ２１での認証結果が所定のグレー閾値よりも低い場合（ステップＳ２４；Ｎｏ）、顔認証部２６は、登録者データベース２５に登録された各人物識別情報の何れとも別人物と判定する（ステップＳ２６）。このため、カウント部２７は、人数カウントに１を加算する。また、登録／更新部２４は、新規抽出データによる照合データおよび登録データの組を、新規の人物識別情報に関連付けて新規登録する（ステップＳ２７）。

次に、上述したステップＳ２５により、グレーゾーンに仮保存されたデータが存在する状態の動作例について、図８のフローチャートと、図９、図１０の具体例を参照して説明する。
図９は、グレーゾーンとして仮保存された後、仮保存された新規抽出データも同一人物であると判定された場合の一具体例を示す。
図１０は、グレーゾーンとして仮保存された後、仮保存された新規抽出データが別人であると判定された場合の一具体例を示す。

グレーゾーンにデータが仮保存された後、所定時間（図９、図１０の例では３秒）以内に、信頼度が信頼閾値以上の新規抽出データが取得された場合（ステップＳ３１；Ｙｅｓ）、顔認証部２６は、グレーゾーンに仮保存とされたデータとの認証結果がグレー閾値以上であった登録データの人物識別情報（図９、図１０の例ではＡさん）に登録者データベース２５で関連付けられた登録データと、そのグレーゾーン仮保存の次回の新規抽出データとの相関値を算出する（ステップＳ３２）。

この認証結果（相関値）が所定の認証閾値以上であれば（ステップＳ３２；Ｙｅｓ）、顔認証部２６は、グレーゾーンに仮保存された新規抽出データと、グレーゾーン仮保存の次回の新規抽出データとの両方を、グレーゾーンに仮保存とされたデータとの認証結果がグレー閾値以上であった登録データの人物識別情報（図９の例ではＡさん）と同一人物と判定する（ステップＳ３３）。

この後、顔認証部２６は、グレーゾーンに仮保存された新規抽出データと、グレーゾーン仮保存の次回の新規抽出データとのそれぞれについての登録データでマッチングを行い、認証結果が所定の認証閾値以上であれば（ステップＳ３４；Ｙｅｓ）、グレーゾーンに仮保存された新規抽出データおよび登録用データの組と、グレーゾーン仮保存の次回の新規抽出データおよび登録用データの組との両方を、グレーゾーンに仮保存とされたデータとの認証結果がグレー閾値以上であった登録データの人物識別情報（図９の例ではＡさん）に関連付ける照合データおよび登録データの組として、登録／更新部２４が登録者データベース２５に追加登録する（ステップＳ３５）。

ステップＳ３４の認証結果が所定の認証閾値より低い場合、グレーゾーン仮保存の次回の新規抽出データおよび登録用データの組のみを、グレーゾーンに仮保存とされたデータとの認証結果がグレー閾値以上であった登録データの人物識別情報に関連付ける照合データおよび登録データの組として、登録／更新部２４が登録者データベース２５に追加登録する（ステップＳ３６）。すなわち、グレーゾーンに仮保存された新規抽出データおよび登録用データの組は、登録せずに破棄とする。

ステップＳ３２の認証結果が所定の認証閾値より低く、かつ所定のグレー閾値以上である場合（ステップＳ３７）、再度ステップＳ２５からのグレーゾーンへの仮保存を繰り返す。
この場合、こうして仮保存される複数のグレーゾーンのデータは、ひとまとめに扱うこととしてもよく、グレーゾーン仮保存の次回の新規抽出データについての登録データとのマッチングによる認証結果に応じて重み付けした扱い（例えば、認証結果が所定閾値以上のもののみをデータベースに登録するなど）としてもよい。

また、ステップＳ３７；Ｙｅｓにより、グレーゾーンへの仮保存を繰り返す場合、繰り返しの仮保存数に予め上限値が設定される構成であってもよい。この場合、グレーゾーンへの仮保存数が上限値を超えると、最も古い仮保存データから順に削除されることとなる。

ステップＳ３２の認証結果が所定のグレー閾値よりも低い場合（ステップＳ３７；Ｎｏ）、顔認証部２６は、グレーゾーンに仮保存された新規抽出データと、グレーゾーン仮保存の次回の新規抽出データとの両方を、グレーゾーンに仮保存とされたデータとの認証結果がグレー閾値以上であった登録データの人物識別情報とは別の新規人物（図１０の例ではＢさん）と判定する（ステップＳ３８）。カウント部２７は、人数カウントに１を加算する。

この後、顔認証部２６は、グレーゾーンに仮保存された新規抽出データと、グレーゾーン仮保存の次回の新規抽出データとのそれぞれについての登録データでマッチングを行い、認証結果が所定の認証閾値以上であれば（ステップＳ３９；Ｙｅｓ）、グレーゾーンに仮保存された新規抽出データおよび登録用データの組と、グレーゾーン仮保存の次回の新規抽出データおよび登録用データの組との両方を、ステップＳ３８で判定した新規人物の人物識別情報（図１０の例ではＢさん）に関連付ける照合データおよび登録データの組として、登録／更新部２４が登録者データベース２５に新規登録する（ステップＳ４０）。

ステップＳ３９の認証結果が所定の認証閾値より低い場合、グレーゾーン仮保存の次回の新規抽出データおよび登録用データの組のみを、ステップＳ３８で判定した新規人物の人物識別情報に関連付ける照合データおよび登録データの組として、登録／更新部２４が登録者データベース２５に新規登録する（ステップＳ４１）。すなわち、グレーゾーンに仮保存された新規抽出データおよび登録用データの組は、登録せずに破棄とする。

ステップＳ３１で、グレーゾーンにデータが仮保存された後、所定時間（図９、図１０の例では３秒）以内に、信頼度が信頼閾値以上の新規抽出データが取得されなかった場合、ステップＳ２６に戻り、顔認証部２６は、グレーゾーンに仮保存とされたデータを別人物と判定する。
このため、カウント部２７は、人数カウントに１を加算する。また、ステップＳ２７として、登録／更新部２４は、グレーゾーンに仮保存とされた照合データおよび登録データの組を、新規の人物識別情報に関連付けて新規登録する。

以上のように、上述した実施形態によれば、顔認証のためのデータベースが事前には存在せず、データベースに登録を行いながら、そうして登録された人物と同一人物であるかを認証する顔認証について、同一人物であるのに複数の人でカウントされるといった誤認証を軽減することができる。

また、１つの顔につき、信頼度確定用の検出時データと、マッチング用に詳細抽出された登録用データとの２種類のデータを組として登録者データベース２５に登録することで、より精度の高いデータベースを構築することができる。

また、１人の顔につき、マッチング結果に基づいた複数データを保持すると共に、常に検出データとの突合せ、更新を行うことにより、より精度の高いデータベースを構築することができる。

また、短時間に続けて抽出されたデータについては、認証結果が認証閾値より少し低くてもグレーゾーンとして仮保存を行い、再判断することにより、同一人物と判断する幅を適切な範囲で広げることができる。このため、同一人物の顔を継続して検出しているのに他人の顔で新規登録されてしまうといった誤認証を軽減することができる。

なお、上述した各実施形態は本発明の好適な実施形態であり、本発明はこれに限定されることなく、本発明の技術的思想に基づいて種々変形して実施することが可能である。

例えば、信頼閾値、認証閾値、グレー閾値は、上述した例の値に限定されず、システムの管理者などが適宜設定する任意の数値であってよい。

また、グレーゾーンとして仮保存する構成については、再判断を行う構成であれば、再判断方法は上述のものに限定されず、システムの管理者などが適宜設定してもよい。
例えばステップＳ３９で、グレーゾーンに仮保存された新規抽出データと、グレーゾーン仮保存の次回の新規抽出データとのそれぞれについての登録データでマッチングを行い、認証結果が所定の認証閾値より低い場合、グレーゾーン仮保存のデータと、グレーゾーン仮保存の次回の新規抽出データとをそれぞれ別人物（ＢさんおよびＣさん）としてもよい。

また、上述した実施形態としての顔認証装置を実現するための処理手順をプログラムとして記録媒体に記録することにより、本発明の各実施形態による上述した各機能を、その記録媒体から供給されるプログラムによって、システムを構成するコンピュータのＣＰＵに処理を行わせて実現させることができる。
この場合、上記の記録媒体により、あるいはネットワークを介して外部の記録媒体から、プログラムを含む情報群を出力装置に供給される場合でも本発明は適用されるものである。
すなわち、記録媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記録媒体および該記録媒体から読み出された信号は本発明を構成することになる。
この記録媒体としては、例えばハードディスク、光ディスク、光磁気ディスク、フロッピー（登録商標）ディスク、磁気テープ、不揮発性のメモリーカード、ＲＯＭ等を用いてよい。

この本発明に係るプログラムによれば、当該プログラムによって制御されるコンピュータに、上述した実施形態における各機能を実現させることができる。

本発明は、顔認証のためのデータベースが事前には存在せず、新規に顔データベースを構築しながら顔認証を行うシステムについて、例えば、お店への入店者カウントシステムに利用される顔認証システムや、デジタルサイネージの視聴者数カウントシステムなど、各種の顔認証装置に適用することができる。このため、不特定多数の人の顔を対象とするシステムについても、同様に適用することができる。

１ カメラ
２ 情報処理装置（顔認証装置の一例）
２１ 顔検出部
２２ 特徴点抽出部
２３ 信頼度算出部
２４ 登録／更新部
２５ 登録者データベース
２６ 顔認証部
２７ カウント部

Claims (9)

1. 事前に人物に割当たられる人物識別情報として記憶される第１の顔画像の特徴と、撮影された人物の画像から検出された第２の顔画像の特徴とを比較して、前記第２の顔画像が前記人物識別情報の人物と同一人物と判断されず、かつ所定条件を満たす場合に該第２の顔画像の特徴情報を仮保存し、
   前記第１の顔画像の特徴と、前記画像とは異なる画像から検出された第３の顔画像の特徴とを比較して、
   前記第３の顔画像が前記人物識別情報の人物と同一人物であるか否かを判断することにより、該第２の顔画像の特徴と前記第３の顔画像の特徴が前記人物識別情報の人物と同一人物であるか否かを認証し、その認証結果により、前記第２の顔画像の特徴と前記第３の顔画像の特徴との両方または前記第３の顔画像の特徴のみを新規登録人物に割当てられる人物識別情報として新規登録するか否かを判断することを特徴とする顔認識装置。
2. 撮像手段で撮影された人物の画像から顔画像を検出する検出手段と、
   前記検出手段により検出された顔画像から顔画像の特徴点を抽出する特徴点抽出手段と、
   事前に人物に割当たられる人物識別情報とする登録データを記憶する記憶手段と、
   前記特徴点抽出手段により顔画像の特徴点を抽出された抽出データを前記記憶手段に登録する登録手段と、
   前記記憶手段に記憶された登録データおよび前記特徴点抽出手段からの抽出データの相関値を算出することにより同一人物か否かの顔認証を行う顔認証手段と、
   前記顔認証手段で同一人物でないと判定されると共に所定条件を満たす抽出データに対して再判断を行う再判断手段と、を備えた顔認証装置において、
   前記再判断手段は、前記顔認証手段により前記登録データと、前記抽出データとは異なる画像から前記特徴点抽出手段により抽出された別抽出データとを比較して、
   前記別抽出データが前記人物識別情報の人物と同一人物であるか否かを判断することにより、前記抽出データと前記別抽出データが前記人物識別情報の人物と同一人物であるか否かを認証し、
   その認証結果に基づいて、前記抽出データと前記別抽出データとの両方または前記別抽出データのみを新規登録人物に割当てられる人物識別情報として新規登録するか否かを判断することを特徴とする顔認証装置。
3. 前記顔認証手段は、前記記憶手段に記憶された登録データおよび前記特徴点抽出手段からの抽出データのマッチングにより、前記相関値が所定の認証閾値以上である場合に同一人物と判定し、
   前記再判断手段は、該相関値が前記認証閾値より低く、かつ、前記認証閾値より低く予め設定されたグレー閾値以上である場合に前記再判断を行うことを特徴とする請求項２記載の顔認証装置。
   
4. 前記登録手段は、前記抽出データを人物識別情報に関連付けて前記記憶手段に登録し、前記顔認証手段により、前記記憶手段に登録された登録データおよび前記特徴点抽出手段からの抽出データが同一人物と判定された場合、該同一人物と判定された抽出データそれぞれを同一の人物識別情報に関連付けて前記記憶手段に登録することを特徴とする請求項３記載の顔認証装置。
5. 前記再判断手段は、１つの人物識別情報として前記記憶手段に記憶された登録データおよび前記特徴点抽出手段から抽出される抽出データとのマッチングで、前記顔認証手段により算出された相関値が前記認証閾値より低く、かつ前記グレー閾値以上であると判定された場合、当該判定対象の抽出データを判定保留状態とし、
   該判定保留状態とした後に所定時間内に、前記特徴点抽出手段から新たに抽出される新規抽出データ及び該１つの人物識別情報として前記記憶手段に記憶された登録データとのマッチングで、前記顔認証手段により算出された相関値が前記認証閾値より高いと判定された場合、前記特徴点抽出手段から抽出される前記新規抽出データおよび前記判定保留状態とされた抽出データとの両方に係る人物が、該１つの人物識別情報として前記記憶手段に記憶された登録データと同一人物と判定し、
   前記登録手段は、前記同一人物と判定した場合、前記特徴点抽出手段から抽出される前記新規抽出データおよび前記判定保留状態とされた抽出データを、同一の人物識別情報として前記記憶手段に追加登録することを特徴とする請求項４記載の顔認証装置。
6. 前記特徴点抽出手段からの抽出データについての信頼度を算出する信頼度算出手段を備え、
   前記信頼度算出手段による信頼度が所定の信頼閾値以上の場合に、前記登録手段が登録を行い、前記顔認証手段が顔認証を行うことを特徴とする請求項４または５記載の顔認証装置。
7. 前記登録手段は、１つの人物識別情報に関連付けて登録可能な抽出データ数の上限値が予め設定され、該１つの人物識別情報に関連付けて登録された抽出データ数が該上限値に達した状態で、前記顔認証手段により該１つの人物識別情報に関連付けて登録された抽出データおよび前記特徴点抽出手段からの抽出データが同一人物との判定がなされた際、該１つの人物識別情報に関連付けて登録された抽出データの内で最も信頼度の低い抽出データの信頼度が、該特徴点抽出手段からの抽出データの信頼度より高い場合は該特徴点抽出手段からの抽出データを登録せず、該特徴点抽出手段からの抽出データの信頼度より低い場合は該最も信頼度の低い抽出データを削除して該特徴点抽出手段からの抽出データを上書き登録することを特徴とする請求項６記載の顔認証装置。
8. 撮像手段で撮影された人物の画像から顔画像を検出する検出工程と
   前記検出工程により検出された顔画像から顔画像の特徴点を抽出する特徴点抽出工程と、
   事前に登録人物に割当てられる人物識別情報とする登録データを記憶する記憶工程と、
   前記特徴点抽出工程により顔画像の特徴点を抽出された抽出データを前記記憶手段に登録する登録工程と、
   前記記憶手段に記憶された登録データおよび前記特徴点抽出手段からの抽出データの相関値を算出することにより同一人物か否かの顔認証を行う顔認証工程と、
   前記顔認証工程で同一人物でないと判定されると共に所定条件を満たす抽出データに対して再判断を行う再判断工程と、を備えた顔認証方法において、
   前記顔認証工程において、前記登録データと、前記抽出データとは異なる画像から前記特徴点抽出手段により抽出された別抽出データとを比較して、
   前記別抽出データが前記人物識別情報の人物と同一人物であるか否かを判断することにより、前記抽出データと前記別抽出データが前記人物識別情報の人物と同一人物であるか否かを認証し、
   その認証結果に基づいて、前記再判断工程において、前記抽出データと前記別抽出データとの両方または前記別抽出データのみを新規登録人物に割当てられる人物識別情報として新規登録するか否かを判断することを特徴とする顔認証方法。
9. 撮像手段で撮影された人物の画像から顔画像を検出する検出処理と
   前記検出処理により検出された顔画像から顔画像の特徴点を抽出する特徴点抽出処理と、
   事前に登録人物に割当たられる人物識別情報とする登録データを記憶する記憶処理と、
   前記特徴点抽出処理により顔画像の特徴点を抽出された抽出データを前記記憶手段に登録する登録処理と、
   前記記憶手段に記憶された登録データおよび前記特徴点抽出手段からの抽出データの相関値を算出することにより同一人物か否かの顔認証を行う顔認証処理と、
   前記顔認証処理で同一人物でないと判定されると共に所定条件を満たす抽出データに対して再判断を行う再判断処理と、
   前記顔認証処理において、前記登録データと、前記抽出データとは異なる画像から前記特徴点抽出手段により抽出された別抽出データとを比較して、
   前記別抽出データが前記人物識別情報の人物と同一人物であるか否かを判断することにより、前記抽出データと前記別抽出データが前記人物識別情報の人物と同一人物であるか否かを認証し、
   その認証結果に基づいて、前記再判断工程において、前記抽出データと前記別抽出データとの両方または前記別抽出データのみを新規登録人物に割当てられる人物識別情報として新規登録するか否かを判断する処理と、をコンピュータに実行させることを特徴とする顔認証プログラム。

Images