JP6975882B2 - 照合装置および照合結果表示方法 - Google Patents

Description

本開示は、照合装置および照合結果表示方法に関する。

特許文献１は、入力画像と登録画像の撮影環境、条件等が異なる場合に、照合処理を行うことができる顔画像照合・検索システムを開示する。この顔画像照合・検索システムでは、予め利用者の登録画像を登録画像ＤＢに登録しておく。そして、認証処理では、カメラにより撮影された利用者の顔画像を解析し、環境パラメータ等を推定し、推定したパラメータに基づいて調整した照合画像と、登録画像を比較照合する。

特開２０００−３０６０９５号公報

本開示の一態様は、信頼度の高い検索結果を表示することができる照合装置および照合結果表示方法を提供する。

本開示の一態様に係る照合装置は、少なくとも１つのプロセッサと、複数の登録顔画像と顔全体からそれぞれ異なる領域を除いた領域である複数の領域パターンとを記憶する記憶部とを有し、前記プロセッサは、前記登録顔画像における前記領域パターンに対応する領域である第１の対象領域の特徴量と、検索対象である検索顔画像における前記領域パターンに対応する領域である第２の対象領域の特徴量とを照合する部分照合を実行し、前記部分照合の結果を前記部分照合に用いた領域パターンを示す情報とともに表示させる。

本開示の一態様に係る照合結果表示方法は、複数の登録顔画像と顔全体からそれぞれ異なる領域を除いた領域である複数の領域パターンとを取得し、前記登録顔画像における前記領域パターンに対応する領域である第１の対象領域の特徴量と、検索対象である検索顔画像における前記領域パターンに対応する領域である第２の対象領域の特徴量とを照合する部分照合を実行し、前記部分照合の結果を前記部分照合に用いた領域パターンを示す情報とともに表示させる。

本開示の一態様によれば、信頼度の高い検索結果を表示することができる。

本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。

図１は、実施の形態に係る照合装置の全体構成を示すブロック図である。 図２は、照合処理の一例を示すフローチャートである。 図３は、顔登録処理の一例を示すフローチャートである。 図４は、特徴量計算処理の一例を示すフローチャートである。 図５は、異常値判定処理の一例を示すフローチャートである。 図６は、登録顔画像のデータベースの一例を示す図である。 図７は、検索顔特徴量計算処理の一例を示すフローチャートである。 図８は、領域パターンの一例を示す図である。 図９は、領域パターンと顔パーツとの対応関係の一例を示す図である。 図１０は、顔検索処理の一例を示すフローチャートである。 図１１は、顔検索結果の表示例の一例を示す図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより請求の範囲に記載の主題を限定することは意図されていない。

（実施の形態）
［１．構成］
図１は、実施の形態に係る照合装置１００の全体構成を示すブロック図である。照合装置１００は、例えば、施設等に設置された監視カメラが撮像した画像から取得される複数の顔画像（以下、母集団顔画像と呼ぶ）と、検索対象となる人物の顔画像（以下、検索顔画像と呼ぶ）とを照合し、母集団顔画像の中から検索顔画像を検索することにより、検索対象となる人物が当該施設に出入りしたか否かの管理を行う入退場管理システム等に適用される。

照合装置１００は、プロセッサ１０１、記憶部１０２、入力部１０３、表示部１０４及び撮影部１０５がバス１０６を介して接続された構成を有する。

記憶部１０２には、照合装置１００における照合処理を実行するための各種データが記憶される。記憶部１０２に記憶されるデータは、入力部１０３を介して取得される。

入力部１０３は、例えば、外部の機器に接続し、照合装置１００における照合処理を実行するための各種データを取得するインターフェースである。

表示部１０４は、例えば、液晶ディスプレイ等である。表示部１０４は、プロセッサ１０１により実行される照合処理の結果を表示する。

撮影部１０５は、例えば、顔画像を含む画像を撮像するカメラ等である。なお、本実施の形態における照合装置１００は、撮影部１０５を有していなくてもよい。

プロセッサ１０１は、照合装置１００における照合処理を含む照合装置１００の全体的な処理を実行する。

［２．照合処理の動作］
次に、照合装置１００のプロセッサ１０１によって実行される照合処理の流れについて図２を参照して説明する。図２は、照合処理の一例を示すフローチャートである。なお、図２を参照して説明する各処理の詳細については、後述する。

ステップＳ１にて、プロセッサ１０１は、顔登録処理を実行する。顔登録処理は、入力部１０３を介して取得する母集団顔画像を登録する処理である。なお、プロセッサ１０１は、撮影部１０５により撮影された母集団顔画像を取得してもよい。母集団顔画像の取得方法は、これらに限定されない。

ステップＳ２にて、プロセッサ１０１は、検索顔画像の特徴量（以下、検索顔特徴量と呼ぶ）を計算する処理を実行する。なお、プロセッサ１０１は、検索顔画像を入力部１０３を介して取得してもよいし、撮影部１０５により撮影された検索顔画像を取得してもよい。検索顔画像の取得方法は、これらに限定されない。

ステップＳ３にて、プロセッサ１０１は、領域パターン毎の反復処理を開始する。領域パターンは、予め用意されたパターンであり、照合の対象となる領域を表す。なお、領域パターンの詳細については、後述する。

ステップＳ３から開始される反復処理では、プロセッサ１０１は、インデックスｉの初期値を０に設定し、ｉに１ずつ加算しながら、ｉ＜Ｐという条件が成立している間、つまり、ｉがＰ以上になるまで、ステップＳ４、ステップＳ５を繰り返し実行する。そして、ｉがＰ以上になった場合に、ステップＳ６にて、反復処理のループが終了する。なお、Ｐは、領域パターン数であり、１以上の整数である。この反復処理により、プロセッサ１０１は、領域パターンＰ_０からＰ_Ｐ−１までのＰ個の領域パターン毎にステップＳ４、ステップＳ５を実行する。

具体的に、ステップＳ４にて、プロセッサ１０１は、領域パターンＰ_ｉ（ｉは、０以上Ｐ−１以下の整数）における顔検索処理を実行する。そして、ステップＳ５にて、プロセッサ１０１は、ステップＳ４にて実行された領域パターンＰ_ｉにおける顔検索処理の結果を表示部１０４に表示させる。

つまり、ステップＳ３にて開始され、ステップＳ６にて終了する反復処理において、プロセッサ１０１は、領域パターンＰ_０からＰ_Ｐ−１までのＰ個の領域パターン毎に、顔検索処理を実行し、実行した顔検索処理の結果を表示部１０４に表示させる。

ステップＳ６にて、反復処理のループが終了すると、照合処理が終了する。

［２−１．顔登録処理］
次に、図２のステップＳ１に示した顔登録処理について、図３を参照して説明する。図３は、顔登録処理の一例を示すフローチャートである。

ステップＳ１１にて、プロセッサ１０１は、母集団顔画像の中から、データベースに登録する顔画像（以下、登録顔画像と呼ぶ）を取得する。そして、ステップＳ１２にて、プロセッサ１０１は、取得した登録顔画像の特徴量を計算する処理を実行する。次に、ステップＳ１３にて、プロセッサ１０１は、計算した特徴量が異常値であるか否かを判定する異常値判定処理を実行する。なお、ステップＳ１２の特徴量計算処理、および、ステップＳ１３の異常値判定処理の詳細については後述する。

次に、ステップＳ１４にて、プロセッサ１０１は、母集団顔画像の中に次の登録顔画像が存在するか否かを判定する。

次の登録顔画像が存在する場合（ステップＳ１４：ＹＥＳ）、ステップＳ１１の処理へ移行する。

次の登録顔画像が存在しない場合（ステップＳ１４：ＮＯ）、顔登録処理は終了する。

図３に示す顔登録処理によって、プロセッサ１０１は、母集団顔画像のそれぞれに対して、特徴量計算処理、および、異常値判定処理を実行する。以下の説明において、顔登録処理によって登録された画像の枚数をＮ_２（Ｎ_２は、１以上の整数）とする。

［２−１−１．特徴量計算処理］
次に、図３のステップＳ１２に示した特徴量計算処理について図４を参照して説明する。図４は、特徴量計算処理の一例を示すフローチャートである。

まず、ステップＳ１２１にて、プロセッサ１０１は、画像全体の領域から顔の領域（顔領域）を検出する。プロセッサ１０１は、この検出処理を、画像に対して周知の顔検出アルゴリズムを適用することで実行する。例えば、プロセッサ１０１は、Haar-like特徴とboostingによる学習アルゴリズムを用いて顔領域検出処理を行う。

次に、ステップＳ１２２にて、プロセッサ１０１は、顔領域から顔パーツを検出する。顔パーツとは、顔を構成する要素であり、例えば、左目、右目、口、額等である。プロセッサ１０１は、顔パーツの平均的な形状や位置を示す平均パーツ画像と、ステップＳ１２１にて検出した顔領域とのテンプレートマッチングを実行することにより、顔パーツを検出する。検出した顔パーツは、顔画像においてパーツを囲む矩形領域を表す４点の座標値として表現される。なお、顔パーツの表現形式は、４点の座標値ではなく、他の表現形式であってもよい。

次に、ステップＳ１２３にて、プロセッサ１０１は、顔パーツの検出結果から画像を正規化する。例えば、プロセッサ１０１は、画像のクロッピング、拡大、縮小、アフィン変換等の処理を行い、ステップＳ１２１にて検出した顔領域が基準となるサイズに揃うように、そして、ステップＳ１２２にて検出した顔パーツが顔領域内の同じ位置に揃うように画像を正規化する。

次に、ステップＳ１２４にて、プロセッサ１０１は、顔領域毎に顔パーツの特徴量を計算する。例えば、プロセッサ１０１は、顔のパーツの位置を基準とし、その基準とした領域から特徴量を計算する。本実施の形態では画像を正規化しているので、規定の領域に所定の顔パーツが存在すると仮定して、当該規定の領域毎に特徴量を計算することで、各顔パーツの特徴量を計算することが可能である。特徴量の計算によって得られる特徴量の次元数について、右目のパーツを一例に挙げて説明する。右目のパーツから得られる特徴量をＤ＿ｒｅｙｅとし、右目を中心として高さｈ、横幅ｗの領域から１２８次元のＳＩＦＴ特徴量を計算すると、Ｄ＿ｒｅｙｅの特徴量の次元数は、ｗ×ｈ×１２８となる。上述したように本実施の形態では画像を正規化した。また、特徴量は各画像において共通の規則に従って計算される。よって「ｉ番目の特徴量」といえば各画像の中において同一の領域における特徴量を表すことになる。

そして、ステップＳ１２４にて、プロセッサ１０１が特徴量を計算した後、特徴量計算処理は終了する。なお、本実施の形態で用いられる特徴量はＳＩＦＴ特徴量に限定されない。特徴量は顔の特徴量を示す値であればよい。例えばＳＩＦＴ特徴量のほかＧａｂｏｒ特徴量などを用いても良い。

図４に示す特徴量計算処理によって、プロセッサ１０１は、画像の顔領域における顔パーツそれぞれの特徴量を計算する。以下の説明において、Ｎ_１（Ｎ_１は、１以上の整数）とは、顔パーツそれぞれの特徴量を直列に結合することで得られた特徴量の次元数とする。

なお、図４に示す特徴量計算処理では、ステップＳ１２３にて、プロセッサ１０１が画像の顔領域全体で正規化を行う例について説明したが、プロセッサ１０１は、顔領域全体で正規化する代わりに、顔のパーツ毎に正規化してもよい。

また、プロセッサ１０１がステップＳ１２３にて画像の正規化を行った後で、ステップＳ１２４にて特徴量を計算する例について説明したが、ステップＳ１２３にて画像の正規化を行わずに、ステップＳ１２４にて特徴量を計算する際に正規化を行ってもよい。その場合、例えば、プロセッサ１０１は、ステップＳ１２４にて画像のサイズに応じてＳＩＦＴ特徴量を計算する方法を変更してもよい。

［２−１−２．異常値判定処理］
次に、図３のステップＳ１３に示した異常値判定処理について図５を参照して説明する。図５は、異常値判定処理の一例を示すフローチャートである。図３を参照して説明したように、異常値判定処理は、特徴量計算処理の後に実行される。

まず、ステップＳ１３１にて、プロセッサ１０１は、特徴量計算処理によって計算された次元数Ｎ_１の特徴量を取得する。

次に、ステップＳ１３２にて、プロセッサ１０１は、特徴量の次元毎の反復処理を開始する。詳細には、インデックスｊの初期値を１に設定し、ｊに１ずつ加算しながら、ｊ≦Ｎ_１という条件が成立している間、つまり、ｊがＮ_１より大きくなるまで、ｊ番目の特徴量に対して以下に説明するステップＳ１３３からＳ１３６までの処理を繰り返し実行する。そして、ｊがＮ_１より大きくなった場合に、ステップＳ１３７にて、反復処理のループが終了する。

具体的に、ステップＳ１３３にて、プロセッサ１０１は、ｊ番目の特徴量の乖離度を計算する。乖離度とは、任意の基準との差を定量的に表した度合である。例えば、ｊ番目の特徴量の乖離度は、任意のデータセットのｊ番目の特徴量の平均との差分、または、偏差値としてもよい。ここで任意のデータセットとして撮影部１０５が使用される環境において取得した画像であってもよい。

本実施の形態では、データセットとして、多くの顔画像の集合を用いる。そして、プロセッサ１０１は、多くの顔画像の集合に対する学習により得られる、顔画像の特徴量の分布に基づいて、乖離度を計算する。

一例として、ｊ番目の特徴量の値をｆ_ｊとし、学習により得られるｊ番目の特徴量の分布を分布Ｆ_ｊとする。そして、分布Ｆ_ｊの平均をｍｅａｎ（Ｆ_ｊ）、分散をｖａｒ（Ｆ_ｊ）とすると、特徴量ｆ_ｊの乖離度Ｄ_ｊは、式（１）によって計算される。

次に、ステップＳ１３４にて、プロセッサ１０１は、計算した乖離度Ｄ_ｊが閾値以上か否かを判定する。例えば、プロセッサ１０１は、分布Ｆ_ｊの標準偏差σ_ｊを用いて、閾値３×σ_ｊの値を閾値として設定しても良い。

ｊ番目の特徴量の乖離度Ｄ_ｊが閾値以上の場合（Ｓ１３４にてＹＥＳ）、ステップＳ１３５にて、プロセッサ１０１は、ｊ番目の特徴量が異常値であることを記録する。ｊ番目の特徴量の乖離度Ｄ_ｊが閾値以上では無い場合（Ｓ１３４にてＮＯ）、ステップＳ１３６にて、プロセッサ１０１は、ｊ番目の特徴量が正常値であることを記録する。

そして、ｊがＮ_１より大きくなると、ステップＳ１３７にて、ループ処理が終了し、異常値判定処理が終了する。

図５に示す異常値判定処理によって、プロセッサ１０１は、１番目の特徴量からＮ_１番目の特徴量までの次元数Ｎ_１の特徴量それぞれに対して乖離度を計算し、乖離度に基づき異常値か否かを判定し、判定結果を記録する。

なお、特徴量の乖離度を次元毎に計算する例について説明したが、本開示はこれに限定されない。特徴量の乖離度は、次元毎ではなく、複数の次元毎、または、パーツ毎に計算されてもよい。

［２−１−３．顔登録処理結果］
前述した、顔登録処理により、プロセッサ１０１は、Ｎ_２枚の登録顔画像それぞれにおいて、次元数Ｎ_１の特徴量を計算し、次元数Ｎ_１の特徴量それぞれにおいて、異常値であるか否かの判定を実行する。この顔登録処理によって得られるデータベースの一例について、図６を参照して説明する。図６は、登録顔画像のデータベースの一例を示す図である。

図６の例は、顔登録処理の結果が表形式で示される。具体的には、Ｎ_２枚の登録顔画像それぞれに割り振られたＩＤ（登録顔ＩＤ）と、次元数Ｎ_１の特徴量（特徴量１から特徴量Ｎ_１）の値が示されている。また、特徴量１から特徴量Ｎ_１までの各特徴量に対して、異常値判定処理にて得られた異常判定の結果と、その特徴量に対応する顔パーツが示されている。特徴量が正常値である場合（異常値では無い場合）、異常判定の結果として０が記録され、特徴量が異常値である場合、異常判定の結果として１が記録されている。

なお、図６では、登録顔ＩＤとして、１〜Ｎ_２までの番号が割り振られる例を示したが、登録顔ＩＤには、例えば、撮影したカメラの識別番号、撮影した日時、画像のフレーム番号等が含まれていても良い。

また、図６では、異常判定の結果として、０または１が記録される例を示したが、異常判定処理の中で計算された各特徴量の乖離度が記録されてもよい。

［２−２．検索顔特徴量計算処理］
次に、図２のステップＳ２に示した検索顔特徴量計算処理について図７を参照して説明する。図７は、検索顔特徴量計算処理の一例を示すフローチャートである。

ステップＳ２１にて、プロセッサ１０１は、検索顔画像を取得する。次に、ステップＳ２２にて、プロセッサ１０１は、取得した検索顔画像の特徴量を計算する処理を実行する。ステップＳ２２における特徴量計算処理は、図４を参照して説明した特徴量計算処理と同様であるので、説明は省略する。

図７に示した検索顔特徴量計算処理によって、プロセッサ１０１は、検索顔画像の顔領域における、顔パーツの位置と複数の特徴量の値とを算出する。

［２−３．顔検索処理］
次に、図２のステップＳ４に示した顔検索処理について説明する。前述の通り、顔検索処理は、領域パターンＰ_ｉ毎に実行される。まずは、領域パターンについて、図８、図９を参照して説明する。

図８は、領域パターンの一例を示す図である。前述の通り、領域パターンは、予め用意されたパターンであり、照合の対象となる領域（照合対象領域）を表す。照合の対象となる領域は、顔全体の領域、または、顔全体から一部の領域を除いた領域である。図８に示すように、領域パターンＰ_０は、顔全体が照合対象領域である。そして、領域パターンＰ_０以外の領域パターンは、それぞれ、顔全体から、それぞれ異なる領域を除いた領域である。

例えば、領域パターンＰ_１は、顔全体の領域を上下に２分割した下部分の領域であり、領域パターンＰ_２は、顔全体の領域を上下に２分割した上部分の領域である。また、領域パターンＰ_３は、顔全体の領域を左右に２分割した右部分の領域であり、領域パターンＰ_４は、顔全体の領域を左右に２分割した左部分の領域である。

図９は、領域パターンと顔パーツとの対応関係の一例を示す図である。図９に示すように、領域パターンＰ_０以外の領域パターンは、顔全体から、それぞれ異なる領域を除いた領域である。例えば、領域パターンＰ_１は、顔全体から、右目および左目の顔パーツの領域を除いた領域である。また、領域パターンＰ_２は、領域パターンＰ_１と異なり、右目および左目の顔パーツの領域を含む一方で、右口端および左口端の領域を除いた領域である。

図９に示す対応関係は、領域パターンＰ_ｉにおける顔検索処理を実行する際に用いられる。なお、顔パーツと特徴量の次元とは対応関係があるため、図９に示す領域パターンと顔パーツとの対応関係の代わりに、領域パターンと特徴量の次元との対応関係であってもよい。

次に、顔検索処理について図１０を参照して説明する。図１０は、顔検索処理の一例を示すフローチャートである。

ステップＳ４１にて、プロセッサ１０１は、検索顔画像の特徴量を取得する。

次に、ステップＳ４２にて、プロセッサ１０１は、登録顔画像毎の反復処理を開始する。詳細には、インデックスｋの初期値を１に設定し、ｋに１ずつ加算しながら、ｋ≦Ｎ_２という条件が成立している間、つまり、ｋがＮ_２より大きくなるまで、ｋ番目の登録顔画像について、以下に説明するステップＳ４３からＳ４５までの処理を繰り返し実行する。そして、ｋがＮ_２より大きくなった場合に、ステップＳ４６にて、反復処理のループが終了する。

具体的に、ステップＳ４３にて、プロセッサ１０１は、ｋ番目の登録顔画像の特徴量において、領域パターンＰ_ｉを除く領域で異常値が存在するか否かを判定する。この判定は、図６に示した登録顔画像のデータベースと、図９に示した領域パターンと顔パーツとの対応関係とを参照して実行される。

領域パターンＰ_１、ｋ＝２を例にとって、ステップＳ４３の処理を説明する。領域パターンＰ_１は、図９に示したように、右目および左目の領域が照合の対象となる領域から除かれている。そして、図６に示した２番目の登録顔画像（登録顔ＩＤが２である登録顔画像）では、右目の領域の特徴量が異常値であることが示されている。つまり、この例では、プロセッサ１０１は、２番目の登録顔画像の特徴量において、領域パターンＰ_１を除く領域で異常値が存在する、と判定する。

領域パターンＰ_ｉを除く領域に異常値が存在する場合（Ｓ４３にてＹＥＳ）、ステップＳ４４にて、プロセッサ１０１は、ｋ番目の登録顔画像と検索顔画像との間の、領域パターンＰ_ｉにおける類似度を計算する。そして、ステップＳ４６の処理へ移行する。

領域パターンＰ_ｉを除く領域で異常値が存在しない場合（Ｓ４３にてＮＯ）、ステップＳ４５にて、プロセッサ１０１は、領域パターンＰ_ｉが顔領域全体を表すパターンか否かを判定する。領域パターンＰ_ｉは、予め用意されているものであるため、領域パターンＰ_ｉが顔領域全体を示すパターンか否かは既知である。例えば、本実施の形態では、図８、図９に示したように、領域パターンＰ_０が顔領域全体を示すパターンである。

領域パターンＰ_ｉが顔領域全体を表すパターンである場合（Ｓ４５にてＹＥＳ）、ステップＳ４４にて、プロセッサ１０１は、ｋ番目の登録顔画像と検索顔画像との間の、領域パターンＰ_ｉにおける類似度を計算する。

具体的には、プロセッサ１０１は、ｋ番目の登録顔画像と検索顔画像のそれぞれにおいて、領域パターンＰ_ｉが示す照合対象領域に含まれる特徴量を用いて正規化相関により類似度を算出する。

一例として、領域パターンＰ_０、つまり、顔領域全体を表すパターンの場合における、正規化相関の計算例を式（２）に示す。

なお、式（２）において、ｆ_ｒ，ｋ（ｉ）は、ｋ番目の登録顔画像におけるｉ番目の特徴量であり、ｆ_ｓ（ｉ）は、検索顔画像におけるｉ番目の特徴量である。

式（２）に示す正規化相関の計算例では、領域パターンが顔領域全体を表すパターンであるため、次元数Ｎ_１の特徴量全ての総和が計算される。領域パターンが顔領域全体を表すパターンでは無い場合、正規化相関では、領域パターンが示す照合対象領域に含まれる特徴量の総和が計算される。

なお、類似度の計算は、正規化相関に限らず、２つの特徴量同士の距離など、他の公知の手法であっても良い。

領域パターンＰ_ｉが顔領域全体を表すパターンでは無い場合（Ｓ４５にてＮＯ）、ステップＳ４６の処理へ移行する。

ステップＳ４２からＳ４６までの反復処理によって、領域パターンＰ_ｉを除く領域で異常値が存在する登録顔画像の場合、または、領域パターンＰ_ｉが顔領域全体を表す場合に、登録顔画像と検索顔画像との間の領域パターンＰ_ｉにおける類似度を計算する。

そして、ステップＳ４７にて、プロセッサ１０１は、計算した類似度が高い順に、登録顔画像をソートし、領域パターンＰ_ｉにおける顔検索処理が終了する。

図１０に示した顔検索処理により、プロセッサ１０１は、登録顔画像と検索顔画像との間の領域パターンＰ_ｉにおける類似度を計算し、計算した類似度が高い順に登録顔画像をソートした顔検索結果を取得する。

この際、プロセッサ１０１は、ステップＳ４３にて、領域パターンＰ_ｉを除く領域で異常値が存在するかを判定し、領域パターンＰ_ｉを除く領域で異常値が存在しない登録顔画像については、検索顔画像との類似度を計算しない。これにより、プロセッサ１０１は、類似度を計算する対象となる登録顔画像を減らすことができるため、処理負荷を低減できる。

［２−４．表示例］
図２のステップＳ５に示したように、領域パターンＰ_ｉにおける顔検索処理によって得られる領域パターンＰ_ｉ毎の顔検索結果、つまり、類似度が高い順にソートされた登録顔画像は、領域パターンＰ_ｉ毎に表示される。顔検索結果の表示例について、図１１を参照して説明する。

図１１は、顔検索結果の表示例の一例を示す図である。図１１の表示例では、左側に検索顔画像が表示され、右側に領域パターンＰ_ｉ毎の顔検索結果が表示される。顔検索結果は、前述の通り、領域パターンＰ_ｉ毎に類似度が高い順にソートされた登録顔画像である。図１１の表示例では、左側から順に、類似度が高い登録顔画像が横一列に表示されている。

また、図１１の表示例では、領域パターンＰ_０の顔検索結果が一番上に表示される。また、領域パターンＰ_０の顔検索結果の下に、順に、領域パターンＰ_１の顔検索結果、領域パターンＰ_２の顔検索結果が順に表示される。

領域パターンＰ_０は、顔全体が照合対象領域であるため、領域パターンＰ_０の顔検索結果は、顔全体を照合対象領域として照合した全体照合の結果である。一方で、領域パターンＰ_１〜領域パターンＰ_２は、顔全体から一部の領域を除いた領域が照合対象領域であるため、領域パターンＰ_１の顔検索結果、領域パターンＰ_２の顔検索結果は、顔全体から一部の領域を除いた領域を照合対象領域として照合した部分照合の結果である。

また、図１１では、領域パターンＰ_ｉに対応する照合対象領域と、各登録顔画像において異常値を含む領域を示す異常値領域とが、異なる表示態様（例えば、異なる色）によって、各登録顔画像を透過させるように重畳して表示されている。プロセッサ１０１は、例えば、図６に示した登録顔画像のデータベースを参照して、各登録顔画像の異常値を含む領域を異常値領域として設定する。このような表示により、各登録画像において、照合の対象となった範囲と、異常値を含む範囲とが合せて表示できる。

なお、図１１では、照合対象領域と異常値領域とが、登録顔画像に重畳して表示される例を示したが、プロセッサ１０１は、照合対象領域と異常値領域とを登録顔画像に重畳して表示させなくてもよい。

なお、プロセッサ１０１は、図１１に示すような表示例を表示させる際に、領域パターンＰ_ｍ（ｍは、０以上Ｐ−１以下の整数）における顔検索処理の結果として表示する登録顔画像と同じ登録顔画像を、領域パターンＰ_ｎ（ｎは、ｍとは異なる０以上Ｐ−１以下の整数）における顔検索処理の結果として表示しないように表示制御してもよい。つまり、プロセッサ１０１は、１つの登録顔画像を多くとも１回表示させ、２回以上表示させないように表示制御してもよい。また、プロセッサ１０１は、例えば、１度表示させた登録顔画像に関するデータベースに、表示済であることを示す付加情報を追加し、付加情報を参照してこの表示制御を行っても良い。

また、図１１では省略されているが、プロセッサ１０１は、他の領域パターンの顔検索結果を更に表示させてもよい。また、プロセッサ１０１は、領域パターンＰ_１〜領域パターンＰ_Ｐ−１のうち、少なくとも１つの領域パターンの顔検索結果を表示させてもよい。

［３．効果等］
従来、登録された顔画像と、検索対象である顔画像との間で行われる顔検索において、それぞれの顔画像から得られる顔全体の特徴量同士の類似度等の照合スコアの高さを基準に照合が行われる。しかしながら、サングラスおよび／またはマスク等の顔を遮蔽する物体（遮蔽物）の影響、あるいは、極端な照明環境による白飛びや黒つぶれ等の影響により、特徴量に異常値が発生する場合がある。このような場合、顔画像の一部の領域の情報が損なわれてしまうことにより照合スコアが適切に算出されないため、顔検索の精度が劣化してしまう可能性がある。

本実施の形態における照合装置１００は、顔画像における一部の領域を除外した領域を照合対象として照合する部分照合を実行し、部分照合の結果を表示させる。これにより、登録顔画像と検索顔画像との照合において、例えば、異常値を示す特徴量を照合から除外できるため、顔検索の精度の劣化を抑制し、信頼度の高い検索結果を表示することができる。

なお、本実施の形態では、領域パターンＰ_０〜領域パターンＰ_Ｐ−１それぞれの顔検索処理を行う例について説明したが、本開示はこれに限定されない。プロセッサ１０１は、領域パターンＰ_０〜領域パターンＰ_Ｐ−１の中で、少なくとも１つの領域パターンを選択し、選択した領域パターンの顔検索処理を実行してもよい。例えば、プロセッサ１０１は、入力部１０３を介して取得するユーザからの指示に基づいて、少なくとも１つの領域パターンを選択してもよい。

あるいは、プロセッサ１０１は、登録顔画像それぞれにおける異常値を含まない領域を判定し、判定した領域が、登録顔画像の中で最も多い領域に対応する領域パターンを選択してもよい。例えば、プロセッサ１０１は、右目と左目に対応する領域に異常値が存在する登録顔画像が最も多いと判定した場合、右目と左目に対応する領域を含まない領域、つまり、図９に示した領域パターンＰ_１を選択する。

また、本実施の形態では、照合装置１００のプロセッサ１０１が顔登録処理を実行する例について説明したが、本開示はこれに限定されない。顔登録処理は、照合装置１００とは異なる装置等で実行されてもよい。この場合、照合装置１００のプロセッサ１０１は、例えば図６に示したような顔登録処理の結果を入力部１０３を介して取得し、取得した顔登録処理の結果に基づいて、顔検索処理を実行してもよい。

また、本実施の形態では、照合装置１００のプロセッサ１０１が検索顔特徴量計算処理を実行する例について説明したが、本開示はこれに限定されない。検索顔特徴量計算処理は、照合装置１００とは異なる装置等で実行されてもよい。この場合、照合装置１００のプロセッサ１０１は、検索顔特徴量計算処理によって得られる検索顔画像の特徴量を入力部１０３を介して取得し、検索顔の特徴量に基づいて、顔検索処理を実行してもよい。

また、本実施の形態では、登録顔画像の特徴量が異常値を含むか否かを判定していたが、本開示はこれに限定されない。例えば、検索顔画像の特徴量が異常値を含むか否かを判定しても良い。この場合、検索顔画像が異常値を含むか否かの判定は、登録顔画像の場合と同様、任意のデータセットとの比較によって行う。また、検索顔画像の特徴量が異常値を含むと判定された場合は、異常値が含まれる領域を除外して登録顔画像との照合を行うとしてもよいし、検索顔画像の再入力を促しても良い。検索顔画像の再入力を促す場合は、異常値の含まれる領域を提示することにより、異常値の発生原因が除かれた検索顔画像を用いるよう、照合装置１００のユーザに促しても良い。

なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、登録顔画像と検索顔画像とを照合する照合装置及び照合結果表示方法に好適である。

１００ 照合装置
１０１ プロセッサ
１０２ 記憶部
１０３ 入力部
１０４ 表示部
１０５ 撮影部
１０６ バス

Claims (15)

1. 少なくとも１つのプロセッサと、複数の登録顔画像と顔全体からそれぞれ異なる領域を除いた領域である複数の領域パターンとを記憶する記憶部とを有し、
   前記プロセッサは、
   前記登録顔画像における前記領域パターンに対応する領域である第１の対象領域の特徴量と、検索対象である検索顔画像における前記領域パターンに対応する領域である第２の対象領域の特徴量とを照合する部分照合を実行し、
   前記部分照合の結果を前記部分照合に用いた領域パターンを示す情報とともに表示させる、
   照合装置。
2. 前記プロセッサは、前記検索顔画像における領域全体の特徴量と、前記登録顔画像における領域全体の特徴量とを照合する全体照合を実行し、
   前記部分照合の結果と区別して前記全体照合の結果を表示させる、
   請求項１に記載の照合装置。
3. 前記プロセッサは、前記複数の登録顔画像のうち、前記全体照合の結果として表示させた前記登録顔画像以外の前記登録顔画像を、前記部分照合の結果として表示させる、請求項２に記載の照合装置。
4. 前記プロセッサは、
   前記複数の登録顔画像それぞれにおける異常値を含まない領域を判定し、
   前記複数の領域パターンのうち、前記判定した領域が、前記複数の登録顔画像の中で最も多い領域に対応する領域パターンを前記第１の対象領域として選択することにより、前記異常値を含む領域を前記部分照合の対象から除外する、
   請求項１に記載の照合装置。
5. 前記プロセッサは、
   前記複数の領域パターンのどれを用いても前記異常値を含む領域を前記部分照合の対象から除外できない場合、前記顔全体について照合を行い、
   前記顔画像全体についての照合の結果を表示させる、
   請求項４に記載の照合装置。
6. 前記複数の領域パターンは、それぞれ、少なくとも１つの顔のパーツを含む、
   請求項４に記載の照合装置。
7. 前記複数の領域パターンそれぞれにおいて除かれる領域は、少なくとも１つの顔パーツを含む所定の大きさの領域である、
   請求項４に記載の照合装置。
8. 前記複数の領域パターンは、顔の領域を上下に２分割した上部分の領域、前記顔の領域を上下に２分割した下部分の領域、前記顔の領域を左右に２分割した左部分の領域、および、前記顔の領域を左右に２分割した右部分の領域のうち、少なくとも１つを含む、
   請求項７に記載の照合装置。
9. 前記プロセッサは、前記登録顔画像から顔のパーツを検出し、前記異常値を含む領域を前記部分照合の対象から除外する前に、前記顔のパーツの検出結果に基づいて前記登録顔画像を正規化し、
   前記領域パターンは、前記正規化後の登録顔画像に対応する領域である、
   請求項４に記載の照合装置。
10. 前記プロセッサは、前記部分照合に用いた領域パターンごとに区分して、前記部分照合の結果が示す類似度が高い順に前記登録顔画像を一列に表示させる、
    請求項４に記載の照合装置。
11. 前記プロセッサは、前記部分照合に用いた領域パターンを示す情報を、前記登録顔画像と共に表示させる、
    請求項１０に記載の照合装置。
12. 前記プロセッサは、前記部分照合の結果が示す類似度が高い順に前記登録顔画像を一列に表示させる、
    請求項１に記載の照合装置。
13. 前記プロセッサは、前記登録顔画像を多くとも１回表示させる、請求項１に記載の照合装置。
14. 前記領域パターンの示す領域は、顔の領域を上下に２分割した上部分の領域、前記顔の領域を上下に２分割した下部分の領域、前記顔の領域を左右に２分割した左部分の領域、および、前記顔の領域を左右に２分割した右部分の領域のうち、少なくとも１つの領域である、
    請求項１に記載の照合装置。
15. 複数の登録顔画像と顔全体からそれぞれ異なる領域を除いた領域である複数の領域パターンとを取得し、
    前記登録顔画像における前記領域パターンに対応する領域である第１の対象領域の特徴量と、検索対象である検索顔画像における前記領域パターンに対応する領域である第２の対象領域の特徴量とを照合する部分照合を実行し、
    前記部分照合の結果を前記部分照合に用いた領域パターンを示す情報とともに表示させる、
    照合結果表示方法。

Images