JP5740210B2 - 顔画像検索システム、及び顔画像検索方法 - Google Patents

Description

本発明の実施形態は、顔画像検索システム、及び顔画像検索方法に関する。

複数地点に設置された複数のカメラにより取得された画像の中から顔画像を検出し、この顔画像をデータベースから検索する顔画像検索システムがある。顔画像検索システムは、カメラにより取得した画像、または、記録装置に蓄積された画像などの中から顔画像を検出し、データベースに蓄積する。

特開２００７−３１０６４６号公報 特開平６−２５９３０８号公報

顔画像を検索する場合、データベースの情報量に応じて検索に要する処理時間が増加する。この為、検索結果の抽出までに時間を要する場合があるという課題がある。

例えば、データベース内の画像にテキストを付加し、付加されているテキストに基づいて、検索対象を絞り込むことが考えられるが、顔画像の検索要求を同時に複数受け取った場合、検索処理が追いつかない可能性がある。

また、複数のデータベースを分散させて記憶することにより、処理の負荷を分散させることが考えられるが、検索対象のデータベースを特定することができない可能性がある。

そこで、本発明は、より効率的に顔画像の検索を行うことができる顔画像検索システム、及び顔画像検索方法を提供することを目的とする。

一実施形態に係る顔画像検索システムは、画像データを受信する画像受信部と、前記画像受信部により受信した前記画像データから顔画像を検出する顔検出部と、前記顔検出部により検出された前記顔画像から顔特徴を抽出する特徴抽出部と、前記特徴抽出部により抽出された前記顔特徴に基づいて属性を判別する属性判別部と、予め顔特徴をデータベースとして記憶し、前記特徴抽出部により抽出された顔特徴を受信した場合前記データベースに付加し、前記特徴抽出部により抽出された顔特徴と前記データベースに含まれている顔特徴との類似度を算出し、算出した類似度に基づいて検索結果を出力する複数の検索部と、任意の属性と前記検索部を示す情報とを対応付けて設定情報を生成する設定部と、前記設定部により生成された前記設定情報と、前記属性判別部により判別された前記属性とに基づいて１つまたは複数の検索部を特定し、特定した前記検索部に前記特徴抽出部により抽出された前記顔特徴を送信する制御部と、を具備する。

図１は、一実施形態に係る顔画像検索システムについて説明するための図である。 図２は、一実施形態に係る顔画像検索システムについて説明するための図である。 図３は、一実施形態に係る顔画像検索システムについて説明するための図である。 図４は、一実施形態に係る顔画像検索システムについて説明するための図である。 図５は、一実施形態に係る顔画像検索システムについて説明するための図である。 図６は、一実施形態に係る顔画像検索システムについて説明するための図である。 図７は、一実施形態に係る顔画像検索システムについて説明するための図である。 図８は、一実施形態に係る顔画像検索システムについて説明するための図である。 図９は、一実施形態に係る顔画像検索システムについて説明するための図である。 図１０は、一実施形態に係る顔画像検索システムについて説明するための図である。 図１１は、一実施形態に係る顔画像検索システムについて説明するための図である。 図１２は、一実施形態に係る顔画像検索システムについて説明するための図である。

以下、図面を参照しながら、一実施形態に係る顔画像検索システム、及び顔画像検索方法について詳細に説明する。

図１は、一実施形態に係る顔画像検索システム１００の例を示す。
顔画像検索システム１００は、画像を取得するカメラ１０、顔検出クライアント２０、特徴抽出サーバ３０、及び検索サーバ４０などを備える。なお、図１では、顔画像検索システム１００は、複数のカメラ１０Ａ乃至１０Ｎ、複数の顔検出クライアント２０Ａ乃至２０Ｎ、複数の特徴抽出サーバ３０Ａ乃至３０Ｎ、及び複数の検索サーバ４０Ａ乃至４０Ｎを備える例が示されている。

カメラ１０、顔検出クライアント２０、特徴抽出サーバ３０、及び検索サーバ４０は、それぞれ互いにＬＡＮ、公衆回線、または他のデータ通信が可能なネットワークなどにより互いに接続されている。これにより、カメラ１０、顔検出クライアント２０、特徴抽出サーバ３０、及び検索サーバ４０は、互いにデータ通信を行うことができる。

カメラ１０は、所定の範囲から光を受光し、画像を取得する。例えば、カメラ１０Ａ乃至１０Ｎは、それぞれ異なる地点に設置される。これにより、カメラ１０は、それぞれの地点に存在する人物の画像を取得することができる。カメラ１０は、例えばｉｎｄｕｓｔｒｉａｌ ｔｅｌｅｖｉｓｉｏｎ（IＴＶ）カメラなどを備える。ＩＴＶカメラは、レンズにより受光される光に基づいて電気信号を生成し、電気信号をアナログディジタル（Ａ／Ｄ）変換器によりディジタル化し、画像データとして出力する。これにより、カメラ１０は、顔検出クライアント２０に画像データを出力することができる。

顔検出クライアント２０は、カメラ１０から出力された画像データに基づいて顔画像（顔画像データ）を検出する。なお、顔画像を検出する方法については後述する。顔検出クライアント２０は、検出した顔画像データを特徴抽出サーバ３０に出力する。

特徴抽出サーバ３０は、顔検出クライアント２０から出力された顔画像データに基づいて、人物の顔特徴（ｆａｃｉａｌ ｆｅａｔｕｒｅ）を抽出する。さらに、特徴抽出サーバ３０は、顔画像データ、または顔特徴に基づいて、人物の属性を判別する。特徴抽出サーバ３０は、判別した属性に基づいて、顔画像データ、顔特徴、及び属性を示す属性情報などを送信する検索サーバ４０を少なくとも１つ特定する。特徴抽出サーバ３０は、特定した検索サーバ４０に顔画像データ、顔特徴、及び属性情報を出力する。

検索サーバ４０は、特徴抽出サーバ３０から出力された顔画像データ、顔特徴、及び属性情報を格納する。検索サーバ４０は、顔画像データ、顔特徴、及び属性を１つの人物情報（ｐｅｒｓｏｎａｌ ｄａｔａ）とし、複数の人物情報を含むデータベースを構築する。さらに、検索サーバ４０は、既にデータベースに登録されている顔特徴と、特徴抽出サーバ３０から出力された顔特徴との類似度を算出することにより、人物検索を行う。検索サーバ４０は、例えば、検索結果を表示装置などに表示することにより、特定の人物の過去のアクセスを顔画像検索システム１００の監視者に報知することができる。

これにより、顔画像検索システム１００は、顔画像を用いて、データベース中の人物情報を特定することができる。この結果、顔画像検索システム１００は、例えば、顧客データの中から特定の人物を探す、または不審者のデータベースから該当者を探すことなどを実現することができる。また、顔画像検索システム１００は、ＩＤ証の更新時の本人確認、またはＩＤ証の新規発行時の二重発行の防止などに用いることができる。

図２は、一実施形態に係る顔画像検索システム１００のより具体的な例を示す。図２は、例えば、顔画像検索システム１００の機能をブロックとして示す。

図２に示されるように、顔画像検索システム１００は、画像受信部１１０、顔検出部１２０、特徴抽出部１３０、設定部１４０、属性判別部１５０、制御部１６０、人物情報記憶部１７１乃至１７３、検索部１８１乃至１８３、及び出力部１９０を備える。

なお、画像受信部１１０、顔検出部１２０、特徴抽出部１３０、設定部１４０、属性判別部１５０、及び制御部１６０は、図１により示された顔検出クライアント２０と特徴抽出サーバ３０とのどちらが備えるものであっても良い。また、図１により示されたネットワークに接続されたさらに他のモジュールが上記の機能ブロックを備える構成であってもよい。また、顔画像検索システム１００は、上記の各ブロックを複数備える構成であってもよい。即ち、顔画像検索システム１００の各ブロックの数は、顔画像検索システム１００の入出力の数に応じて任意に増加させることができる。

画像受信部１１０は、カメラ１０から画像データを受信する。画像受信部１１０は、受信した画像データを顔検出部１２０に送信する。また、画像受信部１１０は、カメラ１０の代わりにデジタルビデオレコーダ（ＤＶＲ）などの映像を記録する記憶装置、またはメモリなどに記録されている画像データを受信する構成であってもよい。またさらに、画像受信部１１０は、アナログの映像信号（画像）を受信し、受信したアナログ映像信号をアナログディジタル変換し、変換されたディジタルの画像データを顔検出部１２０に送信する構成であってもよい。

顔検出部１２０は、画像受信部１１０から送信された画像データに基づいて、人物の顔が写り込んでいる領域（顔領域）の画像（顔画像）を検出する。顔検出部１２０は、検出した顔画像を特徴抽出部１３０に送信する。

顔検出部１２０は、例えば、画像データ内を予め用意されたテンプレートを移動させながら相関値を算出する。顔検出部１２０は、最も高い相関値が算出された領域を顔領域と特定する。これにより、顔検出部１２０は、画像データ内の人物の顔が映りこんでいる顔領域の顔画像を検出することができる。

また、顔検出部１２０は、固有空間法（ｅｉｇｅｎ ｓｐａｃｅ ｍｅｔｈｏｄ）、または部分空間法（ｓｕｂｓｐａｃｅ ｍｅｔｈｏｄ）などを利用して顔領域を検出する構成であってもよい。また、顔検出部１２０は、画像データの中から、目、鼻などの顔部位の位置を検出することにより、顔領域を検出する構成であってもよい。

なお、顔検出部１２０は、１枚の画像の中から１つの顔領域（顔特徴）を検出する場合、全画像に対してテンプレートとの相関値を求め最大となる位置とサイズを出力する。また、顔検出部１２０は、１枚の画像の中から複数の顔特徴を検出する場合、画像全体に対する相関値の局所最大値を求め、一枚の画像内での重なりを考慮して顔の候補位置を絞り込む。さらに、顔検出部１２０は、連続して入力された過去の画像との関係性（時間的な推移）を考慮し、最終的に複数の顔画像を同時に検出することができる。

また、顔検出部１２０は、人物がマスク、サングラス、または帽子などを着用している場合でも顔領域を検出することができるように、予め人物がマスク、サングラス、または帽子などを着用している場合の顔パターンをテンプレートとして記憶しておく構成であってもよい。

また、顔検出部１２０は、顔の特徴点の検出をする際に、顔の特徴点のすべての点が検出できない場合、一部の顔特徴点の評価値に基づいて処理を行う。即ち、顔検出部１２０は、一部の顔特徴点の評価値が予め設定される基準値以上である場合、二次元平面、または三次元的な顔のモデルを利用して検出された特徴点から残りの特徴点を推測することができる。

また、特徴点がまったく検出されない場合、顔検出部１２０は、顔全体のパターンを予め学習することにより、顔全体の位置を検出し、顔全体の位置から顔特徴点を推測することができる。

なお、カメラ１０が監視カメラなどである場合、連続したフレームにわたって同一人物が写り込む可能性が高い。そこで、顔検出部１２０は、人物が普通に歩行している場合に連続するフレームでどのあたりに移動するかの統計情報をもとに確率を算出し、もっとも確率が高くなる組合せを選択して連続して検出された顔領域の対応付けを行うことができる。これにより、顔検出部１２０は、複数のフレーム間に同一人物が移りこんでいるシーンから１つの顔領域を検出することができる。

また、顔検出部１２０は、カメラ１０におけるフレームレートが高い場合、オプティカルフローを利用するなどしてフレーム間における顔領域を対応付けることにより、複数のフレーム間に同一人物が移りこんでいるシーンから１つの顔領域を検出することができる。

また、顔検出部１２０は、例えば、人物の全身の領域を検出する構成であってもよい。顔検出部１２０は、例えば、人物が存在する場合の輝度勾配情報の分布がどのようにあらわれるかを複数の局所領域での共起性を利用して求める。人物が存在している場合、顔検出部１２０は、その人物が写り込んでいる領域を矩形情報として算出する。顔検出部１２０は、この検出結果に基づいて、この人物の顔が映りこんでいる顔領域を推定し、顔画像を検出する。また、顔検出部１２０は、上記の矩形状報に基づいて、人物の身長などを計測する構成であってもよい。

特徴抽出部１３０は、顔検出部１２０から送信された顔画像に基づいて顔特徴（ｆａｃｉａｌ ｆｅａｔｕｒｅ）を抽出する。顔特徴は、個人を識別するための特徴情報である。特徴抽出部１３０は、例えば、部分空間法（ｓｕｂｓｐａｃｅ ｍｅｔｈｏｄ）などを用いることにより顔特徴を算出することができる。特徴抽出部１３０は、抽出した顔特徴を属性判別部１５０に送信する。

特徴抽出部１３０は、例えば顔画像の濃淡情報を顔特徴として抽出する。特徴抽出部１３０は、ｍピクセル×ｎピクセルの領域の濃淡値をｍ×ｎ次元の特徴ベクトルとして抽出する。即ち、特徴抽出部１３０は、単純類似度法という手法を用いることにより、ベクトルとベクトルの長さをそれぞれ１とするように正規化を行い、内積を計算する。これにより、特徴抽出部１３０は、特徴ベクトル間の類似性を示す類似度を算出することができる。

また、特徴抽出部１３０は、顔画像に対して予め設定されたモデルを利用することにより、顔の向き、及び状態などを意図的に変動させた画像を作成し、この画像に基づいて顔特徴を抽出することもできる。

またさらに、特徴抽出部１３０は、上記したようにカメラ１０により連続して撮像された複数の顔画像に基づいて、より高い精度で顔特徴を抽出することもできる。この場合、特徴抽出部１３０は、例えば、相互部分空間法（ｍｕｔｕａｌ ｓｕｂｓｐａｃｅ ｍｅｔｈｏｄ）を用いることにより、顔特徴を抽出することができる。即ち、特徴抽出部１３０は、顔画像の特徴ベクトルの相関行列を算出し、算出した行列をＫ−Ｌ展開（ＫＬ ｅｘｐａｎｓｉｏｎ）することにより、固有ベクトル（ｅｉｇｅｎ ｖｅｃｔｏｒ）を求める。これにより、特徴抽出部１３０は、連続した画像から得られる顔の特徴を示す部分空間を計算する。

部分空間は、固有値の大きな順に選択されたｋ個の固有ベクトルの集合により表現することができる。本実施例では、相関行列Ｃｄを特徴ベクトルから算出し、Ｃｄ＝Φｄ×Δｄ×Φｄ×Ｔと対角化して、固有ベクトルの行列Φを算出する。

設定部１４０は、属性判別部１５０で判別する属性、画像データ、及び顔特徴などを含む人物情報を送信する送信先の検索サーバを設定する。この為に、設定部１４０は、操作者による操作入力に基づいて操作信号を生成する操作部、及び設定画面などを表示する為の表示部などを接続される。設定部１４０は、設定を行う場合、設定画面を生成し、上記の表示部などに表示させる。図３は、設定部１４０により生成された設定画面の例を示す。

設定画面は、「分類処理」、「カメラ」、「日付及び曜日」、「時刻」、「属性種別」、及び「送信先サーバ」などの項目を含む。顔画像検索システム１００は、これらの設定と、後述する属性判別部１５０による属性判別の結果に基づいて、人物情報を複数の検索サーバに振り分ける振り分け処理（ｓｏｒｔｉｎｇ）を行う。即ち、顔画像検索システム１００は、これらの設定と、後述する属性判別部１５０による属性判別の結果に基づいて、画像データ、顔特徴、及び属性などを送信する送信先の検索サーバを特定する。

「分類処理」は、上記の振り分け処理を行うか否かを設定するための項目である。「分類しない」が選択された場合、顔画像検索システム１００は、顔画像検索システム１００内の全ての検索サーバ４０に人物情報を送信する。「分類あり（手動）」が選択された場合、「カメラ」、「日付及び曜日」、「時刻」、「属性種別」、及び「送信先サーバ」などの項目の設定と、属性判別部１５０により判別された属性とに対応する検索サーバ４０に人物情報を送信する。なお、「分類あり（自動）」が選択された場合の動作については後述する。

「カメラ」は、設定対象となるカメラ１０を選択するための項目である。即ち、図３により示される設定項目は、例えば、図１により示されるカメラ１０毎に設定される構成であってもよい。また、図１により示される全てのカメラ１０に共通して設定される構成であってもよい。

「日付及び曜日」は、上記の振り分け処理を行う日付、及び／または曜日などを設定するための項目である。「日付及び曜日」では、例えば、日付、日付の範囲、曜日、及びまたは曜日の範囲（例えば平日、土日など）が設定される。

「時刻」の項目は、上記の振り分け処理を行う時刻を設定するための項目である。「時刻」では、例えば、時刻の範囲が設定される。また、時刻で振り分け処理の有無を制限しない場合、「時刻」として終日が設定される。

「属性種別」は、振り分ける属性の種別を選択する為の項目である。図３に示されるように、「属性種別」は、例えば、「年齢（３クラス）」、「年齢（７クラス）」、「性別（３クラス）」、「メガネ（２クラス）」、「帽子（２クラス）」、「マスク（２クラス）」などの項目を含む。なお、「属性種別」は、さらに他の属性が設定される構成であってもよい。

「年齢（３クラス）」は、たとえば若年、中年、及び高齢などのクラスを含む。また、「年齢（７クラス）」は、例えば、１０代、２０代、３０代、４０代、５０代、６０代及び７０代などのクラスを含む。また、「性別（３クラス）」は、男性、女性、及び不明などのクラスを含む。

また、「メガネ（２クラス）」は、メガネ有り、及びメガネ無しなどのクラスを有する。また、「帽子（２クラス）」は、帽子有り、及び帽子無しなどのクラスを有する。また、「マスク（２クラス）」は、マスク有り、及びマスク無しなどのクラスを有する。

「送信先サーバ」は、人物情報の送信先の検索サーバ４０を上記の「属性種別」で設定された属性のクラス毎に設定するための項目である。顔画像検索システム１００は、属性判別部１５０により判別された属性に基づいて上記のクラスを特定し、特定したクラスに基づいて、人物情報の送信先の検索サーバ４０を特定する。顔画像検索システム１００は、特定した検索サーバ４０に人物情報を送信する。

なお、「送信先サーバ」の項目では、複数の検索サーバ４０が送信先として設定される構成であってもよい。また、「送信先サーバ」の項目では、人物情報を検索サーバ４０に送信しないクラスが設定される構成であってもよい。さらに、「送信先サーバ」の項目は、各クラス毎、または送信先の検索サーバ４０毎に閾値が設定される構成であってもよい。この場合、顔画像検索システム１００は、この閾値を人物情報に対応付けて検索サーバ４０に送信する。

上記の各項目を設定することにより、図４に示されるような設定情報が生成される。なお、「分類処理」の項目で「分類あり（自動）」が選択されている場合、後述する自動設定処理により生成される設定情報に基づいて送信先が選択される為、「属性種別」及び「送信先サーバ」の項目はブランクになる。

例えば、「属性種別」として「性別（３クラス）」が選択された場合、設定部１４０は、クラス１として「男性」を設定し、クラス２として「女性」を設定し、クラス３として「不明」を設定する。さらに、設定部１４０は、各クラス毎に、送信先の検索サーバ４０を設定する。例えば、設定部１４０は、クラス１として「サーバ１」を設定し、クラス２として「サーバ２」を設定し、クラス３として「サーバ１」及び「サーバ２」を設定する。

この場合、顔画像検索システム１００は、属性判別部１５０により男性と判別された人物情報をサーバ１に送信する。また、顔画像検索システム１００は、属性判別部１５０により女性と判別された人物情報をサーバ２に送信する。またさらに、顔画像検索システム１００は、属性判別部１５０により不明と判別された人物情報をサーバ１及びサーバ２の両方に送信する。

即ち、性別が不明などの信頼度の低い人物情報を複数のサーバに送信することにより、検索すべき人物情報が検索対象からはずれることを防ぐことができる。

なお、上記の例では、「属性種別」として年齢、性別、眼鏡の有無、マスクの有無、及び帽子の有無などを示したが、属性種別はこれらに限定されない。設定部１４０は、さらに他の属性種別に基づいて送信先を設定する構成であってもよい。

属性判別部１５０は、特徴抽出部１３０から送信された顔特徴、または、顔検出部１２０から送信された顔画像に基づいて、属性を判別する。属性判別部１５０は、判別した属性と、顔特徴と、顔画像とを対応付けて人物情報とする。属性判別部１５０は、制御部１６０の制御に基づいて検索サーバ４０に人物情報を送信する。

なお、本実施形態では、属性判別部１５０は、年齢、性別、眼鏡の有無、マスクの有無、及び帽子の有無などを属性として判別する例を示す。しかし、属性判別部１５０は、さらに他の属性を判別する構成であってもよい。他の属性の例は、例えば、服装、表情、肥満度、裕福度、顔への装飾品の有無、人種、などがある。

例えば、年齢及び性別などの属性を判別する場合、属性判別部１５０は、年齢、及び性別のそれぞれに適した前処理を行うことにより、高い精度で属性を判別することができる。

通常、人物の顔は、年齢が高くなるほどしわが増えてくる。そこで、属性判別部１５０は、例えば、しわを強調する線分強調フィルタを顔特徴に対して重畳することにより、人物の年齢を判別することができる。

また、属性判別部１５０は、性別特有の部位（例えばひげなど）が強調される周波数成分を強調するフィルタ、または、骨格情報が強調されるようなフィルタを顔特徴に対して重畳する。これにより、属性判別部１５０は、人物の性別を判別することができる。

例えば、属性判別部１５０は、性別を判別する場合、判別結果として性別度を示す一つの数値を算出する。属性判別部１５０は、この数値と、予め設定される基準値とに基づいて、男女を判別する。しかし、基準値に近い値が算出された場合、属性判別部１５０は、性別を不明と判別する。

なお、上記の基準値は、設定部１４０に接続された操作部により設定される構成であってもよい。また、上記の基準値は、顔画像検索システム１００により実行される学習プロセスに基づいて設定される構成であってもよい。この場合、設定部１４０は、予め「男性」または「女性」を示す属性が付与された画像データに基づいて、顔検出、特徴抽出、及び属性判別を行い、属性判別の結果と、予め付与された属性とに基づいて、基準値を設定する。

また、属性判別部１５０は、たとえば、顔検出処理によって求められた顔の部位の位置情報から目、目じり、または目頭の位置を特定する。これにより、属性判別部１５０は、両目付近の画像を切り出し、切り出した画像を部分空間の計算対称とすることにより、眼鏡の有無を判別することができる。

また、属性判別部１５０は、たとえば、顔検出処理によって求められた顔の部位の位置情報から口と鼻の位置を特定する。これにより、属性判別部１５０は、特定した口と鼻の位置の画像を切り出し、切り出した画像を部分空間の計算対称とすることにより、マスクの有無を判別することができる。

また、属性判別部１５０は、たとえば、顔検出処理によって求められた顔の部位の位置情報から目、及び眉の位置を特定する。これにより、属性判別部１５０は、顔の肌領域の上端を特定することができる。さらに、属性判別部１５０は、特定した顔の頭部領域の画像を切り出し、切り出した画像を部分空間の計算対称とすることにより、帽子の有無を判別することができる。

上記したように、属性判別部１５０は、顔特徴または顔画像に基づいて、年齢、性別、眼鏡の有無、マスクの有無、及び帽子の有無などの属性を判別することができる。即ち、属性判別部１５０は、顔の位置から推定可能な位置に存在する属性であれば如何なる物であっても特徴情報を抽出することができる。

また、人物が着用している着用物を直接的に検出するアルゴリズムも一般的に実用化されている。属性判別部１５０は、そのような手法を用いることにより属性を判別する構成であってもよい。また、例えば、属性判別部１５０は、メガネの種類、マスクの種類、帽子の種類、ひげ、ほくろ、しわ、怪我、髪型、髪の毛の色、服の色、服の形、帽子、装飾品、顔付近への着用物、表情、裕福度、及び人種などの属性をさらに判別する構成であってもよい。

制御部１６０は、属性判別部１５０により判別された属性と、設定部１４０により設定されているクラス毎の送信先とに基づいて、人物情報の送信先の検索サーバ４０を特定する。制御部１６０は、特定した検索サーバ４０に人物情報を送信するように属性判別部１５０を制御する。

即ち、制御部１６０は、設定部１４０により設定された設定情報を参照し、属性判別部１５０により判別された属性に基づいて、設定部１４０により設定されたクラスを特定する。制御部１６０は、特定したクラスに設定されている送信先の検索サーバ４０を特定し、特定した検索サーバ４０に人物情報を送信するように属性判別部１５０を制御する。なお、上記したように、送信先のサーバに閾値が設定されている場合、制御部１６０は、閾値を人物情報に付加する。

図５は、顔画像検索システム１００により実行される振り分け処理の例を示す。
画像受信部１１０は、カメラ１０から画像データを受信する（ステップＳ１１）。画像受信部１１０は、受信した画像データを顔検出部１２０に送信する。

顔検出部１２０は、画像受信部１１０から送信された画像データに基づいて、顔（顔画像）を検出する（ステップＳ１２）。顔検出部１２０は、検出した顔画像を特徴抽出部１３０に送信する。

特徴抽出部１３０は、顔検出部１２０から送信された顔画像に基づいて顔特徴を抽出する（ステップＳ１３）。特徴抽出部１３０は、抽出した顔特徴を属性判別部１５０に送信する。

属性判別部１５０は、特徴抽出部１３０から送信された顔特徴に基づいて、属性を判別する（ステップＳ１４）。

制御部１６０は、属性判別部１５０により判別された属性と、設定部１４０により設定されているクラス毎の送信先とに基づいて、人物情報の送信先の検索サーバ４０を特定する（ステップＳ１５）。制御部１６０は、特定した検索サーバ４０に人物情報を送信するように属性判別部１５０を制御する。

例えば、設定部１４０の設定情報において、クラス１として「男性」が設定され、クラス２として「女性」が設定され、クラス３として「不明」が設定されていると仮定する。さらに、設定部１４０の設定情報において、クラス１の送信先として「サーバ１」が設定され、クラス２の送信先として「サーバ２」が設定され、クラス３の送信先として「サーバ１」及び「サーバ２」が設定されていると仮定する。

ここで、制御部１６０は、属性判別部１５０により「男性」と判別された人物情報の送信先が「サーバ１」であると特定する（ステップＳ１６）。また、制御部１６０は、属性判別部１５０により「女性」と判別された人物情報の送信先が「サーバ２」であると特定する（ステップＳ１７）。またさらに、制御部１６０は、属性判別部１５０により「不明」と判別された人物情報の送信先が「サーバ１」及び「サーバ２」であると特定する（ステップＳ１８）。属性判別部１５０は、制御部１６０により特定された送信先に人物情報を送信する。

人物情報記憶部１７１乃至１７３、及び検索部１８１乃至１８３は、例えば、図１により示された検索サーバ４０が備える構成である。しかし、人物情報記憶部１７１乃至１７３と、検索部１８１乃至１８３とは、それぞれ個別に構成されたモジュールであってもよい。また、人物情報記憶部１７１乃至１７３、及び検索部１８１乃至１８３の数は、上記の振り分け処理により振り分けられるクラスの数に応じて顔画像検索システム１００内に設置されるものである。即ち、顔画像検索システム１００の人物情報記憶部１７１乃至１７３及び検索部１８１乃至１８３の数は、振り分け処理により振り分けるサーバの数に応じて任意に増加させることができる。

なお、本実施形態では、検索サーバ４０Ａが人物情報記憶部１７１及び検索部１８１を備え、検索サーバ４０Ｂが人物情報記憶部１７２及び検索部１８２を備え、検索サーバ４０Ｃが人物情報記憶部１７３及び検索部１８３を備える構成と仮定して説明する。また、人物情報記憶部１７１乃至１７３は、それぞれ同じ動作をするものであるため、ここでは人物情報記憶部１７１の例について説明する。また、検索部１８１乃至１８３は、それぞれ同じ動作をするものであるため、ここでは検索部１８１の例について説明する。

人物情報記憶部１７１は、属性判別部１５０から送信された人物情報を記憶するメモリである。人物情報記憶部１７１は、例えば図６により示されるように、複数の人物情報をデータベースとして記憶する。

人物情報記憶部１７１は、例えば、個人ごとにＩＤ、顔特徴、顔画像、顔座標、及び属性などを対応付けて記憶する。またさらに、人物情報記憶部１７１は、人物情報に閾値が付加されていた場合、閾値を人物情報に対応付けて記憶する。

属性は、上記したように、例えば、性別、年齢、身長、帽子の有無、マスクの有無、メガネの有無などである。なお、人物情報記憶部１７１が記憶する顔特徴は、例えば特徴抽出部１３０により抽出されたデータである。即ち、人物情報記憶部１７１は、ｍ×ｎの特徴ベクトル、部分空間、ＫＬ展開を行う直前の相関行列などのうちのいずれか、または複数を記憶する。

この実施例では、１つの人物情報記憶部１７１と、１つの検索部１８１とが対応する例を示す。しかし、顔画像検索システム１００は、１つの人物情報記憶部１７１と、複数の検索部１８１とが対応する構成であってもよい。また、顔画像検索システム１００は、複数の人物情報記憶部１７１と、１つの検索部１８１とが対応する構成であってもよい。また、人物情報記憶部１７１は、属性毎に情報を区分けして記憶する構成であってもよい。

検索部１８１は、属性判別部１５０から送信された人物情報に含まれている顔特徴と、人物情報記憶部１７１に記憶されている人物情報に含まれている顔特徴との類似度を算出する。検索部１８１は、例えば、属性判別部１５０から送信された人物情報に含まれている顔特徴と、人物情報記憶部１７１に記憶されている複数の人物情報とに基づいて類似度を算出し、算出した類似度の高い人物情報を人物情報記憶部１７１から検索する。

例えば、検索部１８１は、人物情報記憶部１７１に記憶されている人物情報に対応付けられている閾値より高い類似度が算出された人物情報を人物情報記憶部１７１から検索する。また、検索部１８１は、算出された類似度が高い順に予め設定された数の人物情報を人物情報記憶部１７１から検索する。また、検索部１８１は、人物情報記憶部１７１の各人物情報に含まれている属性に基づいて検索対象を絞り込むこともできる。

検索部１８１は、例えば、顔特徴としての部分空間の類似度を算出する。計算方法は、部分空間法や複合類似度法などの方法を用いてよい。この方法を用いることにより、検索部１８１は、予め蓄えられたデータベース中の人物情報の部分空間と、特徴抽出部１３０により算出された部分空間とが成す「角度」を類似度として算出する。検索部１８１は、入力データ列に対して相関行列Ｃｉｎを算出する。検索部１８１は、Ｃｉｎ＝ΦｉｎΔｉｎΦｉｎＴと対角化し、固有ベクトルΦｉｎを算出する。検索部１８１は、ΦｉｎとΦｄとで表される部分空間の部分空間間類似度（０．０〜１．０）を算出し、類似度として用いる。

出力部１９０は、検索部１８１乃至検索部１８３により生成された検索結果画面を表示部２００に出力する。なお、出力部１９０は、各サーバ４０Ａ乃至４０Ｃ毎に設けられていてもよい。

表示部２００は、映像などの画面を表示する表示装置を備える。表示部２００は、図１に示されたネットワークに接続され、出力部１９０から出力される画面を受け取り、表示する。なお、表示部２００の数は、複数であってもよい。この場合、出力部１９０は、各サーバ４０Ａ乃至４０Ｃから出力された検索結果画面を所望の表示部２００に出力する。

図７は、顔画像検索システム１００により実行される検索処理の例を示す。
検索サーバ４０の検索部１８１は、特徴抽出サーバ３０などから人物情報を受信する（ステップＳ２１）。

検索部１８１は、受信した人物情報の顔特徴と、人物情報記憶部１７１に記憶されている人物情報に含まれている顔特徴との類似度を算出する（ステップＳ２２）。

さらに、検索部１８１は、算出した類似度に基づいて、表示候補を特定する（ステップＳ２３）。即ち、検索部１８１は、算出した類似度の上位Ｎ個、または閾値を超えた類似度を特定する。さらに、検索部１８１は、特定した類似度の算出に用いられた人物情報を表示候補として特定する。検索部１８１は、特定した表示候補を検索結果として出力部１９０に出力する。また、検索部１８１は、特定した表示候補に基づいて検索結果画面を生成し、出力部１９０に出力する構成であってもよい。

さらに、検索部１８１は、「リアルタイム表示」を実行するか否かを示すフラグを保持する。検索部１８１は、表示候補を特定した場合、リアルタイム表示がＯＮされているか否か判断する（ステップＳ２４）。

リアルタイム表示がＯＮの場合、検索部１８１は、検索結果に基づいて逐次検索結果画面を生成する（ステップＳ２５）。検索部１８１は、検索結果に基づいて、例えば図８により示される検索結果画面を生成する。

図８により示されるように、検索結果画面は、入力画像（画像データ）と、顔類似候補者の画像とを表示する。顔類似候補者は、例えば、上記の処理により特定された表示候補と同一、または表示候補の一部である。検索部１８１は、例えば、算出した類似度の高い順に顔類似候補者の画像を表示する。検索部１８１は、顔検出部１２０により検出された顔画像、または特徴抽出部１３０により抽出された顔特徴などを顔類似候補者の画像として表示する。また、検索部１８１は、顔類似候補者の画像の近傍に、算出した類似度、及びＩＤなどを表示しても良い。また、検索部１８１は、入力画像の近傍に撮像場所、日時などを表示してもよい。

また、検索部１８１は、顔検出部１２０により顔画像を検出した領域を矩形状の枠で囲んで表示してもよい。これにより、検索部１８１は、顔画像検索システム１００の監視者に対して検索対象を報知することが出来る。また、例えば、検索部１８１に対して入力画像中の他の人物の顔を選択する操作が行われた場合、検索部１８１は、選択された人物を検索対象として顔類似候補者を表示する。

また、この検索結果画面で表示される顔類似候補者の数は任意で設定することができる。また、検索部１８１は、スクロール操作に基づいてさらに他の顔類似候補者の画像を表示する構成であってもよい。またさらに、検索部１８１は、予め設定された閾値以上の類似度が算出された場合、アラームなどの音を用いて、顔画像検索システム１００の監視者に報知する構成であってもよい。

検索部１８１は、生成した検索結果画面を出力部１９０に送信する。この場合、出力部１９０は、検索部１８１から受信した検索結果画面を表示部２００に出力する（ステップＳ２６）。これにより、顔画像検索システム１００は、顔画像検索システム１００の監視者に逐次検索結果を報知することができる。さらに検索部１８１は、検索結果を履歴（検索履歴）として逐次記憶する（ステップＳ２７）。

また、検索部１８１は、リアルタイム表示がＯＮの場合、予め設定された条件に対応した検索結果が得られた場合に検索結果画面を生成する構成であってもよい。

また、検索部１８１は、検索結果を履歴（検索履歴）として記憶し、新たに設定された条件に対応する検索結果に基づいて検索結果画面を生成する構成であってもよい。例えば、検索部１８１は、リアルタイム表示がＯＮであり、且つ、検索結果の上位の類似度が所定の閾値以上である場合に検索結果画面を生成するように設定される。

これにより、人物情報記憶部１７１に登録されている人物の画像データが顔画像検索システム１００に入力された場合に検索結果画面を出力することができる。

また、検索部１８１は、検索履歴に、上記したような属性情報、及び人物情報の画像を取得したカメラのＩＤ、及び画像の取得日時などを対応付けて記憶することにより、画像データの撮像場所、日時、または属性などで検索履歴を絞り込む事ができる。

上記したように、本実施形態に係る顔画像検索システム１００は、人物情報を有するデータベースと、このデータベースから検索を行う検索部とを複数備える。顔画像検索システム１００は、画像データから顔画像及び顔特徴を検出し、この人物の属性を判別し、判別した属性に応じて人物情報を送信する検索部を特定する。顔画像検索システム１００は、特定した検索部に人物情報を送信し、データベースから検索を行わせる。

この構成により、顔画像検索システム１００は、複数の地点に設置されたカメラ１０などにより取得された画像データに基づいて効率的に人物の検索を行うことができる。この結果、より効率的に顔画像の検索を行うことができる顔画像検索システム、及び顔画像検索方法を提供することができる。

次に、設定部１４０の設定情報の自動設定処理について説明する。
この場合、設定部１４０は、図３に示された「分類処理」の項目において、「分類あり（自動）」が選択された場合、画像データに基づいて各属性毎に最も早く検索が行われるサーバに人物情報を送信するように設定情報を生成する。なお、この場合、設定部１４０は、予め準備された複数の画像を含む学習用画像に基づいて、設定情報を生成する。

図９は、設定部１４０による自動設定処理の例を示す。
画像受信部１１０は、例えばメモリなどから学習用画像データを受信する（ステップＳ３１）。画像受信部１１０は、受信した学習用画像データを顔検出部１２０に送信する。

顔検出部１２０は、画像受信部１１０から送信された学習用画像データに基づいて、顔（顔画像）を検出する（ステップＳ３２）。顔検出部１２０は、検出した顔画像を特徴抽出部１３０に送信する。

特徴抽出部１３０は、顔検出部１２０から送信された顔画像に基づいて顔特徴を抽出する（ステップＳ３３）。特徴抽出部１３０は、抽出した顔特徴を属性判別部１５０に送信する。

属性判別部１５０は、特徴抽出部１３０から送信された顔特徴に基づいて、属性を判別する（ステップＳ３４）。

制御部１６０は、顔画像検索システム１００内の全てまたは複数の検索サーバ４０に人物情報を送信するように属性判別部１５０を制御する（ステップＳ３５）。

この場合、各サーバの検索部１８１、１８２、及び１８３は、受信した人物情報に該当するデータをそれぞれのデータベースから検索する。さらに、各サーバの検索部１８１、１８２、及び１８３は、検索結果を制御部１６０に返信する。この場合、各サーバの検索部１８１、１８２、及び１８３は、例えば、最も高い類似度が算出された人物情報、または、所定の閾値以上の類似度が算出された人物情報を検索結果として制御部１６０に送信する。

制御部１６０は、各検索部１８１、１８２、及び１８３から検索結果を受信する。制御部１６０は、各検索部１８１、１８２、及び１８３から受信した検索結果が正しいか否か判定する。さらに、制御部１６０は、正しい検索結果を送信した検索部１８１、１８２、及び１８３のうちで最も早く検索結果を送信した検索部を特定する（ステップＳ３６）。

制御部１６０は、特定した検索部に投票を行う（ステップＳ３７）。この投票は、例えば、設定部１４０におけるクラス毎に設けられたカウンタなどにより実行される。図１０は、カウンタの例を示す。このカウンタは、クラス毎に各検索部１８１、１８２、及び１８３の投票数をそれぞれカウントする。なお。このカウンタは、顔画像検索システム１００内のいずれかのモジュール内に設置される。また、カウンタは、図１に示されたネットワークに接続される構成であってもよい。

制御部１６０は、１つの学習用画像データに基づいて投票を行う毎に、上記の該当するカウンタを所定数カウントアップさせる。制御部１６０は、全ての学習用画像データを処理するまで上記のステップＳ３２乃至ステップＳ３７の処理を行う（ステップＳ３８）。

さらに、制御部１６０は、全ての学習用画像データを処理した場合、最も高い投票率を有する検索部をクラス毎に特定する。なお、制御部１６０は、図１０に示すように、属性を正確に判別することができなかったクラス３の送信先として全てのサーバを設定する。これにより、検索の漏れを防ぐことができる。

制御部１６０は、特定した結果に基づいて、設定部１４０の設定情報を更新する。これにより、制御部１６０は、各クラス毎の送信先の検索サーバ４０を特定することが出来る。（ステップＳ３９）。

これにより、顔画像検索システム１００は、より早く検索を行うことができる検索サーバ４０を設定部１４０におけるクラス毎に自動的に設定することができる。

このような構成により、顔画像検索システム１００は、例えば、子供が通う場所で不審者を効率的に検索することができる。例えば、顔画像検索システム１００は、子供がアクセスする時間に年齢の属性種別で振り分けを行うように設定情報を設定する。これにより、顔画像検索システム１００は、例えば、年齢が子供に相当すると判別された人物情報を検索サーバに送信せず、年齢が大人に相当すると判別された人物情報を検索サーバに蓄積する。これにより、顔画像検索システム１００は、検索サーバの負担を減らし、且つ検索対象の人物を効率的に検索することができる。また、顔画像検索システム１００は、所定の年齢未満と判別された人物を検出した場合、警報を出すような構成でもよい。

また、上記の実施形態では、顔画像検索システム１００は、１つの属性種別に基づいてクラスを判別する構成として説明したが、この構成に限定されない。顔画像検索システム１００は、複数の属性の組み合わせに基づいてクラスを判別する構成であってもよい。

図１１は、設定部１４０により生成された設定画面の他の例を示す。図１１により示された設定画面は、「属性種別」を複数選択可能な状態で生成されている点が図３により示された設定画面と異なる。

図１１により示された設定画面で、複数の「属性種別」が設定された場合、設定部１４０は、属性種別の各クラスの組み合わせを生成する。設定部１４０は、生成した組み合わせ毎に送信先の検索サーバ４０を設定することができるように設定画面を生成する。

例えば、「属性種別」として「年齢（３クラス）」と「性別（３クラス）」が選択されたと仮定する。この場合、設定部１４０は、例えば、「男性―若年」、「男性―中年」、「男性―高齢」、「女性―若年」、「女性―中年」、「女性―高齢」、「不明―若年」、「不明―中年」、及び「不明―高齢」などの９パターンの組み合わせを生成する。

またさらに、設定部１４０は、年齢の属性種別にも中間クラスを設定してもよい。即ち、設定部１４０は、「若年」、「中年」、及び「高齢」の３クラスを、「若年」、「若年乃至中年」、「中年」、「中年乃至高齢」、及び「高齢」の５クラスとして扱う構成であってもよい。また、設定部１４０は、属性種別が他のものであっても同様の処理により属性種別を組み合わせることができる。

この場合、属性判別部１５０は、特徴抽出部１３０から送信された顔特徴に基づいて、複数の属性を判別する。属性判別部１５０は、設定情報で設定された「属性種別」に対応する複数の属性を判別する。

制御部１６０は、属性判別部１５０により判別された複数の属性と、設定部１４０により設定されている属性種別のクラスの組み合わせ毎の送信先とに基づいて、人物情報の送信先の検索サーバ４０を特定する。制御部１６０は、特定した検索サーバ４０に人物情報を送信するように属性判別部１５０を制御する。

また、設定部１４０は、図９及び図１０により示した方法を用いることにより、属性種別のクラスの組み合わせ毎の送信先を自動的に設定する構成であってもよい。

この場合、顔画像検索システム１００は、属性種別のクラスの各組み合わせに対応したカウンタなどを備える。図１２は、カウンタの例を示す。制御部１６０は、顔画像検索システム１００内の全てまたは複数の検索サーバ４０に人物情報を送信する。制御部１６０は、各検索サーバ４０から検索結果を受信する。制御部１６０は、最も早く検索結果を送信した検索サーバ４０を特定し、属性判別部１５０により判別された複数の属性に対応するカウンタに投票する。

これにより、顔画像検索システム１００は、より細かく人物情報を振り分けることができる。

なお、上述の各実施の形態で説明した機能は、ハードウエアを用いて構成するに留まらず、ソフトウエアを用いて各機能を記載したプログラムをコンピュータに読み込ませて実現することもできる。また、各機能は、適宜ソフトウエア、ハードウエアのいずれかを選択して構成するものであっても良い。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

１０…カメラ、２０…顔検出クライアント、３０…特徴抽出サーバ、４０…検索サーバ、１００…顔画像検索システム、１１０…画像受信部、１２０…顔検出部、１３０…特徴抽出部、１４０…設定部、１５０…属性判別部、１６０…制御部、１７１…人物情報記憶部、１７２…人物情報記憶部、１７３…人物情報記憶部、１８１…検索部、１８２…検索部、１８３…検索部、１９０…出力部、２００…表示部。

Claims (10)

1. 画像データを受信する画像受信部と、
   前記画像受信部により受信した前記画像データから顔画像を検出する顔検出部と、
   前記顔検出部により検出された前記顔画像から顔特徴を抽出する特徴抽出部と、
   前記特徴抽出部により抽出された前記顔特徴に基づいて属性を判別する属性判別部と、
   予め顔特徴をデータベースとして記憶し、前記特徴抽出部により抽出された顔特徴を受信した場合前記データベースに付加し、前記特徴抽出部により抽出された顔特徴と前記データベースに含まれている顔特徴との類似度を算出し、算出した類似度に基づいて検索結果を出力する複数の検索部と、
   任意の属性と前記検索部を示す情報とを対応付けて設定情報を生成する設定部と、
   前記設定部により生成された前記設定情報と、前記属性判別部により判別された前記属性とに基づいて１つまたは複数の検索部を特定し、特定した前記検索部に前記特徴抽出部により抽出された前記顔特徴を送信する制御部と、
   を具備する顔画像検索システム。
2. 前記属性判別部は、人物の年齢、性別、メガネの有無、メガネの種類、マスクの有無、マスクの種類、帽子の着用有無、帽子の種類、ひげ、ほくろ、しわ、怪我、髪型、髪の毛の色、服の色、服の形、帽子、装飾品、顔付近への着用物、表情、裕福度、及び人種のうちの少なくとも１つを属性として判別する、請求項１に記載の顔画像検索システム。
3. 前記設定部は、設定画面を生成し、設定画面上での操作に基づいて、前記設定情報の前記属性に対応付けられている前記検索部を示す情報を更新する、請求項１に記載の顔画像検索システム。
4. 前記制御部は、前記特徴抽出部により抽出された顔特徴を全ての前記検索部に送信し、前記各検索部から出力された前記検索結果に基づいて、各属性毎に１つまたは複数の検索部を特定し、特定結果を前記設定部に送信し、
   前記設定部は、前記制御部から前記特定結果を受信し、受信した特定結果に基づいて、前記設定情報の前記属性に対応付けられている前記検索部を示す情報を更新する、請求項１に記載の顔画像検索システム。
5. 前記設定部は、操作に基づく操作信号を受信し、受信した前記操作信号に基づいて、前記設定情報の前記検索部を示す情報と対応付ける属性の種別を変更する、請求項１に記載の顔画像検索システム。
6. 前記属性判別部は、前記特徴抽出部により抽出された前記顔特徴に基づいて少なくとも２つ以上の属性を判別し、
   前記設定部は、少なくとも２つ以上の属性の組み合わせと前記検索部を示す情報とを対応付けて設定情報を生成する、請求項１に記載の顔画像検索システム。
7. 前記検索部は、前記データベースに含まれている顔特徴にさらに閾値を対応付けて記憶し、前記特徴抽出部により抽出された顔特徴と前記データベースに含まれている顔特徴との類似度を算出し、算出した類似度が前記データベースに含まれている顔特徴に対応付けられている前記閾値以上である場合、前記検索結果を出力する、請求項１に記載の顔画像検索システム。
8. 前記設定部は、設定画面を生成し、設定画面上での操作に基づいて、前記データベースの前記閾値を変更する、請求項７に記載の顔画像検索システム。
9. 前記検索部から出力された前記検索結果を受信し、受信した前記検索結果を表示する表示部をさらに具備する、請求項１に記載の顔画像検索システム。
10. 予め顔特徴をデータベースとして記憶し、顔特徴を受信した場合前記データベースに付加し、受信した前記顔特徴と前記データベースに含まれている顔特徴との類似度を算出し、算出した類似度に基づいて検索結果を出力する複数の検索部を具備する顔画像検索システムに用いられる顔画像検索方法であって、
    画像データを受信し、
    受信した前記画像データから顔画像を検出し、
    検出された前記顔画像から顔特徴を抽出し、
    抽出された前記顔特徴に基づいて属性を判別し、
    任意の属性と前記検索部を示す情報とを対応付けて設定情報を生成し、
    生成された前記設定情報と、判別された前記属性とに基づいて１つまたは複数の検索部を特定し、特定した前記検索部に抽出された前記顔特徴を送信する、
    顔画像検索方法。

Images