JP5444137B2 - 顔画像検索装置および顔画像検索方法 - Google Patents

Description

本発明の実施形態は、たとえば、顔画像データベースにあらかじめ登録されている複数の顔画像の中から、入力された顔画像に類似する顔画像を検索して表示出力する顔画像検索装置および顔画像検索方法に関する。

たとえば、顔画像データベースにあらかじめ登録されている複数の顔画像に対し、所定の顔画像を入力してその顔画像と類似する顔画像を検索し類似している順に一覧表示する技術がある。

ただし、大量に顔画像が顔画像データベースに登録されている場合には、顔認識技術による検索精度が低いと上位候補者として表示されることがなく、画面上で操作を続けながら目視で候補者を探していく必要があるため、大量の顔画像データベースを検索する時に効率的に絞り込みする技術が開発されている。

たとえば、顔画像以外に名前や会員ＩＤ、入会年月日をキーに検索をすることで高速に検索する仕組みや、顔などのメインの生体情報以外の属性情報（人物の身長、体重、性別、年齢等）を利用して認識辞書の絞込みを行なう技術などが公知である。

一方で、検索したい人物の顔の特徴を検索条件として指定することで、指定された特徴を有する顔画像を顔画像データベースの中から検索する技術も公知である。たとえば、人物の肌の色、瞼、髭、黒子、眼鏡、性別、推定年齢を検索条件としてチェックボックスや論理積、論理和の式で設定して候補画像が並ぶといった技術がある。

特開２００７−３１０６４６号公報 特開２０００−０９０２６４号公報 特開２００６−３１８３７５号公報

顔画像データベースの中から事前に顔画像データベースの顔画像に対応付けて入力された属性情報（たとえば、年齢や性別等）をキーとして、顔認識技術の結果と別にテキストのマッチング処理で検索結果を絞り込む技術はあるが、これは事前に顔画像データベースにテキスト情報で属性情報を入力しておく必要があり、新しく顔画像が大量に入ってきた場合には事前に属性情報を付与していないので絞り込みができないという問題があり、また属性情報を使った別の視点での検索結果を同時に見ることができないという問題もある。
顔画像データベースに属性情報を登録するのは非常に手間がかかり間違いも発生する可能性があるうえ、登録した属性情報が間違っていても気づかない可能性が高い。

そこで、実施形態は、あらかじめ登録された複数の顔画像の中から入力された顔画像に類似する顔画像を検索する際、入力された顔画像と類似している顔画像の候補の一覧を出力するだけでなく、あらかじめ指定した属性情報、または所定の指標で最も入力画像に近い検索結果を表していると思われるものを自動的に選択した属性情報での視点から類似した顔画像の候補の一覧をも同時に出力して視覚的に確認できる顔画像検索装置および顔画像検索方法を提供することを目的とする。

実施形態に係る顔画像検索装置は、少なくとも人物の顔画像を含む画像を入力する画像入力手段と、この画像入力手段により入力された入力画像から少なくとも１つの顔領域を検出する顔検出手段と、検索条件を設定するために検索対象とする属性の種類や検索結果の出力方法を設定する検索条件設定手段と、前記顔検出手段により検出された顔領域から得られる顔の個人特徴を示す顔特徴情報を抽出する顔特徴抽出手段と、前記顔検出手段により検出された顔領域から得られる人物の属性特徴情報を少なくとも１つ抽出する属性特徴抽出手段と、あらかじめ登録されている顔画像とそれに対する顔特徴情報および属性特徴情報を対応付けて管理する人物情報管理手段と、前記顔特徴抽出手段により抽出された入力画像に対する顔特徴情報と前記人物情報管理手段により管理されている顔特徴情報とを比較することにより、前記入力画像に対する顔特徴情報が前記人物情報管理手段により管理されている顔特徴情報の中のどの顔特徴情報と類似しているかの類似度を求め、類似度の高いものから順番にあらかじめ定められた複数の対応する顔画像を前記人物情報管理手段から検索する顔検索手段と、前記属性特徴抽出手段により抽出された入力画像に対する属性特徴情報と前記人物情報管理手段により管理されている属性特徴情報とを比較することにより両属性特徴情報の類似度を求め、類似度の高いものから順番にあらかじめ定められた複数の対応する顔画像を前記人物情報管理手段から検索する属性検索手段と、この属性検索手段により得られた複数の検索結果、および、これら複数の検索結果の中から必要に応じて自動的に選択された最適な検索結果、および、前記顔検索手段により得られた検索結果の中から前記検索条件設定手段により設定された内容に合致する検索結果を選択する検索結果管理手段と、この検索結果管理手段により選択された検索結果を出力する出力手段とを具備している。

第１の実施形態に係る顔画像検索装置の構成を概略的に示すブロック図。 第１の実施形態に係る検索条件設定部の設定画面例を示す図。 第１の実施形態に係る人物情報管理部の管理情報の構成例を示す図。 第１の実施形態に係る全体的な処理の流れを説明するフローチャート。 第１の実施形態に係る出力部の画面表示例を示す図。 第２の実施形態に係る顔画像検索装置の構成を概略的に示すブロック図。 第２の実施形態に係る検索条件設定部の設定画面例を示す図。 第２の実施形態に係る画像合成部の合成画像作成画面例を示す図。 第２の実施形態に係る全体的な処理の流れを説明するフローチャート。 第２の実施形態に係る出力部の画面表示例を示す図。 第３の実施形態に係る顔画像検索装置の構成を概略的に示すブロック図。 第３の実施形態に係る検索条件設定部の設定画面例を示す図。 第３の実施形態に係る人物情報管理部の管理情報の構成例を示す図。 第３の実施形態に係る属性判別部の処理の流れを説明するフローチャート。 第３の実施形態に係る属性判別部での年齢推定方法を説明するための図。 第３の実施形態に係る属性判別部での年齢推定方法の流れを説明するフローチャート。 第３の実施形態に係る登録時の処理の流れを説明するフローチャート。 第３の実施形態に係る検索時の処理の流れを説明するフローチャート。 第３の実施形態に係る出力部の画面表示例を示す図。

以下、実施形態について図面を参照して説明する。
なお、実施形態が適用される対象としては、あらかじめ登録されている多数の顔画像の中から、現在手元にある顔画像と同一の顔画像（人物）を検索するような場合を想定しており、たとえば、顧客データの中からお得意様を探す、不審者のデータベースから該当者を探す、ＩＤ証明書の更新時の本人確認や新規発行時の二重発給防止といった用途が考えられる。

また、実施形態では、本人を属性情報で判別する方法として、撮影対象から得られた顔の領域を検出して顔の位置や顔の特徴を利用することで人物の属性特徴情報を抽出し、事前に登録された顔のデータベースの中から属性特徴情報で近い顔画像を検索することや、年齢や性別といった属性情報（端末装置などでテキスト情報として入力されたもの）と一致するかどうかの判定結果を利用することで人物（顔画像）の検索の効率をあげる。

以下の説明では、人物領域として顔の領域を検出して顔の特徴情報を利用することで課題を実現する手順を説明するが、顔以外にも人物領域全身を検出する技術（Watanabeら,”Co-occurrence Histograms of Oriented Gradients for Pedestrian Detection, In Proceedings of the 3rd Pacific-Rim Symposium on Image and Video Technology” (PSIVT2009), pp. 37-47.）を利用し、その大きさを使って属性情報として身長情報を計測することでも実現が可能であり、人物の領域を検出する技術、また、その人物領域内の特徴情報を計測する技術であれば、本実施形態に記載した技術のみに限定される内容でないことは明らかである。

まず、第１の実施形態について説明する。
図１は、第１の実施形態に係る顔画像検索装置の構成を概略的に示すものである。第１の実施形態に係る顔画像検索装置は、撮像対象人物Ｍの少なくとも顔を含む画像を入力する画像入力部（画像入力手段）１１０、画像入力部１１０により入力された入力画像から少なくとも１つの顔領域を検出する顔検出部（顔検出手段）１２０、検索条件を設定するために検索対象とする属性の種類や検索結果の出力方法等を設定する検索条件設定部（検索条件設定手段）１３０、顔検出部１２０により検出された顔領域から得られる顔の個人特徴を示す顔特徴情報を抽出する顔特徴抽出部（顔特徴抽出手段）１５１、顔検出部１２０により検出された顔領域から得られる人物の属性情報（年齢、性別、眼鏡の有無、マスクの有無、帽子の有無、人種等）を識別するための属性特徴情報を抽出する属性特徴抽出部（属性特徴抽出手段）１５２、あらかじめ登録されている顔画像とそれに対する顔特徴情報および属性特徴情報等を対応付けて管理する人物情報管理部（人物情報管理手段）１６０、顔特徴抽出部１５１により抽出された入力画像に対する顔特徴情報と人物情報管理部１６０により管理されている顔特徴情報とを比較することにより、入力画像に対する顔特徴情報が人物情報管理部１６０により管理されている顔特徴情報の中のどの顔特徴情報と一番類似しているかの類似度を求め、類似度の高いものから順番にあらかじめ定められた複数の対応する顔画像を人物情報管理部１６０から検索する顔検索部（顔検索手段）１７１、属性特徴抽出部１５２により抽出された入力画像に対する属性特徴情報と人物情報管理部１６０により管理されている属性特徴情報とを比較することにより両属性特徴情報の類似度を求め、類似度の高いものから順番にあらかじめ定められた複数の対応する顔画像を人物情報管理部１６０から検索する属性検索部（属性検索手段）１７２、属性検索部１７２により得られた複数の検索結果、および、これら複数の検索結果の中から必要に応じて自動的に選択された最適な検索結果、および、顔検索部１７１により得られた検索結果の中から検索条件設定部１３０により設定された内容に合致する検索結果を選択する検索結果管理部（検索結果管理手段）１８０、検索結果管理部１８０により選択された検索結果を出力する出力部（出力手段）１９０を有して構成される。

以下、各部について詳細に説明する。
画像入力部１１０は、たとえば、ＩＴＶカメラ１０９により人物Ｍの少なくとも顔を含む画像を撮像して入力するもので、ＩＴＶカメラ１０９から得られる撮像信号をＡ／Ｄ変換器によりデジタル化して画像情報として入力する。

なお、検索対象となるものは結果的にデジタルの顔画像となればよいので、デジタルスチルカメラで撮像した画像ファイルをメモリ媒体経由で取込んでもかまわないし、スキャナを利用して紙媒体や写真からスキャンをしたデジタル画像でも構わない。

顔検出部１２０は、たとえば、画像入力部１１０により入力された入力画像内において、あらかじめ用意されたテンプレートを画像内で移動させながら相関値を求めることにより、最も高い相関値を与える位置を顔領域とする。その他に固有空間法や部分空間法を利用した顔抽出法などでも実現は可能である。

また、検出された顔領域の部分の中から、目、鼻などの顔部位の位置を検出する。その検出方法は、たとえば、文献１（福井和広、山口修：「形状抽出とパターン照合の組合せによる顔特徴点抽出」，電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ８０−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ２１７０−２１７７（１９９７））などに記載された方法で実現可能である。

なお、本実施形態では、顔領域の特徴を利用する例を記述したが、虹彩、網膜、目の画像を対象として顔であるかどうかを判別する装置の場合にも、上記処理によって検出された目の領域をもとにカメラをズームすることなどで検出が可能となる。

また、上記目、鼻の検出の他に口領域の検出については、たとえば、文献２（湯浅真由美、中島朗子：「高精度顔特徴点検出に基づくデジタルメイクシステム」第１０回画像センシングシンポジウム予稿集，ｐｐ２１９−２２４（２００４））の技術を利用することで容易に実現が可能である。

いずれの場合でも２次元配列状の画像として取扱える情報を獲得し、その中から顔特徴の領域を検出することが可能である。また、これらの処理は１枚の画像の中から１つの顔特徴だけを抽出するには全画像に対してテンプレートとの相関値を求め最大となる位置とサイズを出力すればよいし、複数の顔特徴を抽出するには画像全体に対する相関値の局所最大値を求め、１枚の画像内での重なりを考慮して顔の候補位置を絞り込み、最後は連続して入力された過去の画像との関係性（時間的な推移）も考慮して最終的に複数の顔特徴を同時に見つけることも可能となる。

また、本実施形態のように、マスク着用やサングラスの着用、帽子の着用といった場合でも検出できるようにするため、あらかじめサングラスやマスクや帽子で顔の一部が隠された場合の顔パターンでテンプレートを学習しておくことや、顔の特徴点検出をする際に全ての点が検出できない場合でも、一部の顔特徴点が充分な評価値で検出されれば、残りの特徴点については２次元平面、または３次元的な顔のモデルを利用して検出された特徴点から残りの特徴点で推測することで実現が可能である。

特徴点が全く検出できなくなるぐらいマスクや帽子やサングラスが特徴点を隠蔽している場合には、顔全体のパターンとして学習しておいて顔全体の位置を検出し、特徴点は顔全体の位置から推測することで実現が可能である。

なお、複数の顔が画像内に存在した場合には、どの顔を検索対象とするかの指示を検索条件設定部１３０や出力部１９０で指定するようにすればよいが、ここでの処理によって求められた顔らしさの指標の順番に自動的に検索対象を選択できるように、顔らしさの指標を出力できるようにすることも可能である。

検索条件設定部１３０は、顔特徴および各属性のどの情報を使って検索するのか、検索する際の並び順、検索結果の画面表示の有無、顔特徴で得られた類似度との結果を統合するかどうかといった項目を検索処理の前に設定しておくものである。ここは毎回処理が必要なわけではなく、事前にシステムの利用者が設定すれば、そのパラメータを保持しておき、その情報を呼び出すだけでよい。

実際に設定を行なう設定画面の例を図２に示す。ここでは、選択をしているものが黒色の矩形印や黒色の丸印で示されているメニューであるとする。この例では、顔特徴情報を使った検索処理と別に「年齢」と「マスク」の属性情報を使った検索を行なう設定となっている。「類似度統合」のチェックについては、各種属性の特徴情報を基準として類似度を計算した結果に対し、顔特徴情報の類似度と結果を統合して検索結果を出力するのか、独立して属性の特徴情報だけで検索結果を出力するのかを切換えるためのものである。

図２の場合、「年齢」については統合なしであるため、顔の類似性と関係なく、入力された顔画像と年齢特徴が似ているものを上位に表示する。一方、マスク特徴については、マスクの属性特徴で検索された結果と顔の特徴情報での検索結果を両方考慮して、検索結果を出力するようになるため、入力された顔画像のマスクをしていながら顔も似ている人を順番に表示する設定となる。

「重要度」については、類似度の統合を行なう際の重みを調整できるようにする。ここで指定をしておくことで、出力部１９０で検索結果を表示する際の重みを変更ことが可能となる。

「画面表示」については、検索結果を画面表示するかどうかの設定であるが、別途出力部１９０で後から設定変更できるようにしてもよい。

また、「並び順」については、基本的に類似度の高いものから順番に出力する「高い順」が基本となるが、入力画像でマスクをつけているが、顔画像データベースではマスクをつけていない顔画像から探す場合などで「低い順」を選んでもかまわない。

なお、本実施形態では、「高い順」、「低い順」として並び順だけをかえるようにしているが、マスクや眼鏡や帽子などの着用の有無といった特定の条件を満たすかどうかの２種類しか状態がない場合などに向けて「一致する、しない」で選択するようにすることも可能である。この場合は一致するものだけが順番に並ぶことになるが、「類似度統合」をしておけば、その条件を満たす「一致」となったものの中で顔の類似度の高いものが順番に表示されるようにすることもできる。

さらに、検索条件設定部１３０による検索条件の設定を、「自動」に設定することも可能となっている。この場合には、検索結果の数値を見ながら最も候補者（候補の顔画像）を正しく表わしていると思われる検索結果を自動的に選択して出力するモードとなり、検索結果管理部１８０の中で自動的に最適な属性の種類や顔と属性の組合せ、属性同士の組合せを選択するようにする。

図２で示す例では、操作者があらかじめ検索結果を表示する属性を選択するのではなく、入力画像により近いものが検索結果の上位として現れやすい属性情報を所定の指標から自動的にシステムで選択して表示させることも可能とし、「自動選択」として選べるようになっている。ここでは一番その指標が高い属性情報による検索結果を「自動選択１」に、その次に指標が高くなる属性情報を利用した検索結果を「自動選択２」に設定するものとしている。

なお、本実施の形態では、最適な指標を基に選択できる検索結果を上位２つまでとしたが、検索可能な属性の数や画面の構成にあわせて、この数は増やすことが可能であることは自明である。

顔特徴抽出部１５１は、顔の領域の情報から個人を識別するための顔特徴情報（顔の特徴情報）を数値として出力する。まず、顔検出部１２０によって検出された顔の部品の位置を基に、顔領域を一定の大きさ、形状に切り出し、その濃淡情報を特徴量として用いる。ここでは、ｍピクセル×ｎピクセルの領域の濃淡値をそのまま情報として用い、ｍ×ｎ次元の情報を特徴ベクトルとして用いる。

これらは単純類似度法という手法によりベクトルとベクトルの長さをそれぞれ「１」とするように正規化を行ない、内積を計算することで特徴ベクトル間の類似性を示す類似度が求められる。詳しくは、たとえば、文献３（エルッキ・オヤ著、小川英光、佐藤誠訳、「パターン認識と部分空間法」、産業図書、１９８６年）に記載されているような部分空間法を利用することで実現できる。

また、文献４（特開２００７−４７６７号公報）にあるように、１枚の顔画像に対してモデルを利用して顔の向きや状態を意図的に変動させた画像を作成することによってより精度の高まる手法を適用してもよい。
１枚の画像から顔の特徴情報を求める場合には、ここまでの処理で顔特徴抽出は完了する。

一方、同一人物に対して連続した複数の画像を利用した動画像による計算をすることでより精度の高い認識処理が行なうこともできる。具体的には、たとえば、文献５（福井和広、山口修、前田賢一：「動画像を用いた顔認識システム」電子情報通信学会研究報告ＰＲＭＵ，ｖｏｌ９７，Ｎｏ．１１３，ｐｐ１７−２４（１９９７））、文献６（前田賢一、渡辺貞一：「局所的構造を導入したパターン・マッチング法」，電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ６８−Ｄ，Ｎｏ．３，ｐｐ３４５−３５２（１９８５））にある相互部分空間法を用いる方法で説明する。

画像入力部１１０から連続して得られた画像から顔特徴抽出部１５１と同様にｍ×ｎピクセルの画像を切り出し、これらのデータにより特徴ベクトルの相関行列を求め、Ｋ−Ｌ展開による正規直交ベクトルを求めることにより、連続した画像から得られる顔の特徴を示す部分空間を計算する。

部分空間の計算法は、特徴ベクトルの相関行列（または共分散行列）を求め、そのＫ−Ｌ展開による正規直交ベクトル（固有ベクトル）を求めることにより、部分空間を計算する。部分空間は、固有値に対応する固有ベクトルを、固有値の大きな順にｋ個選び、その固有ベクトル集合を用いて表現する。本実施形態では、相関行列Ｃｄを特徴ベクトルから求め、相関行列
Ｃｄ＝Φｄ Λｄ Φｄ Ｔ
と対角化して、固有ベクトルの行列Φを求める。この情報が現在認識対象としている人物の顔の特徴を示す部分空間となる。

このような方法で出力された部分空間のような特徴情報を入力された画像で検出された顔に対する個人の顔特徴情報とする。

属性特徴抽出部１５２は、顔検出部１２０で検出された顔領域の情報を利用して人物の属性情報を求めるための特徴情報を計算する。本実施形態で説明する属性情報としては、年齢、性別、眼鏡の種類、マスク種類、帽子の種類の５種類として進めるが、他にも人種、眼鏡の有無（１か０かの情報）、マスクの有無（１か０かの情報）、帽子の有無（１か０かの情報）、顔への装着品（ピアス、イヤリングなど）、服装、表情、肥満度、裕福度などがあげられるが、いずれも後述の属性判定方法のように事前にカテゴリごとの学習をしておくことで対応が可能であることは明らかである。

属性を判断するために利用する特徴情報を計算する手法については、顔特徴抽出部１５１と同一の部分空間法で実現可能であるため詳しい部分空間法の計算方法については省略するが、属性特徴については各属性に適した特徴情報があるため、より適した特徴情報抽出処理を利用してもかまわない。

年齢や性別に関する属性特徴の計算方法については、より精度をあげるために年齢、性別それぞれに適した前処理を適用することで、顔の個人特徴での類似度を求めるのでなく、年齢や性別に適した類似性を求めるための特徴情報を計算することが可能である。たとえば、年齢については、年齢が高くなるほど皺が増えてくることから、皺を強調する線分強調フィルタを事前にかけてもよいし、性別については、髭が強調される周波数成分を強調するフィルタや骨格情報が強調されるようなフィルタなどを前処理として適用することが考えられる。

眼鏡やマスク、帽子に関する特徴情報については、顔検出部１２０によって求められた顔の部位の位置情報から領域を絞りこんで、その領域に対する部分空間を計算することで同様の特徴情報が得られる。たとえば、目、目じり、目頭の位置がわかっていれば、その両目付近だけの画像を切り出して部分空間の計算対象とすることで、眼鏡に対する特徴情報が得られる。

マスクも同様に、口と鼻の座標を基に領域を絞り込むことで、特徴情報が計算できる。帽子については、目および眉の位置がわかっていれば顔の肌領域の上端が推定されるため、顔の頭部領域を絞り込んで帽子を被っているので、帽子が存在する領域を推定することができる。

このように、眼鏡、マスク、帽子といったものについては、顔検出部１２０で求められた情報から位置を推定することでも実現が可能であるため、他の属性についても同様の処理が可能であることは明らかである。直接その着用物を検出するアルゴリズムも世の中には存在しているため、そのような手法を用いてもかまわない。

なお、眼鏡、マスク、帽子については、着用していなければ着用していないと明示的に特徴をわけてもかまわないが、着用していなければいないで顔の肌の情報がそのまま出てくるため、眼鏡やマスク、サングラスといった特徴情報とは異なる特徴が出るだけであるため、特に分類をしなくてもよい。

人物情報管理部１６０は、顔検索部１７１や属性検索部１７２で検索するときに利用する対象となるデータベースであり、検索対象となる個人ごとに顔特徴抽出部１５１で抽出された顔特徴情報、および、属性特徴抽出部１５２で抽出された属性情報を同一の人物ごとに対応付けて管理する。図３にその管理情報の構成例を示す。

顔の特徴情報（顔特徴情報）および属性の特徴情報として実際に管理する内容は、顔特徴抽出部１５１で抽出されたデータそのものでよく、ｍ×ｎの特徴ベクトルや、部分空間やＫＬ展開を行なう直前の相関行列でも構わない。さらに、顔特徴抽出部１５１で抽出される顔特徴情報を画像入力部１１０により登録時に入力された顔画像とともに管理することで、個人の検索や検索の表示に利用することができる。また、管理するために人物ごとに割り振った人物ＩＤ（識別情報）や、本実施形態を実現するために必須な要件ではないが、事前にテキスト情報で別の付帯情報や属性情報を対応付けて管理することも可能である。

顔検索部１７１は、顔特徴抽出部１５１で計算された入力画像に対する顔特徴情報と、事前に複数の顔画像とともに登録されている人物情報管理部１６０内の顔特徴情報との類似度を示す計算を行なって、より類似度の高いものから順番に顔画像の検索結果を返す処理を行なう。この際に、検索処理の結果としては類似性の高いものから順番に人物情報管理部１６０内で個人を識別するために管理されている人物ＩＤ、計算結果である類似度を示す指標を返す。それに加えて、人物情報管理部１６０で個人ごとに管理されている情報を一緒に返すようにしてもかまわないが、基本的に人物ＩＤにより対応付けが可能であるので、検索処理自体では付属情報をやりとりすることはなくても実現が可能となる。

類似性を示す指標としては顔特徴情報として管理されている部分空間同士の類似度とする。計算方法は、部分空間法や複合類似度法などの方法を用いてよい。この方法では、あらかじめ蓄えられた登録情報の中の認識データも、入力されるデータも複数の画像から計算される部分空間として表現され、２つの部分空間のなす「角度」を類似度として定義する。ここで入力される部分空間を入力手段分空間という。

入力データ列に対して同様に相関行列Ｃｉｎを求め、
Ｃｉｎ＝Φｉｎ Λｉｎ ΦｉｎＴ
と対角化し、固有ベクトルΦｉｎを求める。２つのΦｉｎ，Φｄで表される部分空間の部分空間間類似度（０．０〜１．０）を求め、これを認識するための類似度とする。具体的な計算方法については、顔特徴抽出部１５１で紹介した文献３（エルッキ・オヤ）で実現が可能である。また、あらかじめ同一人物と分かる複数の顔画像をまとめて部分空間への射影によって本人であるかどうかを識別することで精度を向上させることも可能であり、前述した文献１，４，５でも同様の処理を行なうこともできる。

属性検索部１７２は、属性特徴抽出部１４２で計算された入力画像に対する属性の属性特徴情報と、事前に複数の顔画像とともに登録されている人物情報管理部１６０内の属性特徴情報との類似度を示す計算を行なって、より類似性の高いものから順番に顔画像の検索結果を返す処理を行なう。

この際、検索処理の結果としては、検索条件設定部１３０において設定されている条件にあわせて計算を行ない、「検索する」とチェックがついている属性に対し、「並び順」が「高い順」であれば類似性の高いものから順番に人物情報管理部１６０内で個人を識別するために管理されている人物ＩＤ、計算結果である類似性を示す指標を返し、「低い順」となっていればその反対の順番で結果を返す。

なお、検索条件設定部１３０において「自動」の設定がされていた場合には、後に最適な検索結果を選択できるように検索可能な属性情報に関して全て検索結果を求めておき、同時に検索結果で入力画像に近いものがヒットしているかどうかを示す信頼度の指標を計算しておくようにする。

この信頼度としては以下のような方法で求めることが可能である。
まず、第１の方法としては、検索結果の上位Ｎ位（Ｎは１以上とし、人物情報管理部１６０に登録されている件数以下）までの類似度、またはその平均値が最も高いとされる検索結果を選択する方法で、上位候補者の類似度の絶対値を指標に用いる方法である。

基本的にはＮ＝１として、１位の検索結果の類似度が最も高い属性を選択すればよい。属性の特性によっては類似度の分布の傾向が異なる可能性があるため、類似度全体の平均値や標準偏差を利用して類似度の正規化を行なうことも可能である。たとえば、類似度に対して類似度の平均値を引くとともに、標準偏差で割ることによって類似度の絶対値および類似度の分散に対する正規化を行なうことが可能となる。

次に、第２の方法としては、検索結果の上位Ｎ位（Ｎは第１の方法と同等）までの検索結果と、Ｎ＋１位からＭ位（ＭはＮ＋１以上で人物情報管理部１６０に登録されている件数以下）までの２つの類似度群の平均類似度の差、または平均類似度の比率、または分離度を求めることで、それらの指標が最も大きくなる属性がより「他の登録情報よりもぬきんでて近い登録情報が存在する」ことを示すことになり、検索結果として有効であることを示す。こちらは上位候補者の類似度と下位候補者の類似度との相対関係を指標に用いる方法である。

検索結果管理部１８０は、属性検索部１７２で得られた検索結果および顔検索部１７１で得られた検索結果から、検索条件設定部１３０で設定した内容にあわせて検索結果を管理し、検索条件設定部１３０により自動設定がされていた場合には、所定の評価値によって最も信頼度が高い検索結果を１つまたは複数選択し、自動設定がされていない場合には、検索条件設定部１３０で事前に設定された属性情報を利用した検索結果を選択する。

まず、検索条件設定部１３０において「自動」の設定がされていない場合には、顔検索部１７１によって得られた検索結果、および、属性検索部１７２によって得られた検索結果を検索条件設定部１３０によって設定された内容にあわせて表示できるように検索結果を出力する。ただし、検索条件設定部１３０において、「類似度統合」にチェックが付いている場合には、顔検索部１７１で計算された結果と類似度値を統合して結果を返すことになる。この場合は以下のような式（１）で計算すれば実現ができる。

Ｓｉｍ（ｉ）＝α＊ＳｉｍＦａｃｅ（ｉ）＋β＊Ｓｉｍ（ｉ）……（１）
ここで、ｉは人物情報管理部１６０で管理されている人物ＩＤのインデックスであり、ＳｉｍＦａｃｅ（ｉ）はｉ番目の人物ＩＤに対応する顔特徴情報との類似度、Ｓｉｍ（ｉ）はｉ番目の人物ＩＤに対応する該当する属性の特徴情報（ここではマスク）との類似度、αとβは顔の特徴情報と属性の特徴情報の重みによって決められる係数であり、検索条件設定部１３０で個別に設定をしておくことができるため、この数値を引用してもよいし、装置として事前に設定しておいてもよい。

これによって、属性特徴だけを考慮した類似度順だけでなく、顔の特徴として似ているものと属性特徴（ここではマスク）の特徴情報が似ているものを登録された顔画像の中から候補画像として表示させることが可能となる。

また、ここでは顔の特徴情報と１つの属性情報での類似度の統合を行なっているが、複数の属性情報の類似度を統合してもよい。この場合は、上記式（１）の右辺にその属性情報の類似度に係数をかけた値が加算されるように修正することで対応が可能である。

検索条件設定部１３０において「自動」が選択されていた場合には、顔検索部１７１および属性検索部１７２によって得られた検索結果の中から、登録されている顔画像から入力画像と類似する検索結果を示している度合いを示す信頼度の高いものを順に自動的に選択して検索結果として出力するようにする。

出力部１９０は、検索結果管理部１８０により選択された検索結果を表示出力する。本実施形態では、図２に示した例のように、顔の特徴および年齢、マスクの属性を使った検索結果を表示する例で説明しているが、検索条件設定部１３０で設定された内容にあわせて表示出力を行なうものとする。

以上のような構成において、第１の実施形態に係る全体的な処理の流れについて図４に示すフローチャートを参照して説明する。
なお、以下の説明は、検索条件設定部１３０での設定内容が図２に示した例のようになっているものとする。したがって、この場合、顔の特徴および年齢、マスクの属性を用いた検索が行なわれ、その検索結果が表示される。

図４において、画像入力部１１０により画像が入力されると（ステップＳ１）、顔検出部１２０は、画像入力部１１０により入力された画像から顔領域を検出する（ステップＳ２）。その後、３つの検索結果が計算される。

まず、顔特徴を使った検索結果の処理手順を説明する。顔特徴抽出部１５１は、顔検出部１２０により検出された顔領域から顔特徴情報を抽出する（ステップＳ３）。次に、顔検索部１７１は、顔特徴抽出部１５１により抽出された顔特徴情報と人物情報管理部１６０に登録されている顔特徴情報との比較を行なうことにより、両顔特徴情報の類似度を計算し、類似度の高いものから順番にあらかじめ定められた複数の対応する顔画像を人物情報管理部１６０から検索し（ステップＳ４）、その検索結果を検索結果管理部１８０を介して出力部１９０へ送り、たとえば図５に示すように、顔の特徴情報を利用した顔画像の検索結果を表示する（ステップＳ５）。

次に、マスク属性を使った検索結果の処理手順を説明する。属性特徴抽出部１５２は、顔検出部１２０により検出された顔領域からマスク特徴での属性特徴情報を抽出する（ステップＳ６）。次に、属性検索部１７２は、属性特徴抽出部１５２により抽出された属性特徴情報と人物情報管理部１６０に登録されている属性特徴情報との比較を行なうことにより、両属性特徴情報の類似度を計算し、類似度の高いものから順番にあらかじめ定められた複数の対応する顔画像（同じようなマスク着用状態である人物の顔画像）を人物情報管理部１６０から検索し（ステップＳ７）、その検索結果を検索結果管理部１８０を介して出力部１９０へ送り、たとえば図５に示すように、マスクの特徴情報を利用した顔画像の検索結果を表示する（ステップＳ８）。

この例の場合、図２に示すようにマスク特徴については「類似度統合」が「あり」であることから、ステップＳ４による顔特徴情報を利用した検索結果とステップＳ７によるマスク特徴情報を利用した検索結果をあらかじめ検索条件設定部１３０で設定した重みで順位を統合して検索結果を表示する。

最後に、年齢属性を使った検索結果の処理手順を説明する。属性特徴抽出部１５２は、顔検出部１２０により検出された顔領域から年齢の属性特徴情報を抽出する（ステップＳ９）。次に、属性検索部１７２は、属性特徴抽出部１５２により抽出された属性特徴情報と人物情報管理部１６０に登録されている属性特徴情報との比較を行なうことにより、両属性特徴情報の類似度を計算し、類似度の高いものから順番にあらかじめ定められた複数の対応する顔画像（同じような年齢に属する人物の顔画像）を人物情報管理部１６０から検索し（ステップＳ１０）、その検索結果を検索結果管理部１８０を介して出力部１９０へ送り、たとえば図５に示すように、年齢の属性特徴情報を利用した顔画像の検索結果を表示する（ステップＳ１１）。

なお、ステップＳ３，Ｓ６，Ｓ９の処理は、順次行なってもよく、あるいは、並行して行なってもよい。

図５の画面表示例では、画像入力部１１０で入力される入力画像１をそのまま表示し、顔検出部１２０で検出した顔領域に対して矩形を表示している。この例では、入力画像１に複数の人物が存在するため、どの顔画像を検索対象としているのかがわかりやすいように、検索対象の顔画像は実線の矩形２、検索対象外の顔画像については破線の矩形３で表示している。
なお、検索対象の顔画像を切換えたければ、たとえば、図示しないマウスなどでそれぞれの顔領域をクリックすることで、検索対象を切換えられるようにすればよい。

図５の画面の右上に並んでいる画像群４は、顔画像の特徴情報（顔特徴情報）を基に人物情報管理部１６０の中で管理されている顔画像（顔特徴情報）と比較して類似度が高いと判定された順番に並んで表示された顔画像であり、その下方には表示された顔画像に対応する人物ＩＤと類似度の計算結果５が表示される。

図５の例では、上位５名を検索結果として表示しているが、上位何位までを表示するかは事前に設定変更が可能なようにしてもよいし、表示できない順位の顔画像については、たとえば、ボタン操作によって次の順位の画像が順番に出るようにしてもよいし、スクロールバーによってスクロールさせて顔画像を表示させてもよい。

画像群４の下部に２列横に並んでいる画像群６，８は、上段の画像群６が年齢属性情報での検索結果、下段の画像群８がマスク属性情報での検索結果となる。これらの画像群６，８も、類似度が高いと判定された順番に並んで表示され、その下方には表示された顔画像に対応する人物ＩＤと類似度の計算結果７，９が表示される。
各画像群６，８の左側には、検索条件設定部１３０で設定された内容がわかるように、対応する設定情報１０，１１が表示される。

このような検索結果の表示から、入力画像の顔に近いとされる顔画像の特徴情報を使った検索結果が上に並ぶほか、入力された顔画像と「年齢の一番近そうな人」を順に並べた結果、入力された顔画像と「顔が似ていて、着用しているマスクも似ている顔」の類似度が高い順に並んだ結果が同時に表示される。

これによって、顔画像の特徴情報での検索精度が低下しやすい顔の隠蔽物（たとえば、マスクやサングラス）があった場合には、その隠蔽物そのものに近い情報で検索をしたり、顔の特徴と隠蔽物を両方考慮した検索結果を同時に表示させたりすることができる。

また、並び順を「低い順」にすることで、入力されている顔画像にはマスクがついていた場合に、「顔特徴の類似度」と「マスクをつけていない顔」で探すといったことも可能となる。

なお、上記第１の実施形態では、３種類の検索結果を並べて上下に表示しているが、項目数は検索条件設定部１３０によって変わるので、表示領域を広げたり縮小したり、あるいは、スクロールして複数の検索結果が切換えられるようにしてもかまわない。
また、属性ごとに縦軸と横軸をかえて十字型に顔画像を並べて表示してもよいし、立体的に類似画像を表示してマウスで操作しながら類似画像を順番に表示できるようにしてもよい。

以上説明したように第１の実施形態によれば、あらかじめ登録された複数の顔画像の中から、入力された顔画像に類似する顔画像を検索する場合、入力された顔画像と類似している顔画像の候補の一覧を表示するだけでなく、個人を特定するのではなく年齢や性別、着用物などといった属性情報による視点での類似した顔画像の候補を同時に視覚的に確認できるようにすることで、複数の視点から類似した顔画像の候補の一覧をも同時に表示して目視確認ができるようになる。

次に、第２の実施形態について説明する。
図６は、第２の実施形態に係る顔画像検索装置の構成を概略的に示すものである。第２の実施形態に係る顔画像検索装置は、撮像対象人物Ｍの少なくとも顔を含む画像を入力するＩＴＶカメラ２０９を含む画像入力部（画像入力手段）２１０、画像入力部２１０により入力された入力画像から少なくとも１つの顔領域を検出する顔検出部（顔検出手段）２２０、検索条件を設定するために検索対象とする属性の種類や検索結果の出力方法等を設定する検索条件設定部（検索条件設定手段）２３０、画像入力部２１０により入力された入力画像に対して所定の部分領域画像を合成するための部分領域画像を管理する合成画像管理部（合成画像管理手段）２４５、検索条件設定部２３０により設定された条件に基づき画像入力部２１０により入力された入力画像（実際は顔検出部２２０により検出された顔領域画像）に対して画像合成が選択された属性情報について合成画像管理部２４５により管理される部分領域画像を合成した画像を作成する画像合成部（画像合成手段）２４０、顔検出部２２０により検出された顔領域から得られる顔画像の個人特徴を示す顔特徴情報を抽出する顔特徴抽出部（顔特徴抽出手段）２５１、顔検出部２２０により検出された顔領域から得られる人物の属性情報（年齢、性別、眼鏡の有無、マスクの有無、帽子の有無、人種等）を識別するための属性特徴情報を抽出する属性特徴抽出部（属性特徴抽出手段）２５２、あらかじめ登録されている顔画像とそれに対する顔特徴情報および属性特徴情報等を対応付けて管理する人物情報管理部（人物情報管理手段）２６０、顔特徴抽出部２５１により抽出された入力画像に対する顔特徴情報と人物情報管理部２６０により管理されている顔特徴情報とを比較することにより、前記入力画像に対する顔特徴情報が人物情報管理部２６０により管理されている顔特徴情報の中のどの顔特徴情報と一番類似しているかの類似度を求め、類似度の高いものから順番にあらかじめ定められた複数の対応する顔画像を人物情報管理部２６０から検索する顔検索部（顔検索手段）２７１、属性特徴抽出部２５２により抽出された入力画像に対する属性特徴情報あるいは画像合成部２４０により合成された画像に対する属性特徴情報と人物情報管理部２６０により管理されている属性特徴情報とを比較することにより両属性特徴情報の類似度を求め、類似度の高いものから順番にあらかじめ定められた複数の対応する顔画像を人物情報管理部２６０から検索する属性検索部（属性検索手段）２７２、属性検索部２７２により得られた複数の検索結果、および、これら複数の検索結果の中から必要に応じて自動的に選択された最適な検索結果、および、顔検索部２７１により得られた検索結果の中から検索条件設定部２３０により設定された内容に合致する検索結果を選択する検索結果管理部（検索結果管理手段）２８０、検索結果管理部２８０により選択された検索結果を出力する出力部（出力手段）２９０を有して構成される。

なお、画像入力部２１０、顔検出部２２０、顔特徴抽出部２５１、属性特徴抽出部２５２、人物情報管理部２６０、顔検索部２７１、検索結果管理部２８０については、前述した第１の実施形態におけるそれらと同様であるため、ここでは説明を省略し、第１の実施形態と異なる部分についてだけ説明する。

検索条件設定部２３０は、図７に示すように、第１の実施形態と同様に検索に利用する属性情報の選択や検索結果の出力方法について設定を行なうことになるが、第２の実施形態では「画像合成」の項目が追加される。ここで「合成あり」を選択した場合には、画像合成部２４０において合成する画像を設定するようになる。構成としては、この設定画面において直接画像合成の設定をできるようにしてもかまわない。そのほかの処理や設定画面については、前述した第１の実施形態と同様であるため、説明は省略する。

画像合成部２４０は、たとえば、図８に示すような合成画像作成画面において、検索条件設定部２３０で「合成あり」とされた属性情報に対してどのような画像を合成するのかを選択するとともに、実際の入力画像（顔検出部２２０により検出された顔領域画像）に対して画像の合成処理を行なう。

図８の合成画像作成画面は、入力画像表示部２１および合成アイテム表示部２２から構成されており、本例では、検索条件設定部２３０で画像合成ありが「マスク」と設定されていることから、合成アイテム表示部２２のカテゴリ２３には「マスク」と表示される。検索条件設定部２３０において複数の「合成あり」の設定がされれば、ここはリストから属性の種類を切換えられるようにすれば、複数の条件での合成も可能となる。

さらに、合成アイテム表示部２２には、選択したカテゴリについて合成する画像の部分領域画像がアイコン２４の形で表示される。このアイコン２４から合成したい画像を図示しないマウスの操作により選択して、入力画像表示部２１の入力画像（顔検出部２２０により検出された顔領域画像）２５に対してドラッグすることで、マスク画像の合成が可能となっている。なお、図示しないマウスの操作によって拡大、縮小、回転といった操作ができるようにすることも、実現可能であるのは明らかである。

また、合成アイテム表示部２２には、希望する部分領域が存在しない場合や、所定の画像が外部から入力される場合に備えて、新規アイテムの取込釦２６が設けられていて、その取込釦２６が押下された場合には、別途画像ファイルを読込んでアイテムが追加できるようになっている。この際、画像の部分領域を切り出せるように画像を表示して、マウス操作によって切り出した部分領域をアイテムとして取込めるようにすればよい。

なお、図８において、２７は削除釦、２８は確定釦、２９はキャンセル釦で、これらは合成アイテム表示部２２に表示される。また、３０は入力画像２５に合成されるマスク画像を示していて、図示しないマウスの操作でドラッグすることにより合成される。

合成画像管理部２４５は、画像合成部２４０において合成する部分領域画像をデータベースとして管理する。属性ごとに「カテゴリ」として分類して、そのカテゴリごとに合成する画像を管理する。
なお、画像合成部２４０の合成画像作成画面において、削除釦２７や新規アイテムの取込釦２６の操作により、アイテムの削除や新規追加ができるようになっている。

属性検索部２７２は、検索条件設定部２３０で図７に示すような設定を行なっているため、顔特徴情報を利用した検索以外には、マスクの属性特徴情報を利用した検索結果（顔特徴情報の類似度との統合あり）を計算するとともに、画像合成部２４０において合成した画像に対しての検索結果を求める。

なお、本実施形態においては、属性検索部２７２において合成画像での検索結果を求める場合、合成画像から抽出したマスクの属性特徴情報を利用して検索するようにしているが、属性特徴情報を顔特徴情報に切換えて、顔画像全体での検索を行なうようにしてもかまわない。

出力部２８０は、画像合成がある場合は合成画像を表示する点が前述した第１の実施形態と異なり、それ以外は第１の実施形態と同様であるため、ここでは説明を省略する。

以上のような構成において、第２の実施形態に係る全体的な処理の流れについて図９に示すフローチャートを参照して説明する。
なお、以下の説明は、検索条件設定部２３０での設定内容が図７に示した例のようになっているものとする。したがって、この場合、顔特徴情報を利用した検索以外に、マスクの特徴情報を利用した検索が行なわれるとともに、合成した画像に対しての検索も行なわれ、その検索結果が表示される。

図９において、画像入力部２１０により画像が入力されると（ステップＳ２１）、顔検出部２２０は、画像入力部２１０により入力された画像から顔領域を検出する（ステップＳ２２）。その後、３つの検索結果が計算される。

まず、顔特徴を使った検索結果の処理手順を説明する。顔特徴抽出部２５１は、顔検出部２２０により検出された顔領域から顔特徴情報を抽出する（ステップＳ２３）。次に、顔検索部２７１は、顔特徴抽出部２５１により抽出された顔特徴情報と人物情報管理部２６０に登録されている顔特徴情報との比較を行なうことにより、両顔特徴情報の類似度を計算し、類似度の高いものから順番にあらかじめ定められた複数の対応する顔画像を人物情報管理部２６０から検索し（ステップＳ２４）、その検索結果を検索結果管理部２８０を介して出力部２９０へ送り、たとえば図１０に示すように、顔の特徴情報を利用した顔画像の検索結果を表示する（ステップＳ２５）。

次に、マスク属性を使った検索結果の処理手順を説明する。属性特徴抽出部２５２は、顔検出部２２０により検出された顔領域からマスク特徴での属性特徴情報を抽出する（ステップＳ２６）。次に、属性検索部２７２は、属性特徴抽出部２５２により抽出された属性特徴情報と人物情報管理部２６０に登録されている属性特徴情報との比較を行なうことにより、両属性特徴情報の類似度を計算し、類似度の高いものから順番にあらかじめ定められた複数の対応する顔画像（同じようなマスク着用状態である人物の顔画像）を人物情報管理部２６０から検索し（ステップＳ２７）、その検索結果を検索結果管理部２８０を介して出力部２９０へ送り、たとえば図１０に示すように、マスクの特徴情報を利用した顔画像の検索結果を表示する（ステップＳ２８）。

この例の場合、図７に示すようにマスク特徴については「類似度統合」が「あり」であることから、ステップＳ２４による顔特徴情報を利用した検索結果とステップＳ２７によるマスク特徴情報を利用した検索結果をあらかじめ検索条件設定部２３０で設定した重みで順位を統合して検索結果を表示する。

最後に、合成画像によるマスク属性を使った検索結果の処理手順を説明する。検索条件設定部２３０においてマスク画像合成ありを選択した場合（この例の場合、図７に示すようにマスク特徴については「画像合成」が「合成あり」となっている）、画像合成部２４０において入力画像（顔検出部２２０により検出された顔領域画像）に対しマスク画像を合成する（ステップＳ２９）。次に、属性特徴抽出部２５２は、画像合成部２４０により合成された合成画像からマスク特徴での属性特徴情報を抽出する（ステップＳ３０）。次に、属性検索部２７２は、属性特徴抽出部２５２により抽出された属性特徴情報と人物情報管理部２６０に登録されている属性特徴情報との比較を行なうことにより、両属性特徴情報の類似度を計算し、類似度の高いものから順番にあらかじめ定められた複数の対応する顔画像（同じようなマスク着用状態である人物の顔画像）を人物情報管理部２６０から検索し（ステップＳ３１）、その検索結果を検索結果管理部２８０を介して出力部２９０へ送り、たとえば図１０に示すように、合成画像によるマスクの特徴情報を利用した顔画像の検索結果を表示する（ステップＳ３２）。

なお、ステップＳ２３，Ｓ２６，Ｓ２９（Ｓ３０）の処理は、順次行なってもよく、あるいは、並行して行なってもよい。

図１０の画面表示例は、基本的には第１の実施形態における図５とほぼ同様であるが、画像群４の下部に並んでいる年齢属性情報での検索結果による画像群６が、合成画像に対するマスク属性情報での検索結果による画像群１２に置き換わった点と、各画像群６，１２と設定情報１０，１１との間に合成画像１３が表示される点が異なり、その他は図５と同様である。

以上説明したように第２の実施形態によれば、第１の実施形態と同様の作用効果が得られるほか、所定の部分領域画像を合成させることによって、入力された画像と属性の状態が変化した場合でも、類似した顔画像を精度よく検索することができる。

次に、第３の実施形態について説明する。
図１１は、第３の実施形態に係る顔画像検索装置の構成を概略的に示すものである。第３の実施形態に係る顔画像検索装置は、撮像対象人物Ｍの少なくとも顔を含む画像を入力するＩＴＶカメラ３０９を含む画像入力部（画像入力手段）３１０、画像入力部３１０により入力された入力画像から少なくとも１つの顔領域を検出する顔検出部（顔検出手段）３２０、検索条件を設定するために検索対象とする属性の種類や検索結果の出力方法等を設定する検索条件設定部（検索条件設定手段）３３０、顔検出部３２０により検出された顔領域から得られる顔の個人特徴を示す顔特徴情報を抽出する顔特徴抽出部（顔特徴抽出手段）３５１、顔検出部３２０により検出された顔領域から得られる人物の属性情報（年齢、性別、眼鏡の有無、マスクの有無、帽子の有無、人種等）を識別するための属性特徴情報を抽出する属性特徴抽出部（属性特徴抽出手段）３５２、あらかじめ登録されている顔画像とそれに対する顔特徴情報および属性特徴情報等を対応付けて管理する人物情報管理部（人物情報管理手段）３６１、あらかじめ１つまたは複数の属性を判別するために各属性の属性特徴情報を管理する属性別特徴情報管理部（属性別特徴情報管理手段）３６２、属性特徴抽出部３５２により抽出された属性特徴情報と属性別特徴情報管理部３６２により管理されている属性特徴情報とを比較することにより、画像入力部３１０により入力された顔画像がどの属性に該当するか判別し、その判別結果を人物情報管理部３６１に対し記録する属性判別部（属性判別手段）３５３、顔特徴抽出部３５１により抽出された入力画像に対する顔特徴情報と人物情報管理部３６１により管理されている顔特徴情報とを比較することにより、入力画像に対する顔特徴情報が人物情報管理部３６１により管理されている顔特徴情報の中のどの顔特徴情報と一番類似しているかの類似度を求め、類似度の高いものから順番にあらかじめ定められた複数の対応する顔画像を人物情報管理部３６１から検索する顔検索部（顔検索手段）３７１、人物情報管理部３６１により管理されている属性判別部３５２により画像を利用して自動的に判別された属性特徴情報と検索条件設定部３３０により設定された検索条件とを比較することにより、検索条件設定部３３０により設定された検索条件が人物情報管理部３６１により管理されている属性特徴情報の中のどの属性特徴情報に該当するかを判別し、該当する属性特徴情報と対応する顔画像を人物情報管理部３６１から検索する第１の属性検索部（第１の属性検索手段）３７２、人物情報管理部３６１により管理されている手動で与えられた文字列としての属性特徴情報と検索条件設定部３３０により設定された検索条件とを比較することにより、検索条件設定部３３０により設定された検索条件が人物情報管理部３６１により管理されている属性特徴情報の中のどの属性特徴情報に該当するかを判別し、該当する属性特徴情報と対応する顔画像を人物情報管理部３６１から検索する第２の属性検索部（第２の属性検索手段）３７３、第１および第２の属性検索部３７２，３７３により得られた各検索結果および顔検索部３７１により得られた検索結果を検索条件設定部３３０により設定された内容にあわせて出力する出力部（出力手段）３８０を有して構成される。

なお、画像入力部３１０、顔検出部３２０、顔特徴抽出部３５１、属性特徴抽出部３５２、顔検索部３７１については、前述した第１、第２の実施形態におけるそれらと同様であるため、ここでは説明を省略し、第１、第２の実施形態と異なる部分についてだけ説明する。

検索条件設定部３３０は、図１２に示すように、検索条件について複数の属性情報に対して検索対象とするかどうか、検索結果を表示するかどうか、検索対象とする属性のクラス、検索対象とする属性のクラスと一致するものを選ぶのか一致しないものを選ぶのか、画像の属性特徴情報を利用して自動的に付与された属性情報を利用する検索（第１の属性検索部３７２）を利用するのか、手動で与えた属性情報を利用する検索（第２の属性検索部３７３）を利用するのかを設定する。

本実施形態では、簡単にするために年齢と性別を利用した例とするが、図１２に記載されている属性の外の属性を選択しても同じように対象となる属性を選択できることにする。たとえば、マスクについては「マスクなし」、「白い立体マスク」、「白い平面マスク」、「青いマスク」、眼鏡については「眼鏡なし」、「透明のレンズの眼鏡」、「サングラス」、帽子については「帽子なし」、「野球帽」、「シルクハット」、「ハンチングハット」、「ヘルメット」、「ベレー帽」などといった、それぞれの属性に対して事前に複数のクラスに分類しておいて、検索条件設定部３３０で選択するようにすればよい。

なお、本実施形態では、複数の属性情報があった場合に個別に検索するようにしているが、複数の属性情報での検索の論理積（ＡＮＤ）をとった結果や論理和（ＯＲ）をとった結果、あるいは、論理積と論理和との組合わせでの絞り込みを行なうようにするための設定画面を準備してもよい。

人物情報管理部３６１は、顔検索部３７１や第１、第２の属性検索部３７２，３７３で検索するときに利用する対象となるデータベースであり、検索対象となる個人ごとに人物ＩＤを割り振り、顔特徴抽出部３５１で抽出された顔特徴情報、および、第１の属性検索部３７２で利用する画像特徴によって自動的に求められた属性特徴情報、および、第２の属性検索部３７３で利用する手動で与えられた属性特徴情報を示す文字列（クラス名）を各人物ＩＤに対応付けて管理する。図１３にその管理情報の構成例を示す。

顔特徴情報の中身については第１の実施形態と同様であるため省略する。ここではクラス名を文字列としたが、文字列でなくクラスを示す識別インデックス（Ｉｎｄｅｘ）を数値として持っていてもかまわない。

また、画像の特徴情報を利用した属性特徴情報については、検索を行なう段階よりも前に既に人物情報管理部３６１への登録操作の段階で自動的に属性判別結果が記録されていることとするが、手動の属性特徴情報については、本装置の利用者が明示的に値を入力しなければ属性特徴情報が付与されていないとして、図１３に「Ｎ／Ａ」と記載されている項目のように「属性情報なし」で管理し、後から追加することも可能とする。後から追加する方法としては、出力部３８０で表示される検索結果を基にＧＵＩベースで追加することも可能であるが、別途人物ＩＤと属性情報とを対応付けした電子ファイルを取込むことや、登録された情報の一覧表示画面において手動で付与するようにしてもよい。

属性別特徴情報管理部３６２は、判別対象となっている属性についてそれぞれを代表する属性特徴情報を管理する。たとえば、性別であれば男性と女性を識別するためにそれぞれの属性特徴情報を管理する。それぞれの属性特徴情報は、属性特徴抽出処理と同様の手法を用いて取得することになるが、個人ごとのばらつきを抑えるために各属性でできる限り大量の顔画像を集め、属性ごとにそれらの平均的な属性特徴情報を求めることによって作成可能である。

具体的な方法は、第１の実施形態の顔特徴抽出部１５１や属性特徴抽出部１５２で説明している複数画像を利用して部分空間を作成する方法でよい。同様に、年齢については１０歳単位、マスクについては「マスクなし」、「白い立体マスク」、「白い平面マスク」、「青いマスク」、眼鏡については「眼鏡なし」、「透明のレンズの眼鏡」、「サングラス」、帽子については「帽子なし」、「野球帽」、「シルクハット」、「ハンチングハット」、「ヘルメット」、「ベレー帽」なども複数のカテゴリに分類して、それぞれに該当する画像を多く集めてそれらを代表する属性特徴情報を作成すればよい。

属性判別部３５３は、属性特徴抽出部３５２により抽出された属性特徴情報と属性別特徴情報管理部３６２で管理されている属性特徴情報とを比較することにより、画像入力部３１０により入力された顔画像がどの属性に該当するか判別し、その判別結果を人物情報管理部３６１に対し登録（記録）する。

具体的には、第１の実施形態および第２の実施形態で説明した属性特徴情報を抽出する手法により属性特徴情報を求めるまでは同様であるが、図１４に示すフローチャートに基づく処理を行なうことにより、属性特徴抽出部３５２で入力画像から抽出された属性特徴情報（年齢、性別）と属性別特徴情報管理部３６２で管理されている属性別の代表特徴情報（辞書）との類似度を求めることにより、その属性において最も類似度の近い属性に属すと判定する。

たとえば、性別であれば、男性の特徴情報（男性辞書）と女性の特徴情報（女性辞書）に対して、それぞれ入力画像から得られた属性特徴情報（性別特徴情報）との類似度を求め、類似度の高い方を入力画像に対する属性判別結果として出力すればよい。

すなわち、たとえば、特開２０１０−４４４３９号公報に記載されている技術のように、顔の局所的な勾配特徴の発生頻度を統計情報として保持する特徴量を利用し、その統計情報が最も男女を識別するような勾配特徴を選別して、その特徴を識別する識別器を学習によって求め、男女のような２クラスを判別する技術が適用できる。

性別判別のように属性が２クラスではなく、年齢推定のように３クラス以上である場合には、各クラス（ここでは年代）で平均的な顔特徴の辞書を作って、それぞれの辞書との類似度を求め、最大値をとったクラスを選択するということで簡単に実現できるが、より精度を高く年齢を推定する技術として、前述の２クラス判別器を利用した以下の手法で年齢を推定することが可能である。

まず、年齢を推定するために事前に識別したいクラスに分けて判別したい年齢ごとの顔画像を準備する。たとえば、１０歳から６０歳前後までの判別をしたい場合には、１０歳未満から６０歳以上までの顔画像をあらかじめ準備する。準備する枚数を集めるほど精度が向上できるほか、年代を幅広く集めると判別できる年齢も広がる。

次に、「基準年齢よりも上か下か」の判別をするための識別器を準備する。２クラス判別に利用する手法としては、線形判別分析などといった標準的な方法でも実現可能であるが、本実施形態ではＳｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ（以下「ＳＶＭ」と略す）、文献６（栗田多喜夫：「サポートベクターマシン入門」）を利用する。

ＳＶＭでは、判別したい２クラスを与えると、その２クラスを判別する境界条件を設定し、その境界からどのぐらいの距離にあるのかの指標を得ることができるため、本実施形態で基準とする年齢Ｎ歳よりも上の年齢に属する顔画像、下の年齢に属する顔画像を分類することで基準となる年齢よりも上か下かを判別することが可能となる。

たとえば、３０歳を基準年齢としたときに、３０歳よりも上か下かを判別するための画像群を準備し、３０歳以上を含む画像を正のクラス「３０歳以上」の画像として入力し、負のクラス「３０歳未満」の画像として準備してＳＶＭで学習を行なう。同様に、基準年齢を１０歳から６０歳までずらしながら準備した画像を基準年齢にあわせて２つに分類することで、ＳＶＭの学習器が基準年齢の数分だけ準備できる（本実施形態では１０歳から６０歳まで６個とするが、年齢の範囲や基準年齢をずらす単位は自由に変えてもよい）。

常に「基準年齢よりも上」とするクラスを「正」のクラスとして学習するようにすることで、「基準年齢よりも年齢が上の画像が入力されると指標はプラスの値を返す」ようになる。この判別処理を基準年齢を１０歳から６０歳までずらしながら実行していくことにより、基準年齢に対して上か下かの指標を得ることができるとともに、この出力された指標の中で、最も指標がゼロに近いところが出力すべき年齢に近いことになる。ここで、年齢の推定方法の一例を図１５に示す。

各基準年齢に対するＳＶＭの出力値が得られた後は、その出力値を縦軸に、横軸に基準年齢としたグラフを想定して出力値をプロットする。このプロットに対して出力値がゼロに近いとされる年齢を求めるため、以下の手法を利用することができる。

第１の手法としては、最もゼロに近いプロットを選択する。図１５の場合であれば、基準年齢３０歳が最もゼロに近いため、「３０代」として返すことができる。プロットが不安定で上下に変動する場合には、隣接する基準年齢との移動平均をとることで安定して年代を返すことができる。

第２の手法としては、出力されたプロットを基に近似関数を求め、その関数が縦軸と交差するときの横軸の値を推定年齢とするものである。図１５のように、一次関数の直線で近似を取ることにより交点のおよそ３３歳という年齢を出力することができる。近似関数を求めるときに全てのプロットで１つの近似関数を求めるのではなく、部分集合（たとえば、隣接する３つの基準年齢に対するプロット）に対する近似関数を複数求め、最も近似誤差が少ない関数に該当する横軸との交点を出力するという方法も可能である。

以上説明した年齢推定方法を纏めてフローチャートであらわしたものを図１６に示す。
なお、上記以外にも所定の変換関数を通して得られた値でクラスを判別する方法を用いてもよい。

ここで得られた結果については、人物情報管理部３６１に記録することで、今後は画像情報を使った属性検索を行なう際に再度、人物情報管理部３６１の情報に対する属性判別処理をしなくてもよいようにできる。

なお、本実施形態では、検索条件を設定したときに人物情報管理部３６１に情報が入っていないかどうかをチェックしているが、事前に顔画像を登録する際に自動的に全ての属性に対して画像特徴を利用した属性判別結果を求めて記録しておけば、毎回検索を行なうたびにこのような処理をしなくてもよい。

第１の属性検索部３７２は、人物情報管理部３６１で各人物ＩＤに対応付けされて管理されている画像の属性特徴情報を利用して自動的に記録されている属性情報に対し、検索条件設定部３３０において設定された検索条件にあわせて検索を行なう。

本実施形態では、「年齢」について「３０代」と一致するものを画像処理による属性情報の自動判別結果を基に検索することになっているため、図１３に示したように人物情報管理部３６１で管理されている「属性情報（自動）」の「年齢」で記録されている中で「３０代」で一致する顔画像を検索結果として出力する。この例の場合、人物ＩＤが「０００２」および「０００３」の顔画像（人物）が検索結果として出力される。

第２の属性検索部３７３は、人物情報管理部３６１で各人物ＩＤに対応付けされて管理されている手動で与えられた属性特徴情報に対し、検索条件設定部３３０において設定された検索条件にあわせて検索を行なう。

本実施形態では、「性別」について「男性」と一致するものを「手動付与」を対象として検索することになっているため、図１３に示したように人物情報管理部３６１で管理されている「属性情報（手動）」の「性別」で記録されている中で「男性」で一致する顔画像を検索結果として出力する。この例の場合、人物ＩＤが「０００２」および「０００３」および「０００４」の顔画像（人物）が検索結果として出力される。

なお、第２の属性検索部３７３が検索対象とする人物情報管理部３６１の属性情報（手動）では、本装置の利用者が手動で付与をしない限りは属性特徴情報が記録されておらず、「Ｎ／Ａ」となっているため、ここでの検索対象からは除外される。
また、検索条件設定部３３０で検索対象を「Ｎ／Ａ」とした場合には、「Ｎ／Ａ」のものだけが検索結果として出力されるようにもできる。

出力部３８０は、顔検索部３７１で得られた検索結果および第１、第２の属性検索部３７２，３７３の各検索結果を検索条件設定部３３０で設定された内容にあわせて表示出力を行なう。

以上のような構成において、第３の実施形態に係る全体的な処理の流れについて説明する。
まず、人物情報管理部３６１への人物（顔画像、属性情報）の登録時の処理の流れについて図１７に示すフローチャートを参照して説明する。

画像入力部３１０により登録する画像が入力されると（ステップＳ４１）、顔検出部３２０は、画像入力部３１０により入力された画像から顔領域を検出する（ステップＳ４２）。次に、顔特徴抽出部３５１は、顔検出部３２０により検出された顔領域から顔特徴情報を抽出し、抽出した顔領域内の顔画像とともに、顔全体での特徴を利用した検索のための顔特徴情報として人物情報管理部３６１に登録する（ステップＳ４３）。

これと同時、あるいは所定のタイミングで、属性特徴抽出部３５２は、顔検出部３２０により検出された顔領域から抽出可能な属性特徴情報を抽出する（ステップＳ４４）。次に、属性特徴抽出部３５２により抽出された属性特徴情報と属性別特徴情報管理部３６２により管理されている属性特徴情報とを比較することにより、画像入力部３１０により入力された顔画像がどの属性に該当するか判別し、その判別結果を人物情報管理部３６１の自動付与された属性特徴情報に登録する（ステップＳ４５）。

このような登録処理により、顔画像の登録処理を行なう際に人手を介して入力するという作業を減らすことができ、効率よく人物情報の登録を行なうことが可能となる。

次に、登録された人物（顔画像）の検索時の処理の流れについて図１８に示すフローチャートを参照して説明する。
なお、以下の説明は、検索条件設定部３３０での設定内容が図１２に示した例のようになっているものとする。

画像入力部３１０により検索対象の画像が入力されると（ステップＳ５１）、顔検出部３２０は、画像入力部３１０により入力された画像から顔領域を検出する（ステップＳ５２）。次に、顔特徴抽出部３５１は、顔検出部３２０により検出された顔領域から顔全体での特徴を利用した検索のための顔特徴情報を抽出する（ステップＳ５３）。

次に、顔検索部３７１は、顔特徴抽出部３５１により抽出された顔特徴情報と人物情報管理部３６１に登録されている顔特徴情報との比較を行なうことにより、両顔特徴情報の類似度を計算し、類似度の高いものから順番にあらかじめ定められた複数の対応する顔画像を人物情報管理部３６１から検索し（ステップＳ５４）、その検索結果を出力部３８０へ送り、たとえば図１９に示すように、顔の特徴情報を利用した顔画像の検索結果を表示する（ステップＳ５５）。

一方で、検索条件設定部３３０で設定された属性情報がある場合には、その属性情報を利用して検索の絞込みが行なわれる。その場合、検索条件設定部３３０において対象となる属性検索を「手動」か「自動」か選択できる。

まず、対象となる属性検索が「自動」と選択された場合、第１の属性検索部３７２は、人物情報管理部３６１により管理されている入力画像から自動的に判別された属性特徴情報と検索条件設定部３３０により設定された検索条件とを比較することにより、検索条件設定部３３０により設定された検索条件が人物情報管理部３６１により管理されている属性特徴情報の中のどの属性特徴情報に該当するかを判別し、該当する属性特徴情報と対応する顔画像を人物情報管理部３６１から検索し（ステップＳ５６）、その検索結果を出力部３８０へ送り、たとえば図１９に示すように、自動的に付与された属性特徴情報を利用した顔画像の検索結果を表示する（ステップＳ５７）。

なお、顔画像の特徴情報を利用して検索をした結果や、自動付与の属性特徴情報を用いた第１の属性検索結果については、手動の属性特徴情報が付与されていない場合があるため、たとえば、図１９に示す属性登録・編集釦１４を有効にし、検索結果の画像を選択して、この属性登録・編集釦１４を押すことによって、人物情報管理部３６１の「属性情報（手動）」に対して属性特徴情報を付与したり編集して修正したりすることができるようにしてもよい。

次に、対象となる属性検索が「手動」と選択された場合、第２の属性検索部３７３は、人物情報管理部３６１により管理されている手動で与えられた文字列としての属性特徴情報と検索条件設定部３３０により設定された検索条件とを比較することにより、検索条件設定部３３０により設定された検索条件が人物情報管理部３６１により管理されている属性特徴情報の中のどの属性情報に該当するかを判別し、該当する属性特徴情報と対応する顔画像を人物情報管理部３６１から検索し（ステップＳ５８）、その検索結果を出力部３８０へ送り、たとえば図１９に示すように、手動で付与された属性特徴情報を利用した顔画像の検索結果を表示する（ステップＳ５９）。

このように、「自動」を選択した属性特徴情報の場合には、前述のように登録時に自動的に判別された属性特徴情報を使って検索をすることができるので、事前に特別な作業をせずに検索の絞込みが可能となる。その検索結果で出力された第１の属性検索結果を利用することで、属性特徴情報の手動登録も可能とする。

たとえば、年齢が３０歳といった条件で検索をして表示された画像をみて、確かに３０歳と思えばその結果を基に「手動で付与した属性特徴情報」として新たに人物情報管理部３６１に登録できる。こちらの属性特徴情報については目視確認を経由して入力されている情報であるため、属性特徴情報が正しい確率が高くなると考えてよい。このような作業を繰り返していくうちに徐々に属性特徴情報の手動で付与した情報が増えていき、徐々に検索精度を高めていくことが可能となる。

図１９の画面表示例も、基本的には第１の実施形態における図５とほぼ同様であるが、画像群４の下部に並んでいる年齢属性情報での検索結果による画像群６が、第１の属性検索部３７２の検索結果による画像群１５に置き換わり、画像群４の下部に並んでいるマスク属性情報での検索結果による画像群８が、第２の属性検索部３７３の検索結果による画像群１６に置き換わった点と、属性登録・編集釦１４が設けられた点が異なり、その他は図５と同様である。

なお、上記第３の実施形態では、年齢と性別をばらばらに検索した例を示しているが、複数の属性情報を論理積（ＡＮＤ）や論理和（ＯＲ）で組合わせた結果にしてもよい。また、顔特徴情報を利用した検索結果に対して第１の属性検索部３７２および第２の属性検索部３７３で検索条件に一致したものだけを抽出し、並び順は顔検索結果の順番で並べた例を示しているが、並び順は第１の実施形態と同様、顔検索部３７１の結果と独立して表示させるようにしてもよい。

以上説明したように第３の実施形態によれば、事前に人物に対する属性特徴情報を付与していなくても属性特徴情報を用いた絞込みといった検索が可能であるほか、その検索結果を利用して人物情報に属性情報を付与することが容易に可能となる。

なお、上記実施形態では、人物の属性情報が年齢、性別、眼鏡の有無、マスクの有無、帽子の有無、人種等としたが、これらの外に眼鏡の種類、マスクの種類、帽子の種類、ひげ、ほくろ、しわ、怪我、髪型、髪の毛の色、服の色、服の形、帽子、装飾品、顔付近への着用物、表情、裕福度であってもよく、これらのうち少なくとも１つの属性情報を用いればよい。

以上説明したように上記実施形態によれば、あらかじめ登録された複数の顔画像の中から、入力された顔画像に類似する顔画像を検索する場合、入力された顔画像と類似している顔画像の候補の一覧を表示するだけでなく、個人を特定するのではなく年齢や性別、着用物などといった属性情報での視点での類似候補を同時に視覚的に確認できるようにすることで、複数の視点から類似した顔画像の一覧を表示して目視確認ができるようになる。

また、顔にマスクやサングラスといった装着物があると個人識別を目的とした顔の特徴での検索の場合、精度の低下が見られる場合があるが、画像を利用して属性情報を合成する機能を持たせることで、精度の低下を防ぐ機能を持たせることができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行なうことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

Ｍ…人物、１０９，２０９，３０９…ＩＴＶカメラ、１１０，２１０，３１０…画像入力部（画像入力手段）、１２０，２２０，３２０…顔検出部（顔検出手段）、１３０，２３０，３３０…検索条件設定部（検索条件設定手段）、１５１，２５１，３５１…顔特徴抽出部（顔特徴抽出手段）、１５２，２５２，３５２…属性特徴抽出部（属性特徴抽出手段）、１７１，２７１，３７１…顔検索部（顔検索手段）、１７２，２７２…属性検索部（属性検索手段）、１６０，２６０，３６１…人物情報管理部（人物情報管理手段）、１８０，２８０…検索結果管理部（検索結果管理手段）、１９０，２９０，３８０…出力部（出力手段）、２４０…画像合成部（画像合成手段）、２４５…合成画像管理部（合成画像管理手段）、３５３…属性判別部（属性判別手段）、３６２…属性別特徴情報管理部（属性別特徴情報管理手段）、３７２…第１の属性検索部（第１の属性検索手段）、３７３…第２の属性検索部（第２の属性検索手段）。

Claims (13)

1. 少なくとも人物の顔画像を含む画像を入力する画像入力手段と、
   この画像入力手段により入力された入力画像から少なくとも１つの顔領域を検出する顔検出手段と、
   検索条件を設定するために検索対象とする属性の種類や検索結果の出力方法を設定する検索条件設定手段と、
   前記顔検出手段により検出された顔領域から得られる顔の個人特徴を示す顔特徴情報を抽出する顔特徴抽出手段と、
   前記顔検出手段により検出された顔領域から得られる人物の属性特徴情報を少なくとも１つ抽出する属性特徴抽出手段と、
   あらかじめ登録されている顔画像とそれに対する顔特徴情報および属性特徴情報を対応付けて管理する人物情報管理手段と、
   前記顔特徴抽出手段により抽出された入力画像に対する顔特徴情報と前記人物情報管理手段により管理されている顔特徴情報とを比較することにより、前記入力画像に対する顔特徴情報が前記人物情報管理手段により管理されている顔特徴情報の中のどの顔特徴情報と類似しているかの類似度を求め、類似度の高いものから順番にあらかじめ定められた複数の対応する顔画像を前記人物情報管理手段から検索する顔検索手段と、
   前記属性特徴抽出手段により抽出された入力画像に対する属性特徴情報と前記人物情報管理手段により管理されている属性特徴情報とを比較することにより両属性特徴情報の類似度を求め、類似度の高いものから順番にあらかじめ定められた複数の対応する顔画像を前記人物情報管理手段から検索する属性検索手段と、
   この属性検索手段により得られた複数の検索結果、および、これら複数の検索結果の中から必要に応じて自動的に選択された最適な検索結果、および、前記顔検索手段により得られた検索結果の中から前記検索条件設定手段により設定された内容に合致する検索結果を選択する検索結果管理手段と、
   この検索結果管理手段により選択された検索結果を出力する出力手段と、
   を具備したことを特徴とする顔画像検索装置。
2. 前記検索条件設定手段は、検索対象とする属性情報の種類を選択することが可能であり、それぞれの属性情報について、入力された顔画像から得られた属性特徴情報との類似度が高い順であるか低い順であるか、入力された顔画像から得られた属性特徴情報と一致するか一致しないか、顔画像の個人的な顔特徴情報による類似度および１つまたは複数の属性特徴情報による類似度を統合して検索結果を出力するか属性特徴情報による検索結果を独立に出力するか、前記人物情報管理手段により管理されている情報の中から入力された顔画像に対してより類似しているとされる検索結果を自動的に選択して出力させるかどうか、を切換えることが可能であることを特徴とする請求項１記載の顔画像検索装置。
3. 少なくとも人物の顔画像を含む画像を入力する画像入力手段と、
   この画像入力手段により入力された入力画像から少なくとも１つの顔領域を検出する顔検出手段と、
   検索条件を設定するために検索対象とする属性の種類や検索結果の出力方法を設定する検索条件設定手段と、
   前記画像入力手段により入力された入力画像に対して所定の部分領域画像を合成するための部分領域画像を管理する合成画像管理手段と、
   前記検索条件設定手段により設定された条件に基づき前記画像入力手段により入力された入力画像に対して画像合成が選択された属性情報について前記合成画像管理手段により管理される部分領域画像を合成した画像を作成する画像合成手段と、
   前記顔検出手段により検出された顔領域から得られる顔の個人特徴を示す顔特徴情報を抽出する顔特徴抽出手段と、
   前記顔検出手段により検出された顔領域から得られる人物の属性特徴情報を少なくとも１つ抽出する属性特徴抽出手段と、
   あらかじめ登録されている顔画像とそれに対する顔特徴情報および属性特徴情報を対応付けて管理する人物情報管理手段と、
   前記顔特徴抽出手段により抽出された入力画像に対する顔特徴情報と前記人物情報管理手段により管理されている顔特徴情報とを比較することにより、前記入力画像に対する顔特徴情報が前記人物情報管理手段により管理されている顔特徴情報の中のどの顔特徴情報と類似しているかの類似度を求め、類似度の高いものから順番にあらかじめ定められた複数の対応する顔画像を前記人物情報管理手段から検索する顔検索手段と、
   前記属性特徴抽出手段により抽出された入力画像に対する属性特徴情報あるいは前記画像合成手段により合成された画像に対する属性特徴情報と前記人物情報管理手段により管理されている属性特徴情報とを比較することにより両属性特徴情報の類似度を求め、類似度の高いものから順番にあらかじめ定められた複数の対応する顔画像を前記人物情報管理手段から検索する属性検索手段と、
   この属性検索手段により得られた複数の検索結果、および、これら複数の検索結果の中から必要に応じて自動的に選択された最適な検索結果、および、前記顔検索手段により得られた検索結果の中から前記検索条件設定手段により設定された内容に合致する検索結果を選択する検索結果管理手段と、
   この検索結果管理手段により選択された検索結果を出力する出力手段と、
   を具備したことを特徴とする顔画像検索装置。
4. 前記検索条件設定手段は、検索対象とする属性情報の種類を選択することが可能であり、それぞれの属性情報について、入力された顔画像から得られた属性特徴情報との類似度が高い順であるか低い順であるか、入力された顔画像から得られた属性特徴情報と一致するか一致しないか、顔画像の個人的な顔特徴情報による類似度および１つまたは複数の属性特徴情報による類似度を統合して検索結果を出力するか属性情報による検索結果を独立に出力するか、入力画像に対し所定の画像を合成するか合成しないか、前記人物情報管理手段により管理されている情報の中から入力された顔画像に対してより類似しているとされる検索結果を自動的に選択して出力させるかどうか、を切換えることが可能であることを特徴とする請求項３記載の顔画像検索装置。
5. 前記画像合成手段は、あらかじめ準備しておいた複数の属性情報にあわせた部分領域画像の中から選択した部分領域画像、あるいは別途準備しておいた画像から指定した部分領域画像のいずれかを前記画像入力手段により入力された画像に対して合成することが可能であることを特徴とする請求項３記載の顔画像検索装置。
6. 前記検索結果管理手段は、前記人物情報管理手段に管理されている属性情報の中の少なくとも１つに対する検索結果を求め、得られた検索結果の上位候補に対する類似度が下位の検索結果に対して優位な検索結果であるかどうかの指標を求め、その指標の高い順にあらかじめ前記検索条件設定手段により設定された数の検索結果を出力する最適検索結果選択手段を具備することを特徴とする請求項１または請求項３記載の顔画像検索装置。
7. 少なくとも人物の顔画像を含む画像を入力する画像入力手段と、
   この画像入力手段により入力された入力画像から少なくとも１つの顔領域を検出する顔検出手段と、
   検索条件を設定するために検索対象とする属性の種類や検索結果の出力方法を設定する検索条件設定手段と、
   前記顔検出手段により検出された顔領域から得られる顔の個人特徴を示す顔特徴情報を抽出する顔特徴抽出手段と、
   あらかじめ登録されている顔画像とそれに対する顔特徴情報、および、画像特徴を利用して自動的に与えられた第１の属性特徴情報、および、手動で与えられた第２の属性特徴情報を対応付けて管理する人物情報管理手段と、
   前記顔特徴抽出手段により抽出された入力画像に対する顔特徴情報と前記人物情報管理手段により管理されている顔特徴情報とを比較することにより、前記入力画像に対する顔特徴情報が前記人物情報管理手段により管理されている顔特徴情報の中のどの顔特徴情報と類似しているかの類似度を求め、類似度の高いものから順番にあらかじめ定められた複数の対応する顔画像を前記人物情報管理手段から検索する顔検索手段と、
   前記人物情報管理手段により管理されている前記第１の属性特徴情報と前記検索条件設定手段により設定された検索条件とを比較することにより、前記検索条件設定手段により設定された検索条件が前記人物情報管理手段により管理されている第１の属性特徴情報の中のどの第１の属性特徴情報に該当するかを判別し、該当する第１の属性特徴情報と対応する顔画像を前記人物情報管理手段から検索する第１の属性検索手段と、
   前記人物情報管理手段により管理されている前記第２の属性特徴情報と前記検索条件設定手段により設定された検索条件とを比較することにより、前記検索条件設定手段により設定された検索条件が前記人物情報管理手段により管理されている第２の属性特徴情報の中のどの第２の属性特徴情報に該当するかを判別し、該当する第２の属性特徴情報と対応する顔画像を前記人物情報管理手段から検索する第２の属性検索手段と、
   前記顔検索手段により得られた検索結果および前記第１、第２の属性検索手段により得られた各検索結果を前記検索条件設定手段により設定された内容にあわせて出力する出力手段と、
   を具備したことを特徴とする顔画像検索装置。
8. 前記顔検出手段により検出された顔領域から得られる人物の属性特徴情報を少なくとも１つ抽出する属性特徴抽出手段と、
   あらかじめ１つまたは複数の属性を判別するために各属性の属性特徴情報を管理する属性別特徴情報管理手段と、
   前記属性特徴抽出手段により抽出された属性特徴情報と前記属性別特徴情報管理手段により管理されている属性特徴情報とを比較することにより、前記画像入力手段により入力された顔画像がどの属性に該当するか判別し、その判別結果を前記第１の属性特徴情報として前記人物情報管理手段に登録する属性判別手段と、
   をさらに具備したことを特徴とする請求項７記載の顔画像検索装置。
9. 前記人物情報管理手段により管理されている第２の属性特徴情報は、前記出力手段により出力された前記第１の属性検索手段の検索結果に基づき手動操作により登録されたものであることを特徴とする請求項７または請求項８記載の顔画像検索装置。
10. 前記検索条件設定手段は、検索対象とする属性情報の種類を選択することが可能であり、それぞれの属性情報について、検索対象として利用する属性情報を選択すること、選択した属性情報に対して一致するものを検索するのか一致しないものを検索するのか、選択した属性情報に対して前記第１の属性検索手段を使うのか前記第２の属性検索手段を使うのか、が選択可能であることを特徴とする請求項７記載の顔画像検索装置。
11. 少なくとも人物の顔画像を含む画像を画像入力手段により入力する画像入力ステップと、
    この画像入力ステップにより入力された入力画像から顔検出手段により少なくとも１つの顔領域を検出する顔検出ステップと、
    検索条件を設定するために検索対象とする属性の種類や検索結果の出力方法を検索条件設定手段により設定する検索条件設定ステップと、
    前記顔検出ステップにより検出された顔領域から得られる顔の個人特徴を示す顔特徴情報を顔特徴抽出手段により抽出する顔特徴抽出ステップと、
    前記顔検出ステップにより検出された顔領域から得られる人物の属性情報を属性特徴抽出手段により少なくとも１つ抽出する属性特徴抽出ステップと、
    前記顔特徴抽出ステップにより抽出された入力画像に対する顔特徴情報と、あらかじめ登録されている顔画像とそれに対する顔特徴情報および属性特徴情報を対応付けて管理する人物情報管理手段により管理されている顔特徴情報とを顔検索手段により比較することにより、前記入力画像に対する顔特徴情報が前記人物情報管理手段により管理されている顔特徴情報の中のどの顔特徴情報と類似しているかの類似度を求め、類似度の高いものから順番にあらかじめ定められた複数の対応する顔画像を前記人物情報管理手段から検索する顔検索ステップと、
    前記属性特徴抽出ステップにより抽出された入力画像に対する属性特徴情報と前記人物情報管理手段により管理されている属性特徴情報とを属性検索手段により比較することにより両属性特徴情報の類似度を求め、類似度の高いものから順番にあらかじめ定められた複数の対応する顔画像を前記人物情報管理手段から検索する属性検索ステップと、
    この属性検索ステップにより得られた複数の検索結果、および、これら複数の検索結果の中から必要に応じて自動的に選択された最適な検索結果、および、前記顔検索ステップにより得られた検索結果の中から前記検索条件設定ステップにより設定された内容に合致する検索結果を検索結果管理手段により選択する検索結果管理ステップと、
    この検索結果管理ステップにより選択された検索結果を出力手段により出力する出力ステップと、
    を具備したことを特徴とする顔画像検索方法。
12. 少なくとも人物の顔画像を含む画像を画像入力手段により入力する画像入力ステップと、
    この画像入力ステップにより入力された入力画像から顔検出手段により少なくとも１つの顔領域を検出する顔検出ステップと、
    検索条件を設定するために検索対象とする属性の種類や検索結果の出力方法を検索条件設定手段により設定する検索条件設定ステップと、
    前記検索条件設定ステップにより設定された条件に基づき前記画像入力ステップにより入力された入力画像に対して画像合成が選択された属性情報について、前記画像入力ステップにより入力された入力画像に対して所定の部分領域画像を合成するための部分領域画像を管理する合成画像管理手段により管理される部分領域画像を合成した画像を画像合成手段により作成する画像合成ステップと、
    前記顔検出ステップにより検出された顔領域から得られる顔の個人特徴を示す顔特徴情報を顔特徴抽出手段により抽出する顔特徴抽出ステップと、
    前記顔検出ステップにより検出された顔領域から得られる人物の属性特徴情報を属性特徴抽出手段により少なくとも１つ抽出する属性特徴抽出ステップと、
    前記顔特徴抽出ステップにより抽出された入力画像に対する顔特徴情報と、あらかじめ登録されている顔画像とそれに対する顔特徴情報および属性特徴情報を対応付けて管理する人物情報管理手段により管理されている顔特徴情報とを顔検索手段により比較することにより、前記入力画像に対する顔特徴情報が前記人物情報管理手段により管理されている顔特徴情報の中のどの顔特徴情報と類似しているかの類似度を求め、類似度の高いものから順番にあらかじめ定められた複数の対応する顔画像を前記人物情報管理手段から検索する顔検索ステップと、
    前記属性特徴抽出ステップにより抽出された入力画像に対する属性特徴情報あるいは前記画像合成ステップにより合成された画像に対する属性特徴情報と前記人物情報管理手段により管理されている属性特徴情報とを属性検索手段により比較することにより両属性特徴情報の類似度を求め、類似度の高いものから順番にあらかじめ定められた複数の対応する顔画像を前記人物情報管理手段から検索する属性検索ステップと、
    この属性検索ステップにより得られた複数の検索結果、および、これら複数の検索結果の中から必要に応じて自動的に選択された最適な検索結果、および、前記顔検索ステップにより得られた検索結果の中から前記検索条件設定ステップにより設定された内容に合致する検索結果を検索結果管理手段により選択する検索結果管理ステップと、
    この検索結果管理ステップにより選択された検索結果を出力手段により出力する出力ステップと、
    を具備したことを特徴とする顔画像検索方法。
13. 少なくとも人物の顔画像を含む画像を画像入力手段により入力する画像入力ステップと、
    この画像入力ステップにより入力された入力画像から顔検出手段により少なくとも１つの顔領域を検出する顔検出ステップと、
    検索条件を設定するために検索対象とする属性の種類や検索結果の出力方法を検索条件設定手段により設定する検索条件設定ステップと、
    前記顔検出ステップにより検出された顔領域から得られる顔の個人特徴を示す顔特徴情報を顔特徴抽出手段により抽出する顔特徴抽出ステップと、
    この顔特徴抽出ステップにより抽出された入力画像に対する顔特徴情報と、あらかじめ登録されている顔画像とそれに対する顔特徴情報および画像特徴を利用して自動的に与えられた第１の属性特徴情報および手動で与えられた第２の属性特徴情報を対応付けて管理する人物情報管理手段により管理されている顔特徴情報とを顔検索手段により比較することにより、前記入力画像に対する顔特徴情報が前記人物情報管理手段により管理されている顔特徴情報の中のどの顔特徴情報と類似しているかの類似度を求め、類似度の高いものから順番にあらかじめ定められた複数の対応する顔画像を前記人物情報管理手段から検索する顔検索ステップと、
    前記人物情報管理手段により管理されている前記第１の属性特徴情報と前記検索条件設定ステップにより設定された検索条件とを第１の属性検索手段により比較することにより、前記検索条件設定ステップにより設定された検索条件が前記人物情報管理手段により管理されている第１の属性特徴情報の中のどの第１の属性特徴情報に該当するかを判別し、該当する第１の属性特徴情報と対応する顔画像を前記人物情報管理手段から検索する第１の属性検索ステップと、
    前記人物情報管理手段により管理されている前記第２の属性特徴情報と前記検索条件設定ステップにより設定された検索条件とを第２の属性検索手段により比較することにより、前記検索条件設定ステップにより設定された検索条件が前記人物情報管理手段により管理されている第２の属性特徴情報の中のどの第２の属性特徴情報に該当するかを判別し、該当する第２の属性特徴情報と対応する顔画像を前記人物情報管理手段から検索する第２の属性検索ステップと、
    前記顔検索ステップにより得られた検索結果および前記第１、第２の属性検索ステップにより得られた各検索結果を前記検索条件設定ステップにより設定された内容にあわせて出力手段により出力する出力ステップと、
    を具備したことを特徴とする顔画像検索方法。

Images