JP4772379B2 - 人物検索装置、人物検索方法および入退場管理システム - Google Patents

Description

本発明は、たとえば、対象者の虹彩、網膜、静脈、顔の特徴、手の状態など、生体情報の特徴や状態を取得し、あらかじめ登録された少なくとも１つ以上の生体特徴情報の中から類似した生体特徴情報を検索することで上記対象者と類似した人物を検索する人物検索装置および人物検索方法に関する。

また、本発明は、上記人物検索装置および人物検索方法を用いてセキュリティを必要とする部屋や施設等の入退場対象エリアに対する入退場を管理する人退場管理システムに関する。

最近、たとえば、対象者の虹彩、網膜、静脈、顔の特徴、手の状態など、生体情報の特徴や状態を取得し、あらかじめ登録された少なくとも１つ以上の生体特徴情報の中から類似した生体特徴情報を検索することで上記対象者と類似した人物を検索することや、検索した結果の類似性を示す値を利用することで、入退場の管理や警報を鳴動させるといった技術が開発されている。

しかしながら、従来の技術では、たとえば、顔などの生体特徴情報を利用した人物検索において、検索対象が極端に大人数になると検索時間が長くかかってしまうことや、検索データベース内に登録されている生体特徴情報と入力された生体特徴情報との類似性が経年変化により徐々に失われてしまうという問題がある。

そこで、最近、このような問題を解決する類似した技術として、たとえば、登録データ間の類似度を総当りで求めておき、入力された照合データとの類似度から次に検索すべき人物の順番を変える技術（たとえば、特許文献１参照）、あるいは、ＩＤ番号や名前など特定の情報を入力すると、そのＩＤ番号や名前に相当する過去の照合履歴を参照して照合する順番を変える技術（たとえば、特許文献２参照）がある。
特開２００２−１６３６５２号公報 特開２００３−２５６３８０号公報

しかしながら、特許文献１の技術は、登録者内で似た人物の優先度を上げる手法で、同一人物の生体特徴情報の入力を効果的に利用するものではない。
また、特許文献２の技術は、本人がＩＤ番号や名前など特定の情報を入力することを前提としており、過去の履歴は本人とわかっているものと照合するのみである。
したがって、いずれの技術も従来の問題点を解決することはできない。

そこで、本発明は、登録中の人物が繰り返して利用するような状況において、大幅に検索時間の短縮が可能となる人物検索装置、人物検索方法および入退場管理システムを提供することを目的とする。

また、本発明は、検索精度を高めることが可能となる人物検索装置、人物検索方法および入退場管理システムを提供することを目的とする。

さらに、本発明は、経年変化の影響を受けにくくすることができる人物検索装置、人物検索方法および入退場管理システムを提供することを目的とする。

この発明の一形態としての人物検索装置は、人物を検索するものにおいて、対象者の生体情報を含む画像を取得する画像取得手段と、この画像取得手段により取得された画像から個人の生体特徴情報を抽出する生体特徴抽出手段と、あらかじめ複数人分の登録者の生体特徴情報が登録されている登録手段と、前記生体特徴抽出手段により抽出された生体特徴情報と当該生体特徴情報に対する人物の検索結果とを対応させた検索履歴情報を保存する検索履歴管理手段と、前記生体特徴抽出手段により抽出された生体特徴情報と類似する生体特徴情報を含む検索履歴情報を前記検索履歴管理手段から検索する事前検索手段と、この事前検索手段によって前記生体特徴抽出手段により抽出された生体特徴情報と類似する生体特徴情報を含む検索履歴情報が前記検索履歴管理手段から検索された場合には、当該検索履歴情報に含まれる人物の検索結果を前記対象者に対する検索結果とし、前記事前検索手段によって前記生体特徴抽出手段により抽出された生体特徴情報と類似する生体特徴情報が前記検索履歴管理手段から検索されなかった場合には、前記生体特徴抽出手段により抽出された生体特徴情報と類似する生体特徴情報を前記登録手段から検索する本検索手段と、この本検索手段により検索結果を得た生体特徴情報と当該生体特徴情報に対する人物の検索結果とを対応させた検索履歴情報を前記検索履歴管理手段に保存せしめる保存手段とを具備している。

この発明の一形態としての人物探索方法は、人物を検索する方法において、対象者の生体情報を含む画像を取得する画像取得ステップと、この画像取得ステップにより取得された画像から個人の生体特徴情報を抽出する生体特徴抽出ステップと、前記生体特徴抽出ステップが過去に抽出した生体特徴情報と当該生体特徴情報に対する人物の検索結果とを対応させた検索履歴情報を保存している検索履歴管理手段から、前記生体特徴抽出ステップにより抽出された生体特徴情報と類似する生体特徴情報を含む検索履歴情報を検索する事前検索ステップと、この事前検索ステップによって前記生体特徴抽出ステップにより抽出された生体特徴情報と類似する生体特徴情報を含む検索履歴情報が前記検索履歴管理手段から検索された場合には、当該検索履歴情報に含まれる人物の検索結果を前記対象者に対する検索結果とし、前記事前検索ステップによって前記生体特徴抽出ステップにより抽出された生体特徴情報と類似する生体特徴情報が前記検索履歴管理手段から検索されなかった場合には、前記生体特徴抽出ステップにより抽出された生体特徴情報と類似する生体特徴情報をあらかじめ複数人分の登録者の生体特徴情報が登録されている登録手段から検索する本検索ステップと、この本検索ステップによる処理の後、当該生体特徴情報と当該生体特徴情報に対する人物の検索結果とを対応させた検索履歴情報を前記検索履歴管理手段に保存せしめる保存ステップとを具備している。

この発明の一形態としての入退場管理システムは、人物の入退場を制御するシステムにおいて、入退場者の生体情報を含む画像を取得する画像取得手段と、この画像取得手段により取得された画像から個人の生体特徴情報を抽出する生体特徴抽出手段と、あらかじめ複数人分の登録者の生体特徴情報が登録されている登録手段と、前記生体特徴抽出手段により抽出された生体特徴情報と当該生体特徴情報に対する人物の検索結果とを対応させた検索履歴情報を保存する検索履歴管理手段と、前記生体特徴抽出手段により抽出された生体特徴情報と類似する生体特徴情報を含む検索履歴情報を前記検索履歴管理手段から検索する事前検索手段と、この事前検索手段によって前記生体特徴抽出手段により抽出された生体特徴情報と類似する生体特徴情報を含む検索履歴情報が前記検索履歴管理手段から検索された場合には、当該検索履歴情報に含まれる人物の検索結果を前記対象者に対する検索結果とし、前記事前検索手段によって前記生体特徴抽出手段により抽出された生体特徴情報と類似する生体特徴情報が前記検索履歴管理手段から検索されなかった場合には、前記生体特徴抽出手段により抽出された生体特徴情報と類似する生体特徴情報を前記登録手段から検索する本検索手段と、この本検索手段による検索結果に基づき前記入退場者の入退場対象エリアに対する入退場を制御する入退場制御手段と、この本検索手段により検索結果を得た生体特徴情報と当該生体特徴情報に対する人物の検索結果とを対応させた検索履歴情報を前記検索履歴管理手段に保存せしめる保存手段とを具備している。

本発明によれば、過去に検索要求を受けた入力データの特徴から類似した入力データの過去の検索結果を利用することで、登録中の人物が繰り返して利用するような状況において、大幅に検索時間の短縮が可能となる人物検索装置、人物検索方法および入退場管理システムを提供できる。

また、本発明によれば、管理されている生体特徴情報以外の特徴情報をも使うことができるため、検索精度を高めることが可能となる人物検索装置、人物検索方法および入退場管理システムを提供できる。

さらに、本発明によれば、入力データに対して過去の入力データとの類似性を検索することで、経年変化の影響を受けにくくすることができる人物検索装置、人物検索方法および入退場管理システムを提供できる。

以下、本発明の実施の形態について図面を参照して説明する。
まず、第１の実施の形態について説明する。
なお、以下の説明では、対象者から得られた顔の特徴情報に対して、あらかじめ１つまたは複数登録されている顔の特徴情報の中から類似した特徴情報を検索することで上記対象者と類似した人物を検索する人物検索装置を例として述べるが、本発明は顔に特化した処理ではなく、さまざまな生体情報を含む画像を入力して人物の検索を行なう方法に適用できるものであり、虹彩、網膜、手や指の静脈パターン、指紋パターン、目や耳や口の状態などを用いた人物検索装置としても適用可能である。

また、本発明が適用される対象としては、検索対象が比較的大人数であり、その中の人物が比較的繰り返して利用するような場合に最も効果が得られる。たとえば、数千人から数万人の登録が行なわれているビルディングや企業の建物の中に出入りする人物を管理する入退場管理システムや、短期間に大人数が登録されてその人物が何度か出入りするような娯楽施設の入退場を管理する入退場管理システムといったアプリケーションが想定される。

図１は、第１の実施の形態に係る人物検索装置の構成を概略的に示すものである。この人物検索装置は、対象者（以下、人物、入退場者ともいう）Ｍの顔画像（少なくとも顔を含んでいる画像）を撮影して入力する画像取得手段としてのカメラ１００、カメラ１００により撮像された画像をＡ／Ｄ変換してデジタル化するなどの画像処理を行なう画像入力部１０１、画像入力部１０１から得られた画像から顔および目、鼻などの顔部位の位置を検出する生体検出手段としての顔検出部１０２、顔検出部１０２により検出された顔領域の画像から個人の顔特徴情報を抽出する生体特徴抽出手段としての顔特徴抽出部１０３、必要に応じてカメラ１００とは別の生体特徴情報や属性情報を入力する補助入力手段としての補助入力部１０４、過去の検索時に入力された顔特徴情報とそのときの検索結果を対応させて保存し管理する検索履歴管理手段としての履歴管理部１０５、入力された顔特徴情報と履歴管理部１０５に保存された過去に入力された顔特徴情報とを照合して検索結果または検索対象の絞り込み結果を出力する事前検索手段としての事前検索部１０６、あらかじめ対象者の顔画像から得られた個人の顔特徴情報が登録されている登録生体特徴管理手段としての登録顔特徴管理部１０７、事前検索部１０６により絞り込まれた対象の中から入力された顔特徴情報と類似する顔特徴情報を検索する本検索手段としての本検索部１０８、および、本検索部１０８の検索結果にあわせた制御信号や検索結果そのものを音声や画像等で出力する出力手段および入退場制御手段としての出力部１０９を有して構成されている。

以下、各部について詳細に説明する。
カメラ１００は、対象者Ｍの顔画像を撮像して入力するもので、たとえば、ＣＣＤセンサなどの撮像素子を用いたテレビジョンカメラなどを主体に構成されている。なお、本実施の形態では、画像取得手段としてカメラ１００を用いているが、写真の顔画像を読取って入力するスキャナであってもよい。
画像入力部１０１は、カメラ１００により撮像された画像をＡ／Ｄ変換してデジタル化した後、顔検出部１０２へ送る。

顔検出部１０２は、まず、カメラ１００で入力された画像から対象者Ｍの顔領域を検出する。たとえば、カメラ１００からの入力画像内において、あらかじめ用意されたテンプレートを画像内で移動させながら相関値を求めることにより、最も高い相関値を与える位置を顔領域とする。なお、その他に、固有空間法や部分空間法を利用した顔領域抽出法などの顔検出手段でもよい。

顔検出部１０２は、次に、検出された顔領域の部分の中から、目、鼻、口といった顔部位の位置を検出する。その検出方法としては、たとえば、文献（福井和広、山口修：「形状抽出とパターン照合の組合せによる顔特徴点抽出」、電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ８０−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ２１７０−２１７７（１９９７年））に開示されている方法などを用いてよい。

なお、上記目、鼻の検出の他に口領域の検出については、たとえば、文献（湯浅真由美、中島朗子：「高精度顔特徴点検出に基づくデジタルメイクシステム」第１０回画像センシングシンポジウム予稿集，ｐｐ２１９−２２４（２００４））の技術を利用することで容易に実現が可能である。

また、指紋や静脈のパターンについても、たとえば、文献（財団法人光産業技術振興協会（ｈｔｔｐ：／／ｗｗｗ．ｏｉｔｄａ．ｏｒ．ｊｐ／ｉｎｄｅｘ−ｊ．ｈｔｍｌ）：２００３年度光技術動向調査「１５−００３−１ 光技術動向調査報告書」，５章「ヒューマンインターフェース」（２００３年））に記述された入力手段や技術を利用することで実現が可能である。いずれの場合でも、２次元配列状の画像として取扱える情報を取得し、その中から生体特徴の領域を検出することが可能である。

顔特徴抽出部１０３は、顔検出部１０２で検出された部品の位置をもとに、顔領域を一定の大きさ、形状に切り出し、その濃淡情報を特徴量として用いる。ここでは、ｍピクセル×ｎピクセルの領域の濃淡値をそのまま情報として用い、ｍ×ｎ次元の情報を特徴ベクトルとして用いる。これらは単純類似度法という手法によりベクトルとベクトルの長さをそれぞれ「１」とするように正規化を行ない、内積を計算することで特徴ベクトル間の類似性を示す類似度が求められる。この値が「１」となれば完全に同一の画像となり、「０」に近づくほど類似性が低いことを示す。このベクトルは事前検索部１０６や本検索部１０８で利用される。

補助入力部１０４は、カメラ１００で得られない情報を取得するために必要に応じて設置する。たとえば、カメラ１００で撮影されている対象者Ｍの身長情報、体重情報、温度分布などを取得するためのセンサであっても構わないし、オペレータによる入力や保持しているカード等から得られる性別、年齢といった属性情報でも構わない。

また、このような補助入力部１０４を別途設置しなくても、カメラ１００で得られる別の特徴情報を利用しても構わない。たとえば、対象者Ｍの動作を示す特徴情報や複数の連続した画像から得られる特徴情報の中の１つまたは複数の組合せを利用することでも実現が可能であり、個人を特定するための特徴情報であって、カメラ１００で得られるメインの特徴情報と独立したものであれば、どのような形でも実現は可能であることがわかる。

これらの中で、連続した画像を利用した動画像による検索について説明を行なう。この場合、用いる機器としてカメラ１００と別のものが必要になるわけでなく、カメラ１００から連続して得られた画像から、顔特徴抽出部１０３と同様にｍ×ｎピクセルの画像を切り出し、これらの画像から特徴ベクトルの相関行列を求め、Ｋ−Ｌ展開による正規直交ベクトルを求めることにより、連続した画像から得られる顔の特徴を示す部分空間を計算する。

部分空間の計算法は、特徴ベクトルの相関行列（または共分散行列）を求め、そのＫ−Ｌ展開による正規直交ベクトル（固有ベクトル）を求めることにより、部分空間を計算する。部分空間は、固有値に対応する固有ベクトルを、固有値の大きな順にｋ個選び、その固有ベクトルの集合を用いて表現する。本実施の形態では、相関行列Ｃｄを特徴ベクトルから求め、相関行列

と対角化して、固有ベクトルの行列Φを求める。この情報をあらかじめ登録しておいて、それを履歴管理部１０５での補助入力データとして登録しておけばよい。

履歴管理部１０５は、過去の検索時に入力された顔特徴情報とそのときに得られた検索結果を全て保存して管理する。保存容量に制限がある場合には、一定容量に到達したら古いデータから順次消去していく方法や、検索ヒット率の少ないものから削除するといった対処が可能である。ここで管理される情報としては、過去に検索をしたときの検索日時、カメラ１００から得られた入力画像（ここではｍ×ｎの特徴ベクトルを示す）、補助入力部１０４から得られた補助入力情報（ここでは連続画像から得られた部分空間）、検索をした結果の全ランクのＩＤ番号（個人識別）と類似度などである。

なお、データはそのまま管理していても構わないが、事前検索部１０６で検索されることを想定して利用頻度の高い人物のデータの検索順序を早めたり、事前に同一人物同士や類似した人物同士がまとまるようにクラスタリング処理などをかけておくことでより、検索効率が上がることが予測される。

事前検索部１０６は、入力された顔画像（顔特徴情報）と履歴管理部１０５に保存された過去に入力された顔画像（顔特徴情報）とを照合して検索結果または検索対象の絞込み結果を出力する。図２を用いて具体的に説明すると、たとえば、入力画像Ｘに対して検索要求が行なわれる場合、登録顔特徴管理部１０７内の顔特徴情報との照合による検索ではなく、過去の検索要求を行なった入力画像Ａ〜入力画像Ｃとの類似度演算を行ない、その中に所定の閾値を超えるものがあれば、同一人物が既に検索されたことがあると判定し、そのときの検索結果を利用して本検索部１０８の処理を行なうという流れになる。

まず、補助入力部１０４から得られた情報は用いずにカメラ１００から入力された第１の顔特徴情報のみを用いて履歴管理部１０５で管理されている過去の検索履歴の中から類似した顔特徴情報で検索をかけているかどうかを検索する場合について説明する。

履歴管理部１０５に蓄えられた検索用に入力された顔特徴情報はｍ×ｎ次元の１本の特徴ベクトルとなっているため、新たに検索要求を受けた顔画像の特徴情報が顔特徴抽出部１０３で計算されると、そのベクトルとの類似度計算を行なうことで、過去の顔特徴情報の中で現在入力された顔特徴情報と類似している顔特徴情報が検索できる。過去の顔特徴情報の中からあらかじめ適当な値で定められた閾値以上の類似度となるものを検索することにより、現在検索しようとしている人物が過去にも検索をしていたかどうかが求められる。

ここで、所定の閾値以上となる過去の顔特徴情報を全てピックアップしてもよいし、過去の顔特徴情報で高い類似度となったものと更に別の顔特徴情報の類似度を再帰的に類似度計算を行なって閾値以上の類似度をもつ全ての顔特徴情報をピックアップしても構わない。ここで得られた複数の過去の顔特徴情報の中から最も類似度が高い試行１つに限定してもよいし、最も新しいものや最も古いものに絞っても構わない。いずれにせよ、過去に同一人物が検索するために顔画像を取得されていれば、履歴（過去の顔特徴情報）の中に類似した顔画像が存在する可能性が高く、ここで過去の検索結果が１つまたは複数ピックアップされることになる。

次に、補助入力部１０４から得られた情報をも用いて更に検索精度を上げることや検索時間の短縮を行なう場合について説明する。
補助入力部１０４で入力されている特徴情報が動画像から得られた部分空間として取得され、同様に過去に検索処理を行なった際に入力された部分空間も履歴管理部１０５で管理されていれば、顔特徴抽出部１０３で得られた濃淡情報だけでなく、部分空間同士の類似度を比較することにより、より精度の高い検索が可能となる。

部分空間同士の類似性を求める計算方法は、部分空間法や複合類似度法などの方法を用いてよい。本実施の形態での計算方法は、たとえば、文献（前田賢一、渡辺貞一：「局所的構造を導入したパターン・マッチング法」，電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ６８−Ｄ，Ｎｏ．３，ｐｐ３４５〜３５２（１９８５年））に開示されている相互部分空間法を用いる。この方法では、あらかじめ蓄えられた登録情報の中の認識データも入力されるデータも部分空間として表現され、２つの部分空間のなす「角度」を類似度として定義する。ここで入力される部分空間を入力部分空間という。入力データ列に対して同様に相関行列Ｃｉｎを求め、

と対角化し、固有ベクトルΦｉｎを求める。２つのΦｉｎ，Φｄで表される部分空間の部分空間間類似度（０．０〜１．０）を求め、これを認識するための類似度とする。

事前検索部１０６は、登録顔特徴管理部１０７内の顔特徴情報を検索する時間に対して、履歴管理部１０５内の過去の顔特徴情報を検索する時間が短いということを前提に処理を行なうが、登録顔特徴管理部１０７全体の検索時間と履歴管理部１０５からの検索時間の平均値を常時管理しておくことにより、場合によっては事前検索を行なわず、登録顔特徴管理部１０７全体を検索するのみにする方が検索結果が速くなる可能性がある。その場合等に備えて、動的に事前検索を行なうかどうかを切換えられるようにすることが可能である。このようにすることによって、検索時間の最悪値が通常のシステムよりも悪くなることを抑えられる。

登録顔特徴管理部１０７は、人物を同定するためにカメラ１００から入力される顔特徴情報と同一の顔特徴情報を保存し管理する。本実施の形態では、カメラ１００から得られる顔特徴情報と同一の特徴抽出をした後のｍ×ｎの特徴ベクトルとするが、特徴抽出をする前の顔画像であってもよいし、利用する部分空間やＫＬ展開を行なう直前の相関行列でも構わない。これらはＩＤ番号をキーとして識別情報を蓄積する。ここで保持する顔特徴情報は１名あたり１つでもよいし、状況によって切換えたり、同時に認識に利用できるように複数の登録顔特徴情報を保持していてもかまわない。また、検索を何度もしていくうちに検索結果としてヒットした人物については補助入力部１０４で補助的に入力された情報も一緒に管理できるようにしておけば、履歴情報を使った検索を行なわない場合でも、より精度の高い検索処理が可能となる。

本検索部１０８は、事前検索部１０６でピックアップされた１つまたは複数の過去の検索結果を利用して高速に検索結果を出力する。過去の履歴から類似する人物を検索した場合、過去の履歴にある入力画像で検索された１つまたは複数の結果をそのまま統合して出力することを行なえば検索時間の大幅な短縮が行なえる。

１つの履歴のみヒットしたのであれば、そのまま結果を出力すればよいし、複数の検索結果がヒットした場合には、ヒットした履歴のＩＤ番号別の最高類似度を求めて、最も高い類似度順からＩＤ番号を並べて検索結果として出力すればよい。
たとえば、図３に示すように、過去の履歴から抽出されたのが履歴Ａ〜履歴Ｃだった場合、３つの履歴Ａ〜Ｃそれぞれで各ＩＤ番号ごとに最高類似度を求める。たとえば、人物Ａの場合は３つの履歴Ａ〜Ｃで共に上位に入っており、中でも履歴Ｂのときの類似度が最高類似度の「０．８７」となっていることから、人物Ａの統合履歴での類似度は「０．８７」となる。同様に、人物Ｂ、人物Ｃと、類似度の最高類似度を求め、統合類似度が高い順に並べると、図３に示すような統合履歴の順番となる。

また、そのまま検索結果を出すのでなく、過去の履歴で上位に入る一部の人数に絞り込みをし、絞り込まれた人数の中で再度、登録顔特徴管理部１０７内の顔特徴情報との類似度演算を行なって最終的な検索結果を出力しても構わない。過去の履歴で検索結果が異なるような場合には、２つの検索結果それぞれの類似度をＩＤ番号別に求め、高い方の類似度を選択して類似度の高いＩＤ番号から順番に並べて所定の人数までに絞り込むような方法が利用できる。

図３の統合履歴の場合では、上位の候補者である人物Ａから人物Ｃの３名に絞り込むなどして、登録されている人数Ｎ名全体との類似度演算を行なわないようにすることが可能となる。この場合、そのまま結果を流用する場合に比べて時間は多少かかるが、正確な類似度演算の結果が出力できるメリットがある。

一方、事前検索部１０６による事前検索で１つもヒットした履歴がない場合には、同一人物が過去に検索したことがなかった可能性が高いと判断して、登録顔特徴管理部１０７内の顔特徴情報を全て検索することとする。この場合では、検索の高速化の効果はないが、今後この人物が検索対象となるときに検索の高速化が期待できる。

本検索部１０８で検索結果が得られた後は、カメラ１００からの入力画像と、補助入力部１０４からの入力情報と、このときの検索結果を履歴管理部１０５に格納することとなるが、ここで格納する検索結果は、この時点で出力された検索結果をそのまま格納しても構わないし、再度処理時間に余裕がもてるときにオフラインで時間をかけて計算をし直して履歴管理部１０５に結果を格納しても構わない。

出力制御部１０９は、カメラ１００で入力される入力画像、顔検出部１０２から得られる顔領域や特徴情報、本検索部１０８の検索結果といった情報そのものを出力先となる機器に向けて出力するとともに、本検索部１０８の検索結果にあわせて別途制御信号の内容を変更する。

最も簡単な例では、入力された顔画像が登録顔特徴管理部１０７に登録されている人物のどの人物と近いかを並べて表示する監視用画面出力であっても構わないし、検索結果にどの程度の類似性があるかの類似度が付与されていれば、その検索された中で最も高い類似度となる人物の類似度が所定の閾値以上であれば警報を鳴らすといった例や、登録されている人物のいずれかとの類似度が所定の閾値以上であれば、ドア開錠信号を出力するといった入退場管理システムが容易に実現可能である。
本実施の形態の冒頭で述べた入退場管理システムなどの例にあわせれば、登録されている人物が多いが高速に該当人物の検索が行なえて短時間で入退場が可能であるかどうかの結果を出力し、ドアの開錠制御が行なえる。

以上説明したように第１の実施の形態によれば、検索要求を受けた際に入力された顔特徴情報および必要であれば補助となる情報を履歴として記録しておき、新たに検索要求を受けたときに入力された顔特徴情報および補助となる情報を利用して過去に類似人物が検索要求を受けているかどうかを検索し、過去に類似人物が検索要求されていると判定されれば過去の検索結果に応じて検索方法を変更することにより、登録中の人物が繰り返して利用するような状況において大幅に検索時間の短縮が可能となり、管理されている顔特徴情報以外の特徴情報をも使うことができるため検索精度を高めることが可能となる。また、顔特徴情報の取得が時系列順で「データベースの内容」、「過去の入力画像」、「現在の入力画像」であるため、入力画像に対して過去の入力画像との類似性を検索することで経年変化の影響を受けにくくする効果が得られる。

次に、第２の実施の形態について説明する。
なお、以下の説明では、対象者から得られた顔の特徴情報に対して、あらかじめ１つまたは複数登録されている顔の特徴情報の中から類似した特徴情報を検索することで上記対象者と類似した人物を検索する人物検索装置を例として述べるが、本発明は顔に特化した処理ではなく、さまざまな生体情報を含む画像を入力して人物の検索を行なう方法に適用できるものであり、虹彩、網膜、手や指の静脈パターン、指紋パターン、目や耳や口の状態などを用いた人物検索装置としても適用可能である。

また、本発明が適用される対象としては、検索対象が比較的大人数であり、複数の人物を連続して検索したり同時に入力画像内に入ってくるような監視画像中の人物検索などが想定される。複数人で常に行動をするグループの検索や親子など同時または比較的連続して検索されやすい状況で最も効果が発揮される。

図４は、第２の実施の形態に係る人物検索装置の構成を概略的に示すものである。この人物検索装置は、対象者（以下、人物、入退場者ともいう）Ｍの顔画像（少なくとも顔を含んでいる画像）を撮影して入力する画像取得手段としてのカメラ２００、カメラ２００により撮像された画像をＡ／Ｄ変換してデジタル化するなどの画像処理を行なう画像入力部２０１、画像入力部２０１から得られた画像から顔および目、鼻などの顔部位の位置を検出する生体検出手段としての顔検出部２０２、顔検出部２０２により検出された顔領域の画像から個人の顔特徴情報を抽出する生体特徴抽出手段としての顔特徴抽出部２０３、過去の検索時に入力された顔特徴情報とそのときの検索結果を対応させて保存し管理するとともに、その前後で検索した人物との相関性を頻度分布として学習する機能を持つ検索履歴統計管理手段としての履歴統計管理部２０５、入力された顔特徴情報と履歴統計管理部１０５に保存された過去に入力された顔特徴情報とを照合して検索結果または検索対象の絞り込み結果を出力する事前検索手段としての事前検索部２０６、あらかじめ対象者の顔画像から得られた個人の顔特徴情報が登録されている登録生体特徴管理手段としての登録顔特徴管理部２０７、事前検索部２０６により絞り込まれた対象の中から入力された顔特徴情報と類似する顔特徴情報を検索する本検索手段としての本検索部２０８、および、本検索部２０８の検索結果にあわせた制御信号や検索結果そのものを音声や画像等で出力する出力手段および入退場制御手段としての出力部２０９を有して構成されている。

以下、各部について詳細に説明するが、画像入力部２０１、顔検出部２０２、顔特徴抽出部２０３、登録顔特徴管理手段２０７については、前述した第１の実施の形態におけるそれと同一であるため説明は省略する。

カメラ２００は、第１の実施の形態と同様に対象者Ｍの顔画像を撮像することを前提とするが、ここでは監視カメラなどでも利用することが可能であり、やや広角に撮像した画像中に複数の人物が存在するような場合も想定する。連続して検索要求がくるような場合には、カメラ２００に別々の顔が連続して映る場合に相当し、監視画像のような引いた画像中では連続ではなく、同時に画面に映るような人物の顔がこの実施の形態で相関性を持たせる対象となる顔画像となる。

履歴統計管理部２０５は、第１の実施の形態における履歴管理部１０５とほぼ同等で、カメラ２００から得られた顔画像や顔特徴抽出部２０３で得られた顔特徴情報とともにそのときの検索結果を保存し管理するが、それ以外に、ある時点で検索要求を受けて出力された検索結果で１位または上位となった人物と、その前後に検索された人物、あるいは監視画像中に同時に写っていて検索された人物同士の相関性を統計情報として保持する。たとえば、図５に示すような履歴に対し、
・同時に画面に写っている人物の相関関係はかなり高くなるような相関値を付ける
・連続して１名ずつ検索されるような場合にも相関値は高めに付ける
・連続して検索したものの片方はグループで片方は１名であれば低めの相関を付ける
・履歴の間隔が所定時間を経過しているような場合には相関値を付けないか低めに設定する
といったようなルールを付けて相関関係を学習する。

図５に示すような形で履歴が得られた場合、上述のルールを適用して相関関係が求められた結果を図６に示す。図中、二重丸が最も高い相関値を持っていることを意味しており、画像に同時に写っていたために高い点数として管理されている。

事前検索部２０６は、現在検索要求を受けている顔画像と同時に写っている顔があれば、その中で既に検索結果が出ているものの結果を求め、同時に写っている顔がない場合には直前の検索結果を参照する。そこで得られた検索結果で過去の履歴統計分布に学習されている人物がいれば、その相関値が高い人物を優先的に検索対象とする。検索順番を早めるといった方法でもよいし、検索対象を相関のある人物のみに絞り込みすることで検索時間の短縮が期待される。
たとえば、人物Ｃが検索された直後であれば、図６に示す相関値から人物Ｄや人物Ｅが近くにいる可能性が高いため、しばらくこの２名の検索優先度を高めて本検索部２０８の処理を行なうことが可能となる。

本検索部２０８は、事前検索部２０６で絞り込みされたＩＤ番号のみの検索を行なうことや、検索順番を変えて検索することが可能となる。さらに、ここで再度類似度演算を行なわなくても、過去の検索履歴を第１の実施の形態と同じように流用することが可能となる。

出力部２０９は、第１の実施の形態と同じ構成でよいが、監視画像などをとっている場合には管理人の場所に画像を送るとともに警告を鳴動するシステムとしても利用が可能である。

以上説明したように第２の実施の形態によれば、対象者から得られた顔特徴情報に対して、ある人物の検索結果が得られた場合に、その人物の過去の検索履歴からその人物の近くに存在している可能性の高い人物を推測し、連続して検索をする場合や画像内に同時に存在する複数の人物の検索をする場合に検索方法を変更して検索を行なうことにより、さらに、精度低下を抑えながら効率よく高速に検索結果を出力できる。

次に、第３の実施の形態について説明する。
なお、以下の説明では、対象者から得られた顔の特徴情報に対して、あらかじめ１つまたは複数登録されている顔の特徴情報の中から類似した特徴情報を検索することで上記対象者と類似した人物を検索する人物検索装置を例として述べるが、本発明は顔に特化した処理ではなく、さまざまな生体情報を含む画像を入力して人物の検索を行なう方法に適用できるものであり、虹彩、網膜、手や指の静脈パターン、指紋パターン、目や耳や口の状態などを用いた人物検索装置としても適用可能である。

また、本発明が適用される対象としては、検索対象が比較的大人数であり、過去に同じような顔画像があってはおかしいような場合を想定したアプリケーションに適用される。たとえば、顔の申請書写真を使って何らかの申請を行なう場合などに適用が可能である。一定期間経過しているのに全く同じ写真があるときには撮影後何ヶ月以内といった規定に対して違反している可能性があることがわかる。また、過去の履歴との類似度が極端に高い場合には人工物を使ったなりすましなどを行なっている可能性もある。これらのように、実際の検索処理を行なうまでもなく、異常が判定された場合には検索処理を行なわずに異常出力をすることで早い異常判定が行なえる。

図７は、第３の実施の形態に係る人物検索装置の構成を概略的に示すものである。この人物検索装置は、対象者（以下、人物、入退場者ともいう）Ｍの顔画像（少なくとも顔を含んでいる画像）を撮影して入力する画像取得手段としてのカメラ３００、カメラ３００により撮像された画像をＡ／Ｄ変換してデジタル化するなどの画像処理を行なう画像入力部３０１、画像入力部３０１から得られた画像から顔および目、鼻などの顔部位の位置を検出する生体検出手段としての顔検出部３０２、顔検出部３０２により検出された顔領域の画像から個人の顔特徴情報を抽出する生体特徴抽出手段としての顔特徴抽出部３０３、過去の検索時に入力された顔特徴情報とそのときの検索結果を対応させて保存し管理する検索履歴管理手段としての履歴管理部３０５、入力された顔特徴情報と履歴管理部３０５に保存された過去に入力された顔特徴情報とを照合して極端に高い類似度を与える履歴があるかどうかを検索する事前検索手段としての事前検索部３０６、あらかじめ対象者の顔画像から得られた個人の顔特徴情報が登録されている登録生体特徴管理手段としての登録顔特徴管理部３０７、登録顔特徴管理部３０７内の顔特徴情報から入力された顔特徴情報と類似する顔特徴情報を検索する本検索手段としての本検索部３０８、および、本検索部３０８の検索結果にあわせた制御信号や検索結果そのものを音声や画像等で出力する出力手段および入退場制御手段としての出力部３０９を有して構成されている。

以下、各部について詳細に説明するが、カメラ３００、画像入力部３０１、顔検出部３０２、顔特徴抽出部３０３、登録顔特徴管理手段３０７については、前述した第１の実施の形態におけるそれと同一であるため説明は省略する。

履歴管理部３０５は、過去に検索されたときに入力された顔画像、そのときの時刻情報、および、その検索結果を履歴情報として保存し管理する。これにより、どの人物がいつごろどのような画像を入力して検索したかがわかる。

事前検索部３０６は、顔特徴抽出部３０３から得られた検索要求の基となる入力された顔特徴情報に対し、履歴管理部３０５で管理している過去の顔特徴情報との類似度を求める。ここで通常、同一人物であるかどうかを判定するのに利用する閾値よりも高めに設定された閾値を超えるような過去の顔特徴情報があった場合には、たとえば、人工物による画像入力が行なわれて変化がほとんど無い顔画像となっていると判断するようにできる。

たとえば、図８に示すように、照合判定閾値で登録されている人物かどうかを判定するが、それよりも高い位置に異常判定閾値を設定する。また、以前の履歴の時刻からの経過時間が取得できることから、顔の変化がない状態が何ヶ月以上たっているか、といった情報が取得できる。申請書などで使う顔写真は通常、撮影から数ヶ月以内といった基準があるが、その基準の期間を過ぎているのに異常に高い類似度を与えるような場合に、全く同じ写真を使っているといった異常状態であると判断できる。

事前検索部３０６では、このように本検索部３０８で登録顔特徴管理部３０７内の顔特徴情報を検索する前に異常であるかどうかを判定し、異常であれば出力部３０９に即座に警告を出力させるといったことが可能である。

事前検索部３０６で異常が無いと判定されれば、本検索部３０８では登録顔特徴管理部３０７内の顔特徴情報を検索する。検索を行なって類似度を求める処理については、前述した第１の実施の形態で詳細に述べているため、ここでは説明を省略する。ここで、異常と判定する閾値ではなく、同一人物であると判定するための閾値を設定しておき、その閾値を越すような顔特徴情報の人物がいれば、登録されている人物だということが検索可能となる。

出力部３０９は、同一写真の使いまわしや人工物によるなりすましといったことが判定された時点で警報を鳴動して管理者に通知を行なうことができ、異常がない場合には人物の過去の登録情報を表示するといったことを行なうようにして、登録者が誰であるかがわかるようにすることが可能である。

以上説明したように第３の実施の形態によれば、過去に検索要求を受けた際に入力された顔特徴情報を履歴として記録しておき、新たに検索要求を受けたときに入力された顔特徴情報を利用して過去に類似人物が検索要求を受けているかどうかを検索し、その類似度が所定の閾値以上であれば警報などを出力することにより、類似度が極端に高い入力画像を除外することができ、これにより写真による偽造や同一写真の使いまわしを防止することができる。

本発明の第１の実施の形態に係る人物検索装置の構成を概略的に示すブロック図。 事前検索処理を説明するための図。 履歴検索結果の統合方法を説明するための図。 本発明の第２の実施の形態に係る人物検索装置の構成を概略的に示すブロック図。 履歴の例と相関の考え方を説明するための図。 検索対象人物の相関関係を説明するための図。 本発明の第３の実施の形態に係る人物検索装置の構成を概略的に示すブロック図。 設定される閾値の関係を説明するための図。

符号の説明

Ｍ…対象者、人物、入退場者、１００，２００，３００…カメラ（画像取得手段）、１０１，２０１，３０１…画像入力部、１０２，２０２，３０２…顔検出部（生体検出手段）、１０３，２０３，３０３…顔特徴抽出部（生体特徴抽出手段）、１０４…補助入力部（補助入力手段）、１０５，３０５…履歴管理部（履歴管理手段）、２０５…履歴統計管理部（履歴統計管理手段）、１０６，２０６，３０６…事前検索部（事前検索手段）、１０７，２０７，３０７…登録顔特徴管理部（登録顔特徴管理手段）、１０８，２０８，３０８…本検索部（本検索手段）、１０９，２０９，３０９…出力部（出力手段、入退場制御手段）。

Claims (12)

1. 人物を検索する人物検索装置において、
   対象者の生体情報を含む画像を取得する画像取得手段と、
   この画像取得手段により取得された画像から個人の生体特徴情報を抽出する生体特徴抽出手段と、
   あらかじめ複数人分の登録者の生体特徴情報が登録されている登録手段と、
   前記生体特徴抽出手段により抽出された生体特徴情報と当該生体特徴情報に対する人物の検索結果とを対応させた検索履歴情報を保存する検索履歴管理手段と、
   前記生体特徴抽出手段により抽出された生体特徴情報と類似する生体特徴情報を含む検索履歴情報を前記検索履歴管理手段から検索する事前検索手段と、
   この事前検索手段によって前記生体特徴抽出手段により抽出された生体特徴情報と類似する生体特徴情報を含む検索履歴情報が前記検索履歴管理手段から検索された場合には、当該検索履歴情報に含まれる人物の検索結果を前記対象者に対する検索結果とし、前記事前検索手段によって前記生体特徴抽出手段により抽出された生体特徴情報と類似する生体特徴情報が前記検索履歴管理手段から検索されなかった場合には、前記生体特徴抽出手段により抽出された生体特徴情報と類似する生体特徴情報を前記登録手段から検索する本検索手段と、
   この本検索手段により検索結果を得た生体特徴情報と当該生体特徴情報に対する人物の検索結果とを対応させた検索履歴情報を前記検索履歴管理手段に保存せしめる保存手段と、
   を具備したことを特徴とする人物検索装置。
2. 前記事前検索手段は、前記生体特徴抽出手段により抽出された生体特徴情報との類似度が所定の閾値以上となる生体特徴情報の検索履歴情報を前記検索履歴管理手段から検索する、ことを特徴とする前記請求項１に記載の人物検索装置。
3. 前記事前検索手段は、前記生体特徴抽出手段により抽出された生体特徴情報との類似度が所定の閾値以上となる生体特徴情報を前記検索履歴管理手段から検索し、検索した生体特徴情報を含む検索履歴情報から所定の条件に基づいて検索履歴情報を選択し、選択した検索履歴情報に含まれる人物の検索結果を前記対象者の検索結果とする、ことを特徴とする前記請求項１に記載の人物検索装置。
4. 前記本検索手段は、前記事前検索手段が前記生体特徴抽出手段により抽出された生体特徴情報と類似する複数の生体特徴情報を前記検索履歴管理手段から検索した場合、前記事前検索手段が検索した複数の生体特徴情報のうち前記生体特徴抽出手段により抽出された生体特徴情報との類似度が最も高い生体特徴情報に対応する検索履歴情報に含まれる人物の検索結果を前記対象者の検索結果とする、ことを特徴とする前記請求項１に記載の人物検索装置。
5. 前記本検索手段は、前記事前検索手段が前記生体特徴抽出手段により抽出された生体特徴情報と類似する複数の生体特徴情報を前記検索履歴管理手段から検索した場合、前記事前検索手段が検索した複数の生体特徴情報に対応する複数の検索履歴情報によって前記登録手段に生体特徴情報が登録されている登録者を絞り込み、絞り込んだ登録者の生体特徴情報から前記生体特徴抽出手段により抽出された生体特徴情報と類似する生体特徴情報を検索する、ことを特徴とする前記請求項１に記載の人物検索装置。
6. 前記事前検索手段は、前記検索履歴管理手段に保存されている検索履歴情報の生体特徴情報からの検索を行なう場合の処理時間と、前記検索履歴情報の生体特徴情報からの検索を行なわずに前記登録手段に登録された生体特徴情報から検索を行う場合の処理時間とを予測し、予測した処理時間に応じて前記事前検索手段による検索履歴情報の生体特徴情報からの検索を実行するか否かを切換える、ことを特徴とする前記請求項１に記載の人物検索装置。
7. 前記検索履歴管理手段は、前記生体特徴抽出手段により抽出された生体特徴情報と、当該生体特徴情報に対する人物の検索結果とに加えて、当該生体特徴情報の人物と他の人物との相関関係を示す情報とを対応させた検索履歴情報を保存し、
   前記事前検索手段は、直前に前記検索履歴管理手段に保存した検索履歴情報に含まれる相関関係に基づく優先度に従って各検索履歴情報の生体特徴情報と前記生体特徴抽出手段により抽出された生体特徴情報とを照合することにより、前記生体特徴抽出手段により抽出された生体特徴情報と類似する生体特徴情報の検索履歴情報を前記検索履歴管理手段から検索する、ことを特徴とする前記請求項１に記載の人物検索装置。
8. 前記生体特徴情報は、人物の顔、網膜、口、虹彩、指紋、掌紋、耳、あるいは、人体の一部の静脈形状の特徴を示す情報である、ことを特徴とする請求項１乃至請求項７のいずれか１項に記載の人物検索装置。
9. 人物を検索する人物検索方法において、
   対象者の生体情報を含む画像を取得する画像取得ステップと、
   この画像取得ステップにより取得された画像から個人の生体特徴情報を抽出する生体特徴抽出ステップと、
   前記生体特徴抽出ステップが過去に抽出した生体特徴情報と当該生体特徴情報に対する人物の検索結果とを対応させた検索履歴情報を保存している検索履歴管理手段から、前記生体特徴抽出ステップにより抽出された生体特徴情報と類似する生体特徴情報を含む検索履歴情報を検索する事前検索ステップと、
   この事前検索ステップによって前記生体特徴抽出ステップにより抽出された生体特徴情報と類似する生体特徴情報を含む検索履歴情報が前記検索履歴管理手段から検索された場合には、当該検索履歴情報に含まれる人物の検索結果を前記対象者に対する検索結果とし、前記事前検索ステップによって前記生体特徴抽出ステップにより抽出された生体特徴情報と類似する生体特徴情報が前記検索履歴管理手段から検索されなかった場合には、前記生体特徴抽出ステップにより抽出された生体特徴情報と類似する生体特徴情報をあらかじめ複数人分の登録者の生体特徴情報が登録されている登録手段から検索する本検索ステップと、
   この本検索ステップによる処理の後、当該生体特徴情報と当該生体特徴情報に対する人物の検索結果とを対応させた検索履歴情報を前記検索履歴管理手段に保存せしめる保存ステップと、
   を具備したことを特徴とする人物検索方法。
10. 前記検索履歴管理手段は、前記生体特徴抽出手段により抽出された生体特徴情報と、当該生体特徴情報に対する人物の検索結果とに加えて、当該生体特徴情報の人物と他の人物との相関関係を示す情報とを対応させた検索履歴情報を保存し、
    前記事前検索ステップは、直前に前記検索履歴管理手段に保存した検索履歴情報に含まれる相関関係に基づく優先度に従って各検索履歴情報の生体特徴情報と前記生体特徴抽出ステップにより抽出された生体特徴情報とを照合することにより、前記生体特徴抽出ステップにより抽出された生体特徴情報と類似する生体特徴情報の検索履歴情報を前記検索履歴管理手段から検索する、ことを特徴とする前記請求項９に記載の人物検索方法。
11. 人物の入退場を制御する入退場管理システムにおいて、
    入退場者の生体情報を含む画像を取得する画像取得手段と、
    この画像取得手段により取得された画像から個人の生体特徴情報を抽出する生体特徴抽出手段と、
    あらかじめ複数人分の登録者の生体特徴情報が登録されている登録手段と、
    前記生体特徴抽出手段により抽出された生体特徴情報と当該生体特徴情報に対する人物の検索結果とを対応させた検索履歴情報を保存する検索履歴管理手段と、
    前記生体特徴抽出手段により抽出された生体特徴情報と類似する生体特徴情報を含む検索履歴情報を前記検索履歴管理手段から検索する事前検索手段と、
    この事前検索手段によって前記生体特徴抽出手段により抽出された生体特徴情報と類似する生体特徴情報を含む検索履歴情報が前記検索履歴管理手段から検索された場合には、当該検索履歴情報に含まれる人物の検索結果を前記対象者に対する検索結果とし、前記事前検索手段によって前記生体特徴抽出手段により抽出された生体特徴情報と類似する生体特徴情報が前記検索履歴管理手段から検索されなかった場合には、前記生体特徴抽出手段により抽出された生体特徴情報と類似する生体特徴情報を前記登録手段から検索する本検索手段と、
    この本検索手段による検索結果に基づき前記入退場者の入退場対象エリアに対する入退場を制御する入退場制御手段と、
    この本検索手段により検索結果を得た生体特徴情報と当該生体特徴情報に対する人物の検索結果とを対応させた検索履歴情報を前記検索履歴管理手段に保存せしめる保存手段と、
    を具備したことを特徴とする入退場管理システム。
12. 前記検索履歴管理手段は、前記生体特徴抽出手段により抽出された生体特徴情報と、当該生体特徴情報に対する人物の検索結果とに加えて、当該生体特徴情報の人物と他の人物との相関関係を示す情報とを対応させた検索履歴情報を保存し、
    前記事前検索手段は、直前に前記検索履歴管理手段に保存した検索履歴情報に含まれる相関関係に基づく優先度に従って各検索履歴情報の生体特徴情報と前記生体特徴抽出手段により抽出された生体特徴情報とを照合することにより、前記生体特徴抽出手段により抽出された生体特徴情報と類似する生体特徴情報の検索履歴情報を前記検索履歴管理手段から検索する、ことを特徴とする前記請求項１１に記載の入退場管理システム。

Images