JP2006301995A - 人物検索装置及び人物検索方法 - Google Patents

Abstract

【課題】誤検出／検索漏れが少なからず発生する人物特徴空間上において、複数のカメラで撮影した映像群から、検索条件に該当する人物を全て洗出せるようにする。
【解決手段】カメラで撮像した映像から人物の特徴ベクトルを抽出し蓄積媒体に保存する人物特徴保存手段１０１と、時間・場所及び複数の人物特徴ベクトルを検索条件として指定する条件指定手段１０２と、指定された検索条件を用いて、類似と判定する探索範囲及び不一致と判定する探索範囲を算出し、所望の人物を抽出する人物検索手段１０３と、検索結果を出力する結果表示手段１０４と、検索結果から正解となる所望の人物を新たに複数選択する人物選択手段１０５とを備えることで、ユーザが検索結果から正解を選択する操作を繰り返すだけで、誤検出を抑制した特定人物の全洗出しを効率的に実施することが可能となる。
【選択図】図１

Description

本発明は、カメラで撮影した映像群から、検索条件を指定して所望の人物を洗出す人物検索装置及び方法に関するものである。

特に、「万引犯の行動」「迷子者の居場所」等の特定人物の監視・分析を行なう監視者の業務効率化をはかる装置及び方法に関する。

近年、ピッキング・強盗・放火等に代表される犯罪の増加と共に、カメラ・センサ・蓄積装置等を設置し、犯罪を未然に防止する映像監視システムの普及が大幅に進んでいる。また、監視カメラのＩＰ化・蓄積装置の大容量化に伴い、数百規模の広域監視・長時間記録を行なうことも増加してきた。このような状況において、監視者の業務軽減を目指し、万引き犯・迷子者・落し物者等の特定人物の洗出しを、時間/エリアの大きさに関係なく効率的に行なうための技術が要望されてきている。

特定人物の洗出しを行なう従来技術として、特許文献１および特許文献２がある。特許文献1では、図１２に示すように、例示画像と検索属性（表情、性別、年齢等）を指定すると、顔画像データベースから類似度の高い顔画像を検索して表示することが示されており、例示画像から類似度の高い属性を部分選択することで、より高度な絞り込み検索を実現している。また、特許文献２では、複数の人物画像を指定し、複数人物画像間での組合わせ検索を行なうことで、所望の映像を見つけ易くしている。
特開２００２−１８３２０５号公報 特開２００２−２０７７４１号公報

しかしながら、特許文献1及び特許文献２の従来技術では、表情/性別等の部分条件・複数人物画像間の共通条件を用いて検索範囲を限定すると、逆に検索漏れ/誤検出を多く発生させ、特定人物の全行動を洗出す作業に手間がかかると言った課題を有していた。

例えば、図２に示すように、カメラから人物Ａ・Ｂ・Ｃの顔画像を長時間に渡って抽出し、その顔画像を顔特徴空間に射影した場合を考える。この場合、人物毎に顔特徴が同一空間に集まるように射影されるが、顔向きの違い／照明の違い等によって、同一人物でも射影される空間が異なる場合が生じる。従って、図２の顔特徴空間を用いて、人物Ａの顔画像を入力し範囲検索しても、全てのＡさんの顔画像を取得するには誤検出部分も含めた結果出力が必要となり、また、仮に誤検出を減らすために検索範囲を小さくすると、検索漏れが多い結果出力になるという現象が発生する。この現象は、検索条件を、表情/性別等の部分条件・複数人物画像間の共通条件に変更しても発生する現象であり、これを解決するためには、顔向き/照明変動が発生しても個人の顔特徴空間が分散しない堅牢な顔射影方法を構築する必要があるが、現状、技術的に困難な状況にある。

本発明は、前記従来の課題を解決するもので、誤検出／検索漏れが少なからず発生する顔特徴空間において、ユーザが検索結果から正解を選択する情報を利用して、特定人物の全洗出しを効率的に実施可能な「ユーザ対話型の人物検索装置及び方法」を実現することを目的とする。

前記従来の課題を解決するために、本発明は、ユーザが正解と指定した複数の人物特徴ベクトルを検索条件として入力し、その検索条件に基づいて、「類似と判定する探索範囲」及び「不一致と判定する探索範囲」を算出する。そして、「類似と判定する探索範囲」内にある顔画像群から「不一致と判定する探索範囲」を除外して所望の人物の洗出しを行なうようにしたものである。なお、「類似と判定する探索範囲」は、検索条件で指定された人物数、あるいは、指定人物と同時間帯に存在する人物数(指定人物ではない)に応じて決定され、また、「不一致と判定する探索範囲」は、指定人物と同時間帯に存在する人物を中心として決定される。

また、本発明は、検索結果出力時に、各人物と指定人物との相関、あるいは、各人物と同時間帯に存在する人物数といった属性情報を併せて出力するようにしたものである。

本発明の人物検索装置及び方法は、「同一時間帯に、複数のエリアに同じ人物はいない」と言う考え方に則り、ユーザが指定した人物と同時間帯に存在する人物群を除外して検索を再実行していくことで、ユーザが検索結果から正解を選択する操作を繰り返すだけで、誤検出を抑制した特定人物の全洗出しを効率的に実施することが可能となる。

以下本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図１は、本発明の実施の形態１における人物検索装置の構成図である。

図１において、１０１はカメラで撮像した映像から人物の特徴ベクトルを抽出し蓄積媒体に保存する人物特徴保存手段、１０２は時間・場所及び複数の人物特徴ベクトルを検索条件として指定する条件指定手段、１０３は条件指定手段１０２で指定した検索条件を用いて、類似と判定する探索範囲及び不一致と判定する探索範囲を算出し、所望の人物を人物特徴蓄積手段１０１から抽出する人物検索手段、１０４は検索結果を出力する結果表示手段、１０５は結果表示手段１０４で出力した検索結果から正解となる所望の人物を新たに複数選択し、前記条件指定手段102の人物特徴ベクトルとして再入力する人物選択手段である。

人物特徴保存手段１０１で保存する人物特徴情報は、画像から切出した移動体の画像データであり、或いは、形状・色・大きさなどにより移動体を特定する情報であり、或いは、顔の目・鼻・口の形状や位置などを特定する情報である。これらの特徴情報の抽出分類方法は広く知られており、例えば、公知技術文献として知られている「画像の処理と認識」(安居院猛・長尾智晴 共著、昭晃堂出版)に厳密に記されている。これらの既存技術を用いれば、カメラ映像から移動体を識別し、移動体毎に軌跡情報や顔・服装の特徴を管理することが可能となる。

なお、本実施の形態では、人物特徴として、顔の目・鼻・口の形状や位置などを特定する顔特徴を用いて説明するが、人物の形状・服装を表す特徴に対しても同様に適用することは可能である。

また、人物選択手段１０５で選択する人物の存在時間帯とは、選択人物の軌跡情報を取得できた時間帯を指す。例えば、図３に示すように、人物Ａが複数のカメラを跨って歩いた場合や、人物Ｂが障害物の陰に隠れた場合、人物Ａ、Ｂに対する軌跡情報は複数存在し、人物Ａ、Ｂの存在時間帯は軌跡情報が取得できた離散的な時間帯となる。但し、複数の軌跡が同一人物のものと断定できない場合は、選択人物の存在時間帯は分断した軌跡情報のみと考え、例えば、顔１を選択した場合の存在時間帯は軌跡１の時間帯となる。

図４は、本願発明の特定人物の全洗出し方法を模式的に示している。図４において、図４（１）はフロアに設置したカメラ６台に対して人物を検出した箇所を時系列に並べたものであり、図４（２）は特定のカメラ群／時間帯に対する顔特徴空間の分布を表わしたものである。図４（１）（２）を用いた特定人物の洗出し手順を以下で説明する。

＜ステップ４０１＞条件指定手段１０２で、「エリア(＝１Ｆ、２Ｆ)、時間、人物（＝ｊ）」の条件を指定すると、人物検索手段１０３にて検索が実行され、結果表示手段１０４にて図４（３）の検索結果が表示される。検索結果には人物ｊの近傍にある人物群（７個）が含まれ、人物ｊとの距離に応じて順位付けして表示される。ここで、人物ｄ，ｅ，ｆ，ｌは、顔向き／照明変動等により同一人物内の空間へ射影できなかった人物であり、人物ｊとは全くの別人である。

＜ステップ４０２＞人物選択手段１０５にて、正解である人物を複数選択する。図４（３）のように、検索結果が少ない場合は全正解を選択することは可能であるが、検索結果が膨大になると全正解を選択することは困難になる。本発明では正解を全選択しなくても動作可能であるため、ここでは人物ｃ，ｍを選択したと仮定する。

＜ステップ４０３＞人物検索手段１０３にて、選択人物の存在時間帯と、その時間帯に存在した別人一覧を算出する。選択人物の存在時間帯は、人物ｍ，ｃの軌跡情報を用いて、時間帯Ｘ，時間帯Ｙと算出され、また、時間帯Ｘ，Ｙに存在した人物(人物ｍ，ｃを除く)は、人物ａ，ｂ，ｄ，ｌ，ｎと決定される。なお、別人一覧は検索条件で指定するエリアに限定する必要はなく、図１の検索サーバ１１で管理している全カメラを対象に別人一覧を生成してもよい。

＜ステップ４０４＞人物検索手段１０３にて、「類似と判定する探索範囲α」と「不一致と判定する探索範囲β」を算出し、探索範囲α内にある顔画像群から探索範囲βを除外して人物の再洗出しを実行する。探索範囲αが大きくなっても、探索範囲βも大きくなれば、再洗出し時の誤検出率の増加は抑制できるため、探索範囲αは、「探索範囲βの大きさ」、すなわち、「検索条件で指定された人物数」、或いは、「指定人物と同時間帯に存在する別人数」に基づいて決定される。

また、探索範囲βは、ステップ４０３の別人一覧を用いて、各別人の近傍空間の総和で求められる。なお、各別人の近傍空間は誤検出がない最小の空間とすることで、探索範囲β内に検索対象の人物を包含する確率を０にでき、特定人物の全洗出しが可能になる。

図４（４）の検索結果は、人物ｊと同一人物が全て含まれた結果となっているが、特定人物の全洗出しが完了したのかをユーザが判断するのは難しい。この対策として、検索範囲αが最大となった場合の検索結果数と、現時点の検索結果数を比較して、その差異がどの程度あるかをユーザに通知する方法が考えられる。この方法によれば、差異がなければ全洗出しが完了したとユーザ側で簡単に判断することができる。

また、別の対策として、図５に示すように、ユーザが正解と選択した人物を時間軸上に表示して、どの程度の割合で洗出しができているのかをユーザに直感的に示す方法も考えられる。図５において、（１）は検索条件の初期設定画面、(２)は検索結果を表示する画面、（３）は正解一覧を時間軸に表示する画面を表わしており、ユーザは（２)の画面から正解画像を（３）の画面に貼り付けていく検索操作を繰り返す事で、特定人物の洗出しを行なう。なお、図５の（３）の正解画像は、（２）の検索結果表示画面に表示しないようにすれば、（２）の検索結果数で特定人物の全洗出しがどの程度完了したか直感的に分かることも可能である。

かかる構成によれば、「同一時間帯に、複数のエリアに同じ人物はいない」と言う考え方に則り、ユーザが指定した人物と同時間帯に存在する人物群を除外して検索を再実行していくことで、ユーザが検索結果から正解を選択する操作を繰り返すだけで、誤検出を抑制した特定人物の全洗出しを効率的に実施することができる。

なお、検索結果表示画面に図４の（３）を用いて説明したが、図４の（１）のようなエリア／時間の２次元マップを使用してユーザに直感的に分かるようにしてもよい。また、人物選択手段１０５で正解と選択した複数の人物特徴ベクトルの平均・分散値を用いて、「類似と判定する探索範囲」の中心点を算出するようにしてもよい。

（実施の形態２）
実施の形態２では、検索結果出力時に、各人物の属性情報を併せて出力する人物検索装置について述べる。

本発明の実施の形態２で述べる構成は実施の形態１とほぼ同じであるため、ここでは、相違点となる人物検索手段10３の検索結果を出力する際に各人物の属性情報を生成する部分及びその表示方法のみ記載し、他は省略する。

図６は、本願発明の各人物の属性情報を生成する部分の構成を示している。図６において、６０１は人物検索手段１０３の検索結果を保存する検索結果保存手段、６０２は条件指定手段１０２で指定した複数の人物情報を保存する指定人物保存手段、６０３は検索結果６０１を用いて、検索結果となる各人物同士の時間的重なりを計算する重複回数算出手段、６０４は検索結果６０１及び指定人物６０２を用いて、検索結果となる各人物と指定人物との相関を計算する指定人物相関算出手段、６０５は検索結果６０１及び人物特徴データ１０１を用いて、検索結果となる各人物と同時刻に存在する人物数を算出する別人数算出手段、６０６は重複回数算出手段６０３及び指定人物相関算出手段６０４及び別人数算出手段６０５で算出した結果を各人物の属性情報として保存する属性情報保存手段、６０７は属性情報６０６に基づいて、検索結果の順位付けを行なう順位付け手段である。

検索結果６０１のデータとして、人物毎に、存在する時間帯・場所及び、顔特徴空間における指定人物とのユークリッド距離を保持しており、指定人物６０２のデータとして、人物毎に、存在する時間帯・場所を保持している。また、「検索結果となる各人物と指定人物との相関」とは、検索結果の各人物が正解と選ばれた場合に、条件指定手段１０１で指定する時間範囲内に、正解人物がどの程度均一に分布されるかを表わす数値である。

図７（１）は、重複回数算出手段６０３の処理手順を表わしたものであり、以下その動作を説明する。

＜ステップ７０１＞検索結果となる各人物を時系列に並べ、重なりのある時間帯を全て算出する。

＜ステップ７０２＞ステップ７０１で算出した「重なりのある時間帯」それぞれに対して、その時間帯に該当する人物にカウンタを＋１していく。なお、各人物の初期値は０である。

図７（２）は、重複回数算出手段６０３で算出した属性情報を用いた検索結果の画面を表わしたものである。７１は、検索結果601から時間的に重複した人物群を取出し表示する画面、７２は、検索結果６０１から時間的に重複しない人物群を取出し表示する画面を表わしている。特定人物の洗出しにおいて、同一時間帯に複数のエリアに同じ人物がいることはあり得ないので、７１の表示画面のように、検索結果が間違っている可能性が高い一覧を分離表示することで、ユーザに検索結果のどこに誤りがあるのかを直感的に伝えることが可能となる。また、７１の表示画面において、各人物を重複回数の多い順に表示することで、より間違っている可能性の高い人物群をユーザに直感的に伝えることも可能である。

図８は、指定人物相関算出手段６０４の処理手順を表わしたものであり、以下その動作を説明する。

＜ステップ８０１＞検索結果６０１の人物群(φ２)で、まだ未処理の人物があるかチェックする。未処理の人物があればステップ８０２へ、なければ、処理を終了する。

＜ステップ８０２＞φ２から、まだ未処理の人物（人物Ｒ）を抽出する。

＜ステップ８０３＞指定人物６０２の人物群(φ１)から時間的に、人物Ｒの直前にある人物(人物Pre)を抽出する。人物Preが見つからない場合は、人物Pre=NULLとする。

＜ステップ８０４＞φ１から時間的に、人物Ｒの直後にある人物(人物Post)を抽出する。人物Postが見つからない場合は、人物Post=NULLとする。

＜ステップ８０５＞人物Pre、人物Postが共にNULLでなければステップ８０６へ、どちらかがNULLの場合は、ステップ８０７へ進む。

＜ステップ８０６＞人物Ｒと人物Pre/人物Ｐｏｓｔとの時間差(PreTime,PostTime)を算出する。

＜ステップ８０７＞人物Pre=NULLならステップ８０８へ、人物Post＝NULLならステップ８０９へ進む。

＜ステップ８０８＞人物Ｒと人物Postとの時間差(PostTime)を算出する。また、人物Rと人物Preとの時間差を、PreTime = (人物Rの存在時刻 - 検索開始時刻)として算出する。なお、検索開始時刻とは、条件指定手段１０１で指定する時間範囲の開始時刻を表わす。

＜ステップ８０９＞人物Ｒと人物Preとの時間差(PreTime)を算出する。また、人物Rと人物Postとの時間差を、PostTime = (人物Rの存在時刻 - 検索終了時刻)として算出する。なお、検索終了時刻とは、条件指定手段１０１で指定する時間範囲の終了時刻を表わす。

＜ステップ８１０＞人物Ｒと指定人物群φ１との相関値を算出する。計算式は、(PreTime+PostTime)に、PreTimeとPostTimeの比率(PreTime/PostTimeとPostTime/PreTimeのうち、値が小さいもの)を乗算したものとする。これは、正解と指定した人物群を均一に分布するためには、「長時間に渡って正解と指定された人物がいない」かつ「正解と指定する人物同士の間隔が均一になる」と言う条件を満たす必要があるためである。

図９は、指定人物相関算出手段６０５で算出した属性情報の利用方法を説明する上で、正解と指定した人物群(φ１)と検索結果１・２・３の時間的な配置を模式的に表わしたものである。本発明の人物検索手段１０３は、ユーザが指定した人物と同時間帯に存在する人物群を除外して検索を再実行していくため、より多くの除外可能な人物群を抽出できる方が検索効率がよい。このため、既に正解と指定した人物の近辺で、さらに正解となる人物を選択するよりも、時間的に離れた部分で正解となる人物を選択した方が、今まで抽出できなかった除外可能な人物を多く検出することが可能である。従って、図９の検索結果１・２・３の中で、指定人物群との相関値が高い順(検索結果２、検索結果３、検索結果１の順)に検索結果を順位付けすることで、ユーザが相関値の高い正解人物を選択しやすくなるため、結果として、再検索回数を抑制した効率的な人物検索をユーザに提供することができる。

最後に、別人数算出手段６０５の処理手順及び算出した属性情報の利用方法について説明する。別人数算出手段６０５では、検索結果６０１の各人物に対して、その人物と同時刻に存在する別人を人物特徴データ１０１より抽出し、その人数をカウントする処理を行なう。なお、処理詳細は、図４のステップ４０３と同様なので、ここでは説明を省略する。別人数算出手段６０５で算出した属性情報(別人数)は、ユーザが検索結果を見て正解となる人物を複数選択する時の補助として使用できる。例えば、正解となる人物を１つ選択したが、この人物に対する別人数が極めて少ない時は、再検索を実行しても効果が小さいため、さらに別の正解となる人物を選択すると言った操作を検索前に実行できる。このように、各人物に対する別人数を属性情報としてユーザに伝えることで、再検索回数を抑制した効率的な人物検索をユーザに提供することが可能となる。なお、各人物に対する別人数を用いて、再検索回数を抑制できる順番に検索結果を順位付けして表示してもよい。また、各人物の別人数の総和を用いて、その総和に対する「各人物の別人数」の比率を属性情報して出力するようにしてもよく、この比率を「再検索時の有効度」と言う形式でユーザに伝えることで、よりユーザに分かり易い属性情報とすることができる。

かかる構成によれば、検索結果出力時に、「各人物の時間的重なり」「各人物と指定人物との相関」「各人物と同時間帯に存在する人物数」といった属性情報を併せて出力することにより、再検索回数を抑制した効率的な人物検索をユーザに提供することができる。

なお、本実施の形態では、各属性情報の単一での使用方法について述べたが、複数の属性情報を同時に表示したり、各属性情報を軸とする空間(例えば3次元空間)を作成して、そこに順位付けした結果を貼付けて表示するようにしてもよい。

（実施の形態３）
実施の形態３では、旅行・運動会等の個人で撮像したコンテンツ(静止画・動画)に対する人物検索装置について述べる。

図１０は、本発明の実施の形態３における人物検索システムの構成図を示したものである。図１０において、検索サーバ１１に登録するカメラ映像は、個人で保有するデジタルスチルカメラ・ムービであり、複数のカメラを登録することができる。例えば、家族で保有するカメラを全て検索サーバ１１に登録する場合、或いは、旅行に一緒に行った友人が保有するカメラを全て登録する場合、或いは、コンサート・野球等の会場に集まった人が保有するカメラを全て登録する場合が考えられる。検索サーバ１１に登録された個々のカメラ映像は、検索サーバにアクセスできる全ユーザが閲覧できる訳ではなく、カメラ単位或いは時間・場所単位で、アクセスできるユーザをグループ分けして管理されている。また、検索サーバ１１は１箇所に集約或いは複数個所に分散して配置されていてもよく、分散して配置されている場合は、各検索サーバが、別の検索サーバのデータを共有できる仕組みになっていればよい。

本発明の実施の形態３で述べる処理手順・検索方法は実施の形態１とほぼ同じであり、相違点は、複数のカメラから同一場所／時刻の人物を様々な画角から撮影する点、及び、同一カメラでも移動して異なる場所を撮影する点である。従って、本発明の実施の形態３では相違点に関する部分のみ記載し、他は省略する。

図１１は、複数のカメラから同一場所／時刻の人物を様々な画角から撮影した場合を想定して、人物検索手段１０３の処理手順の変更を行なったものである。図１１の(１)は、複数カメラ間で画角を共有して撮影した時のイメージを時系列に示したものであり、同一斜線の区間は画角を共有した人物が存在している事を表わしている。なお、同一斜線区間同士で先頭と終端が合わない部分が存在するが、これは、ある一部の時間帯で画角を共有して人物を撮影した事を表わし、重複していない部分は、単一カメラで該当人物を撮影し続けた事を表わしている。以下、図１１の（２）を用いて、変更となるステップ４０３の処理手順について説明する。

＜ステップ４０３ａ＞選択人物の存在時間帯を算出する。

＜ステップ４０３ｂ＞選択人物と画角／時間帯が重複する人一覧を抽出する。なお、この人一覧は選択人物を異なるアングルから撮影した人一覧である。

＜ステップ４０３ｃ＞選択人物と存在時間帯が重複する人一覧を抽出する。

＜ステップ４０３d＞ステップ４０３ｃの人一覧からステップ４０３ｂの人一覧を除外し、これをステップ４０４の「不一致と判定する探索範囲β」の算出で使用する。

次に、同一カメラでも移動して異なる場所を撮影した時の対処方法について述べる。本発明の人物検索手段１０３は、移動して異なる場所を撮影するカメラを対象としても、図４及び図１０の処理手順を用いれば実現可能である。しかし、例えば、検索結果表示画面に図４の（１）を用いると、カメラ内で撮影場所が異なってくるので、場所を意識しながら特定人物の洗出しを行なう場合には不向きである。このため、縦軸をカメラ単位ではなく撮影場所単位にして、各カメラで撮影した人物を再配置して表示する、或いは、縦軸をカメラ単位にしておき、場所ごとに色分けして表示する方法が考えられる。この方法によれば、移動して異なる場所を撮影するカメラに対しても、これまでと同様に、ユーザが場所を意識して特定人物の洗出し操作を行なえるようになる。

かかる構成によれば、複数のカメラで画角を共有した場合、及び、カメラが移動して異なる場所を撮影した場合でも、ユーザが検索結果から正解を選択する操作を繰り返すだけで、誤検出を抑制した特定人物の全洗出しを効率的に実施することが可能である。

本発明にかかる人物検索装置及び方法は、ユーザが検索結果から正解を選択する操作を繰り返すだけで、誤検出を抑制した特定人物の全洗出しを効率的に実施することが可能であり、複数カメラを対象にした万引き犯・迷子・落し物者の全行動把握を行なう監視用途に加えて、旅行・運動会等の個人で撮像したコンテンツ(静止画・動画)に対する閲覧・検索・編集の用途にも応用することができる。

本発明の実施の形態１における人物検索装置の構成図 従来技術の課題を説明する図 選択した人物が存在する時間帯について説明する図 本発明の実施の形態１における特定人物の全洗出しに関するフローチャート 本発明の実施の形態１における検索結果表示画面と検索操作方法を説明する図 本発明の実施の形態２における人物検索装置の構成図 本発明の実施の形態２における人物間の重複回数算出に関する説明図 本発明の実施の形態２における指定人物との相関を算出するフローチャート 本発明の実施の形態２における指定人物との相関を用いた検索結果の順位付けを説明する図 本発明の実施の形態３における人物検索システムの構成図 本発明の実施の形態３における複数のカメラで画角を共有した場合のフローチャート 従来技術の構成図

符号の説明

１１ 検索サーバ
１２ 検索端末
１０１ 人物特徴蓄積手段
１０２ 条件指定手段
１０３ 人物検索手段
１０４ 結果表示手段
１０５ 人物選択手段
６０１ 検索結果保存手段
６０２ 指定人物保存手段
６０３ 重複回数算出手段
６０４ 指定人物相関算出手段
６０５ 別人数算出手段
６０６ 属性情報保存手段
６０７ 順位付け手段
７０１ 例示画像提示部
７０２ 検索属性指定部
７０３ 特徴ベクトル抽出部
７０４ 顔画像ＤＢ
７０５ 類似度計算部
７０６ 表示部

Claims (21)

1. 撮像機器で撮像した映像から人物の特徴ベクトルを抽出し蓄積媒体に保存する人物特徴保存手段と、
   時間・場所及び複数の人物特徴ベクトルを検索条件として指定する条件指定手段と、
   前記条件指定手段で指定した検索条件を用いて、類似と判定する探索範囲及び不一致と判定する探索範囲を算出し、所望の人物を前記人物特徴蓄積手段から抽出する人物検索手段と、
   検索結果を出力する結果表示手段と、
   前記結果表示手段で出力した検索結果から正解となる所望の人物を新たに複数選択し、前記条件指定手段の人物特徴ベクトルとして指定する人物選択手段と
   を備えた人物検索装置。
2. 前記人物検索手段は、前記人物選択手段で選択した人物数、あるいは、選択人物の同時刻に存在する人物数に応じて、該装置が類似と判定する探索範囲を決定する請求項1記載の人物検索装置。
3. 前記人物検索手段は、前記条件指定手段で指定した複数の人物特徴ベクトルの平均・分散値を用いて、前記類似と判定する探索範囲の中心点を再決定する請求項２記載の人物検索装置。
4. 前記人物検索手段は、前記人物選択手段で選択した人物の存在時間帯を用いて、該当時間帯に存在する別の人物一覧に基づいて、前記選択した人物と不一致と判定する探索範囲を決定する請求項1記載の人物検索装置。
5. 前記人物検索手段は、前記不一致と判定する探索範囲を、誤検出率の少ない範囲とする請求項４記載の人物検索装置。
6. 前記人物検索手段は、検索結果出力時に、各人物同士の時間的重なりを属性情報として出力する請求項1記載の人物検索装置。
7. 前記人物検索手段は、検索結果出力時に、各人物と同時刻に存在する人物数を属性情報として出力する請求項1記載の人物検索装置。
8. 前記人物検索手段は、検索結果出力時に、各人物が選択された場合の、前記類似と判定する探索範囲の変更率を属性情報として出力する請求項２記載の人物検索装置。
9. 前記人物検索手段は、検索結果出力時に、検索結果となる各人物と指定人物との相関を属性情報として出力する請求項1記載の人物検索装置。
10. 前記人物検索手段は、検索結果出力時に、各人物に付与した属性情報に基づいて順位付けを行なう請求項６乃至９記載の人物検索装置。
11. 前記検索結果表示手段は、該装置のユーザが正解と選択した人物を時間軸上に表示する正解一覧表示画面と、前記人物検索手段の検索結果を表示する検索結果表示画面とを表示し、正解一覧表示画面に表示される人物を検索結果表示画面に表示しない請求項１記載の人物検索装置。
12. 特定の人物を検索する人物検索装置が実行する人物検索方法であって、
    前記人物検索装置が実行するところの、
    時間、場所及び複数の人物特徴ベクトルを検索条件として指定する条件指定ステップと、
    指定した検索条件に基づいて、類似と判定する探索範囲及び不一致と判定する探索範囲を算出し、所望の人物の絞込みを行なう人物検索ステップと、
    を備えた人物検索方法。
13. 前記人物検索ステップは、前記検索条件で指定された人物数、あるいは、指定人物の同時刻に存在する人物数に応じて、前記装置が類似と判定する探索範囲を決定する請求項１２記載の人物検索方法。
14. 前記人物検索ステップは、前記検索条件で指定された複数の人物特徴ベクトルの平均・分散値を用いて、前記類似と判定する探索範囲の中心点を再決定する請求項１３記載の人物検索方法。
15. 前記人物検索ステップは、前記検索条件で指定された人物の存在時間帯を用いて、該当時間帯に存在する別の人物一覧に基づいて、前記指定された人物と不一致と判定する探索範囲」に利用することを特徴とする請求項1２記載の人物検索方法。
16. 前記人物検索ステップは、前記不一致と判定する探索範囲を、誤検出率の少ない範囲とする請求項１５記載の人物検索方法。
17. 前記人物検索ステップは、検索結果出力時に、各人物同士の時間的重なりを属性情報として出力する請求項1２記載の人物検索方法。
18. 前記人物検索ステップは、検索結果出力時に、各人物と同時刻に存在する人物数を属性情報として出力する請求項1２記載の人物検索方法。
19. 前記人物検索ステップは、検索結果出力時に、各人物が選択された場合の、前記類似と判定する探索範囲の変更率を属性情報として出力する請求項１３記載の人物検索方法。
20. 前記人物検索ステップは、検索結果出力時に、検索結果となる各人物と指定人物との相関を属性情報として出力する請求項1２記載の人物検索方法。
21. 前記人物検索ステップは、検索結果出力時に、各人物に付与した属性情報に基づいて順位付けを行なう請求項１７乃至２０記載の人物検索方法。

Images