JP6762754B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

従来、監視映像の各フレームから、人物の顔を検索することで、迷子や列車等への乗り遅れ客を検出する技術が知られている。特許文献１には、監視映像の各フレームから人物の顔を検出し、その顔から画像特徴を算出して映像のフレームと対応付けてデータベース（ＤＢ）に蓄積し、例えば迷子の子供の顔をクエリとして、ＤＢから迷子の子供の映像を検索する技術が開示されている。また、特許文献２には、予め検出すべき人物の顔を登録しておき、入力された映像からリアルタイムに人物を検出する技術が開示されている。

特開２０１３−１５３３０４号公報 特開２０１４−２１５７４７号公報

しかしながら、特許文献１の技術では、クエリが発行された時点でＤＢに蓄積された映像を検索対象とするものの、その後に得られた映像から対象人物を検索することができない。このため、迷子や乗り遅れ客の現時点の居場所を知らせ確保することができない。一方で、特許文献２の技術では、クエリが発行された時点よりも前の映像に遡及して人物検索を行う場合には、処理速度が遅くなってしまう。このため、迷子や乗り遅れ客を確保する目的においては、特許文献２の技術では十分でない。

本発明はこのような問題点に鑑みなされたもので、処理速度の低下を招くことなく、過去から継続的に、人物を検索することを目的とする。

そこで、本発明は、情報処理装置であって、人物の検索指示を受け付ける受付手段と、前記検索指示に係る対象人物から抽出された特徴に基づいて、前記検索指示を受け付けた受付時点より前に撮像手段から入力され、記憶手段に記憶された映像から抽出された人物の特徴を第１の検索範囲として、前記対象人物を検索する第１の検索処理を行う第１の検索手段と、前記検索指示に係るクエリ画像から抽出された前記対象人物の特徴に基づいて、前記受付時点の後に前記撮像手段から入力された映像から抽出された人物の特徴を第２の検索範囲としてから前記対象人物を検索する第２の検索処理を行う第２の検索手段とを有し、前記第１の検索手段は、さらに前記受付時点から前記第２の検索手段による前記第２の検索処理の準備が完了し、前記第２の検索処理を開始するまでの間に入力された映像から抽出された特徴から前記対象人物を検索する処理を行うことを特徴とする。

本発明によれば、処理速度の低下を招くことなく、過去から継続的に、人物を検索することができる。

第１の実施形態に係る監視システムを示す図である。 情報処理装置のソフトウェア構成を示す図である。 映像記録処理を示すフローチャートである。 第１の検索処理及び第２の検索処理の説明図である。 検索処理を示すフローチャートである。 第２の実施形態に係る検索処理を示すフローチャートである。

以下、本発明の実施形態について図面に基づいて説明する。

（第１の実施形態）
図１は、第１の実施形態に係る監視システムを示す図である。監視システムは、情報処理装置１００と、撮像部としてのカメラ１１２とを有し、クエリとして指定された人物の検索を行う。図１においては、人物検出システムが３台のカメラ１１２を有する場合を例示しているが、カメラ１１２の数は実施形態に限定されるものではない。情報処理装置１００とカメラ１１２は、ネットワーク１１１を介して接続している。

ＣＰＵ１０１は、情報処理装置１００全体を制御するＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔである。ＲＯＭ１０２は、変更を必要としないプログラムやパラメータを格納するＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙである。ＲＡＭ１０３は、外部装置などから供給されるプログラムやデータを一時記憶するＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙである。外部記憶装置１０４は、情報処理装置１００に固定して設置されたハードディスクやメモリカードなどの記憶装置である。なお、外部記憶装置１０４は、情報処理装置１００から着脱可能なフレキシブルディスク（ＦＤ）やＣｏｍｐａｃｔ Ｄｉｓｋ（ＣＤ）等の光ディスク、磁気や光カード、ＩＣカード、メモリカードなどを含んでもよい。なお、後述する情報処理装置１００の機能や処理は、ＣＰＵ１０１がＲＯＭ１０２や外部記憶装置１０４に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。

入力Ｉ／Ｆ１０５は、ユーザの操作を受け、データを入力するポインティングデバイスやキーボードなどの入力部１０９とのインターフェースである。出力デバイスＩ／Ｆ１０６は、情報処理装置１００の保持するデータや供給されたデータを表示するためのモニタ１１０とのインターフェースである。通信Ｉ／Ｆ１０７は、インターネットなどのネットワーク１１１に接続する。カメラ１１２は、監視カメラなどの映像の撮像装置であり、ネットワーク１１１を介して情報処理装置１００に接続されている。システムバス１０８は、１０１〜１０７の各ユニットを通信可能に接続する伝送路である。

図２は、情報処理装置１００のソフトウェア構成を示す図である。情報処理装置１００は、画像特徴として顔から得る顔画像特徴を用い、これを利用した画像特徴検索を行う。映像受付部２０１は、カメラ１１２により撮影され、カメラ１１２から情報処理装置１００に入力された映像を受け付ける。映像記憶部２０２は、映像受付部２０１が受け付けた映像を記憶する。

追尾部２０３は、映像受付部２０１が受け付けた映像中の人物の追尾を行う。追尾部２０３は、具体的には、動きベクトルから物体を検出し、次フレームでの探索位置を推定しテンプレートマッチングにより人物追尾を行う。人物追尾処理に関しては、下記の文献を参照することができる。

特開２００２−３７３３３２号公報

追尾部２０３は、同じ人物を追尾している追尾トラックに対して同じ追尾トラックＩＤを発行し、異なる人物の追尾トラックに対しては異なる追尾トラックＩＤを発行する。これにより、一意性が担保され、追尾トラックＩＤから同一人物の特定が可能となる。なお、追尾部２０３は、同じ人物であっても、追尾が途切れた場合は、異なる追尾トラックＩＤを発行する。

顔検出部２０４は、映像中のフレーム画像等から顔検出を行う。顔検出部２０４は例えば、追尾部２０３で追尾された人物のフレーム画像のそれぞれから顔検出を行う。また、映像受付部２０１から入力された映像や、後述するクエリ画像から、顔検出を行う。顔検出部２０４は、処理対象の画像に対し、片目候補領域を検出し、複数の片目候補領域からペアリングを行い、ペアリングされた両目位置に基づいて顔領域を決定する。なお、画像から人物の顔を検出する方法については、以下の文献を参照することができる。

特開２０１０−１６５１５６号公報

代表決定部２０５では、追尾された人物のフレーム画像群から、代表となる顔画像を選択する。以下、代表となる顔画像を代表画像と称する。代表決定部２０５は、例えば、顔検出部２０４で検出された顔画像のうち、顔サイズの大きい画像を選択する。顔サイズを用いる理由として、画像特徴の精度の問題が有る。顔画像が大きいほど、精度の高い画像特徴が得られるからである。すなわち、顔画像から画像特徴を算出する際、顔画像の大きさを一定の大きさに変倍する顔サイズ正規化処理を行う必要がある。その際、顔画像が上記一定の大きさよりも大きい場合には縮小処理を行い情報のロスは比較的小さいが、上記一定の大きさよりも小さい場合には超解像度処理の様な画素補完を行う必要があり、情報の劣化が激しい。

また、他の例としては、代表決定部２０５は、フレーム画像群から複数の画像を代表画像として選択してもよい。例えば、複数の顔の向きの画像を選択する方法がある。同じ人の画像であっても、顔向きが異なるとその画像から得られる画像特徴が異なるためである。

代表決定部２０５は、特徴として勾配方向ヒストグラム（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔ，ＨＯＧ）を抽出し、ＳＶＲで顔の向きを推定する。勾配方向ヒストグラムは、画像の輝度勾配情報を画像の局所毎にヒストグラム化した特徴で、局所的なノイズや画像の明暗にロバストな特徴として知られている。ノイズや照明変動のような、顔の向きに関係のない変動にロバストな特徴を選択することで、実環境においても安定した顔向き推定を実現している。画像から人物の顔向きを検出する方法については、以下の文献を参照することができる。

Ｅｒｉｋ Ｍｕｐｈｙ−Ｃｈｕｔｏｒｉａｎ， "Ｈｅａｄ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｏｒ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍｓ：Ａ ｒｏｂｕｓｔ ａｌｇｏｒｉｔｈｍ ａｎｄ ｅｘｐｅｒｉｍｅｎｔａｌ ｅｖａｌｕａｔｉｏｎ，" ｉｎ Ｐｒｏｃ． ＩＥＥＥ Ｃｏｎｆ． Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｒａｎｓｐｏｒｔａｔｉｏｎ Ｓｙｓｔｅｍｓ， ２００７， ｐｐ． ７０９−７１４．

また、代表決定部２０５は、人物の顔向きに代えて、人物の人体の向きを検出するようにしてもよい。人体の向きの検出は、例えば、以下の文献に記載の方法を用いることができる。

特開２０１１−１８６５７６号公報

また、他の例としては、代表決定部２０５はさらに、画像のブレが少ない画像を代表画像として選択してもよい。動画を撮影するカメラでも静止画のカメラと同様に、その場所の明るさに従いシャッター速度が変わる場合がある。従って、暗い場所や被写体の動き速度により、顔画像のブレが生じることがあり、これは直接的に画像特徴や属性情報の劣化の原因となる。ブレの推定に関しては、代表決定部２０５は、顔画像領域の周波数成分を求め、低周波成分と高周波成分との比率を求め、これが低周波成分の比率が所定の値を超えた時にブレを生じていると判断すればよい。その他、代表決定部２０５は、眼つぶりや口あき等の顔画像については、代表画像として選択しないようにしてもよい。眼つぶりや口あき等があると、器官の画像特徴が変質する可能性があるためである。

特徴算出部２０６は、処理対象の顔画像の画像特徴の算出を行う。特徴算出部２０６は、具体的には、人物の顔画像内の目・口などの器官点を求め、各器官点のＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴を算出する。なお、この特徴は例であり、算出される特徴の種類は実施形態に限定されるものではない。第１の特徴記憶部２０７は、映像受付部２０１が受け付けた映像に対して特徴算出部２０６において算出された画像特徴を記憶する。第１の特徴記憶部２０７はさらに、画像特徴のメタデータとして、人物のＩＤや人物を追尾したときの追尾トラックＩＤ、撮影時刻や撮影したカメラ１１２のカメラＩＤを関連付けて記憶する。第１の特徴記憶部２０７は、例えば、外部記憶装置１０４である。

クエリ受付部２０８は、クエリ画像の指定を受け付ける。ここで、クエリ画像とは、検索キーとなる人物の顔画像である。検索キーとなる人物を対象人物と称する。例えば、ＣＰＵ１０１は、外部記憶装置１０４に記憶された顔画像をモニタ１１０に表示する。そして、ユーザは、モニタ１１０を見ながら、入力部１０９を介して、検索したい人物の顔画像をクエリ画像として選択する。これに対応し、クエリ受付部２０８は、ユーザにより選択されたクエリ画像を受け付ける。なお、クエリ画像は、１枚でもよく２枚以上であってもよい。

第２の特徴記憶部２０９は、クエリ受付部２０８が受け付けたクエリ画像（顔画像）の画像特徴を記憶する。ここで、クエリ画像の画像特徴は、対象人物に対して予め定められた基準特徴の一例である。なお、クエリ画像の画像特徴は、特徴算出部２０６により算出される。第２の特徴記憶部２０９は、例えば、外部記憶装置１０４である。第２の特徴記憶部２０９へのクエリ画像の画像特徴の記録は、ＣＰＵ１０１により行われる。第２の特徴記憶部２０９にクエリ画像の画像特徴を記録する処理は、後述の第２の検索部２１２により実行される入力画像の検索処理を開始するための準備処理である。また、ＣＰＵ１０１は、後述する対象除外の指示を受け付けた場合には、第２の特徴記憶部２０９から画像特徴を削除する。

第１の検索部２１１は、第１の検索処理を実行する。ここで、第１の検索処理は、クエリ画像から算出された画像特徴をクエリとし、第１の検索処理に対して設定された検索範囲の映像から対象人物を検索する処理である。本実施形態に係る第１の検索部２１１は、第１の特徴記憶部２０７に記憶された画像特徴を検索範囲とし、第１の特徴記憶部２０７において、類似度が所定閾値よりも高い画像特徴を特定する。類似度の算出にあたっては、各器官点のＳＩＦＴ特徴の距離の総和を求め、距離の総和を正規化し、類似度を求める。

第２の検索部２１２は、第２の検索処理を実行する。ここで、第２の検索処理は、第２の特徴記憶部２０９に記憶された画像特徴（基準特徴）をクエリとし、第２の検索処理に対して設定された検索範囲の映像から対象人物を検索する処理である。本実施形態に係る第２の検索部２１２は、クエリ画像を指定した検索指示を受け付けた時点以降に、映像受付部２０１が受け付けた映像から算出された画像特徴を検索範囲とする。ここで、検索範囲には、映像受付部２０１が受け付けた映像の他、一時記憶部２１０に記憶されている映像も含まれる。第２の検索部２１２は、検索範囲において、類似度が所定閾値よりも高い画像特徴を特定する。類似度の算出の方法は、第１の検索部２１１において説明したのと同様である。

表示処理部２１３は、第１の検索部２１１の検索結果と第２の検索部２１２の識別結果を統合し、その結果をモニタ１１０に表示する。表示処理部２１３は、例えば、カメラ１１２毎に、検索結果を分類して撮影時刻順にモニタ１１０に表示する。また、他の例としては、表示処理部２１３は、カメラ１１２の設置位置をマップ表示し、撮影時刻をもとに移動履歴をモニタ１１０に表示する。なお、表示内容は、実施形態に限定されるものではない。

除外受付部２１４は、迷子や乗り遅れ客を確保するなどして、検索する必要が無くなった人物の情報を受け付け、該人物の画像特徴を第２の特徴記憶部２０９から削除する。表示処理部２１３のユーザインタフェース上で迷子や乗り遅れ客の確保したことを指定することが可能である。また、航空機の乗り遅れ客を検索する場合は、航空機の搭乗口を通過したことを検知し、それをトリガとして該人物の画像特徴を第２の特徴記憶部２０９から削除することも可能である。

図３は、情報処理装置１００による、映像記録処理を示すフローチャートである。映像記録処理は、映像受付部２０１が受け付けた映像を検索可能なように蓄積する処理である。Ｓ３０１において、映像受付部２０１は、映像を受け付ける。次に、Ｓ３０２において、ＣＰＵ１０１は、Ｓ３０１において受け付けた映像を映像記憶部２０２に記録する。このとき、ＣＰＵ１０１は、映像のメタデータとして、撮影時刻や撮影したカメラ１１２のカメラＩＤを関連付けて記録する。本処理は、カメラ１１２から入力された映像を記憶部に記録する記録処理の一例である。

次に、Ｓ３０３において、追尾部２０３は、各フレーム画像から人物を検出し、追尾を行う。ここで、検出された人物にはフレーム画像毎に別々の人物ＩＤが割り振られ、フレーム画像中の人物の座標とともに一時記憶される。また、追尾を行っている人物に対しては、同じ追尾トラックＩＤが割り振られ、追尾を行っているフレーム画像のＩＤとともに一時記憶される。次に、Ｓ３０４において、追尾部２０３は、追尾が途切れた人物が存在する場合には（Ｓ３０４でＹＥＳ）、処理をＳ３０５へ進める。追尾部２０３は、追尾が途切れた人物が存在しない場合には（Ｓ３０４でＮＯ）、処理をＳ３０１へ進める。

Ｓ３０５において、顔検出部２０４は、追尾部２０３で追尾された人物のフレーム画像のそれぞれから顔検出を行う。次に、Ｓ３０６において、代表決定部２０５は、追尾された人物のフレーム画像群から、代表となる顔画像を１枚もしくは複数枚選択する。次に、Ｓ３０７において、特徴算出部２０６は、Ｓ３０６において選択された１枚もしくは複数枚の顔画像から顔画像特徴の算出を行う。

次に、Ｓ３０８において、ＣＰＵ１０１は、Ｓ３０７で算出された画像特徴を第１の特徴記憶部２０７に記録する。ＣＰＵ１０１はさらに、画像特徴のメタデータとして、人物ＩＤや人物を追尾したときの追尾トラックＩＤ、撮影時刻や撮影カメラを関連付けて記録する。次に、Ｓ３０９において、ＣＰＵ１０１は、蓄積処理の終了指示を受け付けたか否かを確認する。ＣＰＵ１０１は、終了指示を受け付けた場合には（Ｓ３０９でＹＥＳ）、処理を終了する。ＣＰＵ１０１は、終了指示を受け付けなかった場合には（Ｓ３０９でＮＯ）、処理をＳ３０１へ進める。以上の処理により、カメラ１１２から入力された映像に写る人物の顔画像の画像特徴が第１の特徴記憶部２０７に蓄積され、検索可能な状態になる。

次に、情報処理装置１００による人物検索処理について説明する。人物検索処理の説明に先立ち、図４を参照しつつ、第１の検索部２１１による第１の検索処理と、第２の検索部２１２による第２の検索処理と、について説明する。図４（ａ）は、第１の検索処理及び第２の検索処理の説明図である。第１の検索処理では、抽出された画像特徴をクエリとした照合が行われる。このため、任意の人物をクエリにした検索が可能である。他方、第２の検索処理では、クエリ人物の画像特徴を事前登録しておく必要がある。

精度に関しては、第２の検索処理は、機械学習等による精度面でのメリットがある。速度に関して、第１の検索処理は、登録が完了した映像の検索に関しては速いが、第１の特徴記憶部２０７に反映するまでに時間が掛かるのでスループット（登録及び検索）の観点ではやや劣る。他方、第２の検索処理では、事前登録する人物数をある程度の数に抑えておけばリアルタイムに認証を行うことができるので、スループットが高いと考える。

従って、好ましい用途としては、第１の検索処理は、過去の大量画像からの任意の人物を蓄積動画からの検索であり、第２の検索処理は、限られた人数の特定人物をリアルタイムに識別することである。

このため、本実施形態に係る情報処理装置１００は、クエリ人物の指定の指示を受け付け、人物検索を開始した時点より前（過去）の映像に関しては第１の検索処理を行い、その時点より後（未来）の映像に対しては第２の検索処理を行うこととする。これにより、例えば迷子探しを適切に行うことができる。過去の映像に対しても検索を行うのは、全てのカメラ１１２に映らない場所に居ることも考えられるため過去の居場所の情報も重要であり、また移動先の推定にも役立つためである。

ただし、第１の検索処理と第２の検索処理を単に組み合わせるだけでは問題が生ずる。図４（ｂ）は、第１の検索処理と第２の検索処理において検索される検索範囲（時間範囲）を示す図である。第１の検索処理では、第１の特徴記憶部２０７に記録された映像を検索範囲とする。このため、クエリ指定を受け付けた受付時点の映像が検索可能となるまでには、少々の準備期間（ディレイ）４０１が生じる。ここで、準備期間は、映像受付部２０１が検索指示を受け付けた受付時点から、後述の第２の検索部２１２による検索処理の準備処理が完了する準備完了時点までの期間である。

第２の検索処理においても、各カメラ１１２の映像から検索する画像特徴のセットや学習等の初期化処理に時間が掛かり、検出処理が可能となるまでの準備期間（ディレイ）４０２が生じる。このため、準備期間４０１と準備期間４０２とを加えた時間帯である検索不可能時間帯４０３が生じることとなる。監視システムの様なセキュリティ用途において、検索不可能時間帯４０３を少なくするのが望ましい。

図５は、情報処理装置１００による検索処理を示すフローチャートである。Ｓ５０１において、クエリ受付部２０８は、検索クエリとなる人物のクエリ画像を指定した検索指示を受け付ける。ＣＰＵ１０１は、Ｓ５０１の処理の後、３つのスレッドにて処理を実行する。第１のスレッドは、第１の検索処理を行うスレッドであり、Ｓ５０２〜Ｓ５０５の処理を含む。第２のスレッドは、第２の検索処理を行うスレッドであり、Ｓ５１１〜Ｓ５１３の処理を含む。第３のスレッドは、検索結果を統合し、表示する処理であり、Ｓ５２１、Ｓ５２２の処理を含む。

第１のスレッドのＳ５０２において、第１の検索部２１１は、第１の検索処理を行うことにより、対象人物の検索を行う。なお、この場合の検索範囲は、第１の特徴記憶部２０７に記憶されている映像、すなわち、検索指示を受け付けた受付時点よりも前に情報処理装置１００に入力され、映像記憶部２０２に記憶された映像の画像特徴である。また、検索クエリは、検索指示に係るクエリ画像から検出された顔画像の画像特徴である。第１の検索部２１１は、検索により得られた画像と、画像の撮影場所と、時刻等の情報を表示処理部２１３へ送る。

次に、Ｓ５０３において、第１の検索部２１１は、第２の検索部２１２による第２の検索処理が開始したか否かを確認する。第１の検索部２１１は、第２の検索処理が開始した場合には（Ｓ５０３でＹｅｓ）、処理をＳ５０５へ進める。第１の検索部２１１は、第２の検索処理が開始していない場合には（Ｓ５０３でＮｏ）、処理をＳ５０４へ進める。

Ｓ５０４において、第１の検索部２１１は、再び、第１の検索処理を行う。なお、Ｓ５０４における第１の検索処理の検索範囲は、第１の特徴記憶部２０７に記憶されている画像特徴のうち、既に実行済みの第１の検索処理の検索範囲に設定されていない画像特徴である。第１の検索部２１１は、その後処理をＳ５０３へ進める。このように、第１の検索部２１１はだ、第２の検索処理が開始するまで、新たに入力された映像の特徴を検索範囲として、第１の検索処理を繰り返し実行する。第１の検索部２１１はさらに、検索により得られた画像と、画像の撮影場所と、時刻等の情報を表示処理部２１３へ送る。そして、Ｓ５０５において、第１の検索部２１１は、第１の検索処理を停止する。以上で、第１のスレッドの処理が終了する。このように、第２の検索処理が開始されるまでの期間に入力された映像に対しては、第１の検索処理の検索範囲に設定され、第１の検索処理が行われる。したがって、検索不可能時間帯４０３を短くすることができる。

第２のスレッドのＳ５１１においては、第２の検索部２１２は、第２の検索処理を開始するための準備処理を行う。準備処理は、対象人物のクエリ画像の画像特徴を基準特徴として第２の特徴記憶部２０９に登録（記録）する処理である。Ｓ５１１において、表示処理部２１３は、クエリ画像をモニタ１１０に表示してもよい。次に、Ｓ５１２において、第２の検索部２１２は、基準特徴に基づき、受付時点より後に、情報処理装置１００に入力された映像から対象人物を検索する第２の検索処理を開始する。そして、第２の検索部２１２は、検索により得られた画像と、画像の撮影場所と、時間等の情報を表示処理部２１３へ送る。なお、Ｓ５１２において第２の検索処理が開始されると、前述のＳ５０３において、第１の検索部２１１が第２の検索処理が開始したと判断し、第１の検索処理が停止する。

次に、Ｓ５１３において、第２の検索部２１２は、ＣＰＵ１０１停止指示を受け付けたか否かを確認する。ＣＰＵ１０１は、停止指示を受け付けなかった場合には（Ｓ５１３でＮｏ）、第２の検索処理を継続する。ＣＰＵ１０１は、停止指示を受け付けた場合には（Ｓ５１３でＹｅｓ）、処理を終了する。例えば、迷子や乗り遅れ客を確保する等して、クエリとして指定された人物の検索が必要なくなった場合に、ユーザは、停止指示を入力する。

第３のスレッドのＳ５２１において、表示処理部２１３は、Ｓ５０２、Ｓ５０４、Ｓ５１２において得られた検出結果を統合し、統合後の検出結果をモニタ１１０に表示する。次に、Ｓ５２２において、ＣＰＵ１０１は、停止指示を受け付けたか否かを確認する。ＣＰＵ１０１は、停止指示を受け付けなかった場合には（Ｓ５２２でＮｏ）、処理をＳ５２１へ進め、表示処理を継続する。ＣＰＵ１０１は、停止指示を受け付けた場合には（Ｓ５２２でＹｅｓ）、処理を終了する。

以上のように、情報処理装置１００は、検索不可能時間帯４０３について第１の検索処理により対象人物の検索を行い、その後第１の検索処理を停止する。そして、情報処理装置１００は、停止指示を受け付けるまで。第２の検索処理により対象人物の検索を行う。また、クエリ人物を指定して検索実行時に未だ顔画像特徴検索にて特徴量がインデキシングされていない時間帯と、顔画像特徴識別開始までの時間帯を合わせた物に相当する検索不可能時間帯を、第１の検索処理を再帰的に行う事で少なくすることができる。このように、本実施形態の情報処理装置１００は、処理速度の低下を招くことなく、過去から継続的に、人物を検索することができる。

（第２の実施形態）
次に、第２の実施形態に係る監視システムについて説明する。第２の実施形態に係る監視システムの情報処理装置１００は、第１の検索処理を第２の検索処理の前に行い、第１の検索処理において検出された画像を、第２の検索処理において利用する。これにより、検索精度を向上させることができる。

以下、第２の実施形態に係る監視システムについて、第１の実施形態に係る監視システムと異なる点について説明する。図６は、第２の実施形態に係る情報処理装置１００による検索処理を示すフローチャートである。Ｓ６０１において、クエリ受付部２０８は、検索クエリとなる人物のクエリ画像を指定した検索指示を受け付ける。ＣＰＵ１０１は、６０１の処理の後、２つのスレッドにて処理を実行する。第１のスレッドは検索を行うスレッドであり、Ｓ６０２〜Ｓ６１７の処理を含む。第２のスレッドは、検索結果を統合し、表示する処理であり、Ｓ６２１、Ｓ６２２の処理を含む。

第１のスレッドのＳ６０２において、第１の検索部２１１は、第１の検索処理を行うことにより、対象人物の検索を行う。なお、この場合の検索範囲は、第１の特徴記憶部２０７に記憶されている映像、すなわち、検索指示を受け付けた受付時点よりも前に情報処理装置１００に入力され、映像記憶部２０２に記憶された映像の画像特徴である。また、検索クエリは、検索指示に係るクエリ画像から検出された顔画像の画像特徴である。第１の検索部２１１は、検索により得られた画像と、画像の撮影場所と、時刻等の情報を表示処理部２１３へ送る。

ＣＰＵ１０１はさらに、Ｓ６０２の処理の後、２つのスレッドにて処理を実行する。第１１のスレッドは、第１の検索処理を継続するスレッドであり、Ｓ６０３〜Ｓ６０５の処理を含む。第１２のスレッドは、第２の検索処理を行うスレッドであり、Ｓ６１１〜Ｓ６１７の処理を含む。第１１のスレッドのＳ６０３〜Ｓ６０５の処理は、図５を参照しつつ説明した、第１の実施形態の検索処理のＳ５０３〜Ｓ５０５の処理と同様である。

第１２のスレッドのＳ６１１において、第２の検索部２１２は、Ｓ６０２における第１の検索処理において対象人物が検出されたか否かを確認する。第２の検索部２１２は、対象人物を検出した場合には（Ｓ６１１でＹｅｓ）、処理をＳ６１２へ進める。第２の検索部２１２は、対象人物を検出しなかった場合には（Ｓ６１１でＮｏ）、処理をＳ６１５へ進める。Ｓ６１２において、第２の検索部２１２は、クエリ画像だけでなく、Ｓ６０２における第１の検索処理において対象人物が検出された検出画像を利用して、第２の検索処理を行うべく、その準備を行う。

次に、Ｓ６１３において、第２の検索部２１２は、クエリ画像と検出画像とを利用した、第２の検索処理を開始する。次に、Ｓ６１４において、第２の検索部２１２は、停止指示を受け付けたか否かを確認する。第２の検索部２１２は、停止指示を受け付けた場合には（Ｓ６１４でＹｅｓ）、第２１のスレッド処理を終了する。第２の検索部２１２は、停止指示を受け付けなかった場合には（Ｓ６１４でＮｏ）、第２の検索処理を継続する。Ｓ６１５においては、第２の検索部２１２は、クエリ画像のみを利用した第２の検索処理を行うべくその準備処理を行う。なお、Ｓ６１５〜Ｓ６１７の処理は、図５を参照しつつ説明した、第１の実施形態の検索処理のＳ５１１〜５１３の処理と同様である。

第２のスレッドのＳ６２１においては、表示処理部２１３は、Ｓ６０２、Ｓ６０４、Ｓ６１３、Ｓ６１６において得られた検出結果を統合し、統合した研修結果をモニタ１１０に表示する。次に、Ｓ６２２において、ＣＰＵ１０１は、停止指示を受け付けたか否かを確認する。ＣＰＵ１０１は、停止指示を受け付けなかった場合には（Ｓ６２２でＮｏ）、処理をＳ６２１へ進め、表示処理を継続する。ＣＰＵ１０１は、停止指示を受け付けた場合には（Ｓ６２２でＹｅｓ）、処理を終了する。なお、第２の実施形態に係る監視システムのこれ以外の構成及び処理は、第１の実施形態に係る監視システムの構成及び処理と同様である。

以上のように、第２の実施形態の情報処理装置１００は、検索指示の受付時点よりも前に情報処理装置１００に入力され、映像記憶部２０２に記憶された映像の特徴を検索範囲とする第１の検索処理を第２の検索処理の前に実行する。そして、情報処理装置１００は、この第１の検索処理の後に、この第１の検索処理において得られた対象人物の検出画像を用いて第２の検索処理を行う。これにより、検索精度を向上させることができる。さらに、情報処理装置１００は、第１の実施形態と同様に、第２の検索処理が開始するまでは、異なる検索範囲において第１の検索処理を継続する。したがって、情報処理装置１００は、処理速度の低下を招くことなく、過去から継続的に、人物を検索することができる。

以下、第１の実施形態及び第２の実施形態の変更例について説明する。第１の変更例としては、画像特徴は、顔画像の画像特徴に限定されるものではない。他の例としては、画像特徴は、人体全体から得る人体画像特徴であってもよい。人体画像特徴としては、例えば身長と体幅の比率や、頭身や身長に占める足の長さの比率などの数値が挙げられる。また他の例としては、情報処理装置１００は、画像特徴に替えて、顔を含む人体全体から得られる人物の属性情報を用いてもよい。属性情報の例としては、人種、性別、年齢、メガネの有無、髭、服の色等がある。

また他の例としては、情報処理装置１００は、画像特徴と属性情報の両方を、画像特徴として用いてもよい。例えば、情報処理装置１００は、画像特徴用の第１の検索処理及び第２の検索処理のスコアと、属性情報用の第１の検索処理及び第２の検索処理のスコアと、を個別に算出する。そして、情報処理装置１００は、両スコアの重み付け和を総合スコアとして算出してもよい。

第２の変更例としては、情報処理装置１００は、クエリ人物と検索結果としての画像とを区別可能に表示してもよい。これにより、誤検索か否かをユーザが確認することができる。

第３の変更例としては、第１の検索部２１１及び第２の検索部２１２のうち少なくとも一方は、対象人物の複数の画像を検出した場合に、顔の向きが異なる画像を優先的に検出することとしてもよい。

第４の変更例としては、第１の検索部２１１及び第２の検索部２１２のうち少なくとも一方は、処理時点により近い時点において撮影された画像を、優先的に検出することとしてもよい。迷子等人物確保を目的とする場合に有用である。

第５の変更例としては、情報処理装置１００の第１の検索部２１１は、第２の検索処理が開始するまでに情報処理装置１００に入力された映像に対し第２の検索処理を行えばよく、そのための具体的な処理は、実施形態に限定されるものではない。他の例としては、第１の検索部２１１は、第２の検索処理が開始した時点で、第２の検索処理が開始するまでに情報処理装置１００に入力され、映像記憶部２０２に記憶されている映像の特徴を検索範囲とする第１の検索処理を１回行うこととしてもよい。

以上、上述した各実施形態によれば、処理速度の低下を招くことなく、過去から継続的に、人物を検索することができる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

上述の説明においては、第１の検索処理において、類似度が所定閾値よりも高い画像特徴を特定することにより、対象人物の検出画像を取得できるようにしている。しかし、例えば、情報処理装置１００を使用する使用者（監視員）が対象人物を特定し、その情報が情報処理装置１００の入力手段により入力されることにより、その対象人物の検出画像を取得できるようにしてもよい。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 情報処理装置
２０１ 映像受付部
２０２ 映像記憶部
２１１ 第１の検索部
２１２ 第２の検索部

Claims (11)

1. 人物の検索指示を受け付ける受付手段と、
   前記検索指示に係る対象人物から抽出された特徴に基づいて、前記検索指示を受け付けた受付時点より前に撮像手段から入力され、記憶手段に記憶された映像から抽出された人物の特徴を第１の検索範囲として、前記対象人物を検索する第１の検索処理を行う第１の検索手段と、
   前記検索指示に係るクエリ画像から抽出された前記対象人物の特徴に基づいて、前記受付時点の後に前記撮像手段から入力された映像から抽出された人物の特徴を第２の検索範囲としてから前記対象人物を検索する第２の検索処理を行う第２の検索手段と
   を有し、
   前記第１の検索手段は、さらに前記受付時点から前記第２の検索手段による前記第２の検索処理の準備が完了し、前記第２の検索処理を開始するまでの間に入力された映像から抽出された特徴から前記対象人物を検索する処理を行うことを特徴とする情報処理装置。
2. 前記第１の検索手段の検索結果及び前記第２の検索手段の検索結果を統合する統合手段と、
   前記統合手段による統合後の前記検索結果を表示する表示手段と
   をさらに有することを特徴とする請求項１に記載の情報処理装置。
3. 前記第１の検索手段は、前記受付時点より前に撮像手段から入力され、前記記憶手段に記憶された映像から抽出された人物の特徴を検索範囲とする前記第１の検索処理が終了した後、前記第２の検索処理が開始していない場合には、前記撮像手段によって新たに入力された映像から抽出された特徴を検索範囲として前記対象人物を検索することを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記第１の検索手段は、前記第２の検索処理が開始した場合に、前記受付時点から前記第２の検索手段による前記第２の検索処理の準備が完了し、前記第２の検索処理を開始するまでの間に入力された映像から抽出された特徴から前記対象人物を検索する処理を終了することを特徴とする請求項１乃至３何れか１項に記載の情報処理装置。
5. 前記第２の検索手段は、前記第１の検索手段により前記対象人物が検出された場合に、前記対象人物が検出された画像と、前記クエリ画像と、に基づいて、前記対象人物を検索することを特徴とする請求項１乃至４何れか１項に記載の情報処理装置。
6. 前記第２の検索手段は、前記第１の検索手段が、前記受付時点より前に前記撮像手段から入力され、前記記憶手段に記憶された映像の特徴を対象とした前記第１の検索処理を終了した後に、前記第２の検索処理を開始することを特徴とする請求項５に記載の情報処理装置。
7. 前記第２の検索手段は、停止指示を受け付けた場合に、前記第２の検索処理を終了することを特徴とする請求項１乃至６何れか１項に記載の情報処理装置。
8. 前記表示手段は、前記クエリ画像と、前記検索結果と、を区別可能に表示することを特徴とする請求項２に記載の情報処理装置。
9. 前記第１の検索手段及び前記第２の検索手段のうち少なくとも一方は、前記対象人物の顔の向きまたは前記対象人物の人体の向きが異なる画像を優先的に検出することを特徴とする請求項１乃至８何れか１項に記載の情報処理装置。
10. 情報処理装置が実行する情報処理方法であって、
    人物の検索指示を受け付ける受付ステップと、
    前記検索指示に係る対象人物から抽出された特徴に基づいて、前記検索指示を受け付けた受付時点より前に撮像手段から入力され、記憶手段に記憶された映像から抽出された人物の特徴を第１の検索範囲として、前記対象人物を検索する第１の検索処理を行う第１の検索ステップと、
    前記検索指示に係るクエリ画像から抽出された前記対象人物の特徴に基づいて、前記受付時点の後に前記撮像手段から入力された映像から抽出された人物の特徴を第２の検索範囲としてから前記対象人物を検索する第２の検索処理を行う第２の検索ステップと
    を含み、
    前記第１の検索ステップでは、さらに前記受付時点から前記第２の検索ステップにおける前記第２の検索処理の準備が完了し、前記第２の検索処理を開始するまでの間に入力された映像から抽出された特徴から前記対象人物を検索する処理を行うことを特徴とする情報処理方法。
11. コンピュータを、
    人物の検索指示を受け付ける受付手段と、
    前記検索指示に係る対象人物から抽出された特徴に基づいて、前記検索指示を受け付けた受付時点より前に撮像手段から入力され、記憶手段に記憶された映像から抽出された人物の特徴を第１の検索範囲として、前記対象人物を検索する第１の検索処理を行う第１の検索手段と、
    前記検索指示に係るクエリ画像から抽出された前記対象人物の特徴に基づいて、前記受付時点の後に前記撮像手段から入力された映像から抽出された人物の特徴を第２の検索範囲としてから前記対象人物を検索する第２の検索処理を行う第２の検索手段と
    して機能させ、
    前記第１の検索手段は、さらに前記受付時点から第２の検索手段による前記第２の検索処理の準備が完了し、前記第２の検索処理を開始するまでの間に入力された映像から抽出された特徴から前記対象人物を検索する処理を行うプログラム。

Images