JP2016015579A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】監視対象人物の行動を見落とさず、監視対象行為の確認に要する時間、手間を削減する情報処理装置、方法及びプログラムを提供する。【解決手段】監視対象人物の被監視状態情報の検索に利用される検索条件を指定する指定手段と、撮影手段により撮影された複数の画像から抽出された監視対象人物の動線情報と、複数の画像から抽出された監視対象人物の周辺の人物の動線情報と、から、監視対象人物の被監視状態を示す被監視状態情報を取得する取得手段と、取得された被監視状態情報から指定された検索条件に合致する被監視状態情報を検索する検索手段と、検索された被監視状態情報を出力する出力手段と、を有する。【選択図】図５

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

ネットワークカメラやアナログカメラを使用して店舗やビルの監視や録画を行うシステムがある。これらのシステムは、例えば小売店等に導入され、万引き等の犯罪防止や、犯罪行為の確認等に用いられている。
特許文献１には、人物の行動を表す動線データを記録した動線データベースを用い人物の行動を判定することで、特定の行為が行われた区間を抽出する方法が提示されている。
特許文献１の技術によれば、前記特定の行為の具体事例として、滞在時間、動線長、移動速度等の検索条件を用いることで、例えば滞在時間が長い人物、動線長が長い人物、うろついている人物等を抽出することができる。
また、特許文献２の技術によれば、人物の動線データに対して、まず予め設定された行動パターンに基づいて不審対象候補者を判定し、その後、周辺の人物の行動から不審対象候補者が不審対象かどうかを判定することができる。

特開２００９−２８４１６７号公報 特開２０１３−４５３４４号公報

しかしながら、特許文献１の技術では、前記検索条件を用いて抽出される人物の周囲に人がいるか否かということが考慮されていない。例えば、万引きのような犯罪行動は、一般的に対象の人物が周辺の人物の視線にさらされていない時間帯に、より発生し易い。しかし、特許文献１の技術ではそういった時間帯を抽出することができないため、監視者は必要以上の検索結果を閲覧することになる。そのため、監視者が必要以上に時間、手間をかけなければならないという問題がある。
また、特許文献２の技術では、そもそも不審対象候補者を判定する際に、予め設定された行動パターンに合致しない不審対象候補者があった場合、その行動を見落とす可能性がある。
そこで、本発明は、監視対象人物の行動を見落とさず、監視対象行為の確認に要する時間、手間を削減することを目的とする。

そこで、本発明の情報処理装置は、監視対象人物の被監視状態情報の検索に利用される検索条件を指定する指定手段と、撮影手段により撮影された複数の画像から抽出された監視対象人物の動線情報と、前記複数の画像から抽出された前記監視対象人物の周辺の人物の動線情報と、から前記監視対象人物の被監視状態を示す被監視状態情報を取得する取得手段と、前記取得された前記被監視状態情報から前記指定された前記検索条件に合致する被監視状態情報を検索する検索手段と、前記検索された前記被監視状態情報を出力する出力手段と、を有する。

本発明によれば、監視対象人物の行動を見落とさず、監視対象行為の確認に要する時間、手間を削減することができる。

監視システムのシステム構成の一例を示す図である。 監視システムの監視対象である小売店の一例を示す図である。 検索条件入力画面の一例を示す図である。 監視エリアの一例を示す図である。 検索処理の一例を示すフローチャートである。 評価テーブルの一例を示す図である。 検索結果表示の一例を示す図である。 動線ベクトルの概念を示す図である。 人物の視野の一例を示す図である。 検索処理の一例を示すフローチャートである。 監視システムのシステム構成の一例を示す図である。 動線関係判定情報入力画面の一例を示す図である。 検索処理の一例を示すフローチャートである。 協力関係評価基準テーブルの一例を示す図である。

以下、本発明の実施形態について図面に基づいて説明する。

図１は、監視システムのシステム構成の一例を示す図である。
監視システムは、画像処理や検索処理等を行うためのコンピュータ１００、コンピュータ１００と監視カメラとを接続するためのネットワーク１１０、監視の対象の領域である監視領域を撮影するための監視カメラ群１２０を含む。コンピュータ１００は、情報処理装置の一例である。
また、コンピュータ１００は、システムの操作用のユーザインターフェース１０１、コントローラ１０２、画像情報保持部１０３、動線情報保持部１０４等を含む。
ネットワーク１１０は、ＬＡＮと仮定し、また監視カメラ群１２０をネットワークカメラと仮定して以下、説明するが、例えばＬＡＮの代わりに同軸ケーブルを用い、また監視カメラ群１２０のそれぞれ又は一部のカメラがアナログカメラであってもよい。
図２は、監視システムの監視対象である小売店の一例を示す図である。小売店は、商品棚２０１、商品棚を監視するための複数の監視カメラ２０２及びレジ２０３を含む。
以下では、時刻とは瞬間を示し、時間とは幅を持った期間を示し、時間帯とはある瞬間から他のある瞬間までの範囲を示すものとして説明する。

＜実施形態１＞
実施形態１を説明する。
監視カメラ群１２０は、撮影した画像の画像情報をネットワーク１１０経由でコントローラ１０２に送信する。コントローラ１０２は、前記画像情報に対して送信元のカメラ情報を付与する等の処理を施した後に、前記画像情報を画像情報保持部１０３に保存する。
コントローラ１０２は、複数のＣＰＵコアを有することで、スレッド処理等により、画像情報を保存する処理と並行に他の処理を行うこともできる。例えば、コントローラ１０２は、画像情報から任意の人物の動線の情報である動線情報を抽出する処理と前記動線情報を動線情報保持部１０４に保存する処理とを並行に行うことができる。
動線情報の抽出については、動体の検出、人体の検出、そしてそこからの動線の検出等、複数の方法が公知の情報として示されていることから、この場での説明は割愛する。

ユーザインターフェース１０１は、コントローラ１０２の制御に基づき監視者、操作者等により検索条件を入力させるための検索条件入力部を表示する。コントローラ１０２は、ユーザインターフェース１０１に表示される検索条件入力部への監視者、操作者等による操作に基づき、検索条件を取得する。検索条件入力部の例として図３に検索条件入力画面３００を示す。
検索条件入力画面３００は、任意の人物の周辺の人数を入力する人数入力部品３０１、任意の人物の周辺の人数が人数入力部品３０１で指定された人数以下だった時間を入力する時間入力部品３０２を含む。更に、検索条件入力画面３００は、任意の検索期間を入力する検索期間入力部品３０３、検索対象のエリアを指定する検索エリア入力部品３０４を含む。コントローラ１０２は、検索条件入力画面３００を介して、図５、１０、１３で後述する検索処理に利用される検索条件を取得することができる。コントローラ１０２は、監視者、操作者等によりＯＫボタン３０５が押下されたことを検知すると検索処理を開始し、操作者等によりＣａｎｃｅｌボタン３０６が押下されたことを検知すると検索条件の入力を止めることができる。前記検索期間は、検索処理の対象となる対象期間の一例である。前記検索エリアは、検索処理の対象となる対象領域の一例である。
コンピュータ１００の各構成はハードウェアとしてコンピュータに実装されていてもよいし、ソフトウェアとしてコンピュータに実装されていてもよい。ソフトウェアとして実装されている場合、コンピュータ１００は、少なくともＣＰＵやメモリ等を有する。そして、ＣＰＵがメモリに記憶されているプログラムに基づき処理を実行することによってソフトウェアとしての機能が実現される。

図４は、監視エリアの一例を示す図である。検索エリア４０１は、実線、破線で囲まれるエリアａ〜ｏのアルファベットが示す領域にそれぞれ分かれており、検索エリア４０１の情報は、予めエリア情報保持部に数式やパラメータとして保持されている。コントローラ１０２は、コンピュータ１００のＨＤＤ等の記憶部内に設定されたエリア情報保持部に予め記憶されている検索エリア４０１等のエリア設定情報を前記記憶部から読み込むことで取得してもよい。また、コントローラ１０２は、ユーザインターフェース１０１へのユーザの操作に基づいて、エリア設定情報を取得してもよい。
監視者、操作者等は、検索エリア入力部品３０４への入力で、領域を示す前記アルファベットを直接指定することができる。また、監視者、操作者等は、検索エリア入力部品３０４への入力で、「レジから一定以上離れた距離にあるエリアである」等の条件を指定することにより一つ以上のエリアの一括指定ができる。コントローラ１０２は、検索エリア入力部品３０４への監視者、操作者等による値の指定に基づいて、検索エリアを取得することができる。
検索条件入力画面３００でＯＫボタン３０５が押下されたときの本監視システムの動作を説明する。まず、コントローラ１０２は、ユーザによりユーザインターフェース１０１を介してＯＫボタン３０５が押下されると、入力された検索条件を取得する。コントローラ１０２は、検索条件を取得すると、図５で後述する検索処理を開始する。

コントローラ１０２による検索処理について図５を用いて説明する。
Ｓ５０１において、コントローラ１０２は、まず、コンピュータ１００のメモリ等の検索結果の格納領域を初期化する。
Ｓ５０２において、コントローラ１０２は、動線情報保持部１０４に保持されている動線情報の中から検索条件入力画面３００で指定された検索エリア、検索期間等の検索条件に合致する動線情報を検索する。そして、コントローラ１０２は、前記検索条件に合致する動線情報が動線情報保持部１０４に保持されている動線情報の中に存在するか否かを判定する。前記検索条件に合致する動線情報が動線情報保持部１０４に存在しなかった場合（Ｓ５０２においてＮｏ）、コントローラ１０２は、Ｓ５０３に進む。前記検索条件に合致する動線情報が動線情報保持部１０４に存在した場合（Ｓ５０２においてＹｅｓ）、コントローラ１０２は、Ｓ５０４に進む。

Ｓ５０３において、コントローラ１０２は、画像情報保持部１０３から検索エリア、検索期間等の検索条件に基づいて画像情報を抽出し、抽出した画像情報から動線情報を作成して動線情報保持部１０４に保存する。
Ｓ５０４〜Ｓ５０７の検索処理は、Ｓ５０２で検索された動線情報の数又はＳ５０３で作成された動線情報の数の繰り返しの処理となる。即ち、Ｓ５０４〜Ｓ５０７の検索処理は、検索条件入力画面３００で指定された検索エリア、検索期間に合致する人数分の繰り返しの処理となる。
Ｓ５０４において、コントローラ１０２は、動線情報保持部１０４に保持されている動線情報の中から検索条件入力画面３００で指定された検索エリア、検索期間に合致する任意の人物（以下、監視対象人物とする）の動線情報を１件分抽出する。コントローラ１０２は、前記動線情報を抽出できた場合（Ｓ５０４においてＹｅｓ）、Ｓ５０５に進み、前記動線情報を抽出できなかった場合（Ｓ５０４においてＮｏ）、Ｓ５０８に進む。即ち、検索条件入力画面３００で指定された検索条件に合致する人数分のＳ５０４〜Ｓ５０７の繰り返し処理が完了した場合、コントローラ１０２は、Ｓ５０４で前記繰り返し処理が完了したと判定し、Ｓ５０８に進む。

Ｓ５０５において、コントローラ１０２は、前記監視対象人物の周辺の人物の動線情報を、動線情報保持部１０４から抽出する。コントローラ１０２は、例えば前記監視対象人物以外の前記検索条件に合致する動線情報を動線情報保持部１０４から全て抽出することで、前記監視対象人物の周辺の人物の動線情報を抽出することができる。更に、コントローラ１０２は、前記監視対象人物の動線情報と前記監視対象人物の周辺の人物の動線情報とに基づいて、監視対象人物の周辺の人物の人数と前記人数の人物が監視対象人物の周辺にいた時間とを時系列に沿った前記人数の推移ごとに取得する。
例えば、コントローラ１０２は、監視対象人物の動線情報から割り出した座標と周辺の人物の動線情報から割り出した座標が同一の時刻に同一のエリアに存在するか否かに基づいて、周辺の人物の人数を取得する。より具体的には、次の通りである。コントローラ１０２は、同一の時刻において、例えば図４の検索エリア４０１の中の何れか１つのエリア内に監視対象人物と前記監視対象人物の周辺の人物とが存在した場合、監視対象人物と前記監視対象人物の周辺の人物とが同一エリアにいるとすることができる。コントローラ１０２は、同一時刻における前記監視対象人物と同一エリアにいる監視対象人物の周辺の人物の人数を取得することができる。

また、コントローラ１０２は、次のような処理も行うことができる。即ち、コントローラ１０２は、前記監視対象人物の座標と前記周辺の人物の座標とに基づき、同一の時刻での監視対象人物と前記監視対象人物の周辺の人物との間の距離を求める。コントローラ１０２は、前記求めた距離が閾値以下の距離となる周辺の人物の人数を合計することによって、周辺の人物の人数を取得するようにしてよい。前記閾値は、コンピュータ１００のメモリ等に予め設定されていてもよいし、検索条件入力画面３００等を介した監視者等の設定操作に応じてコントローラ１０２が前記メモリ等に設定してもよい。
コンピュータ１００は、監視対象領域の遮蔽物の配置情報である遮蔽物配置情報を保持する遮蔽物配置情報保持部を保持しておき、必要に応じて遮蔽物配置情報を読み込むようにしてよい。前記読み込みは、配置情報取得処理の一例である。コントローラ１０２は、前記遮蔽物配置情報保持部に保持されている遮蔽物配置情報に基づいて、商品棚２０１等の遮蔽物が同一時刻における監視対象人物の座標と前記監視対象人物の周辺の人物の座標との間に遮蔽物があるか否かを判定してもよい。また、コントローラ１０２は、監視対象人物の座標と前記監視対象人物の周辺の人物の座標との間に遮蔽物があると判定した場合、前記周辺の人物を前記監視対象人物の周辺の人物の人数の合計から除外するようにしてもよい。
コントローラ１０２は、監視対象人物の周辺の人物の人数の変更があった場合、監視対象人物の周辺に前記変更前の人数の人物が存在し始めた時刻と前記変更が起こった時刻とから監視対象人物の周辺に前記変更前の人数の人物が存在した時間を取得できる。

Ｓ５０６において、コントローラ１０２は、Ｓ５０５で取得した人数と時間とが検索条件入力画面３００に指定された検索条件に合致するか否かを判定する。例えば、コントローラ１０２は、前記人数が前記検索条件により指定された人数以下であり、前記人数が前記検索条件により指定された人数以下となる連続した時間が前記検索条件により指定された時間以上である状況が存在する場合、Ｓ５０７の処理へ進む。コントローラ１０２は、Ｓ５０５で取得した人数と時間との中に検索条件入力画面３００に指定された検索条件に合致する状況がないと判定した場合、Ｓ５０４の処理へ進む。
Ｓ５０７において、コントローラ１０２は、前記検索条件により指定された条件に合致する人数と時間とを対応付けた対応情報を、特定の人物の被監視状態を示す被監視状態の検索結果として検索結果の格納領域にストアする。前記検索結果は、人数と時間とだけでなく、監視対象人物の周辺に前記人数の人物が存在し始めた時刻や監視対象人物が存在する領域等の情報を含むことができる。前記被監視状態の検索結果は、被監視状態情報の一例である。

Ｓ５０８において、コントローラ１０２は、前記検索結果の格納領域にストアされている検索結果に対して被監視状態の評価を行い、前記検索結果に被監視状態の評価結果を追加する。
コントローラ１０２は、被監視状態評価基準に基づいて、被監視状態の判定を行うことができる。コントローラ１０２は、例えばユーザインターフェース１０１に表示される設定画面への監視者、操作者等による操作に基づいて、被監視状態評価基準を取得してもよい。前記取得の処理は、基準取得処理の一例である。また、コントローラ１０２は、予め記憶されている被監視状態評価基準を、コンピュータ１００のＨＤＤ等の記憶部から読み取ることで取得してもよい。
図６の評価テーブルは、被監視状態評価基準の一例である。前記評価テーブルは、監視対象人物が周辺人物の監視下になかった時間の範囲である時間範囲６０１、同一時刻における周辺の人物の人数の範囲である人数範囲６０２、値の範囲毎の判定結果分類基準６０３を含む。判定結果分類基準６０３は、判定結果の評価値の一例である。コントローラ１０２は、前記評価テーブルを用いることにより、検索結果の各値を評価した被監視状態評価結果を出力できる。より具体的には、コントローラ１０２は、前記検索結果の周辺人数の値に対応する人数範囲６０２の項目の行の中で、前記検索結果の時間の値に対応する人数範囲６０２の項目の列の判定結果分類基準６０３の値を参照し、前記検索結果に追記する。コントローラ１０２は、前記被監視状態評価結果をユーザインターフェース１０１に表示することができる。
コントローラ１０２は、検索結果をユーザインターフェース１０１に出力する。コントローラ１０２は、モニタ等のユーザインターフェース１０１の検索結果表示部に対して検索結果のリストを表示できる。

図７は、検索結果表示の一例を示す図である。図７の検索結果表示は、以下の項目を含むアイテムのリストである。前記アイテムは、監視対象人物の存在したエリア７０１、監視対象人物が周辺人物の監視下に無かった時間７０２の項目を含むことができる。前記アイテムは、更に、監視対象人物の周辺の人物の人数７０３、監視対象人物が犯罪等の行動をとる時間的余裕があったかどうかを判定する被監視状態評価結果７０４の項目を含むことができる。また、前記アイテムは、前記アイテムに係る検索結果に係る状況が開始された時間を含むことができる。即ち、前記アイテムは、エリア７０１で指定されるエリアにおいて、時間７０２で指定される時間の間、監視対象人物の周辺に人数７０３で指定された人数以下の人数の人物が存在する状況が開始された時間を含むことができる。コントローラ１０２は、条件に合致するアイテムを前記リストの一番上から順に並べ、更なる条件の絞り込みや、任意のソートをすることができる。リストを初期表示する際には、例えば、コントローラ１０２は、ユーザによるユーザインターフェース１０１を介しての操作に基づいて、人数優先、時間優先等のアイテムのソート方法の指定を検知することで前記ソート方法を取得することができる。コントローラ１０２は、ソート方法の指定が人数優先であれば、任意の人物の周辺の人数が少ないアイテムを一番上から順にリストに配置するようにしてよい。また、コントローラ１０２は、ソート方法の指定が時間優先であれば周辺の人数が指定された人数以下であった期間の長いアイテムを一番上から順にリストに配置するようにしてよい。また、コントローラ１０２は、ユーザインターフェース１０１を介したユーザの操作により前記リスト上の任意の一つ以上のアイテムを選択されたことを検知することで、個々のアイテムが指すエリア、期間の画像を連続的に再生することができるようにしてもよい。

本実施形態によれば、コントローラ１０２は、検索条件に合致した監視対象人物を全て対象として被監視状態を検索している。したがって、監視者、操作者等は、監視対象人物の監視対象行為を見落とすことはない。
また、コントローラ１０２は、監視対象人物の周辺の人物の人数を考慮に入れることで、周辺の人物から監視されている状態にある場合等の閲覧不要な画像を抽出せずに、万引き等の犯罪行為が行われる可能性のある画像を抽出できる。したがって、監視者、操作者等は、万引き等の犯罪行為が行われる可能性のある画像データに速やかにアクセスすることができ、犯罪等の行為の有無や犯罪等の行為の確認に要する時間、手間を削減できる。

＜実施形態２＞
実施形態２を説明する。
実施形態２は、実施形態１と同様のシステム構成だが、コントローラ１０２における検索処理が異なる事例となる。
実施形態１では、コントローラ１０２は、監視対象人物の周辺の人物の人数をカウントし、前記人数が一定の値以下である時間が一定時間以上であることを、犯罪行為の行われる可能性のある条件として、監視対象人物の被監視状態を検索していた。
しかし、監視対象人物の周辺の人物は、例えば監視対象人物に対して後ろを向いていた場合は、前記監視対象人物による犯罪等の行為があったとしても前記行為を見とがめることできない。また、監視対象人物の周辺の人物は、監視対象人物とは多少距離が離れていても、自身の進行方向で前記監視対象人物による何らかの犯罪等の行為があれば、前記行為を認識することができる。
そこで、本実施形態では、コントローラ１０２が、単位時間当たりの人物の動線を示す動線ベクトルに基づいて前記人物の視野の向きを決定する。コントローラ１０２は、前記人物の動線の座標と前記視野の向きと図９で後述する人物の視野と、に基づいて前記人物が視認できる視野の情報を取得する例を説明する。

図８は、動線ベクトルの概念を示す図である。始点８０１、終点８０２は、それぞれ人物の動線８００に対し、人物の単位時間当たりの移動の始点、終点を示す。また、動線ベクトル８０３は、始点８０１、終点８０２を結ぶベクトルとする。
本実施形態では、コントローラ１０２は、単位時間当たりの始点、終点を結ぶベクトルに基づいて動線ベクトルを求めているが、例えば、動線の移動平均に基づいて動線ベクトルを求めてもよい。

図９は、人物の視野の一例を示す図である。図９は、人物９０１、人物９０１の視野９０２及び人物の視野の向き９０３を含む。まず、人間の視野は、図９（Ａ）のように人物の顔の向きに対して特定の領域をカバーするように想定することができる。また人物の視野は、図９（Ｂ）のように、人物の顔の向きに対する視野の角度、例えば視野ａ、ｂ、ｃのそれぞれの角度の視野範囲をそれぞれ異なるように設定できる。
図９（Ａ）及び（Ｂ）いずれの方法を用いる場合も、コントローラ１０２は、視野９０２を予め数式やパラメータ情報等の集合である視野定義情報として保持しておき、必要に応じて読み込むことができる。また、コンピュータ１００は、前記視野定義情報を、例えばユーザインターフェース１０１に表示される設定画面へのユーザによる操作に基づいて、取得するようにしてもよい。前記視野定義情報の取得処理、読み込み処理は、視野定義取得処理の一例である。

視野の情報を得る別な方法として、コントローラ１０２は、画像情報保持部１０３の画像情報を解析することで任意の人物の視野や視野の向きを特定してもよい。
コントローラ１０２は、前記動線ベクトルの向きを人物の視野の向きと見做し、前記人物の視野及び前記人物の座標とを組み合わせることで前記人物が視認できる範囲である視野範囲を求めることができる。前記組み合わせ処理は、視野範囲取得処理の一例である。コントローラ１０２は、前記視野範囲を考慮することで、監視対象人物を見ることのできる周辺の人物をカウントする。
実施形態１では、コントローラ１０２は、任意の人物の周辺の人物の有無を判定する際、特定のエリアにおける動線の有無や人物間の距離を用いていた。しかし、本実施形態では、コントローラ１０２は、前記視野範囲に任意の人物が含まれるかどうかを判定する。

実施形態１と本実施形態とでは、ユーザインターフェース１０１を介して行われる処理は変わらないため、共通部分の説明は割愛して、本実施形態におけるコントローラの検索処理を、図１０を用いて説明する。
Ｓ１０００において、コントローラ１０２は、まず、検索結果の格納領域を例えばコンピュータ１００のメモリ等に確保し、初期化する。
Ｓ１００１において、コントローラ１０２は、動線情報保持部１０４に保持されている動線情報の中から検索条件入力画面３００で指定された検索エリア、検索期間等の検索条件に合致する動線情報を検索する。また、コントローラ１０２は、前記検索条件に合致する動線情報が動線情報保持部１０４に保持されている動線情報の中に存在するか否かを判定する。コントローラ１０２は、Ｓ１００１で、前記検索条件に合致する動線情報が存在しないと判定した場合、Ｓ１００２の処理へ進む。コントローラ１０２は、Ｓ１００１で、前記検索条件に合致する動線情報が存在すると判定した場合、Ｓ１００３の処理へ進む。
Ｓ１００２において、コントローラ１０２は、画像情報保持部１０３から前記検索条件に基づいて画像情報を抽出し、必要な動線情報を作成する。

Ｓ１００３〜Ｓ１００９の検索処理は、Ｓ１００１で検索された動線情報の数又はＳ１００２で作成された動線情報の数の繰り返し処理となる。即ち、Ｓ１００３〜Ｓ１００９の検索処理は、検索条件入力画面３００で指定された検索条件に合致する人数分の繰り返し処理となる。
Ｓ１００３において、コントローラ１０２は、動線情報保持部１０４から検索条件入力画面３００で指定された検索エリア、検索期間に合致する任意の人物（監視対象人物）の動線情報を１件分抽出する。コントローラ１０２は、前記動線情報を抽出できた場合、Ｓ１００４の処理へ進む。コントローラ１０２は、前記動線情報を抽出できなかった場合、Ｓ１０１０の処理を実行する。コントローラ１０２は、検査対象人数分の繰り返し検索処理が終了した場合、Ｓ１００３で動線情報を抽出できなくなり、Ｓ１０１０の処理へ進む。
Ｓ１００４において、コントローラ１０２は、コンピュータ１００のメモリ等に用意した視野判定結果格納領域を初期化する。
コントローラ１０２は、Ｓ１００５〜Ｓ１００７の処理を監視対象人物の周辺の人物の人数分繰り返すことで、同一時刻において監視対象人物を見ていた可能性のある人の人数の合計と前記人数に対応する時間帯とを取得できる。 Ｓ１００５において、コントローラ１０２は、監視対象人物の周辺の人物の動線情報を１件分抽出する。コントローラ１０２は、監視対象人物の周辺の人物の動線情報を抽出できた場合、動線情報の動線の向きを表す動線ベクトル情報と予め保持している視野定義情報と動線情報に係る動線の座標とから視野範囲情報を作成し、Ｓ１００６の処理を実行する。コントローラ１０２は、監視対象人物の周辺の人物の動線情報を抽出できなかった場合、Ｓ１００８の処理を実行する。

Ｓ１００６において、コントローラ１０２は、Ｓ１００５で抽出した前記視野範囲情報に監視対象人物の動線が含まれるかどうかを判定する。コントローラ１０２は、同一時刻におけるＳ１００５で抽出した前記視野範囲情報に監視対象人物の動線の座標が含まれる状況が存在すると判定した場合、前記状況が続いた時間帯を取得し、Ｓ１００７の処理へ進む。コントローラ１０２は、同一時刻におけるＳ１００５で抽出した前記視野範囲情報に監視対象人物の動線の座標が含まれる状況が存在しないと判定した場合、Ｓ１００５の処理へ進む。
Ｓ１００７において、コントローラ１０２は、前記視野判定結果格納領域に対し、時間帯と監視対象人物を視野範囲に入れていた人物の人数とを対応付けた視野判定結果を記憶する。コントローラ１０２は、前記視野判定結果に対して、Ｓ１００６で取得した時間帯に対応する人数に１を追加して記憶する。
Ｓ１００８において、コントローラ１０２は、視野判定結果格納領域に保持されている時間帯と人数とを含む視野判定結果に基づいて、前記監視対象人物を見ていた可能性のある人数が、検索条件入力画面３００で指定された人数以下になる時間帯の有無を判定する。コントローラ１０２は、前記監視対象人物を見ていた可能性のある人数が、検索条件入力画面３００で指定された人数以下になる時間帯があると判定した場合、Ｓ１００９の処理へ進む。コントローラ１０２は、前記監視対象人物を見ていた可能性のある人数が、検索条件入力画面３００で指定された人数以下になる時間帯がないと判定した場合、Ｓ１００３の処理へ進む。
Ｓ１００９において、コントローラ１０２は、前記監視対象人物を見ていた可能性のある人数が検索条件入力画面３００で指定された人数以下になる時間と前記監視対象人物を視野範囲に入れていた人数とを取得する。コントローラ１０２は、前記取得した時間と人数とを被監視状態の検索結果として検索結果格納領域に保存する。
Ｓ１０１０において、コントローラ１０２は、Ｓ１００９で保存された検索結果に対して被監視状態の評価を行い、検索結果に被監視状態評価結果を追加し、検索結果をユーザインターフェース１０１に返す。

本実施形態によれば、コントローラ１０２は、監視対象人物の周辺の人物の人数だけでなく視野範囲情報も考慮に入れることで、実施形態１よりも精度よく万引き等の犯罪行為が行われる可能性のある画像を抽出できる。したがって、監視者は、実施形態１の効果に加え、実施形態１よりも精度よく犯罪等の行為の有無や犯罪等の行為の確認を行うことができるという効果も得る。

＜実施形態３＞
実施形態３を説明する。
例えば、コントローラ１０２は、あるエリアにおける動線情報の中から期間、領域等の検索条件で特定された期間、エリアにおける、全ての人物の動線情報を抽出し、任意の二人の人物の動線情報を抽出する。コントローラ１０２は、前記二人の人物の動線情報から互いの存在する領域、互いの距離、遮蔽物の有無、互いに視野に含まれるか否か、等を判定することができる。

本実施形態では、コントローラ１０２は、任意の人物に対する周囲の人物の有無の判定を、一度に二人分処理することができるため、処理の効率を著しく向上することができる。

＜実施形態４＞
実施形態４を説明する。
例えば、万引き等の犯罪行為は、単独犯ではなく、複数の人間からなるグループにより行われる場合がある。本実施形態は、かかる案件に対応するための例となる。
図１１は、本実施形態における監視システムのシステム構成の一例を示す図である。
コンピュータ１００は、複数の人物の動線の関係を定義する動線関係判定情報を保持するための動線関係判定情報保持部１０５を有する。
動線関係判定情報保持部１０５が保持する情報は、次のような情報となる。
・特定の人物と、他の人物と、が一定時間以上、一定の距離に存在するという、協力関係
があることを判定するための協力関係判定情報
・特定の人物が商品棚のエリア（図４のエリアｂ〜ｏ等）にいるときに、別な人物が一定
時間、通路のエリア（図４のエリアａやエリアｐ）にあるという見張り行為を行うという見張り関係があることを判定する見張り判定情報
・特定の人物が商品棚のエリアにいるときに、第二の人物が特定の人物を第三の人物の視
野から隠蔽する行為を行うという隠蔽関係にあることを判定する隠蔽判定情報

上記の判定を行うための判定情報の例を図１２の動線関係判定情報入力画面の一例を用いて説明する。前記動線関係判定情報入力画面は、判定情報を入力するための動線関係判定情報入力画面１２００と１２０１〜１２０６の変数、ＯＫボタン３０５、Ｃａｎｃｅｌボタン３０６を含む。コントローラ１０２は、ユーザインターフェース１０１に表示される前記動線関係判定情報入力画面への監視者、操作者等による操作に基づいて、前記動線関係判定情報入力画面に指定された動線関係判定情報を取得するようにしてよい。また、コントローラ１０２は、予め記憶されている動線関係判定情報をコンピュータ１００の例えばＨＤＤ等の記憶部から読み取ることで、取得するようにしてもよい。
協力関係判定情報、見張り判定情報、隠蔽判定情報は、動線関係判定情報の一例である。

協力関係判定情報は、人物間の距離１２０１、協力時間１２０２等を含むことができる。人物間の距離１２０１は、動線間の距離を示す。協力時間１２０２は、人物間の距離１２０１が一定の値以下だった時間を示す。
見張り判定情報は、見張りエリア１２０３、見張り時間１２０４等を含むことができる。監視者、操作者等は、見張りエリア１２０３に、図４の監視エリアの例におけるエリアａやエリアｐ等の多くの商品棚と直行する通路のエリアを指定できる。また、監視者、操作者等は、見張りエリア１２０３に、並列する商品棚に挟まれたエリアの端（図４の例では、エリアｂ、エリアｈ等上部のエリアの上端、エリアｉ、エリアｏ等下部のエリアの下端等）の領域を指定することができる。コントローラ１０２は、見張りエリア１２０３への監視者、操作者等の指定に基づいて、見張りエリア情報を取得する。
もしも見張りを担当する人物が、犯罪行為を行う人物のそばにいて見張りをした場合は、コントローラ１０２は、前記の協力関係判定情報を用いることで見張りをしていた可能性を判定することができる。
隠蔽判定情報は、隠蔽回数１２０５、隠蔽の対象である隠蔽対象人物との距離１２０６等を含むことができる。コントローラ１０２は、対象人物と特定の人物との距離が閾値以内であり、前記対象人物が特定の人物を他の人物の視野から隠蔽した回数が閾値を超えている場合に、前記対象人物が前記特定の人物を隠蔽した可能性があると判定することができる。
コントローラ１０２は、それぞれの判定に合致する回数が多ければ多いほど、また、複数種類の判定に合致すればするほど、判定に合致しない場合よりも犯罪行為に繋がる可能性が高い、という判定をすることができる

図１３は、検索処理の一例を示すフローチャートである。
なお、以下の説明は、図１２に示す動線関係判定情報が事前にユーザインターフェース１０１等を介してコントローラ１０２に入力済みで、かつ動線関係判定情報が動線関係判定情報保持部１０５に保存済みであることを前提とする。また、実施形態１と同様に検索条件入力画面３００等の検索条件入力部からエリアや期間の指定があることを前提とする。
Ｓ１３００において、コントローラ１０２は、まず動線関係判定結果の格納領域を初期化する。
Ｓ１３０１において、コントローラ１０２は、動線情報保持部１０４に保持されている動線情報の中から、検索条件入力画面３００等で指定された検索エリア、検索期間等の検索条件に合致する動線情報を検索する。また、コントローラ１０２は、前記検索条件に合致する動線情報が動線情報保持部１０４に保持されている動線情報の中に存在するか否かを判定する。コントローラ１０２は、前記検索条件に合致する動線情報が動線情報保持部１０４に存在すると判定した場合、Ｓ１３０３の処理へ進む。コントローラ１０２は、前記検索条件に合致する動線情報が動線情報保持部１０４に存在しないと判定した場合、Ｓ１３０２の処理へ進む。

Ｓ１３０２において、コントローラ１０２は、画像情報保持部１０３から前記検索条件に基づいて画像情報を抽出し、前記画像情報から動線情報を作成して動線情報保持部１０４に保存する。
Ｓ１３０３において、コントローラ１０２は、前記検索条件に合致する任意の複数の人物（判定対象人物）の動線情報を動線情報保持部１０４から２名分抽出する。コントローラ１０２は、２名分の動線情報を抽出できた場合、Ｓ１３０４の処理へ進み、２名分の動線情報を抽出できなかった場合、Ｓ１３０６の処理へ進む。コントローラ１０２は、動線情報保持部１０４から抽出する動線情報の数を２に限定されず、３以上の動線情報を抽出してもよい。

Ｓ１３０４において、コントローラ１０２は、動線関係判定情報保持部１０５から動線関係判定情報を取り出し、Ｓ１３０３で抽出された２名分の動線情報同士が動線関係判定情報の判定情報に合致するかどうか判定する。
より具体的には、例えば協力関係判定においては、コントローラ１０２は、前記２名分の判定対象人物の動線情報に基づいて、時間経過に応じた判定対象人物の動線の座標間の距離を求める。次に、コントローラ１０２は、判定対象人物間の距離が前記動線関係判定情報で指定された人物間の距離以下になっている時間を求める。コントローラ１０２は、前記時間が前記動線関係判定情報で指定された協力時間以上である場合、前記２名の判定対象人物を協力関係判定情報に合致すると判定できる。コントローラ１０２は、前記時間が前記動線関係判定情報で指定された協力時間未満である場合、前記２名の判定対象人物を協力関係判定情報に合致しないと判定できる。
例えば見張り判定においては、コントローラ１０２は、前記２名分の判定対象人物の動線情報に基づいて、時間に応じた判定対象人物の存在するエリアを取得する。コントローラ１０２は、判定対象人物のどちらか一方が、前記動線関係判定情報で指定された見張りエリアに、前記動線関係判定情報で指定された見張り時間以上存在しているか否かを判定する。コントローラ１０２は、判定対象人物が前記見張りエリアに前記見張り時間以上存在している場合、前記２名の判定対象人物を見張り判定情報に合致すると判定できる。コントローラ１０２は、判定対象人物が前記見張りエリアに前記見張り時間未満存在している場合、前記２名の判定対象人物を見張り判定情報に合致すると判定できる。

また、例えば隠蔽判定においては、コントローラ１０２は、Ｓ１３０３において前記２名分の判定対象人物の動線情報の他に、前記判定対象人物の周辺の人物の動線情報も抽出することを前提とする。前記判定対象人物の周辺の人物の動線情報の抽出は、周辺動線抽出処理の一例である。コントローラ１０２は、前記２名分の判定対象人物の動線情報と前記判定対象人物の周辺の人物の動線情報とに基づいて、時間に応じた前記判定対象人物と前記判定対象人物の周辺の人物との位置情報を取得する。コントローラ１０２は、前記時間に応じた位置情報から以下の３つの条件を同時に満たす状況が開始された回数の合計をとる。第１の条件は、前記判定対象人物の一方と他方との距離が隠蔽判定情報で指定された距離以下であることである。第２の条件は、前記判定対象人物の周辺の人物の視野範囲に前記監視対象者の双方が含まれることである。第３の条件は、前記判定対象人物の周辺の人物と前記判定対象人物の一方とを結ぶ線上に、前記判定対象人物の他方が位置していることである。コントローラ１０２は、前記回数の合計が隠蔽判定情報で指定された回数以上である場合、前記判定対象人物を隠蔽判定情報に合致すると判定できる。コントローラ１０２は、前記回数が隠蔽判定情報で指定された回数未満である場合、前記判定対象人物を隠蔽判定情報に合致しないと判定できる。
コントローラ１０２は、Ｓ１３０３で抽出された２名分の動線情報が前記動線関係判定情報の判定情報に合致すると判定した場合、Ｓ１３０５の処理へ進む。コントローラ１０２は、Ｓ１３０３で抽出された２名分の動線情報が前記動線関係判定情報の判定情報に合致しないと判定した場合、Ｓ１３０３の処理へ進む。
Ｓ１３０５において、コントローラ１０２は、前記動線関係判定情報の判定情報に合致した人物、期間等に係る画像情報を検索するためのキーとなる情報（エリア情報、時刻情報等）を動線関係検索結果として動線関係判定結果格納領域に記憶する。また、コントローラ１０２は、複数の動線の関係を表す人物間の距離や協力時間等を動線関係検索結果として動線関係判定結果格納領域に記憶する。

Ｓ１３０６において、コントローラ１０２は、前記動線関係検索結果の評価を行い、前記動線関係検索結果に前記評価の結果を加えたものを動線関係判定結果として、動線関係判定結果格納領域に保存する。
コントローラ１０２は、監視者がコントローラ１０２に対して事前に動線関係評価基準を設定しておくことで、動線関係を評価することができる。コントローラ１０２は、ユーザインターフェース１０１に表示される動線関係評価基準の設定画面への監視者、操作者等による操作に基づいて、動線関係評価基準を取得するようにしてもよい。また、コントローラ１０２は、予め記憶されている動線関係評価基準をコンピュータ１００の例えばＨＤＤ等の記憶部から読み取ることで取得するようにしてもよい。
動線関係評価について協力関係の評価を例にとり説明する。図１４の協力関係評価基準テーブルは、動線関係評価基準の一例である。前記協力関係評価基準テーブルに、事前に協力時間や、人物間の距離の値の範囲毎に動線の関係を分類する基準を設定しておけば、コントローラ１０２は、複数の人物の動線間の関係を、ランクを付けて分類することができる。より具体的には、コントローラ１０２は、前記動線関係検索結果に保持されている判定対象人物同士の距離に対応する前記協力関係評価基準テーブルの人物間の距離の項目の行を特定する。次に、コントローラ１０２は、前記協力関係評価基準テーブルの前記特定された行の項目の中で、前記動線関係検索結果に保持されている協力時間に対応する前記協力関係評価基準テーブルの協力時間の項目の列の評価基準の値を参照する。また、コンピュータ１００は、同様に見張り評価、隠蔽評価でも同様の評価基準テーブルを持つこともできる。
前記評価基準テーブルの情報は、コンピュータ１００内の動線関係評価基準保持部に予め保持されていてもよいし、検索を行う度に監視者、操作者等による例えばユーザインターフェース１０１に表示される設定画面等への操作に基づいて、設定されてもよい。
コントローラ１０２は、上記のＳ１３００からＳ１３０６の処理を行うことで、動線関係判定結果を出力し、前記出力した結果をユーザインターフェース１０１に出力することができる。

本実施形態により、監視者は、複数人で行われる犯罪等の行為の有無、複数人で行われる犯罪等の行為の確認を行うことができる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ コンピュータ、１０１ ユーザインターフェース、１０２ コントローラ、１０３ 画像情報保持部、１０４ 動線情報保持部、１０５ 動線関係判定情報保持部、１１０ ネットワーク（ＬＡＮ）、１２０ ネットワークカメラ

Claims (20)

1. 監視対象人物の被監視状態情報の検索に利用される検索条件を指定する指定手段と、
   撮影手段により撮影された複数の画像から抽出された監視対象人物の動線情報と、前記複数の画像から抽出された前記監視対象人物の周辺の人物の動線情報と、から前記監視対象人物の被監視状態を示す被監視状態情報を取得する取得手段と、
   前記取得された前記被監視状態情報から前記指定された前記検索条件に合致する被監視状態情報を検索する検索手段と、
   前記検索された前記被監視状態情報を出力する出力手段と、
   を有する情報処理装置。
2. 前記指定手段は、人数と時間とを検索条件として指定し、
   前記取得手段は、監視対象人物の周辺の人物の合計をとった人数を、前記監視対象人物の被監視状態情報として取得し、
   前記検索手段は、前記被監視状態情報の中から前記被監視状態情報の前記合計をとった人数が前記検索条件に示された人数以下となる被監視状態情報を検索する請求項１記載の情報処理装置。
3. 撮影手段により撮影された複数の画像から監視対象人物の動線情報を抽出する第１の抽出手段と、
   前記複数の画像から前記監視対象人物の周辺の人物の動線情報を抽出する第２の抽出手段と、
   を更に有し、
   前記取得手段は、前記監視対象人物の動線情報と前記監視対象人物の周辺の人物の動線情報とから前記監視対象人物の被監視状態を示す被監視状態情報を取得する請求項１又は２記載の情報処理装置。
4. 前記指定手段は、対象期間と対象領域とを指定し、
   前記第１の抽出手段は、撮影手段により撮影された複数の画像から、前記対象期間と前記対象領域とにおける監視対象人物の動線情報を抽出し、
   前記第２の抽出手段は、前記複数の画像から、前記対象期間と前記対象領域とにおける前記監視対象人物の周辺の人物の動線情報を抽出する請求項３記載の情報処理装置。
5. 前記指定手段は、人数と時間とを検索条件として指定し、
   前記取得手段は、監視対象人物の動線の座標と同一の領域に動線の座標が存在する監視対象人物の周辺の人物の同一の時刻における合計をとった人数と、監視対象人物の周辺の人物が前記合計をとった人数の数だけ存在した時間と、を対応付けた対応情報を、前記監視対象人物の被監視状態情報として取得し、
   前記検索手段は、前記被監視状態情報の中から前記被監視状態情報の前記合計をとった人数が前記検索条件に示された人数以下となり、前記被監視状態情報の時間が前記検索条件に示された時間以上となる被監視状態情報を検索する請求項１乃至４何れか１項記載の情報処理装置。
6. 人物の位置を基準とした前記人物の視野の範囲を示す視野定義情報を取得する視野定義取得手段と、
   前記監視対象人物の周辺の人物の視野の向きと前記視野定義情報と前記監視対象人物の動線の座標とを組み合わせ前記監視対象人物の周辺の人物の視野範囲を取得する視野範囲取得手段と、
   を更に有し、
   前記指定手段は、人数と時間とを検索条件として指定し、
   前記取得手段は、視野範囲に監視対象人物の動線の座標を含む前記監視対象人物の周辺の人物の同一の時刻における合計をとった人数と、推移する人数ごとの前記人数の監視対象人物の周辺の人物の視野範囲に監視対象人物が存在した時間と、を対応付けた対応情報を、前記監視対象人物の被監視状態情報として取得し、
   前記検索手段は、前記被監視状態情報の中から前記被監視状態情報の人数が前記検索条件に示された人数以下となり、前記被監視状態情報の時間が前記検索条件に示された時間以上となる被監視状態情報を検索する請求項１乃至３何れか１項記載の情報処理装置。
7. 遮蔽物配置情報を取得する配置情報取得手段を更に有し、
   前記取得手段は、監視対象人物の動線の座標と前記監視対象人物の周辺の人物の動線の座標とを結ぶ線上に前記遮蔽物配置情報で示される遮蔽物の配置されている範囲が存在する場合、被監視状態情報の人数の取得の際、前記監視対象人物の周辺の人物を人数の合計から除外する請求項４乃至６何れか１項記載の情報処理装置。
8. 被監視状態情報を評価し、前記評価の結果を前記被監視状態情報に追加する追加手段を更に有する請求項１乃至７何れか１項記載の情報処理装置。
9. 人数と時間との組み合わせと評価値とを対応付けた被監視状態評価基準を取得する基準取得手段を更に有し、
   前記追加手段は、前記被監視状態評価基準から前記検索された前記被監視状態情報の人数と前記被監視状態情報の時間との組み合わせに対応する評価値を参照することで前記被監視状態情報を評価し、前記評価値を前記被監視状態情報に追加する請求項８記載の情報処理装置。
10. 前記取得手段は、前記監視対象人物の被監視状態情報を取得する際に、前記監視対象人物の周辺の人物の前記監視対象人物による被監視状態を示す被監視状態情報を取得する請求項１乃至９何れか１項記載の情報処理装置。
11. 複数の動線情報同士が関係しているか否かの判定に利用される動線関係判定情報を取得する取得手段と、
    撮影手段により撮影された複数の画像から抽出された複数の判定対象人物の動線情報を前記取得された動線関係判定情報に基づいて、前記動線情報同士が関係しているか否かを判定する判定手段と、
    前記判定の結果を出力する出力手段と、
    を有する情報処理装置。
12. 撮影手段により撮影された複数の画像から複数の判定対象人物の動線情報を抽出する抽出手段を更に有し、
    前記判定手段は、前記抽出された前記動線情報を前記取得された動線関係判定情報に基づいて、前記動線情報同士が関係しているか否かを判定する請求項１１記載の情報処理装置。
13. 対象期間と対象領域とを指定する指定手段を更に有し、
    前記抽出手段は、撮影手段により撮影された複数の画像から、前記対象期間と前記対象領域とにおける複数の動線情報を抽出する請求項１２記載の情報処理装置。
14. 前記取得手段は、距離の情報と時間の情報とを含む協力関係判定情報を取得し、
    前記抽出手段は、２つの判定対象人物の動線情報を抽出し、
    前記判定手段は、時間と前記時間に応じた前記抽出された前記動線情報に係る動線の座標間の距離とから、前記動線情報に係る動線の座標間の距離が前記協力関係判定情報の距離の情報に示された距離以下である期間を取得し、前記期間が前記協力関係判定情報の時間の情報に示された時間以上である場合、前記２つの動線情報は協力関係にあると判定し、前記期間が前記協力関係判定情報の時間の情報に示された時間未満である場合、前記２つの動線情報は協力関係にないと判定する請求項１２又は１３記載の情報処理装置。
15. 前記取得手段は、領域の情報と時間の情報とを含む見張り判定情報を取得し、
    前記抽出手段は、２つの判定対象人物の動線情報を抽出し、
    前記判定手段は、時間と前記時間に応じた前記抽出された前記動線情報に係る動線の座標とから、前記抽出された前記動線情報の内の１つが前記見張り判定情報の領域の情報で示された領域の中に存在する期間を取得し、前記期間が前記見張り判定情報の時間の情報で示された時間以上である場合、前記２つの動線情報は見張り関係にあると判定し、前記期間が前記見張り判定情報の時間の情報で示された時間未満である場合、前記２つの動線情報は協力関係にないと判定する請求項１２又は１３記載の情報処理装置。
16. 撮影手段により撮影された複数の画像から前記判定対象人物の周辺の人物の動線情報を抽出する周辺動線抽出手段を更に有し、
    前記取得手段は、回数の情報と距離の情報とを含む隠蔽判定情報を取得し、
    前記抽出手段は、２つの判定対象人物の動線情報を抽出し、
    前記判定手段は、前記判定対象人物の周辺の人物の視野範囲に前記２つの判定対象人物の動線情報に係る動線の座標が２つとも含まれ、前記２つの判定対象人物の動線情報に係る動線の座標間の距離が前記隠蔽判定情報の距離の情報に示された距離以下であり、前記判定対象人物の動線情報に係る動線の座標の一方と前記判定対象人物の動線情報の周辺の人物とを結ぶ線上に前記判定対象人物の動線情報に係る動線の座標の他方が位置する状況が開始された回数の合計が前記隠蔽判定情報の回数の情報で示された回数以上である場合、前記２つの判定対象人物の動線情報は隠蔽関係にあると判定し、前記合計が前記隠蔽判定情報の回数の情報で示された回数未満である場合、前記２つの判定対象人物の動線情報は隠蔽関係にないと判定する請求項１２又は１３記載の情報処理装置。
17. 情報処理装置が実行する情報処理方法であって、
    監視対象人物の被監視状態情報の検索に利用される検索条件を指定する指定工程と、
    撮影手段により撮影された複数の画像から抽出された監視対象人物の動線情報と、前記複数の画像から抽出された前記監視対象人物の周辺の人物の動線情報と、から前記監視対象人物の被監視状態を示す被監視状態情報を取得する取得工程と、
    前記取得工程により取得された前記被監視状態情報から前記指定工程により指定された前記検索条件に合致する被監視状態情報を検索する検索工程と、
    前記検索工程により検索された前記被監視状態情報を出力する出力工程と、
    を含む情報処理方法。
18. 情報処理装置が実行する情報処理方法であって、
    複数の動線情報同士が関係しているか否かの判定に利用される動線関係判定情報を取得する取得工程と、
    撮影手段により撮影された複数の画像から抽出された複数の判定対象人物の動線情報を前記取得工程により取得された動線関係判定情報に基づいて、前記動線情報同士が関係しているか否かを判定する判定工程と、
    前記判定工程による判定の結果を出力する出力工程と、
    を含む情報処理方法。
19. コンピュータに、
    監視対象人物の被監視状態情報の検索に利用される検索条件を指定する指定ステップと、
    撮影手段により撮影された複数の画像から抽出された監視対象人物の動線情報と、前記複数の画像から抽出された前記監視対象人物の周辺の人物の動線情報と、から前記監視対象人物の被監視状態を示す被監視状態情報を取得する取得ステップと、
    前記取得ステップにより取得された前記被監視状態情報から前記指定ステップにより指定された前記検索条件に合致する被監視状態情報を検索する検索ステップと、
    前記検索ステップにより検索された前記被監視状態情報を出力する出力ステップと、
    を実行させるためのプログラム。
20. コンピュータに、
    複数の動線情報同士が関係しているか否かの判定に利用される動線関係判定情報を取得する取得ステップと、
    撮影手段により撮影された複数の画像から抽出された複数の判定対象人物の動線情報を前記取得ステップにより取得された動線関係判定情報に基づいて、前記動線情報同士が関係しているか否かを判定する判定ステップと、
    前記判定ステップによる判定の結果を出力する出力ステップと、
    を実行させるためのプログラム。

Images