JP2014153813A

JP2014153813A - 情報処理装置、情報処理方法、プログラム、及び情報処理システム

Info

Publication number: JP2014153813A
Application number: JP2013021371A
Authority: JP
Inventors: Yoshihiro O; 啓宏王; Kenichi Okada; 憲一岡田; Takeshi Miyashita; 健宮下; Yasushi Okumura; 泰史奥村
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2013-02-06
Filing date: 2013-02-06
Publication date: 2014-08-25
Anticipated expiration: 2033-02-06
Also published as: EP2954499B1; CN104956412A; EP2954499A1; WO2014122884A1; US20150356840A1; US9870684B2; JP6171374B2; CN104956412B

Abstract

【課題】有用な監視カメラシステムを実現することが可能となる情報処理装置、情報処理方法、プログラム、及び情報処理システムを提供すること。
【解決手段】本技術に係る情報処理装置は、撮像装置により撮影された時間的に連続する複数の撮影画像のそれぞれから所定のオブジェクトを検出する検出部と、前記オブジェクトが検出された前記撮影画像ごとに前記オブジェクトを含む部分的な画像を生成して１以上のオブジェクト画像を生成する第１の生成部と、前記生成されたオブジェクト画像に関連付けて、前記オブジェクト画像を含む前記撮影画像の撮影時間の情報と、前記オブジェクト画像に含まれる前記オブジェクトを識別するための識別情報とを記憶する記憶部と、前記１以上のオブジェクト画像のうち前記記憶された識別情報が同じである１以上の同一オブジェクト画像を、各画像の前記記憶された撮影時間情報をもとに配置する配置部とを具備する。
【選択図】図７

Description

本技術は、例えば監視カメラシステム等に用いることが可能な情報処理装置、情報処理方法、プログラム、及び情報処理システムに関する。

例えば特許文献１には、監視カメラシステムに適用可能な技術として、オブジェクトの追尾前又は追尾中において追尾対象を簡単かつ正確に指定するための技術が記載されている。この技術では、追尾対象となるオブジェクトが拡大表示されるとともに、他のオブジェクトが追尾対象候補として抽出される。ユーザは抽出された追尾対象候補の中から拡大表示したい対象（追尾対象）を選ぶという簡易な操作を行うだけで、所望の拡大表示画像（ズーム画像）を得ることが可能となる（特許文献１の明細書段落［００１０］［００９７］等参照）。

特開２００９−２５１９４０号公報

特許文献１に記載のような有用な監視カメラシステムの実現を可能とするための技術が求められている。

以上のような事情に鑑み、本技術の目的は、有用な監視カメラシステムを実現することが可能となる情報処理装置、情報処理方法、プログラム、及び情報処理システムを提供することにある。

上記目的を達成するため、本技術の一形態に係る情報処理装置は、検出部と、第１の生成部と、記憶部と、配置部とを具備する。
前記検出部は、撮像装置により撮影された時間的に連続する複数の撮影画像のそれぞれから所定のオブジェクトを検出する。
前記第１の生成部は、前記オブジェクトが検出された前記撮影画像ごとに前記オブジェクトを含む部分的な画像を生成して１以上のオブジェクト画像を生成する。
前記記憶部は、前記生成されたオブジェクト画像に関連付けて、前記オブジェクト画像を含む前記撮影画像の撮影時間の情報と、前記オブジェクト画像に含まれる前記オブジェクトを識別するための識別情報とを記憶する。
前記配置部は、前記１以上のオブジェクト画像のうち前記記憶された識別情報が同じである１以上の同一オブジェクト画像を、各画像の前記記憶された撮影時間情報をもとに配置する。

この情報処理装置では、複数の撮影画像のそれぞれから所定のオブジェクトが検出され、オブジェクト画像が生成される。またオブジェクト画像に関連付けられて、撮影時間情報及び識別情報が記憶される。そして識別情報が同じである１以上の同一オブジェクト画像が、各画像の撮影時間情報をもとに配置される。これにより注目したいオブジェクトを十分に観察することができる。この技術を用いることで、有用な監視カメラシステムを実現することが可能である。

前記情報処理装置は、前記１以上のオブジェクト画像から基準となる基準オブジェクト画像を選択する選択部をさらに具備してもよい。この場合、前記配置部は、前記選択された基準オブジェクト画像の前記識別情報と同じ識別情報が記憶されている前記１以上の同一オブジェクト画像を、前記基準オブジェクト画像の前記撮影時間情報を基準として配置してもよい。
このように基準オブジェクト画像を基準として、１以上の同一オブジェクト画像が配置されてもよい。これにより基準オブジェクト画像に含まれるオブジェクトを十分に観察することが可能となる。

前記検出部は、複数の撮像装置でそれぞれ撮影された前記複数の撮影画像から前記所定のオブジェクトを検出してもよい。
これにより複数の撮像装置によりオブジェクトが撮影された場合でも、そのオブジェクトを追跡して十分に観察することが可能となる。この結果、複数の撮像装置が用いられた有用な監視カメラシステムを実現することが可能となる。

前記情報処理装置は、時間軸を出力する第１の出力部をさらに具備してもよい。この場合、前記配置部は、前記時間軸に沿って前記１以上の同一オブジェクト画像を配置してもよい。
これにより配置される同一オブジェクト画像の撮影時間を把握することが可能となる。

前記配置部は、前記時間軸上の所定の範囲ごとに、前記所定の範囲内に前記撮影時間が含まれる前記同一オブジェクト画像をそれぞれ配置してもよい。
このように時間軸が所定の範囲で分割されて、所定の範囲ごとに同一オブジェクト画像が配置されてもよい。これにより時間軸に沿ってオブジェクトを十分に観察することが可能となる。

前記第１の出力部は、前記時間軸上の所定の位置を示すポインタを出力してもよい。この場合、前記情報処理装置はさらに、前記ポインタに示された前記時間軸上の所定の位置に応じた前記同一オブジェクト画像を選択し、当該同一オブジェクト画像に関連した情報であるオブジェクト情報を出力する第２の出力部を具備してもよい。
このようにポインタに示された所定の位置に応じた同一オブジェクト画像が選択され、その同一オブジェクト画像に関連するオブジェクト情報が出力されてもよい。これによりオブジェクトを詳細に観察することが可能となる。

前記第２の出力部は、前記ポインタにより示される前記所定の位置の変更に連動して、前記所定の位置に応じた前記同一オブジェクト画像の選択、及び前記オブジェクト情報の出力を変更してもよい。
このように所定の位置の変更に連動して、出力されるオブジェクト情報が変更されてもよい。これにより詳細な観察が可能となる。

前記第２の出力部は、前記所定の位置に応じた前記同一オブジェクト画像を含む前記撮影画像を出力してもよい。
これにより詳細に観察したいオブジェクトの周囲の状況等を把握することが可能となる。

前記情報処理装置は、前記オブジェクトの動きを検出して当該動きを表現する動き画像を生成する第２の生成部をさらに具備してもよい。この場合、前記第２の出力部は、前記所定の位置に応じた前記同一オブジェクト画像に含まれる前記オブジェクトの前記動き画像を出力してもよい。
これにより詳細に観察したいオブジェクトの動きを把握することが可能となる。

前記第２の出力部は、前記所定の位置に応じた前記同一オブジェクト画像に含まれる前記オブジェクトの位置を示す地図情報を出力してもよい。
これにより詳細に観察したいオブジェクトの位置情報を把握することが可能となる。

前記情報処理装置は、ユーザからの指示を入力する入力部をさらに具備してもよい。この場合、前記第１の出力部は、前記入力部により入力された前記１以上の同一オブジェクト画像に対する指示に応じて前記ポインタが指す前記所定の位置を変更してもよい。
これにより同一オブジェクト画像の中から、オブジェクト情報を表示させる画像を選択するといった操作が可能となる。

前記第１の出力部は、前記出力されたオブジェクト情報に対する指示に応じて前記ポインタが指す前記所定の位置を変更してもよい。
例えば動き画像上の所定の位置を指示することで、その位置に対応した位置にポインタを移動させるといった操作が可能となる。

前記情報処理装置は、さらに、前記入力部により入力された所定の指示に応じて前記１以上の同一オブジェクト画像を補正する補正部を具備してもよい。
これによりユーザが入力部を介して１以上の同一オブジェクト画像を補正することが可能となる。

前記補正部は、前記オブジェクト情報として出力された前記撮影画像に含まれる他のオブジェクトを選択する指示に応じて、前記１以上の同一オブジェクト画像を補正してもよい。
このように撮影画像に含まれる他のオブジェクトが選択されることで補正が実行されてもよい。これにより直観的な操作で補正を実行することが可能となる。

前記補正部は、前記１以上の同一オブジェクト画像のうち少なくとも１つ以上を選択する指示に応じて、前記１以上の同一オブジェクト画像を補正してもよい。
このように１以上の同一オブジェクト画像のうち１つ以上が選択されることで補正が実行されてもよい。これにより直感的な操作で補正を実行することが可能となる。

前記補正部は、前記選択された基準オブジェクト画像の前記識別情報と異なる識別情報が記憶されている前記１以上のオブジェクト画像から、前記同一オブジェクト画像の候補となる候補オブジェクト画像を選択してもよい。
これにより１以上の同一オブジェクト画像の補正を容易に実行することが可能となる。

前記情報処理装置は、前記検出されたオブジェクトが監視すべき人物かを判定する判定部をさらに具備してもよい。この場合、前記選択部は、前記監視すべき人物であると判定された前記オブジェクトを含む前記オブジェクト画像を前記基準オブジェクト画像として選択してもよい。
これにより監視すべき人物として判定されたオブジェクトを十分に監視することが可能となる。

本技術の一形態に係る情報処理方法は、コンピュータにより実行される情報処理方法であって、撮像装置により撮影された時間的に連続する複数の撮影画像のそれぞれから所定のオブジェクトを検出することを含む。
前記オブジェクトが検出された前記撮影画像ごとに前記オブジェクトを含む部分的な画像が生成されることで、１以上のオブジェクト画像が生成される。
前記生成されたオブジェクト画像に関連付けて、前記オブジェクト画像を含む前記撮影画像の撮影時間の情報と、前記オブジェクト画像に含まれる前記オブジェクトを識別するための識別情報とが記憶される。
前記１以上のオブジェクト画像のうち前記記憶された識別情報が同じである１以上の同一オブジェクト画像が、各画像の前記記憶された撮影時間情報をもとに配置される。

本技術の一形態に係るプログラムは、コンピュータに以下のステップを実行させる。
撮像装置により撮影された時間的に連続する複数の撮影画像のそれぞれから所定のオブジェクトを検出するステップ。
前記オブジェクトが検出された前記撮影画像ごとに前記オブジェクトを含む部分的な画像を生成して１以上のオブジェクト画像を生成するステップ。
前記生成されたオブジェクト画像に関連付けて、前記オブジェクト画像を含む前記撮影画像の撮影時間の情報と、前記オブジェクト画像に含まれる前記オブジェクトを識別するための識別情報とを記憶するステップ。
前記１以上のオブジェクト画像のうち前記記憶された識別情報が同じである１以上の同一オブジェクト画像を、各画像の前記記憶された撮影時間情報をもとに配置するステップ。

本技術の一形態に係る情報処理システムは、１以上の撮像装置と、情報処理装置とを具備する。
前記１以上の撮像装置は、時間的に連続する複数の撮影画像を撮影可能である。
前記情報処理装置は、検出部と、生成部と、記憶部と、配置部とを有する。
前記検出部は、前記１以上の撮像装置によりそれぞれ撮影された前記複数の撮影画像のそれぞれから所定のオブジェクトを検出する。
前記生成部は、前記オブジェクトが検出された前記撮影画像ごとに前記オブジェクトを含む部分的な画像を生成して１以上のオブジェクト画像を生成する。
前記記憶部は、前記生成されたオブジェクト画像に関連付けて、前記オブジェクト画像を含む前記撮影画像の撮影時間の情報と、前記オブジェクト画像に含まれる前記オブジェクトを識別するための識別情報とを記憶する。
前記配置部は、前記１以上のオブジェクト画像のうち前記記憶された識別情報が同じである１以上の同一オブジェクト画像を、各画像の前記記憶された撮影時間情報をもとに配置する。

以上のように、本技術によれば、有用な監視カメラシステムを実現することが可能となる。

本技術の一実施形態に係る情報処理装置を含む監視カメラシステムの構成例を示すブロック図である。本実施形態において生成される動画データの一例を示す模式的な図である。本実施形態に係る監視カメラシステムを機能的に示したブロック図である。人物検出処理によって生成される人物追尾メタデータの一例を示す図である。人物追尾メタデータを説明するための図である。本実施形態に係る監視カメラシステムの概要を示す模式的な図である。本実施形態に係るサーバ装置により生成されるＵＩ（User Interface）画面の一例を示す模式的な図である。ＵＩ画面に対するユーザの操作とその操作に応じた処理の一例を示す図である。ＵＩ画面に対するユーザの操作とその操作に応じた処理の一例を示す図である。ポイント位置を変更する操作の他の例を示す図である。ポイント位置を変更する操作の他の例を示す図である。ポイント位置を変更する操作の他の例を示す図である。ポイント位置を変更する操作の他の例を示す図である。ポイント位置を変更する操作の他の例を示す図である。ポイント位置を変更する操作の他の例を示す図である。１以上の同一サムネイル画像の補正を説明するための図である。１以上の同一サムネイル画像の補正を説明するための図である。１以上の同一サムネイル画像の補正を説明するための図である。１以上の同一サムネイル画像の補正を説明するための図である。１以上の同一サムネイル画像の補正の他の例を説明するための図である。１以上の同一サムネイル画像の補正の他の例を説明するための図である。１以上の同一サムネイル画像の補正の他の例を説明するための図である。１以上の同一サムネイル画像の補正の他の例を説明するための図である。１以上の同一サムネイル画像の補正の他の例を説明するための図である。１以上の同一サムネイル画像の補正の他の例を説明するための図である。１以上の同一サムネイル画像の補正の他の例を説明するための図である。１以上の同一サムネイル画像の補正の他の例を説明するための図である。１以上の同一サムネイル画像の補正の他の例を説明するための図である。１以上の同一サムネイル画像の補正の他の例を説明するための図である。１以上の同一サムネイル画像の補正の他の例を説明するための図である。候補閲覧ボタンを利用した候補の表示について説明するための図である。候補閲覧ボタンを利用した候補の表示について説明するための図である。候補閲覧ボタンを利用した候補の表示について説明するための図である。候補閲覧ボタンを利用した候補の表示について説明するための図である。候補閲覧ボタンを利用した候補の表示について説明するための図である。１以上の同一オブジェクト画像の補正について、詳しい処理の一例を示すフローチャートである。図３６のステップ１０６がＹｅｓとなる場合のＵＩ画面の一例を示す図である。図３６のステップ１０６がＮｏとなる場合のＵＩ画面の一例を示す図である。１以上の同一サムネイル画像の補正の他の処理例を示すフローチャートである。図３９に示す処理を説明するための図である。図３９に示す処理を説明するための図である。フィルムロール画像の構成及び動作の他の例を説明するための図である。フィルムロール画像の構成及び動作の他の例を説明するための図である。フィルムロール画像の構成及び動作の他の例を説明するための図である。フィルムロール画像の構成及び動作の他の例を説明するための図である。フィルムロール部の尺度の変更について説明するための図である。フィルムロール部の尺度の変更について説明するための図である。フィルムロール部の尺度の変更について説明するための図である。フィルムロール部の尺度の変更について説明するための図である。フィルムロール部の尺度の変更について説明するための図である。フィルムロール部の尺度の変更について説明するための図である。フィルムロール部の尺度の変更について説明するための図である。フィルムロール部の尺度の変更について説明するための図である。フィルムロール部の尺度の変更について説明するための図である。フィルムロール部の尺度の変更について説明するための図である。フィルムロール部の尺度の変更について説明するための図である。時間軸に表示される目盛りの尺度の変更について説明するための図である。時間軸に表示される目盛りの尺度の変更について説明するための図である。時間軸に表示される目盛りの尺度の変更について説明するための図である。複数カメラ環境下の人物追尾のアルゴリズムの一例を説明するための図である。複数カメラ環境下の人物追尾のアルゴリズムの一例を説明するための図である。複数カメラ環境下の人物追尾のアルゴリズムの一例を説明するための図である。１対１のマッチング処理の一例を示す写真及び図である。本技術に係る人物追尾のアルゴリズムの適用例を示す模式的な図である。本技術に係る人物追尾のアルゴリズムの適用例を示す模式的な図である。本技術に係る人物追尾のアルゴリズムの適用例を示す模式的な図である。本技術に係る人物追尾のアルゴリズムの適用例を示す模式的な図である。本技術に係る人物追尾のアルゴリズムの適用例を示す模式的な図である。本技術に係る人物追尾のアルゴリズムの適用例を示す模式的な図である。本技術に係る人物追尾のアルゴリズムの適用例を示す模式的な図である。本技術に係る監視カメラシステム１００を用いた監視システム５００の概要を説明するための図である。アラーム画面の一例を示す図である。アラーム画面に対する操作とその操作に応じた処理の一例を示す図である。アラーム画面に対する操作とその操作に応じた処理の一例を示す図である。アラーム画面に対する操作とその操作に応じた処理の一例を示す図である。アラーム画面に対する操作とその操作に応じた処理の一例を示す図である。トラッキング画面の一例を示す図である。トラッキング画面上のターゲットを補正する方法の一例を示す図である。トラッキング画面上のターゲットを補正する方法の一例を示す図である。トラッキング画面上のターゲットを補正する方法の一例を示す図である。トラッキング画面上のターゲットを補正する方法の一例を示す図である。トラッキング画面上のターゲットを補正する方法の一例を示す図である。トラッキング画面で実行される他の処理について説明するための図である。トラッキング画面で実行される他の処理について説明するための図である。トラッキング画面で実行される他の処理について説明するための図である。トラッキング画面で実行される他の処理について説明するための図である。クライアント装置及びサーバ装置として用いられるコンピュータの構成例を示す模式的なブロック図である。他の実施形態に係るフィルムロール画像を示す図である。

以下、本技術に係る実施形態を、図面を参照しながら説明する。

［監視カメラシステム］
図１は、本技術の一実施形態に係る情報処理装置を含む監視カメラシステムの構成例を示すブロック図である。

監視カメラシステム１００は、１以上のカメラ１０と、本実施形態に係る情報処理装置であるサーバ装置２０と、クライアント装置３０とを有する。１以上のカメラ１０及びサーバ装置２０はネットワーク５を介して接続される。またサーバ装置２０及びクライアント装置３０もネットワーク５を介して接続される。

ネットワーク５としては、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等が用いられる。ネットワーク５の種類やそれに用いられるプロトコル等は限定されない。図１に示す２つのネットワーク５が互いに同じものである必要はない。

カメラ１０は、例えばデジタルビデオカメラ等の動画を撮影することが可能なカメラである。カメラ１０により、動画データが生成され、当該動画データがサーバ装置２０へネットワーク５を介して送信される。

図２は、本実施形態において生成される動画データの一例を示す模式的な図である。動画データ１１は、時間的に連続する複数のフレーム画像１２により構成される。フレーム画像１２は、例えば３０ｆｐｓ（frame per second）や６０ｆｐｓのフレームレートで生成される。なおインターレース方式によりフィールド単位で動画データが生成されてもよい。カメラ１０は、本実施形態に係る撮像装置に相当する。

図２に示すように、複数のフレーム画像１２は時間軸に沿って生成される。図２で見て左側から右側にかけてフレーム画像１２は生成される。従って左側に位置するフレーム画像１２は動画データ１１の前半部分に相当し、右側に位置するフレーム画像１２は動画データ１１の後半部分に相当する。

本実施形態では、複数のカメラ１０が用いられる。従ってサーバ装置２０には、複数のカメラ１０でそれぞれ撮影された複数のフレーム画像１２が送信される。複数のフレーム画像１２は、本実施形態において、複数の撮影画像に相当する。

クライアント装置３０は、通信部３１及びＧＵＩ部３２を有する。通信部３１は、ネットワーク５を介したサーバ装置２０との通信に用いられる。ＧＵＩ部３２は、動画１１、種々の操作のためのＧＵＩ（Graphical User Interface）、及びその他の情報等を表示する。例えばサーバ装置２０からネットワーク５を介して送信された動画１１等が通信部３１により受信される。当該動画等はＧＵＩ部３２に出力され、所定のＧＵＩにより図示しない表示部に表示される。

また表示部に表示されたＧＵＩ等を介して、ユーザからの操作がＧＵＩ部３２に入力される。ＧＵＩ部３２は、入力された操作をもとに指示情報を生成して通信部３１に出力する。通信部３１により指示情報がネットワーク５を介してサーバ装置２０に送信される。なお入力された操作をもとに指示情報を生成して出力するブロックが、ＧＵＩ部３２とは別に設けられてもよい。

クライアント装置３０としては、例えばＰＣ（Personal Computer）や、タブレット等の携帯端末が用いられる。これらに限定される訳ではない。

サーバ装置２０は、カメラ管理部２１と、これに接続されたカメラ制御部２２及び画像解析部２３とを有する。またサーバ装置２０は、データ管理部２４と、警報管理部２５と、種々のデータを記憶する記憶部２０８とを有する。またサーバ装置２０は、クライアント装置３０との通信に用いられる通信部２７を有する。通信部２７には、カメラ制御部２２、画像解析部２３、データ管理部２４、及び警報管理部２５が接続される。

通信部２７は、接続された各ブロックから出力される動画１１や種々の情報を、ネットワーク５を介してクライアント装置３０へ送信する。またクライアント装置３０から送信された指示情報を受信し、サーバ装置２０の各ブロックに出力する。例えばサーバ装置２０の動作を制御する図示しない制御ユニット等を介して各ブロックに指示情報が出力されてもよい。通信部２７は、本実施形態において、ユーザからの指示を入力する指示入力部として機能する。

カメラ管理部２１は、カメラ制御部２２からの制御信号を、ネットワーク５を介して、カメラ１０に送信する。これによりカメラ１０の種々の動作が制御される。例えばカメラのパン・チルト動作、ズーム動作、フォーカス動作等が制御される。

またカメラ管理部２１は、カメラ１０からネットワーク５を介して送信される動画１１を受信する。そして当該動画１１を画像解析部２３へ出力する。必要であればノイズ処理等の前処理が実行されてもよい。カメラ管理部２１は、本実施形態において、画像入力部として機能する。

画像解析部２３は、各カメラ１０からの動画１１をフレーム画像１２ごとに解析する。例えばフレーム画像１２に映っているオブジェクトの種類や数、オブジェクトの動き等が解析される。本実施形態では、画像解析部２３により、時間的に連続する複数のフレーム画像１２のそれぞれから所定のオブジェクトが検出される。ここでは所定のオブジェクトとして人物が検出される。フレーム画像１２内に複数の人物が撮影されている場合は、人物ごとに検出が行われる。フレーム画像１２から人物を検出する方法は限定されず、周知の技術が用いられてもよい。

また画像解析部２３により、人物が検出されたフレーム画像１２ごとに、その人物を含む部分的な画像であるオブジェクト画像が生成される。オブジェクト画像は典型的には、検出された人物のサムネイル画像である。フレーム画像１２からオブジェクト画像を生成する方法は限定されない。フレーム画像１２ごとにオブジェクト画像が生成されるので、１以上のオブジェクト画像が生成されることになる。

また画像解析部２３は、２つの画像の差分を算出することが可能である。本実施形態では、画像解析部２３により、フレーム画像１２間の差分が検出される。また所定の基準画像と、複数のフレーム画像１２のそれぞれとの差分が検出される。２つの画像の差分を算出するために用いられる技術は限定されない。典型的には、２つの画像の輝度値の差が差分として算出される。その他、輝度値の絶対差分和、輝度値に関する正規化相関係数、周波数成分等が用いられて差分が算出されてもよい。その他、パターンマッチング等に用いられる技術が適宜用いられてよい。

また画像解析部２３は、検出されたオブジェクトが監視すべき人物か否かを判定する。例えば、セキュリティが設定されている扉等に不正にアクセスする人物や、人物データがデータベースに格納されていない人物等が、監視すべき人物として判定される。また監視カメラシステム１００を利用する警備員等の操作入力により監視すべき人物の判定が実行されてもよい。その他、検出された人物を不審者と判定するための条件やアルゴリズム等は限定されない。

また画像解析部２３は、検出されたオブジェクトの追跡を実行することが可能である。すなわち画像解析部２３により、オブジェクトの動きが検出されその追跡データが生成される。例えば追跡対象のオブジェクトの位置情報が、連続するフレーム画像１２ごとに算出される。当該位置情報が、オブジェクトの追跡データとして用いられる。オブジェクトの追跡に用いられる技術は限定されず、周知の技術が用いられてよい。

本実施形態に係る画像解析部２３は、検出部、第１の生成部、判定部、第２の生成部の一部として機能する。各機能が１つのブロックで実現される必要はなく、各機能を実現するためのブロックが個別に設定されてもよい。

データ管理部２４は、動画データ１１、画像解析部２３による解析結果のデータ、及びクライアント装置３０から送信された指示データ等を管理する。またデータ管理部２４は、記憶部２０８に記憶されたメタ情報データや過去の動画等のビデオデータ、及び警報管理部２５からの警報表示（アラーム表示）に関するデータ等を管理する。

本実施形態では、記憶部２０８に、生成されたサムネイル画像に関連付けられた情報として、サムネイル画像の生成元となるフレーム画像１２の撮影時間の情報と、サムネイル画像に含まれるオブジェクトを識別するための識別情報とが記憶されている。サムネイル画像の生成元となるフレーム画像１２は、オブジェクト画像を含む撮影画像に相当する。サムネイル画像に含まれるオブジェクトとは、上記したように本実施形態では人物である。

データ管理部２４は、１以上のオブジェクト画像のうち、記憶部２０８に記憶された識別情報が同じである１以上の画像を、各画像に関連付けられて記憶された撮影時間情報をもとに配置する。識別情報が同じである１以上の画像は、同一オブジェクト画像に相当する。例えば時間軸に沿って撮影時間順で１以上の同一オブジェクト画像が配置される。これにより所定のオブジェクトの時間に沿った動きや行動履歴を十分に観察することが可能となる。すなわち高い精度でのトラッキングが可能となる。

また詳細は後述するが、データ管理部２４により、１以上のオブジェクト画像から基準となる基準オブジェクト画像が選択される。またデータ管理部２４により、クライアント装置３０が有する表示部に表示される時間軸と、時間軸上の所定の位置を示すポインタのデータが出力される。またデータ管理部２４により、ポインタに示された時間軸上の所定の位置に応じた同一オブジェクト画像が選択され、当該同一オブジェクト画像に関連した情報であるオブジェクト情報が記憶部２０８から読み出されて出力される。またデータ管理部２４により、入力部により入力された所定の指示に応じて１以上の同一オブジェクト画像が補正される。

また本実施形態では、画像解析部２３からデータ管理部２４に、所定のオブジェクトの追跡データが出力される。そしてデータ管理部２４により、追跡データをもとにオブジェクトの動きを表現する動き画像が生成される。なお、動き画像を生成するブロックが別個設けられ、当該ブロックにデータ管理部から追跡データが出力されてもよい。

また本実施形態では、記憶部２０８に、動画１１内に出現する人物の情報が記憶されている。例えば監視カメラシステム１００が用いられる会社や建物に関する人物のデータが予め記憶されている。データ管理部２４は、所定の人物が検出されて選択された場合等において、当該人物の情報を記憶部２０８から読み出して出力する。なお部外者等の、データが記憶されていない人物に対しては、その旨のデータが人物の情報として出力されてもよい。

また記憶部２０８には、動き画像上の位置と複数のフレーム画像１２との対応付けが記憶される。データ管理部２４は、この対応付けをもとに、動き画像上の所定の位置を選択する指示に応じて、複数のフレーム画像１２から、選択された所定の位置に対応付けられたフレーム画像１２を出力する。

本実施形態では、データ管理部２４は、配置部、選択部、第１及び第２の出力部、補正部、第２の生成部の一部として機能する。

警報管理部２５は、フレーム画像１２内のオブジェクトに対する警報表示を管理する。例えばユーザからの指示や画像解析部２３による解析結果をもとに、所定のオブジェクトが注目オブジェクト（不審者等）として検出される。検出された不審者等は警報表示される。この際、警報表示の種類や警報表示の実行のタイミング等が管理される。また警報表示の履歴等が管理される。

図３は、本実施形態に係る監視カメラシステム１００を機能的に示したブロック図である。複数のカメラ１０らネットワーク５を介して動画１１が送信される。各カメラ１０から送信された動画１１に対して、人検出セグメンテーションが実行される（画像解析部２３）。すなわち動画１１を構成する複数のフレーム画像１２のそれぞれに対して画像処理が実行されて、人物が検出される。

図４は、人物検出処理によって生成される人物追尾メタデータの一例を示す図である。上記したように、人物４０が検出されたフレーム画像１２からサムネイル画像４１が生成される。そのサムネイル画像４１に関連付けられて、図４に示す人物追尾メタデータ４２が記憶される。メタデータ４２の内容は以下の通りである。

object_id：検出された人物４０のサムネイル画像４１のＩＤで、サムネイル画像４１と一対一の関係。
tracking_id：追跡ＩＤ。同じ人物４０として判定されたＩＤであり、識別情報に相当。
camera_id：フレーム画像１２を撮影したカメラ１０のＩＤ。
timestamp：人物４０が映っているフレーム画像１２の撮影時刻。撮影時間情報に相当。
LTX，LTY，RBX，RBY：サムネイル画像４１のフレーム画１２像内での位置座標（正規化）。
MapX，MapY：人物４０の地図内での位置情報（正規化）。

図５は、メタデータ４２である［LTX，LTY，RBX，RBY］を説明するための図である。図５Ａに示すように、フレーム画像１２の左上の端点１３が座標（０，０）に設定される。またフレーム画像１２の右下の端点１４が座標（１，１）に設定される。このように正規化された状態でのサムネイル画像４１の左上の端点の座標（LTX，LTY）と、右下の端点の座標（RBX，RBY）がメタデータ４２として記憶される。図５Ｂに示すように、フレーム画像１２に複数の人物４０が撮影されている場合は、各人物４０ごとにサムネイル画像４１が生成され、それに関連付けて位置座標データ［LTX，LTY，RBX，RBY］が記憶される。

図３に示すように、人物追跡メタデータ４２は各動画１１ごとに生成されて集められ、記憶部２０８に記憶される。一方、フレーム画像１２から生成されたサムネイル画像４１もビデオデータとして記憶部２０８に記憶される。

図６は、本実施形態に係る監視カメラシステム１００の概要を示す模式的な図である。図６に示すように、記憶部２０８に記憶された人物追尾メタデータ４２、サムネイル画像４１、及び本技術を実現するためのシステムデータ等が適宜読み出される。システムデータは、後述する地図情報やカメラ１０に関する情報等を含む。これらのデータを用いて、クライアント装置３０からの所定の指示に応じて、サーバ装置２０により本技術に係るサービスが提供される。このようにサーバ装置２０とクライアント装置３０との間では、インタラクティブな処理が可能となっている。

なお人物検出処理は、カメラ１０から動画１１が送付された際に前処理として実行されてもよい。すなわちクライアント装置３０からの本技術に係るサービスやアプリケーションの利用の有無に関わらず、図３の破線３で囲まれたブロックにより、サムネイル画像４１の生成や人物追尾メタデータ４２の生成等が予め実行されてよい。

［監視カメラシステムの動作］
図７は、本実施形態に係るサーバ装置３０により生成されるＵＩ（User Interface）画面の一例を示す模式的な図である。ユーザは、クライアント装置２０の表示部に表示されたＵＩ画面５０を操作することで、カメラ映像（フレーム画像１２）の確認、アラーム記録の確認、指定人物４０の移動経路の確認、解析結果の修正処理等を実行することが可能となる。

本実施形態に係るＵＩ画面５０は、フィルムロール画像５１が表示される第１の表示領域５２と、オブジェクト情報５３が表示される第２の表示領域５４から構成される。図７に示すように、画面５０の下半分が第１の表示領域５２となり、画面５０の上半分が第２の表示領域５４となる。画面５０の上下方向において、第１の表示領域５２の方が第２の表示領域５４よりもサイズ（高さ）が小さい。第１及び第２の表示領域５２及び５４のそれぞれの位置や大きさ等は限定されない。

フィルムロール画像５１は、時間軸５５、時間軸５５上の所定の位置を示すポインタ５６、時間軸５５に沿って配置される同一サムネイル画像５７、及び後述するトラックステイタスバー５８（以後、ステイタスバー５８と記載する）から構成される。ポインタ５６は、タイムインジケータとして用いられる。同一サムネイル画像５７は、同一オブジェクト画像に相当する。

本実施形態では、各フレーム画像１２から検出された１以上のサムネイル画像４１から、基準オブジェクト画像として基準サムネイル画像４３が選択される。本実施形態では、人物Ａが所定の撮影時間で撮影されたフレーム画像１２から生成されたサムネイル画像４１が、基準サムイネル画像４３として選択される。例えばその時間に人物Ａが立ち入り禁止エリアに入ってしまい、人物Ａが不審者として判定された場合等の理由により、基準サムネイル画像４３が選択される。基準サムネイル画像４３が選択される条件等は限定されない。

基準サムネイル画像４３が選択されると、基準サムネイル画像４３の追跡ＩＤが参照され、同じ追跡ＩＤが記憶されている１以上のサムネイル画像４１が、同一サムネイル画像５７として選択される。そして１以上同一サムネイル画像５７が、基準サムネイル画像４３の撮影時間（以後、基準時間と記載する）を基準として、時間軸５５に沿って配置される。図７に示すように、基準サムネイル画像４３は、他の同一サムネイル画像５７よりもサイズが大きく設定されている。基準サムネイル画像４３及び１以上の同一オブジェクト画像５７により、フィルムロール部５９が構成される。なお、基準サムネイル画像４３は、同一サムネイル画像５７に含まれる。

図７では、時間軸５５上の基準時間Ｔ１に対応する位置にポインタ５６が配置されている。これは基準サムネイル画像４３を基準としてＵＩ画面５０が構成される場合の基本的な初期状態を示している。ポインタ５６により示された基準時間Ｔ１の右側に、基準時間Ｔ１よりも後の時間に撮影された同一サムネイル画像５７が配置される。基準時間Ｔ１の左側には、基準時間Ｔ１よりも前の時間に撮影された同一サムネイル画像５７が配置される。

本実施形態では、基準時間Ｔ１を基準として、時間軸５５上の所定の範囲６１ごとに同一サムネイル５７がそれぞれ配置される。この範囲６１は時間の長さを表し、フィルムロール部５９の尺度（スケール）に相当する。フィルムロール部５９の尺度は限定されず、１秒、５秒、１０秒、３０分、１時間等、適宜設定可能である。例えばフィルムロール部５９の尺度を１０秒とすると、図７に示す基準時間Ｔ１から右側に１０秒間隔で所定の範囲６１が設定される。その１０秒の間に撮影された人物Ａの同一サムネイル画像５７から、フィルムロール画像５１として表示される表示サムネイル画像６２が選択されて配置される。

基準サムネイル画像４３は、基準時間Ｔ１に撮影された画像であり、その右端部４３ａと左端部４３ｂとは同じ時間Ｔ１が設定されている。従って基準時間Ｔ１よりも後の時間に関しては、基準サムネイル画像４３の右端部４３ａを基準として同一サムネイル画像５７が配置される。一方、基準時間Ｔ１よりも前の時間に関しては、基準サムネイル画像４３の左端部４３ｂを基準として同一サムネイル画像５７が配置される。従って基本的な初期状態を表すＵＩ画面５０として、基準サムネイル画像４３の左端部４３ｂにポインタ５６が位置する状態が表示されてもよい。

所定の範囲６１で表される時間内に撮影された同一サムネイル画像５７から、表示サムネイル画像６２を選択する方法は限定されない。例えば所定の範囲６１内において撮影された同一サムネイル画像５７のうち撮影時間が最も前である（過去である）画像が表示サムネイル画像６２として選択されてもよい。逆に、撮影時間が最も後である（未来である）画像が表示サムネイル画像６２として選択されてもよい。あるいは、範囲６１内の中間の時間に撮影された画像、あるいは中間の時間に最も近い時間に撮影された画像が、表示サムネイル画像６２として選択されてもよい。

図７に示すステイタスバー５８は、時間軸５５と同一サムネイル画像５７との間に、時間軸５５に沿って表示されている。ステイタスバー５５は、人物Ａのトラッキングが実行されている時間を示している。すなわち同一サムネイル画像５７が存在する時間を示している。例えばフレーム画像１２内において、人物Ａが柱等の後ろに隠れてしまったり、他の人と重なった場合等は、人物Ａがオブジェクトとして検出されない。そうすると人物Ａのサムネイル画像４１は生成されない。このような時間が、トラッキングが実行されていない時間であり、図７で示すステイタスバー５８が途切れている部分６３や配置されない部分６３等が該当する。

またステイタスバー５８は、人物Ａを撮影したカメラ１０によって、色を区別して表示される。従って同一サムネイル画像５７の生成元のフレーム画像１２がどのカメラ１０で撮影されたかが把握できるように適宜色表示が行われる。人物Ａを撮影したカメラ１０、すなわち人物Ａをトラッキングしたカメラ１０が、図４に示すメタデータ４２をもとに判別され、その結果をもとにカメラ１０ごとに設定された色でステイタスバー５８が表示される。

図７のＵＩ画面５０の地図情報６５を見てみると、３つのカメラ１０と、各カメラ１０の撮影範囲６６が表示されている。例えばカメラ１０及び撮影範囲６６に、それぞれ所定の色が付される。そしてこれらの色と対応するようにステイタスバー５８に色が付される。これにより容易に、また直観的に人物Ａを観察することが可能となる。

上記したように例えば所定の範囲６１内において、撮影時間が最も前である画像が表示サムネイル画像６２として選択されるとする。この場合、図７に示す最も左側に位置する表示サムネイル画像６２ａは、その上に表示されているステイタスバー５８の左端部５８ａの時間Ｔ２に撮影された同一サムネイル画像５７ということになる。図７では、この表示サムネイル画像６２の左側には、同一サムネイル画像５７が配置されていない。これは表示サムネイル画像６２ａの撮影時間Ｔ２よりも前には、同一サムネイル画像５７が生成されていないことを意味する。すなわちその時間には、人物Ａのトラッキングが実行されていないことになる。同一サムネイル画像５７が表示されない範囲には、トラッキングが実行されていない旨を表す画像やテキスト等が表示されてもよい。例えばグレー色が付せられた人の形をした画像が、人物非表示画像として表示されてもよい。

図７に示す第２の表示領域５４は、左表示領域６７及び右表示領域６８に分割される。左表示領域６７には、オブジェクト情報５３として出力された地図情報６５が表示される。右表示領域６８には、オブジェクト情報５３として出力されたフレーム画像１２、及び動き画像６９が表示される。これらは、ポインタ５６に示された時間軸５５上の所定の位置に応じて選択された同一オブジェクト画像５７に関連した情報として出力される。従ってポインタ５６に示された時間に撮影された同一オブジェクト画像５７に含まれる人物Ａの位置を示す地図情報６５が表示される。またポインタ５６に示された時間に撮影された同一オブジェクト画像５７を含むフレーム画像１２と、人物Ａの動き画像６９とが表示される。本実施形態では、動き画像６９として動線が表示されるが、動き画像６９として表示される画像は限定されない。

ポインタ５６に示された時間軸５５上の所定の位置に応じた同一オブジェクト画像５７は、その時間に撮影された同一オブジェクト画像５７に限定されない。例えばポインタ５６が示す時間を含む範囲６１（フィルムロール部の尺度）において、表示オブジェクト画像６２として選択されている同一オブジェクト画像５７に関する情報が表示されてもよい。その他の同一オブジェクト画像５７が選択されてもよい。

地図情報６５は、図６に示すシステムデータとして予め記憶されている。ここにオブジェクトとして検出された人物Ａを示すアイコン７１ａが、メタデータ４２をもとに表示される。図７に示すＵＩ画面５０では、基準サムネイ画像４３が撮影された時間Ｔ１における人物Ａの位置が表示されている。また基準サムネイル画像４３を含むフレーム画像１２には、他のオブジェクトとして人物Ｂが検出されている。従って地図情報６５には、人物Ｂを示すアイコン７１ｂも表示されている。さらに地図情報には、人物Ａ及び人物Ｂのそれぞれの動き画像６９も表示されている。

オブジェクト情報５３として出力されたフレーム画像１２（以後、プレイビュー画像７０と記載する）には、検出されたオブジェクトを強調して示す強調画像７２が表示される。本実施形態では、検出された人物Ａ及び人物Ｂを囲う枠が、強調画像７２ａ及び７２ｂとしてそれぞれ表示される。この枠は、生成されるサムネイル画像４１の外縁に相当する。なお、強調画像７２として、例えば矢印等が人物４０の上に表示されてもよい。その他任意の画像が強調画像７２として用いられてもよい。

また本実施形態では、プレイビュー画像７０内の複数のオブジェクトのうち、フィルムロール画像５１に表示されているオブジェクトを区別するための画像も表示される。以後、フィルムロール画像５１に表示されるオブジェクトをターゲットオブジェクト７３と記載する。図７等に示す例でが、人物Ａがターゲットオブジェクト７３になる。

本実施形態では、プレイビュー画像７０内の複数オブジェクトのうち、ターゲットオブジェクト７３を示す画像が表示される。これにより１以上の同一サムネイル画像５７に表示されているオブジェクトが、プレイビュー画面７０内のどのオブジェクトかであるかが把握可能である。この結果、直感的な観察が可能となる。本実施形態では、上記した強調画像７２に所定の色が付される。例えはフィルムロール画像５１として表示されている人物Ａを囲う強調画像７２ａは赤色等の目立つ色が付される。一方、他のオブジェクトである人物Ｂを囲う強調画像７２ｂには、緑色等の他の色が付される。このようにして、オブジェクトが区別される。他の方法や他の画像を用いて、ターゲットオブジェクト７３が区別されてもよい。

強調画像７２の色表示に合わせて、動き画像６９も色を区別して表示されてもよい。すなわち人物Ａの動きを表現する動き画像６９ａは赤色で表示され、人物Ｂの動きを表現する動き画像６９ｂは緑色で表示されてもよい。これにより、ターゲットオブジェクト７３である人物Ａの動きを十分に観察することが可能となる。

図８及び図９は、ＵＩ画面５０に対するユーザ１の操作と、その操作に応じた処理の一例を示す図である。図８及び図９に示すように、タッチパネルとしても機能する画面に対してユーザ１からの操作が入力される。その操作はユーザ１からの指示としてクライアント装置３０を介してサーバ装置２０に入力される。

本実施形態では、１以上の同一オブジェクト画像５７に対する指示が入力され、その指示に応じてポインタ５６が示す時間軸５５上の所定の位置が変更される。具体的には、フィルムロール画像５１のフィルムロール部５９して、左右方向（ｙ軸方向）でドラッグ操作が入力される。これにより同一オブジェクト画像５７が左右に移動され、それに合わせて時間軸５５内の時間表示画像（目盛り）も移動する。ポインタ５６の位置は固定されているので、これによりポインタ５６に示される時間軸５５上のポイント位置７４が相対的に変更される。なお、ポインタ５６に対してドラッグ操作が入力されることで、ポイント位置７４が変更されてもよい。その他、ポイント位置７４を変更するための操作等は限定されない。

このポイント位置７４の変更に連動して、ポイント位置７４に応じた同一オブジェクト画像５７の選択、及びオブジェクト情報５３の出力が変更される。例えば図８及び図９に示すように、同一サムネイル画像５７が左側に移動されるとする。そうするとポインタ５６が相対的に右側に移動して、基準時間Ｔ１よりも後の時間に向けて、ポイント位置７４が変更される。これに連動して、基準時間Ｔ１よりも後に撮影された同一サムネイル画像５７に関する地図情報６５とプレイビュー画像７０が表示される。すなわち地図情報６５においては、動き画像６９に沿って人物Ａのアイコン７１ａが右側に移動し、また人物Ｂのアイコン７１ｂが左側に移動する。プレイビュー画像７０においては、動き画像６９ａに沿って人物Ａが奥側に移動し、また動き画像６９ｂに沿って人物Ｂが手前側に移動する画像が順次表示される。これにより時間軸５５に沿ったオブジェクトの動きを把握することが可能となり、詳細な観察が可能となる。また１以上の同一オブジェクト画像５７の中から、プレイビュー画像７０等のオブジェクト情報５３を表示させる画像を選択するといった操作が可能となる。

なお図８及び図９に示す例では、１つのカメラ１０により撮影されたフレーム画像１２から生成された同一サムネイル画像５７が配置されている。従ってステイタスバー５８はそのカメラ１０に対応した色のみが付されるはずである。しかしながら図７−図９では、カメラ１０ごとにステイタスバー５８が色を区別して表示されるということを説明するために、ステイタスバー５８が種類を分けて図示されている。またフィルムロール部５９を左に移動させた結果、右側に新たな同一サムネイル画像５７が表示されていない。しかしながらその時間に撮影された同一サムネイル画像５７が存在する場合には、その画像が適宜配置される。

図１０−図１２は、ポイント位置７４を変更する操作の他の例を示す図である。図１０−図１２に示すように、出力されたオブジェクト情報５３に対する指示に応じてポインタ５６が示すポイント位置７４が変更されてもよい。

本実施形態では、ＵＩ画面５０のプレイビュー画像７０上のオブジェクトとして、ターゲットオブジェクト７３である人物Ａが選択される。例えば人物Ａに指が合わせられてもよいし、強調画像７２に指が合わせられてもよい。典型的には、強調画像７２内の領域であるならば、そこをタッチ等することで、人物Ａの選択指示が入力される。人物Ａが選択されると、左表示領域６７に表示される情報が、地図情報６５から拡大表示情報７５に変更される。拡大表示情報７５は、プレイビュー画像７０として表示されるフレーム画像１２から生成されればよい。拡大表示情報７５も、同一オブジェクト画像５７に関連するオブジェクト情報５３に含まれる。拡大表示情報７５が表示されることで、ユーザ１が選択したオブジェクトを詳細に観察することが可能となる。

図１０−図１２に示すように、人物Ａが選択された状態で、動き画像６９ａに沿ってドラッグ操作が入力される。そうすると、動き画像６９ａ上の位置に対応したフレーム画像１２が、プレイビュー画像７０として表示される。動き画像６９ａ上の位置に対応したフレーム画像１２とは、その位置に人物Ａが表示されているフレーム画像１２、あるいはその位置に最も近い位置に人物Ａが表示されているフレーム画像１２等である。例えば図１０−図１２に示すように、人物Ａが動き画像６９ａに沿って奥側へ移動される。それに連動して、ポイント位置７４が基準時間Ｔ１よりも後の時間である右側へ移動される。すなわち同一オブジェクト画像５７が左側へ移動される。また拡大表示情報７４も連動して変更される。

このようにプレイビュー画像７０が変更されると、それに連動して、プレイビュー画像７０として表示されたフレーム画像１２の撮影時間に対応した位置にポインタ５６が移動する。これによりポイント位置７４が変更される。このことは、ポイント位置７４の時間と、プレイビュー画像７０の撮影時間とが対応付けられており、一方を変更すると、それに連動して他方も変更するということに相当する。

図１３−図１５は、ポイント位置７４を変更する操作の他の例を示す図である。図１３に示すように、プレイビュー画像７０に表示されるターゲットオブジェクト７３とは異なる他のオブジェクト７６を操作することでも、ポイント位置７４を変更することが可能とである。図１３に示すように、他のオブジェクト７６である人物Ｂが選択され、人物Ｂの拡大表示情報７５が表示される。動き画像６９ｂに沿ってドラッグ操作が入力されると、それに応じてポインタ５６のポイント位置７４が変更される。このように他のオブジェクト７６への操作が可能であってもよい。これにより他のオブジェクト７６の動きを観察することが可能となる。

図１４に示すように、他のオブジェクト７６である人物Ｂから指を離すと、ターゲットオブジェクト７３を指定するためのポップアップ７７が表示される。このポップアップ７７は、ターゲットオブジェクト７３の補正や変更等で用いられる。ここでは、図１５に示すように、キャンセルが選択され、ターゲットオブジェクト７３の変更は行われないとする。そうするとポップアップ７７が消去される。このポップアップ７７については、ターゲットオブジェクト７３の補正と合わせて後に説明する。

図１６−図１９は、フィルムロール画像５１として配置される１以上の同一サムネイル画像５７の補正を説明するための図である。図１６に示すように、人物Ａが撮影されている基準サムネイル画像４３が選択された場合において、人物Ａとは異なる人物Ｂが撮影されたサムネイル画像４１ｂが同一サムネイル画像５７として配置される場合が起こり得る。例えばフレーム画像１２からオブジェクトを検出する際に、誤検出が発生してしまい、他のオブジェクト７６である人物Ｂに、人物Ａを表す追跡ＩＤが設定される場合がある。例えば背格好や髪形等が似ている場合や、速く動く２つの人物が通りすぎる場合等、様々な状況を原因として、そのような誤検出が発生してしまう可能性がある。そうすると、ターゲットオブジェクト７３として正しくないオブジェクトのサムネイル画像４１がフィルムロール画像５１に表示されてしまう。

本実施形態に係る監視カメラシステム１００では、以下に示すように、簡単な操作によりターゲットオブジェクト７３の補正を実行することが可能である。すなわち入力部により入力された所定の指示に応じて１以上の同一オブジェクト画像５７を補正することが可能となっている。

図１７に示すように、プレイビュー画像７０において、ターゲットオブジェクト７３の認識が間違っている状態の画像を探索する。すなわち人物Ｂの強調画像７２ｂが赤色で表示されており、人物Ａの強調画像７２ａが緑色で表示されているプレイビュー画像７０が探索される。図１７では、フィルムロール部５９が操作されることで、誤検出されたプレイビュー画像７０が探索されている。しかしながらプレイビュー画像７０の人物Ａ又は人物Ｂへの操作により探索が実行されてもよい。

図１８に示すように、人物Ｂのサムネイル画像４１ｂが表示されている範囲７８の左端部７８ａの位置にポインタ５６が移動したときに、ターゲットオブジェクト７３が誤検出されたプレイビュー画像７０が表示される。ユーザ１により、本来ターゲットオブジェクト７３として検出されるべき人物Ａ（強調画像７２ａは緑色）が選択される。そうするとターゲットオブジェクト７３を指定するポップアップ７７が表示され、ターゲット指定ボタンが押される。

図１９に示すように、ポインタ５６よりも右側に配置された人物Ｂのサムネイル画像４１ｂが消去される。この場合、ポインタ５６よりも後の時間のサムネイル画像４１がすべて消去される（サムネイル画像４１及び人物非表示画像）。本実施形態では、ポインタ５６よりも後の時間のサムネイル画像４１が、画面５０の下側に消えていくアニメーション７９が表示されて、サムネイル画像４１が消去される。しかしながら、サムネイル画像４１が消去される際のＵＩは限定されず、直感的に分かりやすいアニメーションや意匠性の高いアニメーションが表示されてもよい。

ポインタ５６よりも左側のサムネイル画像４１が消去された後に、正しいターゲットオブジェクト７３として指定された人物Ａのサムネイル画像４１が同一オブジェクト画像５７として配置される。プレイビュー画像７０では、人物Ａの強調画像７２ａが赤色で表示され、人物Ｂの強調画像７２ｂが緑色で表示される。

なお、図１８等に示すように、ここでは人物Ｂのサムネイル画像４１ｂの左端部７８ａの位置にて、誤検出されたプレイビュー画像７０が見つかった。しかしながら表示サムネイル画像６２として人物Ａのサムネイル画像４１が表示されている範囲内にて、誤検出のプレイビュー画像７０が見つかる場合もあり得る。この場合、その表示サムネイル画像６２よりも後の時間における、人物Ｂのサムネイル画像４１ｂが消去されてもよいし、人物Ａのサムネイル画像４１を分割するように、ポインタ５６よりも右側のサムネイル画像４１が消去されてもよい。また表示サムネイル画像６２として人物Ｂのサムネイル画像４１ｂが表示されている範囲の途中の位置で、誤検出のプレイビュー画像７０が見つかる場合もあり得る。この場合、その人物Ｂのサムネイル画像４１ｂも含めて、サムネイル画像の消去が実行されればよい。

このようにオブジェクト情報５３として出力されたプレイビュー画像７０に含まれる他のオブジェクト７６を選択する指示に応じて、１以上の同一オブジェクト画像５７が補正される。これにより直観的な操作で補正を実行することが可能となる。

図２０−図２５は、１以上の同一サムネイル画像５７の補正の他の例を説明するための図である。これらの図では、地図情報６５が省略されている。上記と同様に、まず人物Ｂがターゲットオブジェクト７３として誤って検出された時点のプレイビュー画像７０が探索される。その結果、図２０に示すように、プレイビュー画像７０に正しいターゲットオブジェクト７３として検出されるべき人物Ａが映っていないとする。例えば誤検出された人物Ｂが人物Ａとは離れて移動した場合や、もともと他の場所にいた人物Ｂがターゲットオブジェクト７３として検出される場合等が考えられる。

なお図２０では、ポインタ５６の左側に隣接する同一サムネイル画像５７ａの左右方向でのサイズが、他のサムネイル画像５７と比べて小さい。例えばそのサムネイル画像５７ａが配置された範囲６１（フィルムロール部５９の尺度）の途中において、ターゲットオブジェクト７３が変わってしまった場合等に、フィルムロール部５９の尺度が部分的に変更されてもよい。この他の場合でも、例えばターゲットオブジェクト７３は正常に検出されているが、そのターゲットオブジェクト７３を撮影するカメラ１０が切り替えられる時等において、フィルムロール部５９の尺度が部分的に変更されてもよい。

図２１に示すように、ターゲットオブジェクト７３として指定したい人物Ａが、プレイビュー画像７０に表示されない場合には、ＵＩ画面５０に設けられたカットボタン８０が利用される。本実施形態では、ポインタ５６の下部にカットボタン８０が設けられる。図２２に示すように、ユーザ１によりカットボタン８０がクリックされると、ポインタ５６よりも右に配置されるサムネイル画像４１ｂが消去される。これにより誤検出により同一サムネイル画像５７として配置された人物Ｂのサムネイル画像４１ｂが消去される。そしてプレイビュー画像７０の人物Ｂの強調画像７２ｂが赤色から緑色に変更される。なおカットボタン８０の位置や形状等は限定されない。本実施形態のようにポインタ５６に連結するように配置されることで、ポインタ５６を基準としたカット処理を、直感的な操作により実行することが可能となる。

ターゲットオブジェクト７３の誤検出が発生した時点を探索するというのは、１以上の同一サムネイル画像５７のうちその時点以後の少なくとも１つ以上の同一サムネイル画像５７を選択することに相当する。その選択された同一サムネイル画像５７がカットされることで、１以上の同一オブジェクト画像５７が補正される。

図２３に示すように、ポインタ５６よりも右側に配置されたサムネイル画像４１ｂが消去されると、地図情報６５が表示されている左表示領域６７に、各カメラ１０で撮影されたビデオ映像（複数のフレーム画像１２）がそれぞれ表示される。各カメラ１０の映像は、サイズが小さいモニタ表示領域８１にそれぞれ表示され、ビデオリストとして閲覧可能となっている。各モニタ表示領域８１において、ポインタ５６のポイント位置７４の時間に応じたフレーム画像１２がそれぞれ表示される。また各モニタ表示領域８１の上部８２には、カメラ１０を識別するために、カメラ１０ごとに設定された色が表示されている。

複数のモニタ表示領域８１は、ターゲットオブジェクト７３として検出されるべき人物Ａを探索するために設定される。監視カメラシステム１００が有する複数のカメラ１０の中からモニタ表示領域８１に映像が表示されるカメラ１０を選択する方法は限定されない。典型的には、ターゲットオブジェクト７３となる人物Ａが撮影される可能性が高いエリア順にカメラ１０が選択され、その映像が上から順にリスト表示される。人物Ａが撮影される可能性が高いエリアとしては、誤検出が発生したフレーム画像１２を撮影したカメラ１０の近くのエリアが選択される。あるいは、人物Ａの情報から人物Ａが所在するオフィス等が選択される。その他の方法が用いられてもよい。

図２４に示すように、フィルムロール部５９を操作することで、ポインタ５６によるポイント位置７４が変更される。これに連動して、プレイビュー画像７０やモニタ表示領域８１のモニタ画像が変更される。またユーザ１によりモニタ表示領域８１が選択されると、そこに表示されているモニタ画像が、右表示領域６８にプレイビュー画像７０として表示される。従ってユーザ１は、ポイント位置７４の変更や、モニタ表示領域８１の選択を適宜実行することで、ターゲットオブジェクト７３として検出されるべき人物Ａを簡単に探索することができる。

なお、ＵＩ画面５０には表示されないほど後の時間（ポイント位置７４よりも右側の位置）において、人物Ａがターゲットオブジェクト７３として検出されている場合がある。すなわちターゲットオブジェクト７３の誤検出が解消されて、人物Ａが適正にターゲットオブジェクト７３として検出される場合である。そのような場合には、その時間における人物Ａが映っている同一サムネイル画像５７までジャンプする指示を入力するためのボタン等が表示されてもよい。例えば時間を先に送って現在の時間に近い時間の人物Ａを監視したい場合等に有効である。

図２５に示すように、複数のモニタ表示領域８１から人物Ａが撮影されているモニタ画像１２が選択され、そのモニタ画像１２がプレイビュー画像７０として表示される。その後は、図１８に示すように、プレイビュー画像７０に表示された人物Ａが選択され、ターゲットオブジェクト７３を指定するためのポップアップ７７が表示される。ターゲットオブジェクト７３を指定するボタンが押されてターゲットオブジェクト７３が補正される。図２５では、ポインタ５６の上部に候補を表示させるための候補閲覧ボタン８３が表示されている。このボタンについては後述する。

図２６−図３０は、１以上の同一サムネイル画像の補正の他の例を説明するための図である。フィルムロール部５９に１以上の同一サムネイル画像５７のうち、途中の時間においてターゲットオブジェクト７３の誤検出が発生する場合が考えられる。例えばターゲットオブジェクト７３（人物Ａ）とすれ違った他の人物Ｂがターゲットオブジェクト７３として誤検出される。そして人物Ｂを撮影するカメラ１０が切り替えられる瞬間において、人物Ａが再びターゲットオブジェクト７３として適正に検出される場合等が考えられる。

図２６は、そのような場合の一例を示す図である。図２６に示すように、並べられた同一サムネイル画像５７内の一部が他の人物Ｂのサムネイル画像４１ｂとなっている。プレイビュー画像７０を見てみると、奥側に進む人物Ａが途中で折り返して手前側に戻ってくる動きを表現する動き画像６９が表示されている。このような場合には、以下のような操作により、フィルムロール部５９に表示されている人物Ｂのサムネイル画像４１ｂを補正可能である。

まず人物Ｂがターゲットオブジェクト７３として誤って検出された時間にポインタ５６が合わせられる。典型的には、最も左側にある人物Ｂのサムネイル画像４１ｂの左端部７８ａにポインタ５６が合わせられる。図２７に示すように、ユーザ１によりカットボタン８０が押される。そのままクリック操作が入力されると、ポインタ５６よりも右側の同一サムネイル画像５７がカットされてしまう。従ってここではカットボタン８０を押したまま人物Ｂのサムネイル画像４１ｂが表示されている範囲７８まで、指が移動される。すなわちカットボタン８０をホールドしたままカットしたい領域を覆うようにドラッグ操作が入力される。そうすると図２８に示すように、カット範囲７８を示すＵＩ８４が表示される。なおカット範囲７８の選択に連動して、ドラッグ先の時間に応じた地図情報６５及びプレイビュー画像７０が表示される。あるいは地図情報６５及びプレイビュー画像７０は変更されなくてもよい。

図２９に示すように、ドラッグ操作の後にカットボタン８０から指が離されると、選択されたカット範囲７８が消去される。図３０に示すように、カット範囲７８のサムネイル画像４１ｂが消去されると、複数のモニタ表示領域８１が表示され、各カメラ１０で撮影されたモニタ画像１２が表示される。これによりカット範囲７８の時間において、人物Ａが探索される。またポインタ５６の上部に候補閲覧ボタン８３が表示される。

カット範囲７８の選択は、１以上の同一サムネイル画像５７のうちの少なくとも１つ以上を選択することに相当する。その選択された同一サムネイル画像５７がカットされることで、１以上の同一オブジェクト画像５７が補正される。これにより、直感的な操作で補正を実行することが可能となる。

図３１−図３５は、候補閲覧ボタン８３を利用した候補の表示について説明するための図である。図３１に示すＵＩ画面５０は、同一オブジェクト画像５７が補正されて、ターゲットオブジェクト７３となる人物Ａを探索する段階の画面である。このような状態で、ユーザ１により候補閲覧ボタン８３がクリックされる。そうすると図３２に示すように、複数の候補サムネイル画像８５を選択可能に表示するための候補選択ＵＩ８６が表示される。

候補選択ＵＩ８６は、候補閲覧ボタン８３が拡大するようなアニメーションに続いて表示され、ポインタ５６の位置に連結するように表示される。ポインタ５６のポイント位置に応じたサムネイル画像４１のうち、人物Ａの追跡ＩＤが記憶されていたサムネイル画像４１は、補正処理により消去されている。従って記憶部２０８には、ポイント位置に応じたサムネイル画像４１として人物Ａの追跡ＩＤは存在しないことになる。サーバ装置２０は、ポイント位置７４に応じた複数のサムネイル画像４１から人物Ａが映っている可能性が高いサムネイル画像４１を候補サムネイル画像８５として選択して表示する。なおポイント位置７４に応じた候補サムネイル画像８５は、例えばその時間を撮影時間とするサムネイル画像４１や、その時間の前後の所定の範囲に撮影時間が含まれるサムネイル画像４１から選択される。

候補サムネイル画像８５の選択方法は限定されない。典型的には、サムネイル画像４１に映っているオブジェクトの類似度が算出される。そのためにパターンマッチング処理やエッジ検出処理等の任意の技術が用いられてもよい。あるいは、探索対象となるターゲットオブジェクトの情報からそのオブジェクトが頻繁に出現するエリアから優先的に候補サムネイル画像８５が選択されてもよい。その他の方法が用いられてもよい。なお図３３に示すように、ポイント位置７４が変更されれば、それに連動して候補サムネイル画像８５も変更される。

また候補選択ＵＩ８６には、候補選択ＵＩ８６を閉じるためのクローズボタン８７と、リフレッシュボタン８８とが設けられている。リフレッシュボタン８８は、候補サムネイル画像８５の更新を指示するためのボタンである。このリフレッシュボタン８８がクリックされると、他の候補サムネイル画像８５が再度検索されて表示される。

図３４に示すように、候補選択ＵＩ８６に候補サムネイル画像８５として、人物Ａのサムネイル画像４１ａが表示されると、ユーザ１によりそのサムネイル画像４１ａが選択される。そうすると図３５に示すように、候補選択ＵＩ８６が閉じて、サムネイル画像４１ａを含むフレーム画像１２がプレイビュー画像７０として表示される。またプレイビュー画像７０に関連した地図情報６５が表示される。ユーザ１は、プレイビュー画像７０（動き画像６９）や地図情報６５を観察して、オブジェクトが人物Ａであることを確認することができる。

プレイビュー画像７０に映っているオブジェクトが人物Ａであると確認されると、図１８に示すように人物Ａが選択され、ターゲットオブジェクト７３を指定するためのポップアップ７７が表示される。ターゲットオブジェクト７３を指定するボタンが押されて人物Ａがターゲットオブジェクト７３として設定される。これにより人物Ａのサムネイル画像４１ａが同一サムネイル画像５７として表示される。なお、図３４において、候補サムネイル画像８５が選択されたときに、ターゲットオブジェクト７３の設定が実行されてもよい。これにより処理にかかる時間を短縮することができる。

このように、選択された基準サムネイル画像４３の識別情報と異なる識別情報が記憶されている１以上のサムネイル画像４１から、同一サムネイル画像５７の候補となる候補サムネイル画像８５が選択される。これにより１以上の同一サムネイル画像５７の補正を容易に実行することが可能となる。

図３６は、上記で説明した１以上の同一オブジェクト画像５７の補正について、詳しい処理の一例を示すフローチャートである。図３６は、プレイビュー画像７０内の人物がクリックされた場合における処理を示している。

プレイビュー画像７０内において、検出された人物に対してクリック操作が入力されたか否かが判定される（ステップ１０１）。人物へクリック操作が入力されていないと判定された場合は（ステップ１０１のＮｏ）、初期状態（修正前）に戻る。人物へクリック操作が入力されたと判定された場合は（ステップ１０１のＹｅｓ）、クリックされた人物とアラーム人物とが同じ人物であるか否かが判定される（ステップ１０２）。

アラーム人物とは、警戒の対象となる人物すなわち監視すべき人物であり、上記の説明におけるターゲットオブジェクト７３に相当する。クリックされた人物の追跡ＩＤ（track_id）と、アラーム人物の追跡ＩＤが比較されることで、ステップ１０２の判定処理が実行される。

クリックされた人物とアラーム人物とが同じ人物であると判定された場合（ステップ１０２のＹｅｓ）、初期状態（修正前）に戻る。すなわちクリック操作は補正の指示ではないと判定される。クリックされた人物とアラーム人物とが同じ人物ではないと判定された場合（ステップ１０２のＮｏ）、ＧＵＩメニューとして、ターゲットオブジェクト７３を指定するためのポップアップ７７が表示される（ステップ１０３）。そしてメニュー内の「Set Target」が選択されたか否か、すなわちターゲット指定のボタンがクリックされたか否かが判定される（ステップ１０４）。

「Set Target」が選択されていないと判定された場合（ステップ１０４のＮｏ）、ＧＵＩメニューが消去される。「Set Target」が選択されたと判定された場合（ステップ１０４のＹｅｓ）、プレイビュー画像７０の現在時刻ｔが取得される（ステップ１０５）。現在時刻ｔは、プレイビュー画像７０として表示されているフレーム画像１２の撮影時間に相当する。この時刻ｔにおいて、アラーム人物の追尾データが存在するか否かが判定される（ステップ１０６）。すなわち時刻ｔにおいて、ターゲットオブジェクト７３として検出されたオブジェクトが存在し、そのサムネイル画像４１が存在するか否かが判定される。

図３７は、時刻ｔにおいて、ターゲットオブジェクト７３として検出されたオブジェクトが存在すると判定された場合（ステップ１０６のＹｅｓ）の、ＵＩ画面の一例を示す図である。時刻ｔにおいて同一オブジェクト画像５７が存在する場合は、プレイビュー画像７０にその人物（ここでは人物Ｂ）が映っていることになる。この場合は、時刻ｔ以前の最も近いアラーム人物の追尾データがなくなる、追尾データの中断時刻が検出される（ステップ１０７）。図３７にも示すように、その中断時刻をｔ_ａとする。

また、時刻ｔ以後の最も近いアラーム人物の追尾データがなくなる、追尾データの中断時刻が検出される（ステップ１０８）。図３７にも示すように、その中断時刻をｔ_ｂとする。検出された時刻ｔ_ａから時刻ｔ_ｂまので人物追尾がカットされる。これにより図３７にのフィルムロール部５９に含まれる人物Ｂのサムネイル画像４１ｂが消去される。そして時刻ｔ_ａから時刻ｔ_ｂの間に追尾人物データのtrack_idが新規に発行される（ステップ１０９）。

ここで説明する処理例では、フィルムロール部５９に同一サムネイル画像５７が配置される際には、追尾人物データのtrack_idが発行される。その発行された追尾人物データのtrack_idがアラーム人物のtrack_idに設定される。例えば基準サムネイル画像４３が選択されると、そのtrack_idが、追尾人物データのtrack_idとして発行される。その追尾人物データのtrack_idがアラーム人物のtrack_idに設定される。そして設定されたtrack_idが記憶されたサムネイル画像４１が、同一サムネイル画像５７として選択され配置される。上記したように所定の範囲（ｔ_ａからｔ_ｂまでの範囲）の同一サムネイル画像５７が消去された場合、その範囲において追尾人物データのtrack_idが新規に発行される。

指定した人物がターゲットオブジェクトに設定される（ステップ１１０）。すなわち時刻ｔ_ａから時刻ｔ_ｂまでに指定した人物データのtrack_idが新規に発行され、そのtrack_idがアラーム人物のtrack_idとして設定される。その結果、図３７に示す例では、人物Ｂのサムネイル画像が消去された範囲に、ポップアップ７７を介して指定された人物Ａのサムネイル画像が配置される。これにより同一オブジェクト５７が補正され、修正後のＧＵＩが更新される（ステップ１１１）。

図３８は、時刻ｔにおいて、ターゲットオブジェクト７３として検出されたオブジェクトが存在しないと判定された場合（ステップ１０６のＮｏ）の、ＵＩ画面の一例を示す図である。図３８に示す例では、人物Ａがターゲットオブジェクト７３として設定された場合において、途中の時間帯においてトラッキングが実行されていない場合が示されている。

時刻ｔにおいて同一オブジェクト画像５７が存在しない場合は、プレイビュー画像７０にその人物（人物Ｂ）は映っていない（映っているが検出されていない場合等はあり得る）。この場合、時刻ｔ以前の最も近いアラーム人物の追尾データが検出される（ステップ１１２）。そしてその追尾データの時刻（時刻ｔ_ａとする）が算出される。図３８に示す例では、ターゲットオブジェクト７３として検出された人物Ａのデータが検出され、その時刻ｔ_ａが算出される。なお時刻ｔよりも前の時間において追尾データが存在しない場合は、時刻ｔ_ａとして最小時刻が設定される。最小時刻とは、設定される時間軸において、最も小さい時刻であり最も左側の時点を意味する。

また、時刻ｔ以後の最も近いアラーム人物の追尾データが検出される（ステップ１１３）。そしてその追尾データの時刻（時刻ｔ_ｂとする）が算出される。図３８に示す例では、ターゲットオブジェクト７３として検出された人物Ａのデータが検出され、その時刻ｔ_ｂが算出される。なお時刻ｔよりも後の時間において追尾データが存在しない場合は、時刻ｔ_ｂとして最大時刻が設定される。最大時刻とは、設定される時間軸において、最も大きい時刻であり最も右側の時点を意味する。

指定した人物がターゲットオブジェクト７３に設定される（ステップ１１０）。すなわち時刻ｔ_ａから時刻ｔ_ｂまでに指定した人物データのtrack_idが新規に発行され、そのtrack_idがアラーム人物のtrack_idとして設定される。その結果、図３８に示す例では、途中の追尾データが存在しない範囲に、ポップアップ７７を介して指定された人物Ａのサムネイル画像が配置される。これにより同一オブジェクト５７が補正され、修正後のＧＵＩが更新される（ステップ１１１）。この結果、フィルムロール部５９には、人物Ａのサムネイル画像が同一オブジェクト画像５７として配置される。

図３９は、１以上の同一サムネイル画像５７の補正の他の処理例を示すフローチャートである。図４０及び図４１は、その処理を説明するための図である。図３９−図４１は、カットボタン８０がクリックされた場合における処理を示している。

ＵＩ画面５０上のＧＵＩであるカットボタン８０がクリックされたか否かが判定される（ステップ２０１）。カットボタン８０へのクリック入力が判定された場合（ステップ２０１のＹｅｓ）、１点カットの指示であると判定される（ステップ２０２）。フィルムロール部５９内においてカットボタン８０をクリックした位置をもとに、時間軸５５上のカットが実行されるカット時刻ｔが算出される（ステップ２０３）。例えば図４０等に示すような、カットボタン８０がポインタ５６に連結して設けられる場合においては、カットボタン８０がクリックされたときのポイント位置７４に対応する時間がカット時刻ｔとして算出される。

カット時刻ｔがアラーム発生時の時刻Ｔ以上の値であるか否かが判定される（ステップ２０４）。アラーム発生時の時刻Ｔとは、図７等における基準時間Ｔ１に相当する。後にも説明するが、監視すべき人物であるとの判定が行われると、その時点がアラーム発生時となり、その時点における人物のサムネイル画像４１が基準サムネイル画像４３として選択される。そしてアラーム発生時の時刻Ｔを基準時刻Ｔ１として、図８に示すような、基本的な初期状態のＵＩ画面５０が生成される。ステップ２０４の判定は、カット時刻ｔが基準時間Ｔ１よりも前であるか後ろであるかの判定であり、図４０を例とすると、サイズの大きい基準サムネイル画像４３の位置よりも、ポインタ５６が左にあるか右にあるかの判定に相当する。

例えば図４０Ａに示すように、フィルムロール部５９が左側にドラッグされ、ポインタ５６のポイント位置７４が相対的に右側に移動されたとする。この状態においてカットボタン８０がクリックされた場合は、カット時刻ｔがアラーム発生時の時刻Ｔ以上の値であると判定される（ステップ２０４のＹｅｓ）。この場合、カットの開始時刻がカット時刻ｔに設定され、カットの終了時刻が最大時刻に設定される。すなわちカット時刻ｔから後の時間帯（右の範囲Ｒ）がカット対象として設定される（ステップ２０５）。そして開始時刻から終了時刻の間に追尾人物データのtrack_idが新規に発行される（ステップ２０６）。なおターゲットオブジェクト７３が検出されている範囲、すなわち同一サムネイル画像５７が配置されている範囲のみが、カット対象の範囲として設定されてもよい。

図４０Ｂに示すように、フィルムロール部５９が右側にドラッグされ、ポインタ５６のポイント位置７４が相対的に左側に移動されたとする。この状態においてカットボタン８０がクリックされた場合は、カット時刻ｔがアラーム発生時の時刻Ｔ未満の値であると判定される（ステップ２０４のＮｏ）。この場合、カットの開始時刻が最小時刻に設定され、カットの終了時刻がカット時刻ｔに設定される。すなわちカット時刻ｔ位置から前の時間帯（左の範囲Ｌ）がカット対象として設定される（ステップ２０７）。そして開始時刻から終了時刻の間に追尾人物データのtrack_idが新規に発行される（ステップ２０６）。

ステップ２０１において、カットボタン８０へのクリック入力がないと判定された場合（ステップ２０１のＮｏ）、カットボタン８０へのドラッグ操作が入力されたか否かが判定される（ステップ２０８）。カットボタン８０へのドラッグ操作が入力されていないと判定された場合（ステップ２０８のＮｏ）、初期状態（修正前）に戻る。カットボタン８０へのドラッグ操作が入力された判定された場合（ステップ２０８のＹｅｓ）、ドラッグした範囲が、ユーザにより選択された範囲として設定され、当該範囲を描画するＧＵＩが表示される（ステップ２０９）。

カットボタン８０へのドラッグ操作が終了したか否かが判定される（ステップ２１０）。ドラッグ操作は終了していないと判定された場合（ステップ２１０のＮｏ）、すなわちドラッグ操作は継続中であると判定された場合、選択範囲の描画が継続される。カットボタン８０へのドラッグ操作が終了したと判定された場合（ステップ２１０のＹｅｓ）、ドラッグが開始された位置をもとにカット時刻ｔ_ａが算出される。またドラッグが終了した位置をもとにカット時刻ｔ_ｂが算出される（ステップ２１１）。

算出されたカット時刻ｔ_ａと、カット時刻ｔ_ｂとが比較される（ステップ２１２）。その結果、双方のカット時刻が等しいと判定された場合（ｔ_ａ＝ｔ_ｂの場合）、１点カットとして判定された後の処理が実行される。具体的には、ステップ２０３のカット時刻ｔとして時刻ｔ_ａが設定され、ステップ２０４へ進む。

カット時刻ｔ_ａの方がカット時刻ｔ_ｂよりも小さい値の場合（ｔ_ａ＜ｔ_ｂの場合）、カットの開始時刻がカット時刻ｔ_ａに設定され、カットの終了時刻がカット時刻ｔ_ｂに設定される（ステップ２１３）。例えばカットボタン８０が押された状態で、時間が未来に向けて（右側に向けて）ドラッグ操作が入力される場合、（ｔ_ａ＜ｔ_ｂ）となる。この場合、カット時刻ｔ_ａが開始時刻となり、カット時刻ｔ_ｂが終了時刻となる。

カット時刻ｔ_ａの方がカット時刻ｔ_ｂよりも大きい値の場合（ｔ_ａ＞ｔ_ｂの場合）、カットの開始時刻がカット時刻ｔ_ｂに設定され、カットの終了時刻がカット時刻ｔ_ａに設定される（ステップ２１４）。例えばカットボタン８０が押された状態で、時間が過去に向けて（左側に向けて）ドラッグ操作が入力される場合、（ｔ_ａ＞ｔ_ｂ）となる。この場合、カット時刻ｔ_ｂが開始時刻となり、カット時刻ｔ_ａが終了時刻となる。すなわちカット時刻ｔ_ａとカット時刻ｔ_ｂのうち、小さい値の方が開始時刻として設定され、大きい値の方が終了時刻として設定される。

開始時刻及び終了時刻が設定されると、開始時刻から終了時刻の間に追尾人物データのtrack_idが新規に発行される（ステップ２０６）。これにより同一オブジェクト５７が補正され、修正後のＧＵＩが更新される（ステップ２１５）。図３６及び図３９の例に示すような処理により、１以上の同一オブジェクト画像５７の補正が実行されてもよい。なお図４１に示すように、同一サムネイル画像５７幅よりも小さい範囲がカット対象の範囲として選択されてもよい。その場合のその範囲に該当する、サムネイル画像４１の一部４１ｐが消去されればよい。

ここでフィルムロール画像５１の構成及び動作の他の例を説明する。図４２−４５は、それを説明するための図である。例えば図４２Ａに示すように同一サムネイル画像５７を左側にドラッグすることで、ポイント位置７４が相対的に移動される。そして図４２Ｂに示すように、サイズの大きい基準サムネイル画像４３がフィルムロール画像５１の左端部８９に位置するまで、ドラッグ操作が入力されたとする。このとき基準サムネイル画像４３が左端部８９の位置にて固定されてもよい。この状態からさらに左側にドラッグ操作が入力された場合は、図４３Ａに示すように、基準サムネイル画像４３と重なるように、基準サムネイル画像４３の裏側を進むように、他の同一サムネイル画像５７が左側へ動かされる。すなわち基準時間がフィルムロール画像５１の外側に位置するまでドラッグ操作が入力されたとしても、基準サムネイル画像４３はフィルムロール画像５１内に継続して表示される。これによりターゲットオブジェクトの誤検出やターゲットオブジェクトを見失った場合等に、最初に検出されたターゲットオブジェクトを参照することが可能となる。この結果、不審者等として検出されたターゲットオブジェクトを十分に監視することが可能となる。なお、図４３Ｂに示すように、右側へのドラッグ操作が入力された場合でも同様の処理が実行されてよい。

またドラッグ操作が入力されて指１がリリースされたときに、ポインタ５６に最も近い位置に配置された同一サムネイル画像５７の端部が、ポインタ５６のポイント位置７４まで自動的に移動されてもよい。例えば図４４Ａに示すように、基準サムネイル画像４３上にポインタ５６が重なる位置までドラッグ操作が入力されたとする。そしてその位置にて指１がリリースされたとする。この場合、図４４Ｂに示すように、ポインタ５６に最も近い基準サムネイル画像４３の左端部４３ｂが、ポイント位置７４に自動的に合わせられてもよい。この際には、フィルムロール部５９が右側に移動するアニメーションが表示される。なお基準サムネイル画像４３ではない他の同一サムネイル画像５７に対しても同じ処理が実行されてよい。これによりフィルムロール画像５１への操作性が向上する。

図４５に示すように、フリック操作により、ポイント位置５７が動かされもよい。左右方向へのフリック操作が入力されると、指１がリリースされた瞬間の移動速度が算出される。その速度に基づいて、一定の減速度を受けながら、フリック方向に１以上の同一オブジェクト画像５７が移動される。ポインタ５６は、相対的にフリック方向と逆の方向に移動される。移動速度の算出方法や、減速度の設定方法は限定されず、周知の技術が用いられてもよい。

次に、フィルムロール部５９の尺度（スケール）の変更について説明する。図４６−図５６は、その変更を説明するための図である。例えばフィルムロール部５９に配置される同一サムネイル画像５７の左右方向におけるサイズとして、固定のサイズＳ１が設定されているとする。そして固定サイズＳ１に割り当てられる時間が、フィルムロール部５９の尺度として設定される。このような設定のもとで、フィルムロール部５９の尺度を変更するための操作及び処理を説明する。なお固定サイズＳ１の大きさは、ＵＩ画面のサイズ等をもとに適宜設定されてよい。

図４６では、フィルムロール部５９の尺度が１０秒に設定されている。従って同一サムネイル画像５７の固定サイズＳ１に、時間軸５５上において１０秒の目盛りが割り当てられる。フィルムロール部５９として表示される表示サムネイル画像６２は、割り当てられた１０秒間の所定の時間に撮影されたサムネイル画像４１である。

図４６に示すように、フィルムロール部５９内の２点Ｌ及びＭにタッチ操作が入力される。そして左右方向においてタッチされた２点Ｌ及びＭ間の距離が広がるように、左右の手１ａ及び１ｂが広げられる。図４６に示すように、左右の手１ａ及び１ｂにより、操作が入力されてもよいし、１つの手の２つの指によるピンチ操作により、上記の操作が入力されてもよい。ピンチ操作とは、例えば２本の指等を同時に接触させて、当該２本の指等を開いたり、閉じたりする動作である。

図４７に示すように、２点Ｌ及びＢ間の距離の増加に応じて、各表示サムネイル画像６２の左右方向におけるサイズＳ２が増加する。例えば両手の操作に応じて、表示サムネイル画像６２が左右方向に延びるようなアニメーションが表示される。それに合わせて、時間軸５５の目盛り間の距離（目盛のサイズ）も左右方向に増加する。その結果、固定サイズＳ１に割り当てられる目盛の数が減少する。図４７では、固定サイズＳ１に９秒の目盛りが割り当てられる状態が図示されている。

図４８に示すように、さらに２点Ｌ及びＭ間の距離が広げられ、固定サイズＳ１に６秒の目盛りが割り当てられた状態で、両手１ａ及び１ｂがリリースされる。そうすると図４９に示すように、表示サムネイル画像６２のそれぞれのサイズＳ２が固定サイズＳ１に戻るアニメーションが表示される。そしてフィルムロール部５９の尺度が６秒に設定される。この際、表示サムネイル画像６２として表示されるサムネイル画像４１が、同一サムネイル画像５７の中から改めて選択されてもよい。

固定サイズＳ１に割り当て可能な最小時間が予め設定されていてもよい。そして２点Ｌ及びＭ間の距離が最小時間が割り当てられる以上に広げられた時点で、自動的にフィルムロール部５９の尺度が最小時間に設定されてもよい。例えば図５０において、最小時間として５秒が設定されているとする。そうすると固定サイズＳ１に５秒分の目盛りが割り当てられる距離は、表示サムネイル画像６２のサイズＳ２が２倍のサイズになる距離となる。その距離以上よりも２点間Ｌ及びＭが広げられると、図５１に示すように、両手１ａ及び１ｂがリリースされなくとも自動的に尺度が最小時間である５秒に設定される。このような処理により、フィルムロール画像の操作性が向上する。なお最小時間として設定される時間は限定されない。例えば初期状態として設定される尺度を基準として、その２分の１の時間や、３分の１の時間等が最小時間として設定されてもよい。

上記では、フィルムロール部５９の尺度を小さい値に変更する方法、すなわちフィルムロール画像５１を詳細化する方法を説明した。これに対して、フィルムロール部５９の尺度を大きい値に変更して、フィルムロール画像５１を俯瞰的に観察することも可能である。

例えば図５２に示すように、フィルムロール部５９の尺度が５秒に設定されている状態で、左右の手１ａ及び１ｂによりタッチ操作が入力される。そして２点Ｌ及びＭ間の距離が小さくなるように、左右の手１ａ及び１ｂが近付けられる。１つの手の２つの指によりピンチ操作が入力されてもよい。

図５３に示すように、２点Ｌ及びＭ間の距離の減少に応じて、各表示サムネイル画像６２のサイズＳ２、及び時間軸５５の目盛のサイズがともに減少する。その結果、固定サイズＳ１に割り当てられる目盛の数が増加する。図５３では、固定サイズＳ１に９秒の目盛りが割り当てられている。２点Ｌ及びＭ間の距離が狭められた状態で、両手１ａ及び１ｂがリリースされると、表示サムネイル画像６２のサイズＳ２が固定サイズＳ１に戻る。そしてリリース時に固定サイズＳ１に割り当てられた目盛りの数に応じた時間が、フィルムロール部５９の尺度として設定される。この際、表示サムネイル画像６２として表示されるサムネイル画像４１が、同一サムネイル画像５７の中から改めて選択されてもよい。

固定サイズＳ１に割り当て可能な最大時間が予め設定されていてもよい。そして２点Ｌ及びＭ間の距離が最大時間が割り当てられる以上に狭められた時点で、自動的にフィルムロール部５９の尺度が最大時間に設定されてもよい。例えば図５４において、最大時間として１０秒が設定されているとする。そうすると固定サイズに１０秒分の目盛りが割り当てられる距離は、表示サムネイル画像６２が２分の１のサイズになる距離となる。その距離以上よりも２点間Ｌ及びＭが狭められると、図５５に示すように、両手がリリースされなくとも自動的に尺度が最大時間である１０秒に設定される。このような処理により、フィルムロール画像５１の操作性が向上する。なお最大時間として設定される時間は限定されない。例えば初期状態として設定される尺度を基準として、その２倍の時間や、３倍の時間等が最大時間として設定されてもよい。

マウス操作によりフィルムロール部５９の尺度が変更されてもよい。例えば図５６Ａに示すように、マウス９０のホイールボタン９１が手前側に回転される（矢印Ａの方向に回転される）。そうするとその回転量に応じて、表示サムネイル画像６２のサイズＳ２及び目盛のサイズが広げられる。そして所定の時間以上その状態が保持された場合に、フィルムロール部６８の尺度が小さい値に変更される。一方、マウス９０のホイールボタン９１が向こう側に回転される（矢印Ｂの方向に回転される）と、回転量に応じて表示サムネイル画像６２のサイズＳ２及び目盛のサイズが狭められる。そして所定の時間以上のその状態が保持された場合に、フィルムロール部６９の尺度が大きい値に変更される。このような処理も容易に実現可能である。なお、上記した最小時間及び最大時間の設定も可能である。すなわち所定以上の回転量が加えられた時点で、その回転方向に応じて、最小時間又は最大時間がフィルムロール部５９の尺度として設定されればよい。

このように簡単な操作によりフィルムロール部５９の尺度を変更することが可能であるので、フィルムロール画像５１を操作しながら不審者等を十分に監視することが可能となる。この結果、有用な監視カメラシステムを実現することが可能となる。

時間軸５５に表示される目盛りの尺度、すなわち時間の尺度の変更も可能である。例えば図５７に示す例では、フィルムロール部５９の尺度が１５秒に設定されている。一方、時間軸５５上には、長さが大きい長目盛り９２と、長さが小さい短目盛り９３と、その間の長さである中目盛り９４とが設けられている。長目盛り９２の間の中間に中目盛り９４が１つ配置され、中目盛り９４と長目盛り９２の間には短目盛り９３が４つ配置される。図５７に示す例では、長目盛り９２間の距離と、固定サイズＳ１が等しくなるように設定されている。従って長目盛り９２間が１５秒となるように時間の尺度が設定されている。

ここでは長目盛り９２間に設定される時間が、以下のように予め定められているとする。
1sec,2sec,5sec,10sec,15sec,30sec（秒モード）
1min,2min,5min,10min,15min,30min（分モード）
1hour,2hour,4hour,8hour,12hour（時間モード）
すなわち秒モード、分モード、及び時間モードが選択可能に設定され、各モードにおいて、上記の時間が、設定可能な時間として準備されているとする。なお上記の時間に限定されるわけではない。

図５８に示すように、フィルムロール部５９に２点Ｌ及びＭにマルチタッチ操作が入力され、２点Ｌ及びＭ間の距離が広げられる。これにともない表示サムネイル画像６２のサイズＳ２と、目盛りのサイズとが広げられる。図５８に示す例では、固定サイズＳ１に割り当てられる時間が１３秒になっている。しかしながら１３秒は予め設定された値ではないので、時間の尺度は変更されない。図５９に示すように、さらに左右の手１ａ及び１ｂが広げられると、固定サイズＳ１に割り当てられる時間が１０秒になる。１０秒は予め設定された時間である。従って割り当てられる時間が１０秒になった時点で、図６０に示すように、長目盛り９２間の長さが１０秒となるように時間の尺度が変更される。この後２つの指１ａ及び１ｂがリリースされて、表示サムネイル画像６２のサイズが固定サイズＳ１に戻される。その際には、目盛りのサイズが小さくなって時間軸５５上に表示される。あるいは、長目盛り９２間の距離は固定されており、表示サムネイル画像６２のサイズが大きくなってもよい。

時間尺度を大きくする場合は、２点Ｌ及びＭ間の距離を狭めればよい。そして固定サイズＳ１に割り当てられる時間が、予め定められた３０秒になった時点で、長目盛り９２間の長さが３０秒となるように尺度が変更される。なおここで説明した操作は、上記したフィルムロール部５９の尺度の変更に用いられる操作と等しい。２点Ｌ及びＭ間の距離を変動する操作を、フィルムロール部５９の尺度の変更に用いるか、時間の尺度の変更に用いるかは、適宜選択されてよい。あるいは、フィルムロール部５９の尺度を変更するモードと、時間の尺度を変更するモードとが、選択可能に設定されてもよい。モードが適宜選択されることで、フィルムロール部５９の尺度、及び時間の尺度がそれぞれ適宜変更されてもよい。

上記したように、本実施形態に係る監視カメラシステム１００には、複数のカメラ１０が用いられる。ここで、複数カメラ環境下の人物追尾のアルゴリズムの一例を説明する。図６１及び図６２は、そのアルゴリズムの概要を説明するための図である。例えば図６１に示すように、第１のカメラ１０ａにより撮影された人物４０が、後の時点において第１のカメラ１０ａと異なる第２のカメラ１０ｂにて撮影されるとする。このような場合に、以下に示す人物追尾アルゴリズムにより、監視カメラ１０ａ及び１０ｂでそれぞれ撮影された人物が、同一の人物か否かが判定される。これによりカメラ１０ａ及び１０ｂ間に跨って人物４０を追跡することが可能となる。

図６２に示すように、ここで説明するアルゴリズムでは、複数カメラ間の人物の追尾のために、大きく分けて以下の２つの処理が実行される。
１．検出された人物４０に対する１対１のマッチング処理
２．近い時間帯（図６２に示すTimeScope）に存在する１以上の人物４０の全体に対する、最適な組み合わせの算出

すなわち所定の範囲内に存在する１以上の人物に対して、１対１のマッチング処理が各組にて実行される。そのマッチング処理により、各組にて類似度に関するスコアが算出される。その処理とともに、同じ人物として判定される組み合わせに関して、最適化が実行される。

図６３は、１対１のマッチング処理の一例を示す写真及び図である。なお各写真において、人物の顔の部分が切り取られている。これは本説明において写真に写っている人物のプライバシーを保護するための処理であり、本技術にて実行される処理とは無関係である。また１対１のマッチング処理は、以下に示すものに限定されず、任意の技術が用いられてよい。

枠Ａに示すように、人物４０の画像９５に対してエッジ検出処理が実行され、エッジ画像９６が生成される。そして人物のエッジ９６ａの内部領域９６ｂ同士で、各画素の色情報がマッチングされる。すなわち人物４０の画像９５全体を用いてマッチング処理が実行されるのではなく、人物４０のエッジ９６ａの内部領域９６ｂの色情報を用いてマッチン処理が実行される。また人物画像９５及びエッジ画像９６が上下方向において３つの領域に分割される。そして上部領域９７ａ同士、中間領域９７ｂ同士、及び下部領域９７ｃ同士にて、マッチング処理が実行される。このように部分領域ごとにマッチング処理が実行されることで、高精度のマッチング処理が実行可能となる。なおエッジ検出処理や色情報を用いたマッチング処理に用いられるアルゴリズムは限定されない。

枠Ｂに示すように、マッチング対象となる領域９８が適宜選択されてもよい。例えばエッジ検出の結果をもとに、体の同じ部分同士を含む領域が検出され、その領域同士でマッチング処理が実行されてもよい。

枠Ｃに示すように、フィルタリング等により、人物画像９５として検出された画像のうち、マッチング処理の対象として不適当な画像９９が除外されてもよい。例えばエッジ検出の結果をもとに、マッチング処理の対象として不適当な画像９９が判定される。その他、色情報等をもとに、マッチング処理の対象として不適当な画像９９が判定されてもよい。このようなフィルタリング等を実行することにより、高精度のマッチング処理が実行可能となる。

枠Ｄに示すように、記憶部に記憶された人物情報や地図情報をもとに、人物４０の移動距離や移動時間の情報が算出されてもよい。例えば直線Ｘで表される距離やその距離の移動時間ではなく、オフィス等の構造や経路が条件づけられた距離や移動距離が算出される（曲線Ｙ）。そしてその情報をもとに類似度のスコアが算出されたり、所定の範囲（TimeScpoe）が設定されてもよい。例えばカメラ１０の配置位置や、距離や移動時間の情報をもとに、同じ人物が２つのカメラ１０に順に映る時間等が算出される。その算出結果を用いて、２つのカメラ１０に映ったそれぞれの人物が同一である可能性が判定されてもよい。

枠Ｅに示すように、マッチング処理が実行される際にも最も処理に適した人物画像１０５が選択されてもよい。本技術では、検出が開始した時点すなわち人物４０が出現した点１１０での人物画像９５、及び検出が終了した時点すなわち人物４０が消失した点１１１での人物画像９５が、マッチング処理に用いられる。この際、出現点１１０及び消失点１１１の人物画像９５として、各時点に近い時間において撮影された複数のフレーム画像１２から生成された複数の人物画像９５から、マッチング処理に適した人物画像１０５が選択される。例えば枠Ｅに示す人物Ａの出現点１１０の画像としては、人物画像９５ａ及び９５ｂのうち人物画像９５ａが選択される。人物Ｂの出現点１１０の画像としては、人物画像９５ｃ及び９５ｄのうち人物画像９５ｄが選択される。人物Ｂの消失点１１１の画像としては、人物画像９５ｅ及び９５ｆのうち人物画像９５ｅが選択される。なお人物Ａの消失点１１１の画像として、２つの人物画像９５ｇ及び９５ｈが採用されている。このように、マッチング処理に適していると判定された（スコアの高い）画像が複数選択され、それぞれの画像においてマッチング処理が実行されてもよい。これにより高い精度でマッチン処理を実行することが可能となる。

図６４−図７０は、本技術に係る人物追尾のアルゴリズムの適用例を示す模式的な図である。ここでは出現点１１０での人物画像９５（以下、人物画像９５を省略して出現点１１０と記載する）にどの追跡ＩＤを設定するかが定められる。すなわち過去の消失点１１１での人物画像９５（以下、人物画像９５を省略して消失点１１１と記載する）と同じ人物であれば、同じＩＤが継続して設定される。新たな人物であれば新規のＩＤが設定される。そのために消失点１１１とその消失点１１１よりも後の出現点１１０とを対象にして１対１のマッチング処理及び最適化処理が実行される。以下、マッチング処理及び最適化処理を最適化マッチング処理と記載する。

まず、追跡ＩＤを設定する対象となる出現点１１０ａを基準として過去／未来方向にTimeScopeが設定される。そのTimeScope内の出現点１１０及び消失点１１１を対象にして最適化マッチング処理が実行される。その結果、基準となる出現点１１０ａに割り当てられる追跡ＩＤが無いと判定された場合、その出現点１１０ａには新規の追跡ＩＤが割り当てられる。一方、基準となる出現点１１０ａに割り当てられる追跡ＩＤがあると判定された場合、その追跡ＩＤが継続して割り当てられる。すなわち過去の消失点１１１と同一であると判定された場合、その消失点１１１に割り当てられていたＩＤが継続して出現点１１０に割り当てられる。

図６４に示す例では、人物Ａの出現点１１０ａを基準としてTimeScopeが設定される。その中の人物Ａの消失点１１１と人物Ｆの出現点１１０との間で最適化マッチング処理が実行される。その結果、人物Ａの出現点１１０ａに割り当てられるＩＤはないと判定され、出現点１１０ａには新規のＩＤ：１が割り当てられる。次に図６５に示すように、人物Ｃの出現点１１０ａを基準としてTimeScopeが選択される。そして人物Ａの消失点１１１と、その後の各出現点１１０との間で最適化マッチング処理が実行される。その結果、人物Ｃの出現点に割り当てられるＩＤはないと判定され、出現点１１０ａには新規のＩＤ：２が割り当てられる。

図６６に示すように、人物Ｆの出現点１１０ａを基準としてTimeScopeが選択される。そして人物Ａの消失点１１１と、その後の各出現点１１０との間で最適化マッチング処理が実行される。また人物Ｃの消失点１１１と、その後の各出現点１１０との間で最適化マッチング処理が実行される。その結果、例えば図６７に示すように、人物Ｆの出現点１１０ａには、人物Ａの消失点１１１の追跡ＩＤであるＩＤ：１が割り当てられると判定される。すなわちこの場合は、人物Ａと人物Ｆとは同一人物であると判定されたことになる。

図６８に示すように、人物Ｅの出現点１１０ａを基準としてTimeScopeが選択される。そして人物Ａの消失点１１１と、その後の各出現点１１０との間で最適化マッチング処理が実行される。また人物Ｃの消失点１１１と、その後の各出現点１１０との間で最適化マッチング処理が実行される。その結果、人物Ｅの出現点１１０ａに割り当てられるＩＤはないと判定され、出現点１１０ａには新規のＩＤ：３が割り当てられる。

図６９に示すように、人物Ｂの出現点１１０ａを基準としてTimeScopeが選択される。そして人物Ａの消失点１１１と、その後の各出現点１１０との間で最適化マッチング処理が実行される。また人物Ｃの消失点１１１と、その後の各出現点１１０との間で最適化マッチング処理が実行される。また人物Ｆの消失点１１１と、その後の各出現点１１０との間で最適化マッチング処理が実行される。また人物Ｅの消失点１１１と、その後の各出現点１１０との間で最適化マッチング処理が実行される。その結果、例えば図７０に示すように、人物Ｂの出現点１１０ａには、人物Ｃの消失点１１１の追跡ＩＤであるＩＤ：２が割り当てられると判定される。すなわちこの場合は、人物Ｃと人物Ｂとは同一人物であると判定されたことになる。例えばこのようにして、複数カメラ環境下での人物追尾が実行される。

以上、本実施形態に係る情報処理装置（サーバ装置２０）では、複数のフレーム画像１２のそれぞれから所定の人物４０が検出され、その人物４０のサムネイル画像４１が生成される。またサムネイル画像４１に関連付けられて、撮影時間情報及び追跡ＩＤが記憶される。そして追跡ＩＤが同じである１以上の同一サムネイル画像５７が、各画像の撮影時間情報をもとに配置される。これにより注目したい人物４０を十分に観察することができる。この技術を用いることで、有用な監視カメラシステム１００を実現することが可能である。

また、フィルムロール部５９に、複数カメラ１０からの人物をトラッキングした監視映像をタイムラインでアレンジすることが容易となり、高精度な監視が可能となる。また簡単にターゲットオブジェクト７３を修正可能であるので、高い操作性でターゲットオブジェクト７３を観察することができる。

従来の監視カメラシステムでは、監視カメラからの映像が、画面が分割された領域にそれぞれ表示されていた。従って多くのカメラを用いた大規模な監視カメラシステムを実現することが難しかった。また複数のカメラにより撮影された人物を追跡することも難しかった。上記で説明した本技術に係る監視カメラシステムを用いることで、このような問題も解決することがでる。

すなわち、人物４０をトラッキングするカメラ映像をつなげていくので、カメラの総数に関係なく、人物を簡単に観察することが可能である。またフィルムロール部５９を編集することで、人物４０のトラッキング履歴を簡単に修正することができる。そのための操作も、直感的に実行することが可能である。

図７１は、本技術に係る監視カメラシステム１００を用いた監視システム５００の概要を説明するための図である。まず警備員５０１が複数のカメラにより撮影された監視映像を、複数のモニタ５０２により観察する（ステップ３０１）。アラーム発生のＵＩ画面５０３が表示され、警備員５０１に警報が発生したことが知らされる（ステップ３０２）。上記でも述べたが、例えば不審者が発生した場合や、立ち入り禁止区域への侵入がセンサ等に検知された場合や、ロックされているドアへの不正なアクセスが検知された場合等にアラームが発生する。また長時間倒れている人がいることが、人の姿勢を検出可能なアルゴリズムにより検出された場合等に、アラームが発生されてもよい。さらには、社員証等のＩＤカードを不正に取得した人が発見された時にアラームが発生されてもよい。

アラームの発生時点の状態を表示するアラーム画面５０４が表示される。そのアラーム画面５０４を観察することで、警備員５０１により、アラームが正しいか否かが判断される（ステップ３０３）。この段階が本監視システム５００における第１段階として位置づけられる。

警備員５０１による確認によりアラームが誤発生であると判断された場合（ステップ３０４）、ステップ３０１の監視状態に戻る。アラームが適正に発生していると判断された場合、不審者として設定された人物を追跡するためのトラッキング画面５０５が表示される。そのトラッキング画面５０５を観察しながら、警備員５０１により、現場付近にいる他の警備員５０６に伝える為の情報が収集される。また不審者５０７を追跡しながら、現場の警備員５０６へ指示が出される（ステップ３０５）。この段階が第２段階として位置づけられる。第１及び第２の段階は、主にアラーム発生時の動作として実行される。

現場の警備員５０６は、指示をもとに不審者５０７を探索することで、早期に不審者５０７を発見することができる（ステップ３０６）。不審者５０７の発見等で事件が収まった後に、今度は事件解決のための情報を収集するための動作が実行される。すなわち警備員５０１によりアラーム発生時を基準としたヒストリー画面５０８と呼ばれるＵＩ画面が観察される。これにより事件発生前後の不審者５０７の動き等が観察され、事件が詳しく分析される（ステップ３０７）。この段階が第３段階に位置づけられる。例えばこのステップ３０７において、上記で説明したＵＩ画面５０を用いた監視カメラシステム１００が有効に利用可能である。すなわちＵＩ画面５０を、ヒストリー画面５０８として用いることが可能となる（以下、本実施形態に係るＵＩ画面５０をヒストリー画面５０８と記載する）。

本実施形態に係る情報処理装置として、アラーム画面５０４、トラッキング画面５０５、及びヒストリー画面５０８をともに生成して、ユーザに提供可能な情報処理装置が用いられてもよい。この情報処理装置により、有用な監視カメラシステムを構築することが可能となる。以下、アラーム画面５０４及びトラッキング画面５０５について説明する。

図７２は、アラーム画面５０４の一例を示す図である。アラーム画面５０４は、リスト表示領域５１０、第１の表示領域５１１、第２の表示領域５１２、及び地図表示領域５１３とからなる。リスト表示領域５１０には、現在までにアラームが発生した時間が履歴としてリスト表示される。第１の表示領域５１１には、アラーム発生時間におけるフレーム画像１２がプレイバック画像５１５として表示される。第２の表示領域５１２には、プレイバック画像５１５に表示されたアラームの対象となるアラーム人物５１６の拡大画像５１７が表示される。図７２に示す例では、人物Ｃがアラーム人物５１６として設定されており、人物Ｃの強調画像５１８が赤色に表示されている。地図表示領域５１３には、アラーム発生時におけるアラーム人物５１６の位置を示す地図情報５１９が表示される。

図７２に示すように、リスト表示されたアラーム発生時間の１つが選択されると、その時間に発生したアラームに関する情報が、第１及び第２の表示領域５１１及び５１２、及び地図表示領域５１３に表示される。他のアラーム時間に変更されると、各領域に表示される情報も変更される

またアラーム画面５０４には、トラッキング画像５０５へ切り替えるためのトラッキングボタン５２０と、ヒストリー画面５０８へ切り替えるためのヒストリーボタン５２１とが設けられている。

図７３に示すように、アラーム人物５１６を動き画像５２２に沿って動かすことで、アラーム発生時間の前後の情報が、各表示領域に表示されてもよい。この際ドラッグ操作に連動して、各情報が表示されてもよい。

またアラーム人物５１６の変更及び補正が実行されてもよい。例えば図７４に示すようにプレイバック画像５１５内の他の人物Ｂが選択される。そうすると人物Ｂに関する拡大画像５１７と地図情報５１９とが各表示領域に表示される。またプレイバック画像５１５において人物Ｂの動きを表す動き画像５２２ｂが表示される。図７５に示すように、指１がリリースされるとアラーム人物５１６を指定するためのポップアップ５２３が表示され、ターゲット指定のボタンが選択されると、アラーム人物５１６が変更される。この際、リスト表示されたアラーム発生時間に関連する情報が、人物Ｃの情報から人物Ｂの情報に変更される。あるいは、同じアラーム発生時間の情報として、人物Ｂの情報が関連付けられたアラーム情報が新たに生成されてもよい。この場合リスト表示領域５１０には、同じアラーム発生時間が２つリスト表示されることになる。

次にトラッキング画面５０５について説明する。図７６に示すアラーム画像５０４のトラッキングボタン５２０が押圧される。そうするトラッキング画面５０５が表示される。

図７７は、トラッキング画面５０５の一例を示す図である。トラッキング画面５０５には、現在の時間における情報が第１の表示領域５２５及び第２の表示領域５２６、及び地図表示領域５２７に表示される。図７７に示すように、第１の表示領域５２５には、現在の時間においてアラーム人物５１６を撮影しているフレーム画像１２が、ライブ画像５２８として表示される。第２の表示領域５２６には、ライブ画像５２８に映っているアラーム人物５１６の拡大画像５２９が表示される。地図表示領域５２７には、現在の時間におけるアラーム人物５１６の位置を示す地図情報５３０が表示される。上記の各情報は、時間の経過にともなってリアルタイムで表示される。

なお図７６に示すアラーム画面５０６では、人物Ｂがアラーム人物５１６として設定されている。しかしながら図７７に示すトラッキング画面５０５では、人物Ａがアラーム人物５１６として追跡されている。このようにターゲットとして追跡される人物が誤って検出される場合もあり得る。このような場合には、アラーム人物５１６として設定されるべきターゲット（以下、ターゲット５１６と記載する場合がある）を修正する必要がる。例えばライブ画像５２８にターゲット５１６である人物Ｂが映っている場合では、ターゲット５１６を指定するためのポップアップを利用してターゲット５１６を修正することができる。一方、図７７に示すように、ライブ画像５２８にターゲット５１６が表示されない場合も多く、以下、そのような場合におけるターゲット５１６の修正について説明する。

図７８−図８２は、ターゲット５１６を補正する方法の一例を示す図である。図７８に示すように、追跡すべきターゲット５１６を見失った場合のために設けられたロストトラッキングボタン５３１がクリックされる。そうすると図７９に示すように、第２の表示領域５２６に、ターゲット５１６とすべき人物Ｂのサムネイル画像５３２と、複数の候補サムネイル画像５３３を選択可能に表示するための候補選択ＵＩ５３４が表示される。候補サムネイル画像５３３は、現在の時間において各カメラにて撮影されている人物のサムネイル画像から選択される。候補サムネイル画像５３３は、人物の類似度やカメラの位置関係等をもとに適宜選択される（図３２に示す候補サムネイル画像８５について説明した選択方法が用いられてもよい）。

また候補選択ＵＩ５３４には、リフレッシュボタン５３５と、キャンセルボタン５３６と、ＯＫボタン５３７とが設けられる。リフレッシュボタン５３５は、候補サムネイル画像５３３の更新を指示するためのボタンである。このリフレッシュボタン５３５がクリックされると、他の候補サムネイル画像５３３が再度検索されて表示される。なおリフレッシュボタン５３５が長押しされることで、オートリフレッシュモードに切り替えられてもよい。オートリフレッシュモードとは、所定の時間が経過するごとに自動的に候補サムネイル画像５３３が更新されるモードである。キャンセルボタン５３６は、候補サムネイル画像５３３の表示をキャンセルするためのボタンである。ＯＫボタン５３７は、選択された候補サムネイル画像５３３をターゲットとして設定するためのボタンである。

図８０に示すように、候補サムネイル画像５３３として、人物Ｂのサムネイル画像５３３ｂが表示されると、ユーザ１によりそのサムネイル画像５３３ｂが選択される。そうすると、そのサムネイル画像５３３ｂを含むフレーム画像１２がライブ画像５２８としてリアルタイムに表示される。またそのプレイ画像５２８に関連した地図情報５３０が表示される。ユーザ１は、プレイ画像５２８や地図情報５３０を観察して、オブジェクトが人物Ｂであることを確認することができる。図８１に示すように、プレイ画像５２８に映っているオブジェクトが人物Ｂであると確認されるとＯＫボタン５３７がクリックされる。これにより人物Ｂがターゲットとして選択され、アラーム人物として設定される。

図８２は、ポップアップ５３８を利用してターゲット５３９を補正する場合を示す図である。ライブ画像５２８に映っている他の人物５４０をクリックすることで、ターゲット指定用のポップアップ５３８が表示される。トラッキング画面５０５では、ライブ画像５２８がリアルタイムに表示される。従ってポップアップ５３８が表示された後もリアルタイム表示は継続され、クリックした他の人物５４０も移動し続ける。ポップアップ５３８は、移動する人物に追従することはなく、ターゲット５３９を指定した他の人物５４０に補正するか否かのテキストが表示され、それに応えるためのキャンセルボタン５４１と、イエスボタン５４２が準備されている。例えば画面が切り替わった場合でも、ボタンが押されないかぎりポップアップ５３８は消去されない。これにより監視したい人物のリアルタイムの動きを観察しつつ、その人物をアラーム人物に設定するか否かを判定することが可能となる。

図８３−図８６は、トラッキング画面５０５を用いて実行される他の処理について説明するための図である。例えば複数のカメラを用いた監視カメラシステムにおいて、どのカメラにも撮影されない領域というのが存在する場合も多い。すなわちカメラ間に穴が存在する場合がある。そのような領域にターゲット５３９が入った場合における処理を説明する。

図８３に示すように、ターゲット５３９として設定された人物Ｂが手前側に進んでいる。その進行方向において、カメラ間の穴が存在するとする。その場合は、図８３に示すように、プレイ画面５２８の所定の位置にゲート５４３が設定される。ゲート５４３の位置や大きさは、各カメラ間の配置関係、すなわちカメラ間の穴の状況等により適宜設定されてよい。ゲート５４３は、人物Ｂが所定の距離以上近づいたときに、プレイ画像５２８上に表示される。あるいは常に表示されてもよい。

図８４に示すように、人物Ｂがゲート５３９と重なると、カメラ間の位置的な関連性を反映した動画５４４が表示される。まずゲート５４３以外の画像が消えて、ゲート５４３が強調された画像が表示される。そして図８５に示すように、カメラ間の位置的な関連性を反映した動きでゲート５４３が移動するアニメーション５４４が表示される。図８５に示す最も小さいゲート５４３ａの左側が、図８３のプレイ画像５２８の奥側に相当する。そして最も小さいゲート５４３ａの右側が、プレイ画像５２８の手前側に相当する。従って人物Ｂは、小さいゲート５４３ａに対して左側から近づいてきて右側に進むことになる。

図８６に示すように、次に人物Ｂを撮影するであろう候補カメラ（第１及び第２の候補カメラ）の撮影範囲に対応したゲート５４５と、各候補カメラで撮影されているライブ画像５４６がそれぞれ表示される。候補カメラは、カメラ間の穴に入った人物Ｂを次に撮影する可能性の高いカメラとして選択される。その選択は、カメラの位置関係や人物Ｂの人物情報等により適宜実行されればよい。各候補カメラのゲート５４５には、数値が割り当てられている。これはそのゲート５４５人物Ｂが出現すると思われる予測時間を表している。すなわち各候補カメラのライブ画像５４６に人物Ｂが撮影されると思われる時間が予想される。予測時間の情報は、地図情報や建物の構造の情報等をもとに算出される。なお図８６に示す拡大画像５２９には、最後にキャプチャされた画像が表示される。すなわち人物Ｂの最も新しい拡大画像が表示される。これにより、候補カメラにより撮影されたプレイ画像５４６への出現を容易に確認することが可能となる。

上記の各実施形態においてクライアント装置３０及びサーバ装置２０としては、例えばＰＣ（Personal Computer）等の種々のコンピュータが用いられる。図８７は、そのようなコンピュータの構成例を示す模式的なブロック図である。

コンピュータ２００は、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３、入出力インタフェース２０５、及び、これらを互いに接続するバス２０４を備える。

入出力インタフェース２０５には、表示部２０６、入力部２０７、記憶部２０８、通信部２０９、ドライブ部２１０等が接続される。

表示部２０６は、例えば液晶、ＥＬ（Electro-Luminescence）、ＣＲＴ（Cathode Ray Tube）等を用いた表示デバイスである。

入力部２０７は、例えばコントローラ、ポインティングデバイス、キーボード、タッチパネル、その他の操作装置である。入力部２０７がタッチパネルを含む場合、そのタッチパネルは表示部２０６と一体となり得る。

記憶部２０８は、不揮発性の記憶デバイスであり、例えばＨＤＤ（Hard Disk Drive）、フラッシュメモリ、その他の固体メモリである。

ドライブ部２１０は、例えば光学記録媒体、フロッピー（登録商標）ディスク、磁気記録テープ、フラッシュメモリ等、リムーバブルの記録媒体２１１を駆動することが可能なデバイスである。これに対し上記記憶部２０８は、主にリムーバブルでない記録媒体を駆動する、コンピュータ２００に予め搭載されたデバイスとして使用される場合が多い。

通信部２０９は、ＬＡＮ、ＷＡＮ（Wide Area Network）等に接続可能な、他のデバイスと通信するためのモデム、ルータ、その他の通信機器である。通信部２０９は、有線及び無線のどちらを利用して通信するものであってもよい。通信部２０９は、コンピュータ２００とは別体で使用される場合が多い。

上記のようなハードウェア構成を有するコンピュータ２００による情報処理は、記憶部２０８またはＲＯＭ２０２等に記憶されたソフトウェアと、コンピュータ２００のハードウェア資源との協働により実現される。具体的には、ＣＰＵ２０１が記憶部２０８またはＲＯＭ２０２等に記憶された、ソフトウェアを構成するプログラムをＲＡＭ２０３にロードして実行することにより実現される。例えばＣＰＵ２０１が所定のプログラムを実行することで図１に示す各ブロックが実現される。

プログラムは、例えば記録媒体を介してコンピュータ２００にインストールされる。あるいは、グローバルネットワーク等を介してプログラムがコンピュータ２００にインストールされてもよい。

また、コンピュータ２００が実行するプログラムは、上記で説明した順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

＜その他の実施形態＞
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。

例えば図８８は、他の実施形態に係るフィルムロール画像６５６を示す図である。上記では図７等に示すように、基準時間Ｔ１に配置されたポインタ５６に連結するように、フィルムロール部５９の略中央に、基準サムネイル画像４３が表示された。そしてフィルムロール部５９へのドラッグ操作に応じて、基準サムネイル画像４３も左右方向に移動された。これに代えて、図８８に示すように、基準サムネイル画像６４３は、フィルムロール部６５９の右端部６５１、又は左端部６５２に最初から固定されてもよい。その他、基準サムネイル画像６４３の表示位置は適宜変更されてよい。

上記では、人物が検出対象のオブジェクトとして設定された。しかしながらそれに限定されない。動物や自動車等の他の動体が観察対象のオブジェクトとして検出されてもよい。

上記では、クライアント装置とサーバ装置とがネットワークで接続され、またサーバ装置と複数のカメラとがネットワークで接続されていた。しかしながら各装置を接続するためにネットワークが用いられなくてもよい。すなわち各装置の接続方法は限定されない。また上記ではクライアント装置とサーバ装置とが別体の装置として配置された。しかしながらクライアント装置とサーバ装置とが一体的に構成されて、本技術の一実施形態に係る情報処理装置として用いられてもよい。複数の撮像装置も含めて本技術の一実施形態に係る情報処理装置が構成されてもよい。

上記で説明した本技術に係る画像の切り替え処理等が、監視カメラシステム以外の他の情報処理システムに用いられてもよい。

以上説明した各形態の特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。

なお、本技術は以下のような構成も採ることができる。
（１）撮像装置により撮影された時間的に連続する複数の撮影画像のそれぞれから所定のオブジェクトを検出する検出部と、
前記オブジェクトが検出された前記撮影画像ごとに前記オブジェクトを含む部分的な画像を生成して１以上のオブジェクト画像を生成する第１の生成部と、
前記生成されたオブジェクト画像に関連付けて、前記オブジェクト画像を含む前記撮影画像の撮影時間の情報と、前記オブジェクト画像に含まれる前記オブジェクトを識別するための識別情報とを記憶する記憶部と、
前記１以上のオブジェクト画像のうち前記記憶された識別情報が同じである１以上の同一オブジェクト画像を、各画像の前記記憶された撮影時間情報をもとに配置する配置部と
を具備する情報処理装置。
（２）（１）に記載の情報処理装置であって、
前記１以上のオブジェクト画像から基準となる基準オブジェクト画像を選択する選択部をさらに具備し、
前記配置部は、前記選択された基準オブジェクト画像の前記識別情報と同じ識別情報が記憶されている前記１以上の同一オブジェクト画像を、前記基準オブジェクト画像の前記撮影時間情報を基準として配置する
情報処理装置。
（３）（１）又は（２）に記載の情報処理装置であって、
前記検出部は、複数の撮像装置でそれぞれ撮影された前記複数の撮影画像から前記所定のオブジェクトを検出する
情報処理装置。
（４）（１）から（３）のうちいずれか１つに記載の情報処理装置であって、
時間軸を出力する第１の出力部をさらに具備し、
前記配置部は、前記時間軸に沿って前記１以上の同一オブジェクト画像を配置する
情報処理装置。
（５）（４）に記載の情報処理装置であって、
前記配置部は、前記時間軸上の所定の範囲ごとに、前記所定の範囲内に前記撮影時間が含まれる前記同一オブジェクト画像をそれぞれ配置する
情報処理装置。
（６）（４）又は（５）に記載の情報処理装置であって、
前記第１の出力部は、前記時間軸上の所定の位置を示すポインタを出力し、
前記情報処理装置はさらに、前記ポインタに示された前記時間軸上の所定の位置に応じた前記同一オブジェクト画像を選択し、当該同一オブジェクト画像に関連した情報であるオブジェクト情報を出力する第２の出力部を具備する
（７）（６）に記載の情報処理装置であって、
前記第２の出力部は、前記ポインタにより示される前記所定の位置の変更に連動して、前記所定の位置に応じた前記同一オブジェクト画像の選択、及び前記オブジェクト情報の出力を変更する
情報処理装置。
（８）（６）又は（７）に記載の情報処理装置であって、
前記第２の出力部は、前記所定の位置に応じた前記同一オブジェクト画像を含む前記撮影画像を出力する
情報処理装置。
（９）（６）から（８）のうちいずれか１つに記載の情報処理装置であって、
前記オブジェクトの動きを検出して当該動きを表現する動き画像を生成する第２の生成部をさらに具備し、
前記第２の出力部は、前記所定の位置に応じた前記同一オブジェクト画像に含まれる前記オブジェクトの前記動き画像を出力する
情報処理装置。
（１０）（６）から（９）のうちいずれか１つに記載の情報処理装置であって、
前記第２の出力部は、前記所定の位置に応じた前記同一オブジェクト画像に含まれる前記オブジェクトの位置を示す地図情報を出力する
情報処理装置。
（１１）（６）から（１０）のうちいずれか１つに記載の情報処理装置であって、
ユーザからの指示を入力する入力部をさらに具備し、
前記第１の出力部は、前記入力部により入力された前記１以上の同一オブジェクト画像に対する指示に応じて前記ポインタが指す前記所定の位置を変更する
情報処理装置。
（１２）（１１）に記載の情報処理装置であって、
前記第１の出力部は、前記出力されたオブジェクト情報に対する指示に応じて前記ポインタが指す前記所定の位置を変更する
情報処理装置。
（１３）（１１）又は（１２）に記載の情報処理装置であって、さらに、
前記入力部により入力された所定の指示に応じて前記１以上の同一オブジェクト画像を補正する補正部を具備する
情報処理装置。
（１４）（１３）に記載の情報処理装置であって、
前記補正部は、前記オブジェクト情報として出力された前記撮影画像に含まれる他のオブジェクトを選択する指示に応じて、前記１以上の同一オブジェクト画像を補正する
情報処理装置。
（１５）（１３）又は（１４）に記載の情報処理装置であって、
前記補正部は、前記１以上の同一オブジェクト画像のうち少なくとも１つ以上を選択する指示に応じて、前記１以上の同一オブジェクト画像を補正する
情報処理装置。
（１６）（１３）から（１５）のうちいずれか１つに記載の情報処理装置であって、
前記補正部は、前記選択された基準オブジェクト画像の前記識別情報と異なる識別情報が記憶されている前記１以上のオブジェクト画像から、前記同一オブジェクト画像の候補となる候補オブジェクト画像を選択する
情報処理装置。
（１７）（２）から（１６）のうちいずれか１つに記載の情報処理装置であって、
前記検出されたオブジェクトが監視すべき人物かを判定する判定部をさらに具備し、
前記選択部は、前記監視すべき人物であると判定された前記オブジェクトを含む前記オブジェクト画像を前記基準オブジェクト画像として選択する
情報処理装置。

Ｔ１…基準時間
１…ユーザ
５…ネットワーク
１０…カメラ
１２…フレーム画像
２０…サーバ装置
２３…画像解析部
２４…データ管理部
２５…警報管理部
２７…通信部
３０…クライアント装置
４０…人物
４１…サムネイル画像
４２…人物追尾メタデータ
４３…基準サムネイル画像
５３…オブジェクト情報
５５…時間軸
５６…ポインタ
５７…同一サムネイル画像
６１…所定の範囲
６５…地図情報
６９…動き画像
８０…カットボタン８０
８５…候補サムネイル画像
１００…監視カメラシステム
５００…監視システム
５０４…アラーム画面
５０５…トラッキング画面
５０８…ヒストリー画面

Claims

撮像装置により撮影された時間的に連続する複数の撮影画像のそれぞれから所定のオブジェクトを検出する検出部と、
前記オブジェクトが検出された前記撮影画像ごとに前記オブジェクトを含む部分的な画像を生成して１以上のオブジェクト画像を生成する第１の生成部と、
前記生成されたオブジェクト画像に関連付けて、前記オブジェクト画像を含む前記撮影画像の撮影時間の情報と、前記オブジェクト画像に含まれる前記オブジェクトを識別するための識別情報とを記憶する記憶部と、
前記１以上のオブジェクト画像のうち前記記憶された識別情報が同じである１以上の同一オブジェクト画像を、各画像の前記記憶された撮影時間情報をもとに配置する配置部と
を具備する情報処理装置。
請求項１に記載の情報処理装置であって、
前記１以上のオブジェクト画像から基準となる基準オブジェクト画像を選択する選択部をさらに具備し、
前記配置部は、前記選択された基準オブジェクト画像の前記識別情報と同じ識別情報が記憶されている前記１以上の同一オブジェクト画像を、前記基準オブジェクト画像の前記撮影時間情報を基準として配置する
情報処理装置。
請求項１に記載の情報処理装置であって、
前記検出部は、複数の撮像装置でそれぞれ撮影された前記複数の撮影画像から前記所定のオブジェクトを検出する
情報処理装置。
請求項１に記載の情報処理装置であって、
時間軸を出力する第１の出力部をさらに具備し、
前記配置部は、前記時間軸に沿って前記１以上の同一オブジェクト画像を配置する
情報処理装置。
請求項４に記載の情報処理装置であって、
前記配置部は、前記時間軸上の所定の範囲ごとに、前記所定の範囲内に前記撮影時間が含まれる前記同一オブジェクト画像をそれぞれ配置する
情報処理装置。
請求項４に記載の情報処理装置であって、
前記第１の出力部は、前記時間軸上の所定の位置を示すポインタを出力し、
前記情報処理装置はさらに、前記ポインタに示された前記時間軸上の所定の位置に応じた前記同一オブジェクト画像を選択し、当該同一オブジェクト画像に関連した情報であるオブジェクト情報を出力する第２の出力部を具備する
情報処理装置。
請求項６に記載の情報処理装置であって、
前記第２の出力部は、前記ポインタにより示される前記所定の位置の変更に連動して、前記所定の位置に応じた前記同一オブジェクト画像の選択、及び前記オブジェクト情報の出力を変更する
情報処理装置。
請求項６に記載の情報処理装置であって、
前記第２の出力部は、前記所定の位置に応じた前記同一オブジェクト画像を含む前記撮影画像を出力する
情報処理装置。
請求項６に記載の情報処理装置であって、
前記オブジェクトの動きを検出して当該動きを表現する動き画像を生成する第２の生成部をさらに具備し、
前記第２の出力部は、前記所定の位置に応じた前記同一オブジェクト画像に含まれる前記オブジェクトの前記動き画像を出力する
情報処理装置。
請求項６に記載の情報処理装置であって、
前記第２の出力部は、前記所定の位置に応じた前記同一オブジェクト画像に含まれる前記オブジェクトの位置を示す地図情報を出力する
情報処理装置。
請求項６に記載の情報処理装置であって、
ユーザからの指示を入力する入力部をさらに具備し、
前記第１の出力部は、前記入力部により入力された前記１以上の同一オブジェクト画像に対する指示に応じて前記ポインタが指す前記所定の位置を変更する
情報処理装置。
請求項１１に記載の情報処理装置であって、
前記第１の出力部は、前記出力されたオブジェクト情報に対する指示に応じて前記ポインタが指す前記所定の位置を変更する
情報処理装置。
請求項１１に記載の情報処理装置であって、さらに、
前記入力部により入力された所定の指示に応じて前記１以上の同一オブジェクト画像を補正する補正部を具備する
情報処理装置。
請求項１３に記載の情報処理装置であって、
前記補正部は、前記オブジェクト情報として出力された前記撮影画像に含まれる他のオブジェクトを選択する指示に応じて、前記１以上の同一オブジェクト画像を補正する
情報処理装置。
請求項１３に記載の情報処理装置であって、
前記補正部は、前記１以上の同一オブジェクト画像のうち少なくとも１つ以上を選択する指示に応じて、前記１以上の同一オブジェクト画像を補正する
情報処理装置。
請求項１３に記載の情報処理装置であって、
前記補正部は、前記選択された基準オブジェクト画像の前記識別情報と異なる識別情報が記憶されている前記１以上のオブジェクト画像から、前記同一オブジェクト画像の候補となる候補オブジェクト画像を選択する
情報処理装置。
請求項２に記載の情報処理装置であって、
前記検出されたオブジェクトが監視すべき人物かを判定する判定部をさらに具備し、
前記選択部は、前記監視すべき人物であると判定された前記オブジェクトを含む前記オブジェクト画像を前記基準オブジェクト画像として選択する
情報処理装置。
撮像装置により撮影された時間的に連続する複数の撮影画像のそれぞれから所定のオブジェクトを検出し、
前記オブジェクトが検出された前記撮影画像ごとに前記オブジェクトを含む部分的な画像を生成して１以上のオブジェクト画像を生成し、
前記生成されたオブジェクト画像に関連付けて、前記オブジェクト画像を含む前記撮影画像の撮影時間の情報と、前記オブジェクト画像に含まれる前記オブジェクトを識別するための識別情報とを記憶し、
前記１以上のオブジェクト画像のうち前記記憶された識別情報が同じである１以上の同一オブジェクト画像を、各画像の前記記憶された撮影時間情報をもとに配置する
ことをコンピュータが実行する情報処理方法。
撮像装置により撮影された時間的に連続する複数の撮影画像のそれぞれから所定のオブジェクトを検出するステップと、
前記オブジェクトが検出された前記撮影画像ごとに前記オブジェクトを含む部分的な画像を生成して１以上のオブジェクト画像を生成するステップと、
前記生成されたオブジェクト画像に関連付けて、前記オブジェクト画像を含む前記撮影画像の撮影時間の情報と、前記オブジェクト画像に含まれる前記オブジェクトを識別するための識別情報とを記憶するステップと、
前記１以上のオブジェクト画像のうち前記記憶された識別情報が同じである１以上の同一オブジェクト画像を、各画像の前記記憶された撮影時間情報をもとに配置するステップと
をコンピュータに実行させるプログラム。
時間的に連続する複数の撮影画像を撮影可能な１以上の撮像装置と、
前記１以上の撮像装置によりそれぞれ撮影された前記複数の撮影画像のそれぞれから所定のオブジェクトを検出する検出部と、
前記オブジェクトが検出された前記撮影画像ごとに前記オブジェクトを含む部分的な画像を生成して１以上のオブジェクト画像を生成する生成部と、
前記生成されたオブジェクト画像に関連付けて、前記オブジェクト画像を含む前記撮影画像の撮影時間の情報と、前記オブジェクト画像に含まれる前記オブジェクトを識別するための識別情報とを記憶する記憶部と、
前記１以上のオブジェクト画像のうち前記記憶された識別情報が同じである１以上の同一オブジェクト画像を、各画像の前記記憶された撮影時間情報をもとに配置する配置部と
を有する情報処理装置と
を具備する情報処理システム。