JP2010258704A - 再生装置及び再生方法 - Google Patents

Abstract

【課題】ある物体に関するイベントが発生した場合に、前記物体に関連する物体に関する適切な映像を速やかに再生することを目的とする。
【解決手段】映像から検出された複数の物体のなかの第一の物体に関する事象が検知された場合、第一の物体に関する事象と、第一の物体に関係する第二の物体に関する映像の再生に係る時刻と、に係るインデックスを生成するインデックス生成手段と、第一の物体に関する事象を示す図形を時間軸に沿って配置したタイムラインを表示する表示手段と、タイムラインから図形が指定された場合、図形が示す第一の物体に関する事象に係るインデックスに基づいて、時刻の第二の物体に関する映像を再生する再生手段と、を有することによって課題を解決する。
【選択図】図８

Description

本発明は、再生装置及び再生方法に関する。

複数のネットワークカメラと、カメラ映像を録画する録画装置と、ライブ映像や録画映像を再生するビューワと、から構成されるデジタルモニタリングシステムの導入が急速に進んでいる。
特許文献１には、特定のカメラとイベントとの対応付けを明確にするために、カメラを指定すると対応するタイムライン上のイベントが有効化する手段が開示されている。また、イベントを指定すると、対応するカメラの録画映像を対応時刻から再生する手段が開示されている。特許文献２には、複数カメラで撮影した映像からシーンの三次元モデルを構成し、イベントと映像とを関連付けると共に、物体単位でイベントを表示する手段が開示されている。

特表２００７−５０５５２３号公報 米国特許第６１４４３７５号明細書

動画像の撮影中に物体を持った人物が登場し、その人物が物体を置いたまま立ち去ったことを置き去り検知イベントとして検知することができる。置き去り検知イベントが生じた場合に、置き去り物体を持ち込んだ人物を確認できると便利である。このようにあるイベントと関連する物体（人物）、又は人物のイベントの映像を再生する要求がある。これに対し従来の技術では、所望の映像を再生するためには、物体とイベントとの関連を使用者が考慮した上で、関連するイベントを順次指定して映像を再生する必要があった。また従来の技術では、物体とイベントとの対応関係を知るために、別途、物体専用のウィンドウを表示していた。このため、物体とイベントとの対応関係を直感的に把握することは困難であった。

本発明はこのような問題点に鑑みなされたもので、ある物体に関するイベントが発生した場合に、前記物体に関連する物体に関する適切な映像を速やかに再生することを目的とする。

そこで、本発明は、映像から検出された複数の物体のなかの第一の物体に関する事象が検知された場合、前記第一の物体に関する事象と、前記第一の物体に関係する第二の物体に関する映像の再生に係る時刻と、に係るインデックスを生成するインデックス生成手段と、前記第一の物体に関する事象を示す図形を時間軸に沿って配置したタイムラインを表示する表示手段と、前記タイムラインから前記図形が指定された場合、前記図形が示す前記第一の物体に関する事象に係る前記インデックスに基づいて、前記時刻の前記第二の物体に関する映像を再生する再生手段と、を有することを特徴とする。

また、本発明は、再生方法、プログラム及び記憶媒体としてもよい。

本発明によれば、ある物体に関する事象（イベント）が発生した場合に、前記物体に関連する物体に関する適切な映像を速やかに再生することができる。

ネットワークカメラシステムのシステム構成の一例を示す図である。 再生装置のハードウェア構成の一例を示す図である。 表画面の一例を示す図である。 イベント情報の一例を示す図である。 置き去り検知が生じたときの、物体の存在時間と、イベントと、を示した図である。 置き去り検知と関連するイベントの前後の映像を抜き出してインデックスを生成する一例を示す図である。 インデックス情報の一例を示す図である。 再生装置の１プロセスの処理手順の一例を示すフローチャートである。 持ち去り検知が生じたときの、物体の存在時間と、イベントと、を示した図である。 持ち去り検知と関連するイベントの前後の映像を抜き出してインデックスを生成する一例を示す図である。 再生装置の１プロセスの処理手順の一例を示すフローチャートである。 物体領域表示とタイムライン上のイベント表示との対応関係の一例を示す図である。 タイムラインにおいて同一物体に関するイベントを強調する別の例を示す図である。 複数カメラ間の物体とイベントを対応付けて表示する場合の録画アプリケーションの画面の一例を示す図である。 再生装置の１プロセスの処理手順の一例を示すフローチャートである。

以下、本発明の実施形態について図面に基づいて説明する。

（第１の実施形態）
本実施形態では、ネットワークカメラの再生装置は、ある物体に関するイベント（事象）が生じたときに、当該物体に関係する物体に関するイベントの再生タイミングを記したインデックス（インデックス情報）を生成する。例えば再生装置は、置き去り検知イベントが生じたときに、再生装置は、置き去り検知イベントと、置き去り物体を持ち込んだ人物の登場前後の時刻と、置き去り開始前後の時刻と、を記したインデックスを作成する。次に再生装置は、使用者がタイムライン上の、置き去り検知イベントを示す置き去り検知イベント記号を指定すると、前記置き去り検知イベントを含むインデックスに基づいて録画映像を連続再生する。その結果、本実施形態のネットワークカメラシステム（又は再生装置）の使用者は、関連するイベントを検索し、手動で再生する必要が無くなり、重要な映像を即座に確認することができる。

本実施形態における典型的なネットワークカメラシステムのシステム構成を図１に示す。図１は、ネットワークカメラシステムのシステム構成の一例を示す図である。図１に示されるように、ネットワークカメラシステムは、複数のネットワークカメラ１０１、１０２、１０３と、録画装置２１００を有する再生装置２００と、がネットワーク経由で接続されている。ネットワークカメラ１０１は、ネットワーク経由で映像を送信する機能や、映像の動き検知機能、及び、映像中の物体領域の検知機能を有する。
また再生装置２００は、ネットワークカメラから映像を取得する機能と、取得した映像を録画装置２１００に保存する機能と、受信・保存した映像を再生する機能と、映像の動き検知機能と、映像中の物体領域の検知機能と、を有する。
再生装置２００のこれらの機能は、後述する図２に示されるＣＰＵ２０６が、ＲＯＭ２０７又はＨＤＤ２０９等に記憶されているプログラムに基づき、処理を実行することによって実現される。

図２は、再生装置２００のハードウェア構成の一例を示す図である。
表示装置２０１は、例えばウィンドウ、アイコン、メッセージ、メニューその他のユーザインターフェース情報を表示する。ＶＲＡＭ２０２は、表示装置２０１に表示するための画像を記憶する。なお、表示装置２０１は、再生装置２００を構成するハードウェアであってもよいし、再生装置２００に接続された再生装置２００とは異なる装置（ハードウェア）としてもよい。図２の例では、表示装置２０１は、再生装置２００を構成するハードウェアとはしていない。
ＶＲＡＭ２０２に記憶された画像データは、所定の規定に従って表示装置２０１に転送され、これにより表示装置２０１に画像が表示される。ＣＤＤ（コンパクトディスクドライブ）２０３は、ＣＤ−ＲＯＭや、ＣＤ−Ｒ等の記録メディアとの間で各種制御プログラムやデータの読み書きを行う装置である。ＣＤＤの代わりにＤＶＤドライブであってもよい。

キーボード２０４は、文字入力を行うための各種キーを有する。ＰＤ（ポインティングデバイス）２０５は、例えば、表示装置２０１の表示画面上に表示されたアイコン、メニューその他のオブジェクトを指示するために使用される。ＣＰＵ２０６は、ＲＯＭ２０７、又はＨＤＤ（ハードディスクドライブ）２０９、又はＦＤＤ（フレキシブルディスクドライブ）２１０、又は外部記憶装置（ＣＤＤ）２０３等に格納された制御プログラムに基づいて各デバイスを制御する。なお、上述したように、再生装置２００のＣＰＵがプログラムに基づき、処理を実行することにより、上述した再生装置２００の機能を実現する。

ＲＯＭ（リードオンリメモリ）２０７は、各種の制御プログラムやデータを保持する。ＲＡＭ（ランダムアクセスメモリ）２０８は、ＣＰＵ２０６のワーク領域、エラー処理時のデータの退避領域、制御プログラムのロード領域等を有する。

ＨＤＤ２０９は、各種制御プログラムや各種データを保存する。ネットワーク・インターフェース（Ｎｅｔ−Ｉ／Ｆ）２１１は、他の情報処理装置やプリンタ等とネットワーク２１３を介して通信を行う。ＣＰＵバス２１２は、アドレスバス、データバス及びコントロールバスを含む。ＣＰＵ２０６に対する制御プログラムの提供は、ＲＯＭ２０７、ＨＤＤ２０９、ＦＤＤ２１０、ＣＤＤ２０３から行うこともできるし、ネットワーク２１３を介して他の情報処理装置等から行うこともできる。

録画装置２１００の機能は、再生装置２００の内部のＣＰＵがハードディスクドライブ等の外部記憶装置を制御することにより実現可能である。再生装置２００は、ネットワーク制御部を通じてネットワークカメラ１０１と通信し、映像を取得して録画装置２１００に保存する。このときネットワークカメラ１０１と再生装置２００との間の通信は例えばＨＴＴＰによりなされるが、本実施形態は特定のプロトコルに限定されるものではない。

ここで、再生装置２００の映像の動き検知機能とは、例えば隣接フレーム間差分により映像中の動き量を計算し、映像中の動き量が予め定められた一定の基準量を超えた場合に動き検知イベントを生ずるものである。また再生装置２００の映像の中の物体領域の検知機能（検出機能）は、例えば背景差分画像に対して、領域結合処理を行って得られる予め定められた一定のサイズ以上の領域を物体領域とするものである。このときに、過去の物体領域検出結果から得た物体の知識を利用して検出精度を上げる手法が一般に用いられる。映像の動き検知機能、及び、物体領域検出機能は、ネットワークカメラ１０１側、再生装置２００側のどちらに具備されていてもよい。また、本実施形態は、動き検知及び物体領域検出の手法が制限されるものではない。

次に図３を用いて、本実施形態における再生装置２００の表示画面の例を説明する。図３は、表画面の一例を示す図である。図３は、画面上の１つのウィンドウを表したものであり、ウィンドウ枠３００、画像表示領域３１０、３２０、３３０、タイムライン３４０から構成される。画像表示領域３１０上には物体領域を示す枠３１１、３１２が示されている。この物体領域の表示例としては図示したような矩形の他に、ブロック、楕円、等任意の形状での表現が可能である。
タイムライン３４０は、録画の状態やイベントの発生時刻を表示するものである。より具体的に説明すると、タイムライン３４０には、イベントを示す図形が時間軸に沿って配置されている。
右端が現在時刻であり、再生装置２００は、時間の経過と共に表示イベントが右から左にむかってシフトするよう表示する。使用者が現在又は過去の時刻を指定すると、現在有効になっているカメラの録画映像を指定時刻から再生する。イベントは、システムの起動・停止、録画の開始・停止、外部センサー入力状態の変化、動き検知状態の変化、物体の登場・退室、置き去り、持ち去り等がある。図３においてイベント３４１は矩形で表示されているが、矩形以外の図形で表記することも可能である。

次に本実施形態におけるイベント情報の一例を、図４を用いて説明する。図４は、イベント情報の一例を示す図である。再生装置２００は、イベントを、発生時刻順にＩＤを割り振り管理する。管理内容としては、発生日時、種別、優先度、デバイスＩＤ、カメラＩＤ、物体ＩＤ、イベント詳細がある。種別はイベントのグルーピングであり、詳細がより具体的なイベントの内容である。例えば置き去り検知は、種別が「異常検知」であり、詳細が「滞留検知」である。デバイスＩＤは、イベント発生源となったセンサーやカメラデバイスのＩＤを示す。優先度は、イベント通知に関する優先度であり、優先度ごとにイベント発生時の表示色や使用者へのアラーム通知が別途設定される。物体ＩＤは、検出された物体に個別に割り振られる通し番号である。

次に本実施形態におけるインデックス生成の手法を説明する。本実施形態では置き去り検知を例として取り上げる。図５は、置き去り検知が生じたときの、物体の存在時間と、イベントと、を示した図である。物体Ｂ（第一の物体）は鞄であり、物体Ａ（第二の物体）は鞄を持つ人物である。物体Ａは時刻４１１で登場し、時刻４２１で物体Ｂを放置し、時刻４３１で退出する。物体Ｂは時刻４２１で登場し、時刻４４１で一定時間以上静止していると再生装置２００で判別される。その結果、時刻４２１で置き去り検知イベントが発生する。このとき物体Ｂは物体Ａから分離した物体であることから物体間の関係が再生装置２００によって定義される。

物体の分離や統合は物体の動作を解析することで可能となる。例えば既存物体のサイズが急に増加した直後に、既存物体と同一地点から新規物体が発生した場合、再生装置２００は、既存物体が分離したと判別できる。一方、２つ以上の既存物体が同一地点に存在し、その後一定時間以上見かけ上の物体数が１つである場合、再生装置２００は既存物体が統合したと判別できる。
ここで再生装置２００は、人物検出技術を用いて、物体の分離・統合検出精度を向上することが可能である。人物検出技術とは、画像中の人体特徴や顔特徴を用いて人物領域や位置を求める技術である。物体の分離に適用する場合、人物が人物と人物以外の物体に分離することは可能であるが、人物が複数の人物に分離することは不可能とする、ルールを設ける。逆に物体の統合に適用する場合、人物と物体が１人の人物に統合することは可能であるが、複数の人物が人物に統合することは不可能とする、ルールを設ける。これにより、再生装置２００等における、人物同士の重複動作による分離・統合に関する誤検出を減ずることができる。

次に置き去り検知イベントが生じたときの、インデックスの生成方法を、図６を用いて説明する。図６は、置き去り検知と関連するイベントの前後の映像を抜き出してインデックスを生成する一例を示す図である。図６の（ａ）は、録画映像である。図６の（ｂ）は、インデックスに基づく再生映像の例である。図６の（ａ）において、録画映像５００中に、図５で説明した、人物登場の時刻４１１、置き去り開始の時刻４２１、人物退出の時刻４３１、置き去り検知の時刻４４１の各イベントが表記されている。
置き去り検知イベント４４２が生じたときに、使用者が知りたいのは置き去り物体を放置した人物と、置き去りの瞬間である。そこで再生装置２００は、図６の（ｂ）に示すように、人物登場の時刻４１１と、置き去り開始の時刻４２１と、の前後の映像を連続して再生する。このときイベントの前後の再生時間をΔＴとすると、４ΔＴ時間の映像５１０が再生装置２００によって再生される。ここで、置き去り検知イベント前後の映像は変化の無い映像であるため再生装置２００は再生を省略する。なお、イベント前後の再生時間はΔＴに限定されず、各イベントにおいて任意に設定可能にするようにしてもよい。

インデックスとして保持する情報の例を図７に示す。図７は、インデックスとして再生装置２００が保持しているインデックス情報の一例を示す図である。図７に示されるように、インデックス情報は、注目イベント、関連イベント、オペレーション情報の３種類の情報を含む。注目イベント情報は、インデックスを生成する原因となったイベントであり、例えば図５における置き去り検知イベントである。注目イベント情報として、前記イベントのイベントＩＤが保持される。また関連イベント情報は、注目イベントに対応した物体の登場の時刻４２１や、当該物体の分離元物体の登場の時刻４１１である。関連イベント情報として、前記イベントのイベントＩＤが保持される。但し、図中のコメントは必ずしも必要ではない。オペレーション情報は、再生の開始時刻と停止時刻の一覧である。より具体的に説明すると、オペレーション情報は、開始、終了といった操作内容、カメラＩＤ、時刻、関連イベントＩＤ等を含む。再生時刻と停止時刻とは既に説明したように、関連イベントの発生時刻によって再生装置２００が決定する。

なお、図４のイベント情報や、図７のインデックスの表現方法は多様な手法を用いることができる。例えば、プログラム中において構造体のリスト形式として表現したり、ＸＭＬ形式でファイルに保存したり、送信することができる。
使用者は、タイムライン３４０上の置き去り検知イベントを指定することにより、映像再生を再生装置２００に行わせる。ここで指定方法としては、ダブルクリックや、コンテキストメニュー等を用いる方法があるが、本実施形態では指定方法を限定するものではない。

次に図８を用いて本実施形態における再生装置２００の１プロセスの処理手順を説明する。図８は、再生装置２００の１プロセスの処理手順の一例を示すフローチャート（その１）である。このプロセスは、ＧＵＩに関するプロセスであり、より具体的には、イベント処理プロセスである。説明の簡略化のため、本実施形態に直接関連するイベントのみを表記している。
なお、上述したように、ＣＰＵ２０６が、プログラムを実行することによって、イベント処理プロセスが実行される。
ステップＳ７０１で初期化を実行する。ステップＳ７０２で使用者からの操作入力を待つ。操作イベントが生じた場合、Ｙ分岐し、ステップＳ７０３で置き去り・持ち去り検知イベントかどうかを判別する。置き去り・持ち去り検知イベントである場合には、Ｙ分岐し、ステップＳ７０４で既に述べた手法に従ってインデックスを生成する。
ステップＳ７０３で置き去り・持ち去り検知イベント以外である場合には、Ｎ分岐し、ステップＳ７１０で再生指示入力かどうかを判別する。再生指示入力はタイムライン上のイベント指定の結果、生じる。再生指示入力である場合にはＹ分岐し、ステップＳ７１１で指定イベントに関する録画映像のインデックス再生を行う。ステップＳ７１０において、再生指示入力で無い場合にはＮ分岐し、ステップＳ７２０でその他のイベント処理を行って戻る。
以上説明した処理によれば、再生装置２００は、ある物体に関するイベントが生じたときに、当該物体に関連する別の物体の映像のインデックスを生成し、指定に応じて再生する。より具体的には、再生装置２００は、置き去り検知イベントが生じた場合に、置き去り物体を持ち込んだ人物の登場と、置き去りとの瞬間を捉えたインデックスを生成しておき、タイムライン上のイベントの指定に応じてインデックスに従って関連する録画映像を再生する。

（第２の実施形態）
ある物体に関わるイベントが生じたときに、前記物体に関連する全ての物体の退出を待って、ビデオインデックスを生成する手法がある。これは例えば持ち去り検知イベントが生じたときに、物体を持ち去った人物が画面から退出するまでをインデックスに含めたい場合に有効である。その一方で、持ち去り検知イベント発生からインデックスの作成、映像の再生までに遅延が生じる場合がある。
本実施形態のシステム構成は第１の実施形態と同一であるため説明を省略し、以下、第１の実施形態と異なる部分を中心に説明する。本実施形態におけるインデックスの作成方法を、図９と図１０とに示す。

図９は、持ち去り検知が生じたときの、物体の存在時間と、イベントと、を示した図である。物体Ａ（第二の物体）は人物であり、物体Ｂ（第一の物体）は持ち去り後に新規に現れた背景領域である。物体Ｂが持ち去り後に新規に現れた背景領域であるのは、背景差分を用いた物体領域抽出の場合、再生装置２００は、持ち去り前のシーンを背景として記憶するため、持ち去り後に現れた壁等の領域は、最初は新規物体領域と判別されるためである。物体Ａに関するイベントは、人物登場８１１、持ち去り開始８２１、退出８３１である。物体Ｂは持ち去り開始８２１の検知の時刻で物体Ａから分離して発生し、一定時間以上静止状態であったため持ち去り検知イベント８４１が生じる。図９と図５とで異なる点は、持ち去り検知イベント８４１の発生後に、持ち去り人物の退出８３１のイベントが生じていることである。
ここで物体Ａから物体Ｂが分離したことは、再生装置２００は、第１の実施形態と同様な識別手段によって計測することができる。

図１０は、持ち去り検知と関連するイベントの前後の映像を抜き出してインデックスを生成する一例を示す図である。図１０の（ａ）は物体Ａの登場から物体Ｂの退室までの録画映像と、イベントと、である。図１０の（ｂ）は再生映像を示したものである。図１０の（ａ）において、録画映像９１０には人物登場８１１、持ち去り開始８２１、持ち去り検知確定（持ち去り人物の退出８３１）、人物退出のイベント（持ち去り検知イベント８４１）がある。持ち去り検知が生じた場合、使用者は持ち去り行為を確認する必要がある。このためには、持ち去りを行った人物の登場、持ち去りの瞬間、及び、物体を持った状態での退室が重要な瞬間になる。
そこで本実施形態の再生装置２００は、図１０の（ｂ）に示すように、人物登場８１１、持ち去り開始８２１、人物退出８４２の、前後ΔＴの時刻を記憶したインデックスを生成する。その結果６ΔＴの長さを持つ録画９２０が再生される。なおイベント前後の再生時刻ΔＴは、第１の実施形態と同様、各イベントの前後で任意に設定可能である。

次に図１１を用いて本実施形態における再生装置２００の１プロセスの処理手順を説明する。図１１は、再生装置２００の１プロセスの処理手順の一例を示すフローチャート（その２）である。このプロセスは、ＧＵＩに関するプロセスであり、より具体的には、イベント処理プロセスである。図８と同様、説明の簡略化のため本実施形態に直接関連するイベントのみを表記している。図８と異なる部分を説明する。
ステップＳ１００３で置き去り・持ち去り検知イベントかどうかを判別する。置き去り・持ち去り検知イベントである場合には、Ｙ分岐し、ステップＳ１００４で関連物体が映像中に存在しているかどうかを判別する。これは関連する全ての物体が退出するのを待つためである。関連物体が映像中に存在している場合にはＹ分岐し処理を続ける。関連物体がない場合にはＮ分岐し、ステップＳ１００５でビデオインデックスの生成を行う。
ステップＳ１００３で置き去り・持ち去り検知イベント以外である場合には、Ｎ分岐し、ステップＳ１０１０で再生指示入力かどうかを判別する。これはタイムライン上のイベント指定の結果生じる。再生指示入力である場合にはＹ分岐し、ステップＳ１０１１でインデックスに従って録画を再生する。ステップＳ１０１０において、再生指示入力で無い場合にはＮ分岐し、Ｓ１０２０でその他のイベント処理を行って戻る。
以上説明した処理によれば、あるイベントが生じたときに、関連する物体の退室を待って、重要なシーンのみを編集したビデオインデックスを作成する。より具体的には持ち去り検知イベントが生じた場合に、持ち去り行為を行う人物の入室、持ち去りの瞬間、持ち去り行為を行った人物の退出までを含めたインデックスを生成し、再生することができる。

（第３の実施形態）
本実施形態では、タイムラインを有するモニタリングシステムにおいて、物体領域表示とタイムライン上のイベント表示との対応が直感的に理解できるようにするための処理を説明する。
図１２を用いて本実施形態における物体領域表示とタイムライン上のイベント表示との対応関係を示す手法を説明する。図１２は、物体領域表示とタイムライン上のイベント表示との対応関係の一例を示す図である。図１２において、あるカメラの画像表示領域３１０及び物体領域を示す枠３１２が選択状態にある。これは使用者が物体領域を示す枠３１２をマウスポインタでクリックすることによってなされる。このとき、タイムライン上では物体領域を示す枠３１２に関わる物体のイベントが強調表示される。物体のイベントとは、例えば物体の登場や退室等である。再生装置２００は、図４に示したイベント情報において同一物体ＩＤによって対応関係を識別することができる。このとき、再生装置２００は、物体領域を示す枠３１２と物体に関連するイベント３４２、３４３、３４４の表示とを、物体領域を示す枠３１２と同様に強調表示することによって、物体とイベントの対応関係を明確化できる。より具体的には、再生装置２００は、枠の太さ、線種、色、等を同一とする。これにより使用者は、タイムライン上の多くのイベントの中から、指定した物体に対応したイベントのみを容易に識別できる。

ここで、再生装置２００は、画像上の物体領域を示す枠３１２とタイムライン上のイベント３４２の表示との色を、物体の属性の変化に応じて変化させることができる。例えば、イベント３４２の表示が当該物体の登場イベントとする。ここでイベントとして置き去り検知イベントを定義し、物体が一定時間以上停止状態の時に、イベントが発火することとする。このような場合、再生装置２００は、物体の停止時間に応じて物体領域を示す枠３１２の色を青→緑→黄色→赤等と、変えることによりイベント発生が近いことを分かりやすく示すことができる。
この場合、再生装置２００は、タイムライン３４０上のイベント３４２の表示の色も、物体領域を示す枠３１２と連動して変化させることによって、対応関係を保つことができる。再生装置２００は、物体とイベント表示との対応関係を示すと共に、タイムライン上のイベント表示のみでも物体の停止時間情報を示すことができる。
本実施形態の再生装置２００は、また、イベントを指定したときに同一物体に関するイベントを強調表示すると共に、対応する映像及び、物体表示を強調表示することもできる。これは例えばイベント３４２の表示を使用者が選択した場合、再生装置２００が同一物体に関するイベント３４２、３４３、３４４の表示を強調表示すると同時に、対応する画像表示領域３１０及び物体領域を示す枠３１２を強調表示する。この状態で、使用者がマウスをダブルクリックすることにより指定すると、再生装置２００は、対応する時刻の映像の再生を開始する。

タイムラインにおいて同一物体に関するイベントを強調する別の例を図１３に示す。図１３は、タイムラインにおいて同一物体に関するイベントを強調する別の例を示す図である。図１３では再生装置２００は、図１２のタイムラインと同様に、同一物体に関わるイベントを強調した上で、更に物体の登場イベントと退室イベントとの間の背景３５０を、通常の背景とは別に着色している。再生装置２００は、使用者が選択した物体以外に関わるイベントは図１３に示すように同時に表示してもよいし、背後に隠してもよい。
ところで、再生装置２００は、物体表示とイベント表示との対応付けを、複数カメラが存在する場合でも行うことができる。即ち、再生装置２００は、別々の位置に設置された複数のカメラが、同一物体を撮影した場合、複数カメラ間の全ての物体とイベントとの対応関係が分かるように表示する。

図１４は、複数カメラ間の物体とイベントを対応付けて表示する場合の録画アプリケーションの画面の一例を示す図である。図１４において、画像表示領域３１０に存在する物体領域を示す枠３１２と、カメラ映像３２０中に存在する物体３２１と、は同一の物体とする。再生装置２００が複数カメラ映像中の物体が同一物体かどうかを判別する手法は複数存在する。再生装置２００は、複数カメラ映像において同時刻に発生した同一種類のイベントがある場合は、同一物体に関わるイベントとみなすことができる。これは異なるカメラ映像において同一時刻に置き去り検知が生じた場合、再生装置２００は、当該物体は同一とみなす、というものである。他の手法としては、再生装置２００が、複数カメラの物理的な位置関係に基づいてシーン中の物体の同一性を確認する手法がある。

使用者が、ネットワークカメラ１０１の画像表示領域３１０上の物体領域を示す枠３１２を選択すると、再生装置２００によって強調表示される。同時に再生装置２００によってイベント情報が参照され、タイムライン３４０上で当該物体に関係するイベント３４５、３４７、３４８が強調表示される。次に再生装置２００は、同一物体に関わるイベントが無いか確認し、該当するイベントがある場合には強調表示する。図１４では３４６が強調表示されている。ここでは同時刻に発生した同一種類のイベントは同一物体に関わるイベントとみなす、というルールを用いているものとする。図１４の例ではネットワークカメラ１０１の画像表示領域３１０と、カメラ１０２のカメラ映像３２０と、において、同時に置き去り検知イベントが生じたものである。同時に発生したことを示すために再生装置２００は、位置をずらして重複表示している。更に再生装置２００は、３４６に対応する物体３２１も同様に強調表示する。以上の処理により、再生装置２００は、物体領域を示す枠３１２に関連するイベントと異なる映像中の同一の物体３２１とを対応付けて表示することができる。
このとき、再生装置２００は、図４におけるイベント管理には物体間の対応付けも追加する。例えば、再生装置２００は、図４の滞留検知ＯＮイベント（イベントＩＤ００１２８、デバイスＩＤＣａｍ０１、物体ＩＤ００２）と同一時刻に、異なるカメラで生じた滞留検知ＯＮイベント（例えば、デバイスＩＤＣａｍ０２、物体ＩＤ００３）は、同一物体に関するイベントとみなす。そして、再生装置２００は、物体ＩＤ００２と物体ＩＤ００３とを同一物体として記憶する。

次に図１５を用いて本実施形態における再生装置２００の１プロセスの処理手順を説明する。図１５は、再生装置２００の１プロセスの処理手順の一例を示すフローチャート（その３）である。このプロセスは、ＧＵＩに関するプロセスであり、より具体的には、イベント処理プロセスである。図８、図１１と同様、説明の簡略化のため本実施形態に直接関連するイベントのみを表記している。
ステップＳ１４００で表示の初期化を行う。ステップＳ１４０１でイベントを待つ。次に、ステップＳ１４０２で映像フレームの指定かどうかを判別する。これはマウスポインタにより使用者によって特定のカメラ映像フレームが指定されたかどうかを判別するものである。映像フレームの指定であればステップＳ１４０４に進み指定フレームの有効化、及び、ステップＳ１４０５で指定カメラに関連するイベントの強調表示を行う。

もしステップＳ１４０２で映像フレーム指定イベントではなかった場合には、Ｓ１４１０へ進み物体指定イベントかどうかを判別する。物体指定イベントである場合Ｙ分岐し、ステップＳ１４１１に進んで指定範囲を検出する。これは複数物体を指定している場合があるからである。次にステップＳ１４１２に進んで指定物体を強調表示する。更にステップＳ１４１３に進んで関連するイベントを強調表示する。
もしステップＳ１４１０で物体指定イベントではない場合、ステップＳ１４２０に進んでイベント指定イベントかどうかを判別する。イベント指定イベントである場合はＹ分岐して、ステップＳ１４２１に進んで指定範囲を検出する。これは複数のイベントを指定している場合があるからである。次にステップＳ１４２２に進んで同一物体に関わるイベントを強調表示する。更にステップＳ１４２３に進んで、指定イベントと関連する物体を強調表示する。

以上の説明からも明らかなように、本実施形態によれば、映像中の物体表示とタイムライン上のイベント表示との強調表示方法を統一することにより、物体とイベントとの対応関係を明確にできる。また、本実施形態によれば、１本のタイムライン上で異なるカメラ映像中に発生した全てのイベントを表示するイベント表示方式において、複数カメラ画像上の物体とイベントとの対応を容易に把握できるような表示法方式を実現することができる。

（その他の実施形態）
また、本発明の目的は、以下のようにすることによって達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（又は記録媒体）を、システム或いは装置に供給する。そして、そのシステム或いは装置の中央演算処理手段（ＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコードを記録した記憶媒体は本発明を構成することになる。

また、システム或いは装置の前記中央演算処理手段が読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、システム或いは装置上で稼働しているオペレーティングシステム（ＯＳ）等が実際の処理の一部又は全部を行う。その処理によって上述した実施形態の機能が実現される場合も含まれる。

更に、記憶媒体から読み出されたプログラムコードが、前記システム或いは装置に挿入された機能拡張カードや、接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される場合も含まれる。

本発明を前記記憶媒体に適用する場合、その記憶媒体（コンピュータ読み取り可能な記憶媒体）には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

以上、上述した各実施形態によれば、再生装置２００は、あるイベントが生じた場合に、イベントに係る物体の親物体の出現時刻と、前記物体が親物体から分離した時刻の前後を含む短時間映像を再生する。このことにより、使用者は、イベントに関して最も知りたい映像を確認できる。また、再生装置２００が、使用者が指定した物体と対応するイベントのみを強調表示することで、複数映像中の物体表示とタイムライン上のイベント表示との対応関係が明確になる。更に再生装置２００が、物体の属性変化に応じて物体表示とイベント表示との両方を変化させることにより、物体属性の変化をタイムライン上で知ることができる。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

２００ 再生装置、２１００ 録画装置

Claims (9)

1. 映像から検出された複数の物体のなかの第一の物体に関する事象が検知された場合、前記第一の物体に関する事象と、前記第一の物体に関係する第二の物体に関する映像の再生に係る時刻と、に係るインデックスを生成するインデックス生成手段と、
   前記第一の物体に関する事象を示す図形を時間軸に沿って配置したタイムラインを表示する表示手段と、
   前記タイムラインから前記図形が指定された場合、前記図形が示す前記第一の物体に関する事象に係る前記インデックスに基づいて、前記時刻の前記第二の物体に関する映像を再生する再生手段と、
   を有することを特徴とする再生装置。
2. 前記インデックス生成手段は、前記第一の物体に関する事象が検知された場合、前記第一の物体に関係する第二の物体に関する事象に係る時刻を、前記第二の物体に関する映像の再生に係る時刻として、前記第一の物体に関する事象と、前記時刻と、を含むインデックスを生成することを特徴とする請求項１に記載の再生装置。
3. 前記インデックス生成手段は、前記第一の物体に関する事象として、前記第一の物体の置き去り、又は持ち去りの発生が検知された場合、前記第一の物体の置き去り、又は持ち去りを行った人物を前記第二の物体として、前記人物による前記前記第一の物体の置き去りの時刻、又は持ち去りの時刻、又は前記人物の入室の時刻、又は退室の時刻を、前記人物に関する映像の再生に係る時刻として含むインデックスを生成することを特徴とする請求項２に記載の再生装置。
4. 前記再生手段は、使用者から操作入力に応じて、前記タイムラインから前記図形が指定された場合、前記図形に係る第一の物体に関する事象を含むインデックスを特定し、前記インデックスに含まれる前記時刻の前記第二の物体に関する映像を再生することを特徴とする請求項２又は３に記載の再生装置。
5. 前記表示手段は、前記タイムラインをウィンドウに表示すると共に、前記映像から検出された物体をウィンドウに表示することを特徴とする請求項１乃至４の何れか１項に記載の再生装置。
6. 前記表示手段は、前記タイムラインを構成する図形と、前記図形に係る前記物体と、を対応付けて表示することを特徴とする請求項５に記載の再生装置。
7. 再生装置における再生方法であって、
   映像から検出された複数の物体のなかの第一の物体に関する事象が検知された場合、前記第一の物体に関する事象と、前記第一の物体に関係する第二の物体に関する映像の再生に係る時刻と、に係るインデックスを生成するインデックス生成ステップと、
   前記第一の物体に関する事象を示す図形を時間軸に沿って配置したタイムラインを表示する表示ステップと、
   前記タイムラインから前記図形が指定された場合、前記図形が示す前記第一の物体に関する事象に係る前記インデックスに基づいて、前記時刻の前記第二の物体に関する映像を再生する再生ステップと、
   を有することを特徴とする再生方法。
8. コンピュータを、
   映像から検出された複数の物体のなかの第一の物体に関する事象が検知された場合、前記第一の物体に関する事象と、前記第一の物体に関係する第二の物体に関する映像の再生に係る時刻と、に係るインデックスを生成するインデックス生成手段と、
   前記第一の物体に関する事象を示す図形を時間軸に沿って配置したタイムラインを表示する表示手段と、
   前記タイムラインから前記図形が指定された場合、前記図形が示す前記第一の物体に関する事象に係る前記インデックスに基づいて、前記時刻の前記第二の物体に関する映像を再生する再生手段と、
   して機能させることを特徴とするプログラム。
9. 請求項８に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images