JP2013157871A - 情報処理装置、プログラム、情報処理方法及び再生方法 - Google Patents

Abstract

【課題】撮影時刻に基づく映像検索を容易に行うことができるようにすること。
【解決手段】情報処理装置１００は、映像データを分析することで、１つのフレームレートで連続して撮影されている区間を特定し、当該区間の撮影時刻と、フレームレート及び再生時間の少なくとも何れか一方とを特定する分析部１０４と、特定された情報を含む換算情報を作成する換算情報作成部１０７と、映像データを所定のフォーマットのデジタル情報に変換する変換部１０３と、換算情報を用いて、撮影時刻に対応する再生時間の映像データをデジタル情報から再生するための撮影時刻再生制御プログラムを格納するプログラム格納部１０８と、換算情報、デジタル情報及び撮影時刻再生制御プログラムを含むコンテンツデータを生成するデータレイアウト部１０９と、コンテンツデータを可搬性記憶媒体に書き出す書出部１１０とを備える。
【選択図】図１

Description

本発明は、情報処理装置、プログラム、情報処理方法及び再生方法に関する。

以前より、ビル及び公共エリア等を監視するために、監視カメラで撮像された映像データを監視レコーダーに格納する技術がある。現在では、監視レコーダーは、ハードディスク等、本体内に固定された大容量記憶装置に映像データを記録するものが主流となっている（例えば、特許文献１参照）。
撮影された映像データの映像を見る場合には、監視レコーダー本体に接続されたモニターで見るほか、警察への提出用、オーナーや関係会社への報告用として、ＤＶＤ及びＢｌｕ−ｒａｙ Ｄｉｓｃ等の光ディスクに映像データを書き込んで、ＰＣ及び家庭用ディスクプレーヤー等を使用して映像を見る方法がある。

特開２０００−１２５２５６号公報（段落００２７〜００４１、図８）

しかし、従来の方法では、光ディスクに映像データを書き込み、書き込まれた映像データの映像を見る場合において、不連続な撮影及びフレームレートの変化等に起因して、再生時に撮影時刻に基づいた検索を行うことが困難であった。この点、目撃者の証言との照合、及び、センサー等他の監視装置との記録照合等の場合、撮影時の時刻を元に照合が行われるため、撮影時刻に基づいた検索ができないと、映像として記録されたタイムスタンプを元に利用者が早送り及び巻き戻しを行って、照合箇所を探し出す必要がある。

また、同じ時刻の映像を別のカメラで撮影した映像に切り替えたい場合にも、再度、早送り及び巻き戻しを繰り返す必要があり、検索の手間と時間が大きい。

そこで、本発明は、以上のような課題を解決するためのもので、撮影時刻に基づく映像検索を容易に行うことができるようにすることを目的とする。

本発明の一態様に係る情報処理装置は、映像データを分析することで、１つのフレームレートで連続して撮影されている区間を特定し、当該区間の撮影時刻と、フレームレート及び再生時間の少なくとも何れか一方とを特定する分析部と、前記分析部により特定された情報を含む換算情報を作成する換算情報作成部と、前記映像データを所定のフォーマットのデジタル情報に変換する変換部と、前記換算情報を用いて、撮影時刻に対応する再生時間の映像データを前記デジタル情報から再生するための撮影時刻再生制御プログラムを格納するプログラム格納部と、前記換算情報、前記デジタル情報及び前記撮影時刻再生制御プログラムを含むコンテンツデータを生成するデータレイアウト部と、前記コンテンツデータを可搬性記憶媒体に書き出す書出部と、を備えることを特徴とする。

本発明の一態様によれば、撮影時刻に基づく映像検索を容易に行うことができる。

実施の形態１〜４におけるオーサリング装置の構成を概略的に示すブロック図である。 実施の形態１における換算情報の一例を示す概略図である。 実施の形態１において、ＸＭＬで記述された換算情報の一例を示す概略図である。 実施の形態１及び４における再生装置の構成を概略的に示すブロック図である。 実施の形態１において、利用者が撮影時刻を指定した再生指示を入力部に入力した際の処理実行部での処理の概略を示す模式図である。 実施の形態１において、フレームレートを省略した場合における、ＸＭＬで記述した換算情報の一例を示す概略図である。 実施の形態１において、利用者が撮影時刻を指定した再生指示を入力部に入力した際の処理実行部での処理の概略を示す模式図である。 実施の形態１において、利用者が、３つのカメラの映像を切り替えた際の撮影時刻を示す概略図である。 実施の形態１において、利用者が、３つのカメラの映像を切り替えた際の再生時間を示す概略図である。 実施の形態１における処理実行部が行う処理を説明するための概略図である。 実施の形態２における４分割の分割画面の一例を示す概略図である。 実施の形態２における９分割の分割画面の一例を示す概略図である。

実施の形態１．
図１は、実施の形態１における情報処理装置としてのオーサリング装置１００の構成を概略的に示すブロック図である。オーサリング装置１００は、条件入力部１０１と、映像データ抽出部１０２と、変換部１０３と、分析部１０４と、換算情報作成部１０７と、プログラム格納部１０８と、データレイアウト部１０９と、書出部１１０とを備える。図１の括弧内の符号は、実施の形態４における構成を示している。

条件入力部１０１は、操作者１３０より、取り出したい映像データの条件の入力を受け付ける。例えば、入力を受け付ける条件は、撮像装置としてのカメラのカメラ名、撮影時間及び撮影時刻等である。
映像データ抽出部１０２は、条件入力部１０１が入力を受け付けた条件に従って、映像データを記憶している映像データ記憶部としての監視映像データベース１３１から映像データを取り出す。ここで、本発明では、カメラを備えた監視レコーダーで撮影された映像データが監視映像データベース１３１に記憶されているものとする。監視レコーダーは、タイマーとセンサーからの入力によって、撮影の開始及び終了、また、フレームレート等を細かく制御している。そして、監視映像データベース１３１に記憶されている映像データには、１フレーム毎に撮影時刻の情報がメタデータとして付加されているものとする。
変換部１０３は、映像データ抽出部１０２で取り出された映像データを所定のフォーマットに変換することで、デジタル情報を生成する。ここで、所定のフォーマットは、書出部１１０が書き出すコンテンツの規格に従ったフォーマットとする。

分析部１０４は、映像データ抽出部１０２で取り出された映像データを分析することで、一定のフレームレートで連続して撮影されている区間の撮影時刻、フレームレート及び再生時間を特定する。分析部１０４は、フレームレート判別部１０５と、連続区間判別部１０６とを備える。
フレームレート判別部１０５は、映像データのメタデータに含まれている１フレーム毎の撮影時刻を検出して、フレームの撮影間隔を算出することで、フレームレートを算出する。フレームレートが映像と共に記録されている場合には、この値を取り出して使用する。
連続区間判別部１０６は、映像データ抽出部１０２で取り出された映像データから、１つのフレームレートで映像が連続して撮影されている区間である映像連続区間を判別して、この映像連続区間の撮影時刻及び再生時間を特定する。例えば、映像データの内、撮影間隔が一定の区間は、同一の映像連続区間と見なせる。そこで、連続区間判別部１０６は、映像のフレームが所定期間以上途切れている部分及びフレームレートが変化した部分を映像連続区間の切れ目とする。そして、連続区間判別部１０６は、各映像連続区間における撮影時刻の開始点及び終了点、並びに、再生時間の開始点及び終了点を特定する。

換算情報作成部１０７は、条件入力部１０１が入力を受け付けた条件と、分析部１０４が分析した分析結果とに基づいて、撮影時刻と、フレームレート及び再生時間の少なくとも何れか一方の情報とを含む換算情報を作成する。図２は、換算情報１４０の一例を示す概略図である。換算情報１４０は、カメラ欄１４０ａと、映像連続区間欄１４０ｂと、撮影開始時刻欄１４０ｃと、撮影終了時刻欄１４０ｄと、フレームレート欄１４０ｅと、再生開始時間欄１４０ｆと、再生終了時間欄１４０ｇとを有するテーブル形式の情報である。
カメラ欄１４０ａは、映像データ抽出部１０２で取り出された映像データを撮影した各々のカメラを識別するためのカメラ識別情報を格納する。
映像連続区間欄１４０ｂは、カメラ欄１４０ａで識別されるカメラで撮影された映像データの各々の連続映像区間を識別するための区間識別情報を格納する。
撮影開始時刻欄１４０ｃは、映像連続区間欄１４０ｂで識別される映像連続区間の撮影開始時刻を格納する。
撮影終了時刻欄１４０ｄは、映像連続区間欄１４０ｂで識別される映像連続区間の撮影終了時刻を格納する。
フレームレート欄１４０ｅは、映像連続区間欄１４０ｂで識別される映像連続区間における撮影時のフレームレートを格納する。
再生開始時間欄１４０ｆは、映像連続区間欄１４０ｂで識別される映像連続区間の映像データを再生する際の再生開始時間を格納する。
再生終了時間欄１４０ｇは、映像連続区間欄１４０ｂで識別される映像連続区間の映像データを再生する際の再生終了時間を格納する。

なお、通常、プログラムでデータを扱う場合には、プログラムで扱いやすいフォーマットに変換して使う場合が多い。ここで、図３は、換算情報の一例であるＸＭＬで記述された換算情報１４０＃１を示す概略図である。

プログラム格納部１０８は、換算情報１４０を用いて、撮影時刻に対応する再生時間の映像データをデジタル情報から再生するための撮影時刻再生制御プログラムを格納する。ここで、光ディスク等の可搬性記憶媒体に書き出されたデータは、例えば、家庭用プレーヤー等で再生される。Ｂｌｕ−ｒａｙ ＤｉｓｃではＢＤ−Ｊと呼ばれるＪａｖａ（登録商標）実行環境が用意されており、高度な機能を実現可能である。ここでの撮影時刻再生制御プログラムは、例えば、ＢＤ−Ｊにおいて実行されるプログラムであることを想定している。

データレイアウト部１０９は、変換部１０３で生成されたデジタル情報と、換算情報作成部１０７で生成された換算情報１４０と、プログラム格納部１０８に記憶されている撮影時刻再生制御プログラムとを組み合わせて、書出部１１０で書き出されるコンテンツの規格に従ってレイアウトするとともに、必要なメタデータを追加することで整合性を取り、コンテンツデータを生成する。
書出部１１０は、データレイアウト部１０９で生成されたコンテンツデータを光ディスク１３２等の可搬性記憶媒体に書き出す。従って、可搬性記憶媒体には、撮影された映像データを再生するためのデジタル情報と、このデジタル情報において、１つのフレームレートで連続して撮影されている区間の撮影時刻、並びに、フレームレート及び再生時間の少なくとも何れか一方の情報を含む換算情報と、撮影時刻に対応する再生時間の映像データをデジタル情報から再生するための撮影時刻再生制御プログラムとを含むコンテンツデータが記憶される。

以上に記載されたオーサリング装置１００は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、メモリと、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の外部記憶装置と、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｋ：登録商標）及びＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等の可搬性記憶媒体に対して情報を読み書きする読取／書込装置と、キーボード及びマウス等の入力装置と、ディスプレイ等の出力装置と、通信ネットワークに接続するためのＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）等の通信装置と、を備えた一般的なコンピュータで実現できる。
例えば、プログラム格納部１０８は、ＣＰＵがメモリ又は外部記憶装置を利用することにより実現でき、映像データ抽出部１０２、変換部１０３、分析部１０４、換算情報作成部１０７及びデータレイアウト部１０９は、外部記憶装置に記憶されている所定のプログラムをメモリにロードしてＣＰＵで実行することで実現でき、条件入力部１０１は、ＣＰＵが入力装置を利用することで実現できる。なお、監視映像データベース１３１は、ＣＰＵがメモリ又は外部記憶装置を利用することにより実現してもよく、また、ＣＰＵが通信装置その他のインターフェースを利用して、外部の監視映像データベース１３１に接続してもよい。書出部１１０は、ＣＰＵ９０１が読取／書込装置を利用することで実現できる。
この所定のプログラムは、読取／書込装置を介して記憶媒体から、あるいは、通信装置を介してネットワークから、外部記憶装置にダウンロードされ、それから、メモリ上にロードされてＣＰＵにより実行されるようにしてもよい。また、読取／書込装置を介して記憶媒体から、あるいは、通信装置を介してネットワークから、メモリ上に直接ロードされ、ＣＰＵにより実行されるようにしてもよい。

図４は、実施の形態１における再生装置１５０の構成を概略的に示すブロック図である。再生装置１５０は、入力部１５１と、ＵＩ制御部１５２と、読取部１５３と、処理実行部１５４と、再生処理部１５５とを備える。図４の括弧内の符号は、実施の形態４における構成を示している。

入力部１５１は、利用者による操作の入力を受け付ける。例えば、入力部１５１は、リモートコントローラ及び操作ボタン等により構成することができる。
ＵＩ制御部１５２は、入力部１５１を制御して、利用者からの操作に応じた指示を再生装置１５０の各部に与える。
読取部１５３は、光ディスク等の可搬性記憶媒体からコンテンツデータを読み取る。
処理実行部１５４は、読取部１５３で読み取られたコンテンツデータに含まれている撮影時刻再生制御プログラムを実行して、撮影時刻再生制御を行う。なお、処理実行部１５４は、例えば、ＢＤ−Ｊの実行環境を提供する。

再生処理部１５５は、処理実行部１５４からの指示に応じて、読取部１５３で読み取られたコンテンツデータに含まれているデジタル情報及びメタデータに基づいて、映像データを再生する処理を行う。再生処理部１５５は、再生制御部１５６と、プレゼンテーション制御部１５７と、デコーダ部１５８と、画面合成部１５９とを備える。
再生制御部１５６は、読取部１５３で読み取られたコンテンツデータに含まれているデジタル情報及びメタデータに基づいて、映像データを再生する処理を制御する。
プレゼンテーション制御部１５７は、コンテンツデータに含まれているメタデータ等に基づいて、文字情報及びユーザインタフェイス等の画像データを生成する。
デコーダ部１５８は、読取部１５３で読み取られたコンテンツデータに含まれているデジタル情報をデコードすることにより、映像データを生成する。
画面合成部１５９は、デコーダ部１５８で生成された映像データの映像と、プレゼンテーション制御部１５７で生成された画像データの画像とを合成することにより、画面情報を生成し、生成した画面情報を表示部１７０に出力する。表示部１７０は、入力された画面情報に基づいて、画面を表示する。

以上に記載された再生装置１５０は、例えば、ＣＰＵと、メモリと、ＨＤＤ等の外部記憶装置と、ＣＤ及びＤＶＤ等の可搬性記憶媒体に対して情報を読み書きする読取／書込装置と、キーボード及びマウス等の入力装置と、ディスプレイ等の出力装置とを備えた一般的なコンピュータで実現できる。
例えば、ＵＩ制御部１５２、処理実行部１５４及び再生処理部１５５は、外部記憶装置及び可搬性記憶媒体に記憶されている所定のプログラムをメモリにロードしてＣＰＵで実行することで実現でき、入力部１５１は、ＣＰＵが入力装置を利用することで実現でき、表示部１７０は、ＣＰＵが出力装置を利用することで実現でき、読取部１５３は、ＣＰＵが読取／書込装置を利用することで実現できる。
この所定のプログラムは、読取／書込装置を介して記憶媒体から、あるいは、通信装置を介してネットワークから、外部記憶装置にダウンロードされ、それから、メモリ上にロードされてＣＰＵにより実行されるようにしてもよい。また、読取／書込装置を介して可搬性記憶媒体から、あるいは、通信装置を介してネットワークから、メモリ上に直接ロードされ、ＣＰＵにより実行されるようにしてもよい。

以下では、再生装置１５０の処理実行部１５４が行う撮影時刻再生制御を説明する。
図５は、利用者が撮影時刻を指定した再生指示を入力部１５１に入力した際の処理実行部１５４での処理の概略を示す模式図である。図５は、撮影時間が不連続な場合を示している。また、図５では、撮影時のフレームレートは、常に一定で、再生時のフレームレートと同じであるとする。

図５に示されているように、１つ目の映像連続区間は、時刻Ａの４時２０分から時刻Ｂの４時５５分までの３５分間である。この区間は、再生時には時間ａの先頭である０分（０：００）から時間ｂの３５分（０：３５）までの映像となる。
２つ目の映像連続区間は、時刻Ｃの５時２５分から時刻Ｄの５時５５分である。この区間は、再生時には時間ｂの３５分（０：３５）から時間ｃの１時間５分（１：０５）までの映像となる。

図５に示されている例では、１つ目の映像連続区間では、時刻Ａが撮影開始時刻、時刻Ｂが撮影終了時刻、時間ａが再生開始時間、時間ｂが再生終了時間として、換算情報に格納されている。また、２つ目の映像連続区間では、時刻Ｃが撮影開始時刻、時刻Ｄが撮影終了時刻、時間ｂが再生開始時間、時間ｃが再生終了時間として、換算情報に格納されている。フレームレートは、例えば、再生時と同様の３０ｍｓとなっている。

利用者がこの映像の再生中に撮影時刻の５時３０分から再生したいと考えた場合、利用者は、入力部１５１を介して、５時３０分から再生するように操作を入力する。このような操作の入力を受けたＵＩ制御部１５２は、処理実行部１５４に、５時３０分から再生する指示を与える。このような指示を受けた処理実行部１５４は、換算情報１４０を参照して、撮影時刻の５時３０分は、２つ目の映像連続区間の先頭から５分の位置であることを算出し、再生時には２つ目の映像連続区間の先頭から５分、すなわち全体の先頭から４０分の位置であることを算出する。そして、処理実行部１５４は、先頭から４０分の位置を再生するように再生制御部１５６に指示を出す。
このような指示を受けた再生制御部１５６は、先頭から４０分の位置に対応するデジタル情報を読取部１５３に読み取らせて、読み取られたデジタル情報をデコーダ部１５８に与える。
以上のように、本実施の形態では、撮影時の時刻を用いた検索が可能となる。

なお、図５に示されている例のように、カメラの変更がない場合には、図２に示されている換算情報１４０において、カメラ欄１４０ａを設ける必要はない。また、フレームレートについても変更がない場合には、図２に示されている換算情報１４０において、フレームレート欄１４０ｅは省略可能である。なお、図６は、フレームレートを省略した場合における換算情報の一例である、ＸＭＬで記述された換算情報１４０＃２を示す概略図である。

実施の形態２．
次に、撮影時にフレームレートが異なる区間が存在する場合を説明する。ここで再生時フレームレートは３０ｆｐｓとする。
実施の形態２におけるオーサリング装置１００及び再生装置１５０は、実施の形態１と同様に構成されている。

図７は、利用者が撮影時刻を指定した再生指示を入力部１５１に入力した際の処理実行部１５４での処理の概略を示す模式図である。
図７の例では、１つ目の映像連続区間は、撮影開始時刻が時刻Ａの１時１０分０秒であり、撮影終了時刻が時刻Ｂの１時４０分０秒であり、この３０分間は、３０ｆｐｓで撮影されている。そして、１つ目の映像連続区間は、再生時には、再生開始時間である時間ａの０分０秒から、再生終了時間である時間ｂの３０分０秒までの３０分間の映像となる。
２つ目の映像連続区間は、撮影開始時刻が時刻Ｂの１時４０分０秒であり、撮影終了時刻が時刻Ｃの５時４０分０秒であり、この４時間は、１ｆｐｓで撮影されている。そして、２つ目の映像連続区間は、再生時には、再生開始時間である時間ｂの３０分０秒から、再生終了時間である時間ｃの３８分０秒までの８分間の映像となる。この区間では１ｆｐｓで撮影された映像を、３０ｆｐｓで再生するので、再生時間は撮影時間の３０分の１になっている。
Ａ−Ｂの区間と、Ｂ−Ｃの区間とは、時間的には連続しているが、フレームレートが異なるため別の映像連続区間になっている。

利用者がこの映像の再生中に撮影時刻の３時４０分から再生したいと考えた場合、利用者は、入力部１５１を介して、３時４０分から再生するように操作を入力する。このような操作の入力を受けたＵＩ制御部１５２は、処理実行部１５４に、３時４０分から再生する指示を与える。このような指示を受けた処理実行部１５４は、換算情報１４０を参照して、撮影時刻の３時４０分は、２つ目の映像連続区間の先頭から２時間０分後の時刻であることを特定する。そして、この２つ目の映像連続区間の先頭から２時間は、再生時間にすると、下記の（１）式より、４分となる。
２時間×（時間ｃ−時間ｂ）÷（時刻Ｃ−時刻Ｂ） ・・・（１）
処理実行部１５４は、２つ目の映像連続区間における再生開始時間が時間ｂの３０分０秒であるため、３４分を、撮影時刻３時４０分に対応した再生時間として特定する。そして、処理実行部１５４は、先頭から３４分の位置を再生するように再生制御部１５６に指示を出す。
このような指示を受けた再生制御部１５６は、先頭から３４分の位置に対応するデジタル情報を読取部１５３に読み取らせて、読み取られたデジタル情報をデコーダ部１５８に与える。
このようにして、実施の形態２においては、フレームレートが異なっていても、撮影時の時刻を用いた検索が可能となる。

なお、実施の形態２における、利用者から指示された撮影時刻に対応する再生時間の算出は、例えば、下記の（２）式により行うことができる。

ここで、ｔは、利用者から指示された撮影時刻に対応する再生時間である。Ｔ_ｕは、利用者から指示された撮影時刻である。ｔ_ｉｓは、利用者から指示された撮影時刻が含まれる映像連続区間の再生開始時間である。ｔ_ｉｅは、利用者から指示された撮影時刻が含まれる映像連続区間の再生終了時間である。Ｔ_ｉｓは、利用者から指示された撮影時刻が含まれる映像連続区間の撮影開始時刻である。Ｔ_ｉｅは、利用者から指示された撮影時刻が含まれる映像連続区間の撮影終了時刻である。
また、利用者から指示された撮影時刻が含まれる映像連続区間の撮影時のフレームレートをＦ_ｉ、再生時のフレームレートをｆとすると、実施の形態２における、利用者から指示された撮影時刻に対応する再生時間の算出は、例えば、下記の（３）式により行うこともできる。

フレームレートについては、撮影時刻と再生時間とから算出することができるため、図２に示されている換算情報１４０において、フレームレート欄１４０ｅは省略可能である。また、再生時間についても、撮影時刻とフレームレートとから算出することができるため、図２に示されている換算情報１４０において、再生開始時間欄１４０ｆ及び再生終了時間欄１４０ｇの何れか一方は省略可能である。

実施の形態３．
次に複数のカメラで撮影された映像データの映像を同じ時刻で切り替える場合を説明する。
実施の形態３におけるオーサリング装置１００及び再生装置１５０は、実施の形態１と同様に構成されている。

図８〜１０は、利用者が入力部１５１を介して、映像の再生中にカメラを切り替える操作を入力した場合の処理実行部１５４での処理の概略を示す模式図である。図８〜１０は、３つの監視カメラの映像を切り替えながら再生する例を示している。

図８は、利用者が、Ｃｈ１、Ｃｈ２、Ｃｈ３の３つのカメラの映像を切り替えた際の撮影時刻を示す概略図である。それぞれのカメラは、時間及びセンサーに応じて動作モードが変化している。図８に示されている例では、利用者の操作により、６時０分にＣｈ１のカメラの映像がＣｈ２のカメラの映像に切り替えられ（切替Ａ）、７時３０分にＣｈ２のカメラの映像がＣｈ１のカメラの映像に切り替えられ（切替Ｂ）、さらに、２３時０分にＣｈ１のカメラの映像がＣｈ３のカメラの映像に切り替えられる（切替Ｃ）。

図９は、利用者が、Ｃｈ１、Ｃｈ２、Ｃｈ３の３つのカメラの映像を切り替えた際の再生時間を示す概略図である。フレームレートの変化や撮影休止時間等の影響で、撮影時刻とは簡単には対応が取りにくい形になっている。例えば、図８の切替Ａは、Ｃｈ１の再生時間が１２分、及び、Ｃｈ２の再生時間が１時間４０分で行われている。切替Ｂは、Ｃｈ２の再生時間が２時間０分、及び、Ｃｈ１の再生時間が４４分で行われている。切替Ｃは、Ｃｈ１の再生時間が１０時間２７分、及び、Ｃｈ３の再生時間が１５分で行われている。

次に、以上のような切替Ａ〜Ｃを、処理実行部１５４がどのように処理するのかを図１０を用いて説明する。
利用者が、Ｃｈ１のカメラの映像の再生時間１２分に、Ｃｈ２のカメラの映像に切り替える操作を行った場合には、処理実行部１５４は、換算情報１４０を参照して、Ｃｈ１のカメラの映像の再生時間１２分が、撮影時刻６時０分に対応することを算出する。これは、例えば、下記の（４）式又は（５）式で算出することができる。

ここで、Ｔは、利用者が切り替えを行った再生時間に対応する撮影時刻である。ｔ_ｕは、利用者が切り替えを行った再生時間である。
次に、処理実行部１５４は、（４）式又は（５）式で算出された撮影時刻に対応する、切替先のカメラの映像における再生時間を、上記の（２）式又は（３）式で算出する。ここでは、（４）式又は（５）式で算出された撮影時刻がＴ_ｕとなる。換算情報１４０により、撮影時刻６時０分は、Ｃｈ２における再生時間１時間４０分に対応する。このため、処理実行部１５４は、Ｃｈ２の映像データの先頭から１時間４０分の位置を再生するように再生制御部１５６に指示を出す。
同様に、利用者が、Ｃｈ２のカメラの映像の再生時間２時間０分に、Ｃｈ１のカメラの映像に切り替える操作を行った場合には、処理実行部１５４は、換算情報１４０を参照して、Ｃｈ２のカメラの映像の再生時間２時間０分が、撮影時刻７時３０分に対応することを算出する。そして、処理実行部１５４は、換算情報１４０を参照することにより、撮影時刻７時３０分は、Ｃｈ１における再生時間４４分に対応することを算出する。そして、処理実行部１５４は、Ｃｈ１の映像データの先頭から４４分の位置を再生するように再生制御部１５６に指示を出す。
また、利用者が、Ｃｈ１のカメラの映像の再生時間１０時間２７分に、Ｃｈ３のカメラの映像に切り替える操作を行った場合には、処理実行部１５４は、換算情報１４０を参照して、Ｃｈ１のカメラの映像の再生時間１０時間２７分が、撮影時刻２３時００分に対応することを算出する。そして、処理実行部１５４は、換算情報１４０を参照することにより、撮影時刻２３時００分は、Ｃｈ３における再生時間１５分に対応することを算出する。そして、処理実行部１５４は、Ｃｈ３の映像データの先頭から１５分の位置を再生するように再生制御部１５６に指示を出す。

以上のように、不連続に撮影された映像データにおいて、撮影時刻をそろえて映像を切り替えるのは複雑であるが、換算情報１４０と撮影時刻再生制御プログラムとを、映像のデジタル情報と共に記録しておくことにより、容易に、撮影時刻をそろえて、カメラの映像を切り替えることができる。

以上に記載した実施の形態では、撮影時の１フレームを再生時の１フレームに対応させている。このため、撮影時のフレームレートが低い場合には、再生時にはたとえば早送りのように映像が表示されてしまう。これを防ぐために、データレイアウト部１０９において、フレームの補完を行い、撮影時の１秒が再生時の１秒に対応するように調整する方法を取ることもできる。また、補完は行わずに、撮影時のフレームレートに応じて撮影時刻再生制御プログラムからスロー再生のコマンドを発行し、不自然さを軽減する方法を取ることもできる。

実施の形態４．
実施の形態４は、各々のカメラで撮影された映像データの映像をまとめて表示する例を示す。業務用の監視レコーダーは、このような分割画面表示機能を持つものが多いが、家庭用の再生装置であるＢｌｕ−ｒａｙプレーヤーは、通常、このような分割画面表示機能が搭載されていない。そこで、家庭用の再生装置でも、業務用と同様の操作性を実現する場合、分割画面に相当する映像の映像データを予め合成してストリームとして保持しておく必要がある。
図１に示すように、実施の形態４におけるオーサリング装置４００は、条件入力部１０１と、映像データ抽出部１０２と、変換部１０３と、分析部１０４と、換算情報作成部１０７と、プログラム格納部１０８と、データレイアウト部４０９と、書出部１１０とを備える。実施の形態４におけるオーサリング装置４００は、データレイアウト部４０９での処理において、実施の形態１におけるオーサリング装置１００と異なっている。

データレイアウト部４０９は、変換部１０３で生成されたデジタル情報の映像を合成することで、各カメラで撮像された映像を予め定められた位置に配置した分割画面のデジタル情報を生成する。
例えば、図１１は、４分割の分割画面の例であり、図１２は、９分割の分割画面の例である。例えば、図１１に示されている４分割の分割画面において、画面１には、Ｃｈ１のカメラで撮像された映像データの映像を配置し、画面２には、Ｃｈ２のカメラで撮像された映像データの映像を配置し、画面３には、Ｃｈ３のカメラで撮像された映像データの映像を配置し、画面４には、Ｃｈ４のカメラで撮像された映像データの映像を配置する。
ここで、データレイアウト部４０９は、各カメラで撮像された映像を合成する際に、その撮影時刻を揃える。
なお、本実施の形態においては、各カメラで撮像された映像のフレームレートが異なる場合があるが、所定のフレームレートを基準フレームレートとして、この基準フレームレートで、各カメラで撮像された映像データの映像を合成する。例えば、基準フレームレートよりも低いフレームレートの映像データについては、補完等により新たなフレームを生成したり、足りないフレームについては、予め定められたフレームを挿入したりすればよい。ここで、予め定められたフレームは、青及び黒等の一色のフレームとすることができる。また、基準フレームレートよりも低いフレームレートの映像データについては、余分なフレームを削除すればよい。なお、基準フレームレートについては、合成される映像データのフレームレートの内、最も高いフレームレートとすることが望ましい。
さらに、本実施の形態においては、各カメラで撮像された映像データの映像が途切れている場合があるが、このような場合には、撮像されていない時間帯については、予め定められたフレームを挿入すればよい。ここで、予め定められたフレームは、青及び黒等の一色のフレームとすることができる。

また、データレイアウト部４０９は、換算情報作成部１０７が生成した換算情報１４０に、分割画面のデジタル情報に対応した、カメラ識別情報、区間識別情報、撮影開始時刻、撮影終了時刻、フレームレート、再生開始時間及び再生終了時間を格納する。

さらに、データレイアウト部４０９は、どのカメラの映像がどの位置に配置されているのかを示す情報をメタデータとして生成する。なお、このようなメタデータを生成する代わりに、例えば、図３に示されているＸＭＬ形式の換算情報１４０＃１に、有効チャンネル数（Ｐｌａｙｌｉｓｔ数）、分割画面における配置位置、配置位置とチャンネル（カメラ）との対応、を示す情報を追加することも可能である。
そして、データレイアウト部４０９は、変換部１０３で生成されたデジタル情報と、分割画面のデジタル情報と、換算情報作成部１０７で生成され、更新された換算情報１４０と、プログラム格納部１０８に記憶されている撮影時刻再生制御プログラムとを組み合わせて、書出部１１０で書き出されるコンテンツの規格に従ってレイアウトするとともに、必要なメタデータを追加することで整合性を取り、コンテンツデータを生成する。

図４に示されているように、実施の形態４における再生装置４５０は、入力部１５１と、ＵＩ制御部１５２と、読取部１５３と、処理実行部４５４と、再生処理部１５５とを備える。実施の形態４における再生装置４５０は、処理実行部４５４での処理において、実施の形態１における再生装置１５０と異なっている。

処理実行部４５４は、読取部１５３で読み取られたコンテンツデータに含まれている撮影時刻再生制御プログラムを実行して、撮影時刻再生制御を行う。本実施の形態においては、表示部１７０に分割画面が表示されている場合には、処理実行部４５４は、プレゼンテーション制御部１５７を制御することにより、入力部１５１を介して、表示されている分割画面において、各カメラで撮像された映像データの映像が配置されている領域を選択することができるようにする。そして、処理実行部４５４は、利用者が入力部１５１を介して、カメラで撮像された映像データの映像が配置されている領域を選択する操作の入力を行うと、入力された際の再生時間に対応する撮影時刻に基づいて、選択されたカメラの映像データの映像を表示部１７０に表示させる。この処理については、実施の形態３での処理と同様である。

以上のように、実施の形態４によれば、再生装置４５０の利用者は、各カメラで撮影された映像データの映像を１つの画面で見ることができ、また、この画面で、拡大して表示する映像を選択することにより、その映像が表示部１７０に拡大して表示される。従って、今回新たに付け加えられた分割表示画面用のデジタル情報も、チャンネルの１つとして、撮影時刻に基づいて、他のチャンネルの映像に切り替えることで、分割表示画面と個別の画面とを自由に切り替えることができるようになる。このため、家庭用の再生装置においても、業務用監視レコーダーの分割表示に類似した操作性を実現することができる。

なお、以上の説明では、データレイアウト部４０９は、どのカメラの映像がどの位置に配置されているのかを示す情報を示すメタデータを生成しているが、予め定められた分割数で、予め定められた分割位置に、予め定められたカメラの映像を配置する場合には、このようなメタデータを生成する必要はない。このような場合には、予め定められた分割数、分割位置及びカメラの映像の配置を撮影時刻再生制御プログラムに組み込んでおけばよい。

なお、実施の形態４におけるオーサリング装置４００及び再生装置４５０のそれぞれが、実施の形態２又は３におけるオーサリング装置１００及び再生装置１５０のそれぞれが行っている処理を行うことができるようにしてもよい。

以上に記載した実施の形態１〜４においては、監視映像データベース１３１は、オーサリング装置１００、４００の外部に設けられているが、オーサリング装置１００、４００の内部に設けられていてもよい。

１００，４００：オーサリング装置、 １０１：条件入力部、 １０２：映像データ抽出部、 １０３：変換部、 １０４：分析部、 １０５：フレームレート判別部、 １０６：連続区間判別部、 １０７：換算情報作成部、 １０８：プログラム格納部、 １０９，４０９：データレイアウト部、 １１０：書出部、 １３１：監視映像データベース、 １３２：記憶媒体、 １５０，４５０：再生装置、 １５１：入力部、 １５２：ＵＩ制御部、 １５３：読取部、 １５４，４５４：処理実行部、 １５５：再生処理部、 １５６：再生制御部、 １５７：プレゼンテーション制御部、 １５８：デコーダ部、 １５９：画面合成部。

Claims (12)

1. 映像データを分析することで、１つのフレームレートで連続して撮影されている区間を特定し、当該区間の撮影時刻と、フレームレート及び再生時間の少なくとも何れか一方とを特定する分析部と、
   前記分析部により特定された情報を含む換算情報を作成する換算情報作成部と、
   前記映像データを所定のフォーマットのデジタル情報に変換する変換部と、
   前記換算情報を用いて、撮影時刻に対応する再生時間の映像データを前記デジタル情報から再生するための撮影時刻再生制御プログラムを格納するプログラム格納部と、
   前記換算情報、前記デジタル情報及び前記撮影時刻再生制御プログラムを含むコンテンツデータを生成するデータレイアウト部と、
   前記コンテンツデータを可搬性記憶媒体に書き出す書出部と、を備えること
   を特徴とする情報処理装置。
2. 前記映像データを抽出するための条件の入力を受け付ける条件入力部と、
   複数の映像データを記憶している映像データ記憶部から、前記条件入力部が入力を受け付けた条件を満たす映像データを抽出する映像データ抽出部と、をさらに備え、
   前記分析部は、前記映像データ抽出部で抽出された映像データを分析し、
   前記変換部は、前記映像データ抽出部で抽出された映像データを変換すること
   を特徴とする請求項１に記載の情報処理装置。
3. 前記映像データ記憶部には、複数の撮像装置で撮像された複数の映像データが記憶されており、
   前記条件入力部は、前記条件として、抽出する映像データを撮像した撮像装置を示す情報の入力を受け付け、
   前記分析部は、前記映像データ抽出部で抽出された映像データを分析して、前記条件入力部が入力を受け付けた情報で示される撮像装置毎に、１つのフレームレートで連続して撮影されている区間を特定し、当該区間の撮影時刻と、フレームレート及び再生時間の少なくとも何れか一方とを特定し、
   前記換算情報は、前記条件入力部が入力を受け付けた情報で示される撮像装置毎に、前記分析部により特定された情報を含む情報であり、
   前記撮影時刻再生制御プログラムは、前記換算情報を用いて、前記条件入力部が入力を受け付けた情報で示される撮像装置毎に、撮影時刻に対応する再生時間の映像データを前記デジタル情報から再生するためのプログラムであること
   を特徴とする請求項２に記載の情報処理装置。
4. 前記データレイアウト部は、前記条件入力部が入力を受け付けた情報により複数の撮像装置が示される場合に、前記換算情報を用いて、前記デジタル情報に基づいて、前記条件入力部が入力を受け付けた情報で示される複数の撮像装置で撮像された映像データの映像を撮影時刻が同じになるように合成することで、合成映像データのデジタル情報を生成して、当該合成映像データのデジタル情報を前記コンテンツデータに含めるとともに、当該合成映像データのデジタル情報において、１つのフレームレートで連続して撮影されている区間の撮影時刻と、フレームレート及び再生時間の少なくとも何れか一方とを特定し、当該特定された情報を前記換算情報に追加すること
   を特徴とする請求項３に記載の情報処理装置。
5. コンピュータを
   可搬性記憶媒体から、撮影された映像データを再生するためのデジタル情報と、当該デジタル情報において、１つのフレームレートで連続して撮影されている区間の撮影時刻、並びに、フレームレート及び再生時間の少なくとも何れか一方を含む換算情報と、を含むコンテンツデータを読み取る読取部と、
   撮影時刻の入力を受け付ける入力部と、
   前記読取部が読み取った換算情報を用いて、前記入力部が入力を受け付けた撮影時刻に対応する再生時間を特定する処理実行部と、
   前記処理実行部で特定された再生時間に対応する映像データを、前記読取部が読み取ったデジタル情報から再生する再生処理部と、して機能させること
   を特徴とするプログラム。
6. 前記コンテンツデータは、撮像装置毎に撮影された映像データを再生するためのデジタル情報と、撮像装置毎に、１つのフレームレートで連続して撮影されている区間の撮影時刻、並びに、フレームレート及び再生時間の少なくとも何れか一方を含む換算情報と、を含み、
   前記入力部は、前記再生処理部が映像データの再生中に、撮像装置を示す情報の入力を受け付け、
   前記処理実行部は、前記読取部が読み取った換算情報を用いて、前記再生処理部が再生している映像データの撮影時刻に対応する、前記入力部が入力を受け付けた情報で示される撮影装置で撮影された映像データの再生時間を特定し、
   前記再生処理部は、前記読取部が読み取ったデジタル情報より、前記入力部が入力を受け付けた情報で示される撮影装置で撮影された映像データを、前記処理実行部で特定された再生時間から再生すること
   を特徴とする請求項５に記載のプログラム。
7. 映像データを分析することで、１つのフレームレートで連続して撮影されている区間を特定し、当該区間の撮影時刻と、フレームレート及び再生時間の少なくとも何れか一方とを特定する分析過程と、
   前記分析過程により特定された情報を含む換算情報を作成する換算情報作成過程と、
   前記映像データを所定のフォーマットのデジタル情報に変換する変換過程と、
   前記換算情報、前記デジタル情報、及び、前記換算情報を用いて、撮影時刻に対応する再生時間の映像データを前記デジタル情報から再生するための撮影時刻再生制御プログラムを含むコンテンツデータを生成するデータレイアウト過程と、
   前記コンテンツデータを可搬性記憶媒体に書き出す書出過程と、を有すること
   を特徴とする情報処理方法。
8. 前記映像データを抽出するための条件の入力を受け付ける条件入力過程と、
   前記条件入力過程で入力を受け付けた条件を満たす映像データを抽出する映像データ抽出過程と、をさらに有し、
   前記分析過程は、前記映像データ抽出過程で抽出された映像データを分析し、
   前記変換過程は、前記映像データ抽出過程で抽出された映像データを変換すること
   を特徴とする請求項７に記載の情報処理方法。
9. 前記条件入力過程は、前記条件として、抽出する映像データを撮像した撮像装置を示す情報の入力を受け付け、
   前記分析過程は、前記映像データ抽出過程で抽出された映像データを分析して、前記条件入力過程が入力を受け付けた情報で示される撮像装置毎に、１つのフレームレートで連続して撮影されている区間を特定し、当該区間の撮影時刻と、フレームレート及び再生時間の少なくとも何れか一方とを特定し、
   前記換算情報は、前記条件入力過程で入力を受け付けた情報で示される撮像装置毎に、前記分析過程により特定された情報を含む情報であり、
   前記撮影時刻再生制御プログラムは、前記換算情報を用いて、前記条件入力過程で入力を受け付けた情報で示される撮像装置毎に、撮影時刻に対応する再生時間の映像データを前記デジタル情報から再生するためのプログラムであること
   を特徴とする請求項８に記載の情報処理方法。
10. 前記データレイアウト過程は、前記条件入力過程で入力を受け付けた情報により複数の撮像装置が示される場合に、前記換算情報を用いて、前記デジタル情報に基づいて、前記条件入力過程で入力を受け付けた情報で示される複数の撮像装置で撮像された映像データの映像を撮影時刻が同じになるように合成することで、合成映像データのデジタル情報を生成して、当該合成映像データのデジタル情報を前記コンテンツデータに含めるとともに、当該合成映像データのデジタル情報において、１つのフレームレートで連続して撮影されている区間の撮影時刻と、フレームレート及び再生時間の少なくとも何れか一方とを特定し、当該特定された情報を前記換算情報に追加すること
    を特徴とする請求項９に記載の情報処理方法。
11. 可搬性記憶媒体から、撮影された映像データを再生するためのデジタル情報と、当該デジタル情報において、１つのフレームレートで連続して撮影されている区間の撮影時刻、並びに、フレームレート及び再生時間の少なくとも何れか一方を含む換算情報と、を含むコンテンツデータを読み取る読取過程と、
    撮影時刻の入力を受け付ける入力過程と、
    前記読取過程で読み取られた換算情報を用いて、前記入力過程で入力を受け付けた撮影時刻に対応する再生時間を特定する処理実行過程と、
    前記処理実行過程で特定された再生時間に対応する映像データを、前記読取過程で読み取られたデジタル情報から再生する再生処理過程と、を有すること
    を特徴とする再生方法。
12. 前記コンテンツデータは、撮像装置毎に撮影された映像データを再生するためのデジタル情報と、撮像装置毎に、１つのフレームレートで連続して撮影されている区間の撮影時刻、並びに、フレームレート及び再生時間の少なくとも何れか一方を含む換算情報と、を含み、
    前記入力過程は、前記再生処理部が映像データの再生中に、撮像装置を示す情報の入力を受け付け、
    前記処理実行過程は、前記読取部が読み取った換算情報を用いて、前記再生処理過程で再生されている映像データの撮影時刻に対応する、前記入力過程で入力を受け付けた情報で示される撮影装置で撮影された映像データの再生時間を特定し、
    前記再生処理過程は、前記読取過程で読み取られたデジタル情報より、前記入力過程で入力を受け付けた情報で示される撮影装置で撮影された映像データを、前記処理実行過程で特定された再生時間から再生すること
    を特徴とする請求項１１に記載の再生方法。

Images