JP6116168B2

JP6116168B2 - 情報処理装置およびその方法

Info

Publication number: JP6116168B2
Application number: JP2012203538A
Authority: JP
Inventors: 敦史川野
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-09-14
Filing date: 2012-09-14
Publication date: 2017-04-19
Anticipated expiration: 2032-09-14
Also published as: CN103685914B; JP2014059660A; CN103685914A; US20140079340A1; US9607013B2

Description

本発明は、撮像した画像を、メタデータを用いた画像検索が可能な形式で保存するように処理する情報処理装置およびその方法に関する。

従来、監視カメラ、カメラから得た映像を記録する記録装置、映像を確認するビューア装置などから構成される監視カメラシステムが知られている。この監視カメラシステムの構成要素である監視カメラとして、天井や壁に設置された固定カメラや、ユーザ操作によりパン・チルト・ズームなどが可能なPTZ（パン・チルト・ズーム）カメラがある。監視カメラシステムでは、このような監視カメラが撮影した映像を２４時間、絶え間なく録画する用途のため、記録装置において記録する映像のデータ量は非常に膨大なものとなる。この膨大な量の録画映像の中から異常事態を効率的に検出、確認するため、一部監視カメラシステムでは、映像解析処理を施し、映像に所定の情報が付与する処理が行われている。映像に所定の情報を付与する技術として、例えば、特許文献１や特許文献２に記載される技術がある。

特許文献１には、カメラが撮影した連続する画像データにおいて変化がある場合、その変化のレベルおよび変化箇所をインデックス情報として記録する画像記録装置が記載されている。また、特許文献１に記載されている画像記録装置は、記録した画像を再生する際、このインデックス情報を参照して、変化があった箇所のみを再生している。これによれば、カメラが撮影した画像の確認作業を容易にすることが可能となる。

特許文献２には、映像送信装置が映像データを所定の単位で分割して、この分割した映像データに関連したメタデータを付与して、映像データおよびメタデータを映像受信装置へ送信する映像監視システム記載されている。これによれば、蓄積処理と検索処理を効率化することが可能となる。

特開2004-112005号公報特許第4099973号

上記の文献に記載されている技術では、記録する画像データまたは映像データに対してメタデータのような所定の情報を付与することによって、後の検出や確認を効率的なものにしている。しかし、いずれの文献においても、長時間の画像データや映像データに付与する情報の量は、膨大なものとなっており、検索処理負荷が十分に軽減されたとは言えないという課題があった。

本発明は、上記課題に鑑みてなされたものであり、複数の画像データそれぞれにメタデータを付与し、付与後にメタデータを検索し所望の画像データを抽出する際、処理負荷を低減しつつ効率的な検索を可能にすることを目的とする。

上記目的を達成するための一手段として、本発明の情報処理装置は以下の構成を備える。すなわち、複数の画像データを取得する画像取得手段と、複数の画像データそれぞれが対応する複数のメタデータを取得するメタデータ取得手段と、前記複数のグループにグループ化された複数のメタデータのそれぞれのグループに属する複数のメタデータの複数の集合のそれぞれに対するサマリ情報として、前記複数のグループにグループ化された複数のメタデータのそれぞれのグループに対応する複数の第１サマリメタデータを生成する生成手段と、を備え、前記生成手段は、前記複数の第１サマリメタデータの集合に対するサマリ情報として、前記複数の第１サマリメタデータがグループ化された前記複数の第１サマリメタデータのグループに対応する第２サマリメタデータを生成し、前記複数のメタデータのそれぞれは、それぞれが対応する前記複数の画像データのそれぞれでイベントが検知されたか、されなかったかを示すか、を示し、前記複数の第１サマリメタデータのそれぞれは、それぞれが対応する前記複数のメタデータのグループのいずれかがイベントが検知されたことを示すか、いずれもイベントが検知されなかったことを示すか、を示し、前記第２サマリメタデータは、対応するグループに属する前記複数の第１サマリメタデータのいずれかがイベントが検知されたことを示すか、いずれもイベントが検知されなかったことを示すか、を示すことを特徴とする。

本発明によれば、メタデータに基づいて所望の画像データを抽出する際、処理負荷を低減しつつ効率的な検索が可能となる。

第１実施形態による情報処理装置の構成を示す図。サマリ情報の例を示す図。サマリ情報の作成方法例を示す図。 PTZ時のサマリ情報作成方法を示す図。映像ファイルと連結メタデータファイルを階層的に記憶させた例を示す図。映像とメタデータの対応関係を示す図。階層サマリ情報の例を示す図。記憶処理のフローチャートを示す図。録画システムを示す図。第２実施形態による情報処理装置の構成を示す図。

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

［第１実施形態］
図１は、第１実施形態による情報処理装置１０の構成を示す図である。情報処理装置１０は、画像取得部１０１、制御情報取得部１０２、符号化部１０３、解析部１０４、パラメータ設定部１０５、一時記憶部１０６、サマリ情報作成部１０７、および記録制御部１０８から構成される。画像取得部１０１は、画像を外部の撮像装置（図示せず）から取得する。この画像は、例えば時系列順に並べられている。画像取得部１０１はまた、取得した複数の画像に、それぞれの画像を識別するための画像IDを付与する。なお、画像取得部１０１が取得する画像は、外部の撮像装置が撮像した画像に限らず、外部のサーバや外部メモリに保存された画像であっても良い。

制御情報取得部１０２は、カメラのパン・チルト・ズーム情報などを、外部の撮像装置（図示せず）から取得する。制御情報取得部１０２が取得する情報は、カメラのパン・チルト・ズーム情報に限らず、ホワイトバランスや露出の変化といった、カメラ内部で取得可能な情報であれば良い。符号化部１０３は、画像取得部１０１が取得した連続画像それぞれをＨ．２６４形式に符号化し、さらに、輝度成分のみを抽出したグレイ画像を作成する。なお、符号化部１０３における符号化処理は、Ｈ．２６４形式に限らず、連続ＪＰＥＧやＭＰＥＧ−２など連続画像を符号化することができるものであれば良い。

解析部１０４は、符号化部１０３によって作成されたグレイ画像を用いて、背景差分法によって、動く対象（動体）または不動の対象（不動体）を検出する。さらに、検出した対象のフレーム間における位置関係から同定した対象（オブジェクト）にID（オブジェクトID）を付与し、このオブジェクトの追跡処理を行う。まず、オブジェクトそれぞれの形状の特徴および行動パターンの特徴から、人（男性、女性）、不動体、その他の属性を付与する。また、オブジェクトの形状、位置、大きさ、移動軌跡等を検出する。さらに、オブジェクトの移動軌跡が画面上の特定の場所を通過したイベント（通過イベント）、オブジェクトが画面上の同一の場所に所定時間以上滞在したイベント（置去りイベント）を検知する。そして、得られたオブジェクトやイベント等を用いて、フレーム毎にメタデータ（第１のメタデータ）を作成する。イベントについては、全てのフレームで検出されるとは限らないので、検出されたフレームにおいてメタデータに反映させる。また、メタデータの先頭部には、そのフレーム自身のデータサイズを記載する。

解析部１０４の処理は、上述したものに限らず、フレーム間差分法やオプティカルフローを用いた動体追尾等、画像を解析してメタデータを作成する処理であれば良い。また、本実施形態において、解析部１０４は、符号化部１０３からグレイ画像を取得する構成となっているが、このような構成に限らず、画像取得部１０１から直接取得した画像を用いる構成としても良い。

パラメータ設定部１０５は、ユーザの操作等により、一時記憶部１０６において一時的に記憶する符号化画像およびメタデータに関連する上限値を受け取る。この上限値は、具体的には、ファイル上限値および階層ごとの階層上限数である。ファイル上限値とは、一時記憶するデータ量や時間等であり、符号化画像とメタデータに対してそれぞれ設定される。また、階層および階層上限数とは、記録制御部１０８が情報を記録する際に必要となるものであり、後に詳述する。また、パラメータ設定部１０５は、ユーザの操作等により、サマリ情報フィルタを受け取る。サマリ情報フィルタとは、後述するサマリ情報作成部１０７で作成するサマリ情報に記載する内容を指定するフィルタのことであり、メタデータに記載された情報の少なくとも１つである。

一時記憶部１０６は、画像取得部１０１によって付与された画像IDと、符号化部１０３によって作成された符号化画像および解析部１０４によって作成されたメタデータを対応付けて、一時的に記憶する。ここで、一時記憶している符号化画像もしくはメタデータが、前述したファイル上限値を超えた場合、一時記憶部１０６は、記憶している符号化画像とメタデータをグループ化してサマリ情報作成部１０７へ出力し、その後リセットする。

サマリ情報作成部１０７は、一時記憶部１０６から符号化画像とメタデータを取得し、これらから、それぞれ映像ファイルとサマリ情報（第２のメタデータ）を作成する。ここで、映像ファイルはMP4形式のファイルであり、MP4ファイル構造に必要な各符号化画像のサイズやオフセット位置等が設定され、作成される。一方、サマリ情報は、記憶されたメタデータの範囲とイベントの有無、オブジェクトの数、オブジェクトの位置情報等からなり、前述したサマリ情報フィルタの設定に従い作成される。

図２は、サマリ情報をXML形式で記載した例である。図２は、サマリ情報フィルタに、メタデータの範囲（range）、イベントの有無又は回数（event）、オブジェクトの属性および数（human）、オブジェクトの位置情報（area）を設定した場合の例である。

メタデータの範囲は、画像取得部１０１によって付与された画像IDを使用して、記憶されたメタデータの時間軸上の範囲を示すものである。すなわち、そのグループの最初の画像の画像IDと最後の画像の画像IDを含む。イベントの有無又は回数は、記憶されたメタデータの範囲内での、イベントの種類（通過イベント（tripwire）もしくは置去りイベント（abandoned））毎のイベントの有無又は回数である。オブジェクトの属性は、一時記憶部１０６から出力された複数の画像から検出されたオブジェクトを表す。オブジェクトの数は、記憶されたメタデータの範囲内でオブジェクトを属性ごとにカウントした数である。オブジェクトの位置情報は、記憶されたメタデータの範囲内において、画面上でオブジェクトを検出した位置（座標）の和集合である。図２に示した例とは別の例として、サマリ情報フィルタとして、メタデータの範囲とイベントの有無のみを設定した場合は、メタデータの範囲とイベントの有無のみが、サマリ情報に記載される。

図３は、符号化画像（図３（ａ））と、作成されたサマリ情報（図３（ｂ））の例である。図３に示す例では、図３（ａ）のようにメタデータの範囲は１チャンク（Chunk）区間であり、１チャンク区間は複数のフレームで構成されている。解析部１０４は、検知したオブジェクトやイベントに基づいて、フレーム毎にメタデータを作成する。サマリ情報作成部１０７は、１チャンク区間分のフレーム経過後に、得られたメタデータおよび符号化画像からサマリ情報を作成する。このサマリ情報を図示化すると図３（ｂ）のようになり、ここでは検出されたイベントについて、そのイベントに関連した情報が含まれたものとなっている。具体的には、2つの位置（Area1及びArea2）において人間および動物もしくは不動体（Human,aninmal,object）が、通過イベントもしくは置去りイベント（tripwire, abandoned）を行ったことを示すサマリ情報となっている。すなわち、このチャンク区間内のn番目の画像で通過イベントが検出され、n+m番目の画像で置去りイベントが検出されたとする。このチャンク区間のサマリ情報としては、このチャンク区間内の何れかの画像で通過イベントと置去りイベントが検出されたことが含まれる。また、サマリ情報は、通過イベント、置去りイベントが検出された位置、及び、検出されたオブジェクトの属性（人、動物、その他）を含む。

また、制御情報取得部１０２から、カメラのパン・チルト・ズーム（PTZ）情報等、カメラの制御情報の通知を受けた場合は、サマリ情報は分割して作成される。１サマリ情報範囲（１チャンク区間）の間に、PTZの設定変更通知を受けた場合の例を図４に示す。図４において、記憶されたメタデータのChunk n+1において、サマリ情報作成部１０７は、先頭からPTZ設定変更通知を受け付けるまでのメタデータを、サマリ情報ｓ１として作成する。また、PTZ期間中はサマリ情報ｓ２、PTZ終了後からメタデータの最後まではサマリ情報ｓ３を作成する。このように、サマリ情報は、制御情報の変化に応じて部分毎に作成される。ここで、制御情報取得部１０２から受ける制御情報は、PTZ情報に限らず、ホワイトバランスの変化や露出の変化などカメラから得られる制御情報であっても良い。カメラの制御情報は、サマリ情報に反映される。

本実施形態では、サマリ情報作成部１０７が作成する映像ファイルは、MP4形式のファイルであるが、これに限らず、ＡＶＩなど符号化画像をひとつの映像として構成することができるコンテナであれば良い。また、本実施形態では、サマリ情報作成部１０７が作成するサマリ情報はXML形式であるが、これに限らず、バイナリ形式や独自の構造を持つ形式などサマリ情報を管理する形式であれば良い。サマリ情報の記載内容は本実施形態による内容に限らず、記憶されたメタデータの範囲において、メタデータの内容を集約したものであれば良い。また、本実施形態では、カメラの制御情報の変化を制御情報取得部１０２から取得したが、画像取得部１０１が取得する画像のヘッダとして付与された同情報が存在する場合、これを使用しても良い。

記録制御部１０８は、一時記憶部１０６に記憶されたメタデータとサマリ情報作成部１０７が作成したサマリ情報と映像ファイルをまとめて、外部装置に階層的に記録する。図５は、記録制御部１０８が、映像ファイルであるMP4ファイルと、メタデータから作成された連結メタデータファイルを外部装置に記憶したときの例である。図５は、Layer0からLayer3までの４階層に分けた例を示している。記録は、パラメータ設定部１０５で受け取った階層上限数に基づいて行われる。階層上限数とは、階層ごとに記憶できるファイルもしくはフォルダの上限数である。図５では、Layer3の階層上限数はMP4ファイルと連結メタデータファイルそれぞれで１５ファイル、Layer2とLayer1の階層上限数は１０００フォルダに設定されている。なお、階層上限数は１０００フォルダに限定されるものではない。

記録制御部１０８は、MP4ファイルおよび連結メタデータファイルを最初に保存するとき、Layer1およびLayer2のフォルダを１つ作成する。それぞれのフォルダ名は作成した順に０００から９９９までの数字とする。次に、最下位層のLayer3にMP4ファイルおよび連結メタデータファイルを保存する。そして、階層ごとに階層サマリ情報を作成する。以降、ファイルを追加するとき、階層上限数に従い、Layer2の最も数字の小さなフォルダ（図５では０００）のファイル数が階層上限数より小さい場合、そのフォルダにファイルを保存する。一方で、階層上限数を超えた場合、Layer2に新規フォルダを作成し、MP4ファイルおよび連結メタデータファイルを保存する。

ただし、Layer2のフォルダ名の数字が９９９を超えた場合、Layer1に新たなフォルダを作成し、上記同様フォルダを作成しMP4ファイルおよび連結メタデータファイルを保存する。Layer1のファイル名の数字が上限９９９を超えた場合、Layer1の０００フォルダを削除し、０００フォルダに同様に保存する。以降は同様に削除した上で保存を繰り返す。

図６は、記録するMP4ファイルと連結メタデータファイルのファイル構成例である。上段のMP4ファイル（movie file）は、MP4BOX構造のヘッダ（Movie Header）を先頭に配置し、以降にFrame[0]〜[n]まで、符号化画像を連続して配置したものである。連結メタデータファイル（metadata file）は、サマリ情報作成部１０７が作成したサマリ情報を先頭に配置し、以降にFrame[0]〜[n]の符号化画像と対応させて、一時記憶部１０６に記憶されたメタデータを連続して配置したものである。図６に示した構成のMP4ファイルおよび連結メタデータファイルは名前は同一として、拡張子は別として記憶する。これによりMP4ファイルと連結メタデータの対応付けをとる。更に、連結メタデータファイルを保存するとき、階層サマリ情報を作成および更新する。なお、サマリ情報および連結メタデータファイルは、必ずしも同一ファイルとする必要はなく、サマリ情報と連結メタデータをそれぞれ別ファイルとして記録しても良い。

また、記録制御部１０８は、同じ上位階層に従属するファイルやフォルダごとにサマリ情報を集約して階層サマリ情報（第３のメタデータ）を作成し、内容が変更されるたびに更新して階層管理する。例えば、Layer3では、１５ファイルごとに階層サマリ情報が作成され（例えばlayer3_1.meta）、Layer2では、９９９フォルダごとに階層サマリ情報が作成される（例えばlayer2_1.meta）。図７は、階層サマリ情報をXML形式で記載した例である。図７（ａ）には、Layer3における階層サマリ情報（階層上限数は３ファイル）、図７（ｂ）には、Layer2における階層サマリ情報（階層上限数は３フォルダ）の例が示されている。それぞれの階層サマリ情報には、同じフォルダに記憶されている一つ以上のサマリ情報から抽出されたイベントの有無およびパン・チルト・ズーム制御情報がXML形式で記載されている。

記録制御部１０８が映像および連結メタデータを記録する外部装置とは、ＳＤカードやハードディスク、ＮＡＳなどデータを記憶可能な媒体であればよく、特定の機器に限定されるものではない。図８は上述した記憶処理のフローチャートである。ｓ１においては、本記憶処理を継続するかを判定する。まず、画像取得部１０１から画像を取得し（ｓ２）、符号化部１０３において符号化画像を作成する（ｓ３）。次に、解析部１０４がｓ３で作成した符号化画像の解析処理を行い（ｓ４）、符号化画像とメタデータを一時記憶部１０６に記憶する（ｓ５）。次に、一時記憶部１０６に記憶した符号化画像もしくはメタデータがファイル上限数を下回る場合、Ｓ１判定に戻る（ｓ６）。一方で、ファイル上限数を超えた場合、サマリ情報作成部１０７においてサマリ情報を作成し（ｓ７）、記録制御部１０８の制御に従い、記録処理を行う（ｓ８）。そして、一時記憶部１０６をリセットし、Ｓ１の判定に戻る（ｓ９）。

図９に本実施形態による情報処理装置を用いた録画システムとその動作を示す。図９において、カメラとビューアはワイヤレスＬＡＮにより接続されており、カメラとネットワークドライブは有線ＬＡＮにより接続されている。そして、本実施形態による情報処理装置はカメラ内に搭載している。本実施形態による情報処理装置は、カメラから直接画像を取得し本実施形態による処理を実施し、ネットワークドライブへ結果を出力し、記憶させる。

イベントが発生した映像のみを再生する場合、ビューアからカメラに検索メッセージを送信し、これを受け付けたカメラはネットワークドライブ内を検索する。例えば、通過イベントを検索する場合、ネットワークドライブの階層構造の最上位の階層サマリ情報から順に通過イベントの有無を確認し、通過イベントが存在する場合、下位の階層サマリ情報を確認する。最終的に、メタデータに付随したサマリ情報から通過イベントの有無を確認し、発見した場合、当該箇所の映像とメタデータをカメラ経由でビューアに送信する。システムの構成はこのようなものに限らず、本情報処理装置をネットワークドライブに搭載する構成としても良い。

このように、以上の構成に従い映像ファイルおよび連結メタデータファイルを階層化して保存することで、検索する際に、階層的にメタデータを辿ることで検索の効率化を実現できる。なお、本実施形態では、映像ファイルを保存する例を示したが、映像ファイルに限らず、静止画ファイル等を含む画像ファイルであれば良い。

［第２実施形態］
図１０は、第２実施形態による記録装置の構成を示す図であり、基本的に図１と同じであるが、画像取得部２０１とメタデータ取得部２０２を備える点で異なる。画像取得部２０１は、外部の撮像装置が撮像した画像、およびこれらの画像に外部の装置が付与した画像IDを取得する。撮像する装置と、画像IDを付与する装置は、同一であってもよいし、別であってもよい。メタデータ取得部２０２は、メタデータおよびメタデータと対応する画像IDを外部の装置から取得する。外部から取得した画像の画像IDとメタデータの画像IDは、必ずしも一対一に同期している必要はないが、それぞれのIDに対応する画像とメタデータは、例えば図６のように、同じ量や時間を単位としたものとする。一時記憶部１０６において、画像と画像IDとメタデータを対応付けて一時的に記憶する際、メタデータと対応する画像IDを持つ画像が存在しない場合、近傍の画像IDを持つ画像をメタデータと対応付ける。逆も同様に、画像と対応するメタデータの画像IDをもつメタデータが存在しない場合、近傍のメタデータの画像IDを持つ画像と対応付ける。この他の構成は第１実施形態による例と同様であり、外部から取得した画像およびメタデータに対して記録制御を実施する。

［その他の実施形態］
以上、実施形態例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、webアプリケーション等）から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims

複数の画像データを取得する画像取得手段と、
前記複数の画像データにそれぞれが対応する複数のメタデータを取得するメタデータ取得手段と、
複数のグループにグループ化された複数のメタデータのそれぞれのグループに属する複数のメタデータの複数の集合のそれぞれに対するサマリ情報として、前記複数のグループにグループ化された複数のメタデータのそれぞれのグループに対応する複数の第１サマリメタデータを生成する生成手段と、
を備え、
前記生成手段は、前記複数の第１サマリメタデータの集合に対するサマリ情報として、前記複数の第１サマリメタデータがグループ化された前記複数の第１サマリメタデータのグループに対応する第２サマリメタデータを生成し、
前記複数のメタデータのそれぞれは、それぞれが対応する前記複数の画像データのそれぞれでイベントが検知されたか、されなかったかを示すか、を示し、
前記複数の第１サマリメタデータのそれぞれは、それぞれが対応する前記複数のメタデータのグループのいずれかがイベントが検知されたことを示すか、いずれもイベントが検知されなかったことを示すか、を示し、
前記第２サマリメタデータは、対応するグループに属する前記複数の第１サマリメタデータのいずれかがイベントが検知されたことを示すか、いずれもイベントが検知されなかったことを示すか、を示すことを特徴とする情報処理装置。
前記生成手段は、前記複数の第１サマリメタデータのそれぞれを記憶手段の第１の階層に、前記第２サマリメタデータを前記記憶手段の前記第１の階層より上位の第２の階層に記憶し、
所定のメタデータに対応する画像データを、前記第２サマリメタデータ、前記複数の第１サマリメタデータの順に、前記第２サマリメタデータ及び前記複数の第１サマリメタデータが記憶された階層構造の上位の階層から検索する検索手段を更に設けたことを特徴とする請求項１に記載の情報処理装置。
前記複数の第１サマリメタデータを、予め決められた上限数に基づきグループ化して階層管理する階層管理手段を更に設けたことを特徴とする請求項１に記載の情報処理装置。
前記生成手段は、前記グループ化された複数のメタデータの集合と該集合から生成された第１のサマリメタデータとを一つのメタデータファイルとして記憶手段に記憶し、前記グループ化された複数のメタデータの１つのグループに対応する複数フレームの画像データを一つの画像ファイルとして、前記メタデータファイルと対応付けて前記記憶手段に記憶することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
前記複数の画像データは複数フレームの画像データであり、前記複数のメタデータのそれぞれは、前記複数フレームのそれぞれのフレームの画像データに対応することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
前記画像取得手段は、撮像装置から前記複数の画像データを取得し、
前記生成手段は、前記撮像装置の制御情報に応じてグループ化された前記複数のメタデータのそれぞれのグループに属する複数のメタデータの複数の集合のそれぞれに対するサマリ情報として、前記複数の第１サマリメタデータを生成することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
前記生成手段は、前記サマリ情報としての前記複数の第１サマリメタデータを、前記複数のメタデータの集合によって示される時間軸上の範囲、オブジェクトの属性および数、形状、位置、大きさ、移動軌跡のうち少なくとも一つ以上の情報、及び、前記複数のメタデータの集合によって示されるイベントの有無に基づいて生成することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
前記生成手段は、前記複数のメタデータのグループのうちの１つのグループに属する複数の画像データから検出されたオブジェクト、及び、イベントが検知されたか、されなかったかを表す第１サマリメタデータを、前記１つのグループに対応して生成することを特徴とする請求項１、２、４、５、６のいずれか１項に記載の情報処理装置。
前記生成手段は、前記複数のメタデータのグループのうちの１つのグループに属する複数の画像データの何れかにおいてイベントが検知されたか、されなかったか、及び、検出されたイベントを表す第１サマリメタデータを、前記１つのグループに対応して生成することを特徴とする請求項１、２、４、５、６のいずれか１項に記載の情報処理装置。
前記複数の画像データは、時系列順に生成されていることを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
前記メタデータ取得手段は、画像を解析して前記複数のメタデータを生成することを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
画像取得手段が、複数の画像データを取得する工程と、
メタデータ取得手段が、前記複数の画像データにそれぞれが対応する複数のメタデータを取得する工程と、
生成手段が、複数のグループにグループ化された複数のメタデータのそれぞれのグループに属する複数のメタデータの複数の集合のそれぞれに対するサマリ情報として、前記複数のグループにグループ化された複数のメタデータのそれぞれのグループに対応する複数の第１サマリメタデータを生成する工程と、
前記生成手段が、前記複数の第１サマリメタデータの集合に対するサマリ情報として、前記複数の第１サマリメタデータがグループ化された前記複数の第１サマリメタデータのグループに対応する第２サマリメタデータを生成する工程とを備え、
前記複数のメタデータのそれぞれは、それぞれが対応する前記複数の画像データのそれぞれでイベントが検知されたか、されなかったかを示すか、を示し、
前記複数の第１サマリメタデータのそれぞれは、それぞれが対応する前記複数のメタデータのグループのいずれかがイベントが検知されたことを示すか、いずれもイベントが検知されなかったことを示すか、を示し、
前記第２サマリメタデータは、対応するグループに属する前記複数の第１サマリメタデータのいずれかがイベントが検知されたことを示すか、いずれもイベントが検知されなかったことを示すか、を示すことを特徴とする情報処理方法。
前記複数の第１サマリメタデータを生成する工程と前記第２サマリメタデータを生成する工程では、前記生成手段が、前記複数の第１サマリメタデータのそれぞれを記憶手段の第１の階層に、前記第２サマリメタデータを前記記憶手段の前記第１の階層より上位の第２の階層に記憶し、
検索手段が、所定のメタデータに対応する画像データを、前記第２のサマリメタデータ、前記複数の第１のサマリメタデータの順に、前記第２サマリメタデータ及び前記複数の第１サマリメタデータが記憶された階層構造の上位の階層から検索する工程を更に設けたことを特徴とする請求項１２に記載の情報処理方法。
前記複数の第１のサマリメタデータを生成する工程では、前記グループ化された複数のメタデータの集合と該集合から生成された第１のサマリメタデータとを一つのメタデータファイルとして記憶手段に記憶し、前記グループ化された複数のメタデータの１つのグループに対応する複数フレームの画像データを一つの画像ファイルとして、前記メタデータファイルと対応付けて前記記憶手段に記憶することを特徴とする請求項１２または１３に記載の情報処理方法。
前記複数の画像データは複数フレームの画像データであり、前記複数のメタデータのそれぞれは、前記複数フレームのそれぞれのフレームの画像データに対応することを特徴とする請求項１２乃至１４のいずれか１項に記載の情報処理方法。
前記複数の画像データを取得する工程では、撮像装置から前記複数の画像データを取得し、
前記複数の第１のサマリメタデータを生成する工程では、前記撮像装置の制御情報に応じてグループ化された前記複数のメタデータのそれぞれのグループに属する複数のメタデータの複数の集合のそれぞれに対するサマリ情報として、前記複数の第１サマリメタデータを生成することを特徴とする請求項１２乃至１５のいずれか１項に記載の情報処理方法。
前記複数の第１のサマリメタデータを生成する工程では、前記複数のメタデータのグループのうちの１つのグループに属する複数の画像データから検出されたオブジェクト、及び、イベントが検知されたか、されなかったかを表す第１のサマリメタデータを生成することを特徴とする請求項１２乃至１５のいずれか１項に記載の情報処理方法。
前記複数の第１のサマリメタデータを生成する工程では、前記複数のメタデータのグループのうちの１つのグループに属する複数の画像データの何れかにおいてイベントが検知されたか、されなかったか、及び、検出されたイベントを表す第１のサマリメタデータを生成することを特徴とする請求項１２、１４、１５のいずれか１項に記載の情報処理方法。
請求項１乃至１１のいずれか１項に記載された情報処理装置の各手段としてコンピュータを機能させるためのプログラム。