JP2006067139A - 複数カメラ映像検索装置、複数カメラ映像検索方法、及び複数カメラ映像検索プログラム - Google Patents

Abstract

【課題】 ユーザが閲覧し易いように複数カメラの映像から動体検知シーンを検索すること。
【解決手段】 条件入力手段２８が複数のカメラ１１及び順序を指定し、イベント検知手段２４がその指定された複数のカメラ及び順序に従って記録手段２１に記録された複数のカメラ映像を検索して動体検知シーンをイベントして検知する。そして、再生する場合は、検索手段２２が指定された複数のカメラ及び順序に従って動体検知シーンを検索して、再生手段２３がその動体検知シーンを映像再生画面１３２にてディスプレイ１３に表示すると共に、地図表示手段２６が地図画面１３１上にてカメラアイコンを矢印で連結した順序に従って動体検知シーンの再生時刻に同期した再生カーソルを移動させて表示させた地図画面１３１をディスプレイ１３に表示する。
【選択図】 図２

Description

本発明は、複数のカメラ映像から動体検知シーン等を検索する複数カメラ映像検索装置、複数カメラ映像検索方法、及び複数カメラ映像検索プログラムに関するものである。

映像監視分野では、異常検知、侵入者検知、等を行う場合、動体検知（モーション・ディテクト）が用いられる。動体検知とは、異なる２枚のフレーム画像から差分画像を生成し、一定以上の輝度変化が確認された場合に、動体が現れたと判断するものである。この動体検知機能は、異常を示すアラームを利用者に通知する用途の他に、動体検知した映像部分のみ記憶するといった記憶の効率化にも有効である。

そこで、従来の複数カメラ映像検索装置として、例えば、複数の監視カメラからの１または所定数の映像、この映像に対応した監視カメラの設置領域を示す図、および監視作業を行なうための所定のコマンドをモニタ上に共に表示して、このモニタ上の所定のコマンドを選択することで、監視カメラからの画像表示の状態の切り換えを含む所定の動作が行ない、誰にでも監視カメラからの画像表示の状態の切り換えを含む監視作業を簡単に行なうことができるようにした装置がある（例えば、特許文献１参照）。
特許第２７９１４１１号公報

しかしながら、複数カメラの映像を多画面で同時に閲覧する場合、ユーザは、次にどの位置に設置されたカメラの映像に動体が現れるのか、更に、どのタイミングで動体が現れるのか把握することが困難であった。そのため、複数の映像にまたがって動体の出現を待つ必要があり、閲覧に集中することができないという課題があった。

前記特許文献１に記載の従来の複数カメラ映像検索装置でも、再生中の映像に対応した地図のカメラアイコンを色付けするとしているが、再生の有無に関して色付けしているのであって、動体の出現の有無を考慮したものではなく、上記課題を解決することはできない。

そこで、本発明は、ユーザが閲覧し易いように複数カメラの映像から動体検知シーンを検索することができる複数カメラ映像検索装置、複数カメラ映像検索方法、及び複数カメラ映像検索プログラムを提供することを目的とする。

上述した課題を解決するために、本発明の複数カメラ映像検索装置は、複数のカメラの映像を検索する複数カメラ映像検索装置であって、前記複数のカメラ及びその順序を指定する条件入力手段と、前記指定された複数のカメラ及び順序に従って動体を検知した動体検知シーンを、前記複数のカメラ映像から検索する動体検知シーン検索手段と、を有する。

これにより、指定された複数のカメラ及び順序に従って動体を検知した動体検知シーンが検索されるため、ユーザが閲覧し易いように動体検知シーンを検索することができる。

また、本発明の複数カメラ映像検索装置では、前記構成において、さらに、前記複数のカメラの位置を示すカメラアイコンが表示された地図を表示する地図表示手段を備え、前記条件入力手段は、前記地図上の前記カメラアイコンを矢印で連結して前記複数のカメラ及びその順序を指定する、構成を採る。

これにより、地図上のカメラアイコンを矢印で連結して前記複数のカメラ及びその順序を指定するため、ユーザは地図上のカメラアイコンに基づいて、直感的な操作により検索条件を入力することが可能となる。

また、本発明の複数カメラ映像検索装置では、前記構成において、前記地図表示手段は、複数のカメラアイコンが矢印で連結される都度、検索対象のカメラアイコンの連結順序を計算して、各カメラアイコンの傍に数値表示する、構成を採る。

これにより、ユーザは矢印を辿ることなく、各カメラアイコンの傍に表示された数値により、複数のカメラの順序関係を把握することが可能となる。

また、本発明の複数カメラ映像検索装置では、前記構成において、前記検索手段によって検索された動体検知シーンが再生される際、再生されている動体検知シーンを撮影したカメラアイコンを強調表示する、構成を採る。

これにより、ユーザは動体を検知しているカメラを一目で把握することが可能となる。

また、本発明の複数カメラ映像検索装置では、前記構成において、前記地図表示手段は、前記検索手段によって検索された動体検知シーンが再生される際、再生されている動体検知シーンを撮影したカメラアイコンの撮像視野範囲を前記地図に重畳表示する、構成を採る。

これにより、ユーザは検知されている動体のおおよその空間的位置を把握することが可能となる。

また、本発明の複数カメラ映像検索装置では、前記構成において、前記地図表示手段は、前記検索手段によって検索された動体検知シーンが再生される際、再生時刻を示す再生カーソルを、前記条件入力手段によって入力された矢印上を新規に動体が現れるカメラアイコンに向かって移動させて表示する、構成を採る。

これにより、ユーザは次にどの位置に設置されたカメラに動体が現れるのか、更に、どのタイミングで動体が現れるのか等、動体の出現状況を把握することが可能となる。

また、本発明の複数カメラ映像検索装置では、前記構成において、前記地図表示手段は、前記検索手段によって検索された動体検知シーンが再生される際、再生時刻を示す再生カーソルを、前記条件入力手段によって入力された矢印上を新規に動体が現れるカメラアイコンに向かって、前記検索された動体検知シーンを移動させながら表示すると共に、前記再生カーソルに前記動体検知シーンを再生させる、構成を採る。

これにより、１つの画面で、ユーザは次にどの位置に設置されたカメラに動体が現れるのか、更に、どのタイミングで動体が現れるのか把握しながら、動体検知シーンを閲覧することができる。

また、本発明の複数カメラ映像検索装置では、前記構成において、前記地図表示手段は、再生時刻を示す再生カーソルを前記条件入力手段によって入力された矢印上の任意の位置に設定可能にすると共に、前記再生カーソルが位置する前記条件入力手段によって入力された矢印上の位置に基づく再生時刻の前記検索された動体検知シーンを再生させる、構成を採る。

これにより、複数カメラにまたがって動体が移動する動体検知シーン（映像部分）を閲覧したい場合、ユーザは条件入力手段によって再生カーソルの位置を任意の位置に指定することによって、任意の再生時刻の動体検知シーンを再生することが可能となり、ユーザがカメラ間をまたがっていると思われる時刻を推定して指定する必要がなくなる。

また、本発明の複数カメラ映像検索方法では、複数のカメラ映像から指定した複数のカメラ及び順序に従って動体を検知した動体検知シーンを検索する、方法を採る。これにより、ユーザが閲覧し易いように動体検知シーンを検索することができる。

また、本発明の複数カメラ映像検索プログラムでは、複数のカメラ映像から指定した複数のカメラ及び順序に従って動体を検知した動体検知シーンを検索することをコンピュータに実行させる、構成を採る。これにより、ユーザが閲覧し易いように動体検知シーンを検索することができる。

本発明によれば、指定された複数のカメラ及び順序に従って動体を検知した動体検知シーンが複数のカメラ映像から検索されるため、ユーザが閲覧し易いように動体検知シーンを検索することができる。

以下、本発明の実施の形態を、図面を参照しながら説明する。尚、本発明は、システム、装置の形に限らず、実施の形態の説明に裏付けられて、方法、この方法を実現するためのプログラム、本プログラムを格納した記憶媒体の形で実施することもできる。

実施の形態１．
図１は、本発明の実施の形態１に係る多数カメラ映像検索装置１２のシステム概要である。

図１に示す通り、映像監視システムは、監視領域を撮影する複数台のカメラ１１と、多数カメラ映像検索装置１２、ディスプレイ１３、から構成される。

カメラ１１は、個々の監視領域を撮影し、多数カメラ映像検索装置１２に入力するものである。多数カメラ映像検索装置１２は、個々の監視領域を撮影したカメラの映像をディスプレイ１３に表示するものである。マウス１４は、映像の検索再生に関するＧＵＩ操作を行うためのポインティングデバイスであるものである。なお、カメラ映像は、色々なシーンから構成されており、本実施の形態１のカメラ１１は監視をするためのものであるので、動体が検知された動体検知シーンと、動体が検知されないシーンとから構成されることになる。

図２は、本発明の実施の形態に係る多数カメラ映像検索装置１２の構成を示す機能ブロック図である。

図２に示す通り、多数カメラ映像検索装置１２は、記憶手段２１と、検索手段２２と、再生手段２３と、イベント検知手段２４と、映像入力手段２５と、地図表示手段２６と、映像出力手段２７と、条件入力手段２８、から構成される。なお、本実施の形態１の検索手段２２とイベント検知手段２４とが、本発明の動体検知シーン検索手段に相当する。

記憶手段２１は、ハードディスクや大容量メモリ等の記憶装置から構成されており、カメラ映像、及び、監視領域を含む地図情報、カメラアイコン情報、イベント検知結果を示すイベント情報、検索条件を示す検索条件情報、検索結果を示す検索結果情報等を記憶するものである。カメラ映像は、映像入力手段２５から入力される。検索条件情報は、ユーザにより条件入力手段２８から入力され、検索手段２２で、映像を検索する際に用いられる。検索結果情報は、検索手段２２で、カメラ映像を検索した結果であり、再生手段２３で映像を再生する際に用いられる。尚、地図情報と、カメラアイコン情報は、予め記憶されているものとする。

検索手段２２は、記憶手段２１に記憶された検索条件情報とイベント情報に基づいて、ユーザが指定したイベントパターンの動体検知シーンを含む映像シーンの検索を行うものである。カメラ映像の検索結果は、検索結果情報として、記憶手段２１に出力される。なお、イベント情報は、後述する図６に一例が示されており、検索条件情報は、後述する図７に一例が示され、検索結果情報は、後述する図８に一例が示されている。

再生手段２３は、記憶手段２１に記憶されているカメラ映像を読み出し、映像出力手段２７に出力するものである。また、記憶手段２１の記憶されている検索結果情報２１４に基づいて、映像再生中の再生状況を計算する。再生状況は、地図表示手段２６に出力する。なお、再生手段２３は、この多数カメラ映像検索装置１２に必須のものではなく、多数カメラ映像検索装置１２に再生手段２３が設けられてなく、本装置の外部に設けられた再生手段２３が再生するように構成しても良い。

イベント検知手段２４は、複数のカメラ１１から映像入力手段２５を介し取得したカメラ映像や、記憶手段２１に記憶されたカメラ映像を解析して、その映像中に動体が存在するか、すなわち動体を検知した動体検知シーンを検出するものである。動体検知シーンはイベント情報として記憶手段２１に出力され記憶される。

映像入力手段２５は、複数のカメラ１１からの映像を取得し、イベント検知手段２４に出力して映像中の動体検知シーンを確認した後記憶手段２１に出力するものである。

地図表示手段２６は、記憶手段２１に記憶されている複数のカメラ１１の位置や向きを示すカメラアイコンが表示された監視領域の地図を、ディスプレイ１３に表示するものである。また、再生手段２３において計算された映像再生中の再生状況を地図上に重畳表示する。

映像出力手段２７は、記憶手段２１の記憶されているカメラ映像をディスプレイ１３に表示するものである。

条件入力手段２８は、ユーザからの検索条件や検索／再生命令を取得するものである。検索条件は、検索条件情報として記憶手段２１に出力して記憶する。また、検索命令を取得した場合、検索手段２２に、再生命令を取得した場合、再生手段２３にそれぞれ通知する。

図３に、記憶手段２１に記憶されるカメラ映像データ１１０のデータ構造の一例を示す。カメラ映像データ１１０は、フレーム画像単位に管理されており、図３に示す通り、そのフレーム画像は、ヘッダ情報として、フレーム番号、フレームサイズ、タイムスタンプ、カメラ番号の情報を含む。これらのヘッダ情報の後に、映像データが続く。

図４に、記憶手段２１に記憶された地図情報により表示される地図画面１３１の一例を示す。地図画面１３１は、図４に示す通り、複数のカメラ１１が監視する室内外の監視領域を示す地図５１の画像または映像である。つまり、この地図画面１３１は、監視領域を示す地図５１上に、複数のカメラ１１の位置および向きを示すカメラアイコンＩ１〜Ｉ５が表示されていると共に、その監視領域におけるテーブル等の監視対象の場所や大きさを示す監視対象アイコンＩ６が表示されている。

図５に、記憶手段２１に記憶されたカメラアイコン情報２１１の一例を示す。カメラアイコン情報２１１は、図４に示すように地図５１に重畳表示するカメラアイコンＩ１〜Ｉ５に関する情報で、図５に示す通り、個々のカメラアイコンＩ１〜Ｉ５に対し、カメラ番号毎に、カメラ位置情報として地図上での座標（Ｘ，Ｙ）、及び、カメラの向きＤ（撮影方向または角度）の情報が関連付けられて設定されている。なお、図４に示す場合であれば、Ｎは１〜５である。

図６に、記憶手段２１に記憶されるイベント情報２１２の一例を示す。イベント情報２１２は、イベント検知手段２４が個々のカメラ映像を解析して、動体を検知したシーンである動体検知シーンに関する情報で、イベント番号により管理される。つまり、図６に示すように、イベント情報２１２は、イベント番号毎の個々の動体検知シーンに対して、それぞれ、動体検知シーンの開始時刻、その終了時刻の情報が関連付けられている。

図７に、記憶手段２１に記憶される検索条件情報２１３の一例を示す。検索条件情報２１３は、ユーザが条件入力手段２８を介し入力するもので、閲覧したいパターンで動体を検知したシーンを検索するための条件を含む情報である。具体的には、図７に示すように、順序番号とカメラ番号の情報が関連付けられており、図７の場合、カメラ番号がＣ１→Ｃ２→Ｃ３…→ＣＮの順序に従って動体を検知したシーンを検索することを示している。なお、この検索条件情報２１３は、ユーザの好み等により、１または複数設定することができ、設定された１または複数の検索条件情報２１３に基づいて、図６に示すイベント情報２１２を参照して、検索手段２２が動体検知シーンを検索する。

図８に、記憶手段２１に記憶される検索結果情報２１４の一例を示す。検索結果情報２１４は、ユーザが指定した検索条件情報２１３に従って、個々のカメラ１１が動体を検知した時刻、すなわち動体検知シーンの開始時刻に関する情報である。図８に示す通り、検索結果情報２１４は、検索対象のカメラ番号と、動体検知時刻とが関連付けられて設定される。なお、検索条件情報２１３が複数設定された場合は、この検索結果情報２１４もそれに応じて複数設定される。

次に、本実施の形態におけるディスプレイ１３に表示される画面について説明する。

図９は、本実施の形態における複数カメラ映像検索装置１２のアプリケーション起動時に表示される地図画面１３１の一例を示している。複数カメラ映像検索装置１２のアプリケーション起動時には、記憶手段２１に記憶された図４に示すような地図画面１３１がそのまま読み出されてディスプレイ１３に表示される。なお、この図９に示す地図画面１３１からは、カメラアイコンＩ１〜Ｉ５より部屋等に配置された５台のカメラ１１の位置と向きとが分かり、また監視対象物のアイコンＩ６から管理対象領域における監視対象物の位置や大きさがわかる。

図１０は、本実施の形態における複数カメラ映像検索装置のアプリケーション起動後に表示される地図画面１３１の一例を示している。つまり、アプリケーション起動時に図９に示すように表示された監視対象の部屋等に配置された５台のカメラ１１の位置と向きとを示すカメラアイコンＩ１〜Ｉ４が表示された地図５１の上に、矢印５３と、再生カーソル５４とが表示される。

矢印５３は、ユーザがマウス１４を用いて、ユーザが選択したカメラアイコンＩ１〜Ｉ４を連結させて表示されるものである。なお、矢印５３がカメラアイコンにより連結されると、矢印５３により連結された選択されたことを示すように、連結されないカメラアイコンと区別するため、色が変ったり、強調表示される。また、この矢印５３は、ユーザが動体検知シーンを検索するカメラおよびその順序、すなわちイベントパターンを指定するもので、この矢印５３毎に次の図１１に示す候補選択タブ５５が設けられることになる。

再生カーソル５４は、動体検知シーン再生中、次に動体が現れるカメラアイコンＩ１〜Ｉ４に向かって移動するもので、カメラ映像の再生時刻に同期して移動するものである。

図１１は、実施の形態における複数カメラ映像検索装置のアプリケーション起動後に表示される映像再生画面１３２の一例を示している。つまり、本装置のディスプレイ１３には、アプリケーション起動後に、再生手段２３により、図１１に示すように、候補選択タブ５５、映像再生ウインドウ５６、検索ボタン５７、再生ボタン５８を表示した映像再生画面１３２が表示される。

候補選択タブ５５は、ユーザが閲覧したいイベントパターンの動体検知シーンを含むシーンを選択する際に用いられるもので、ユーザが矢印５３により選択した複数のカメラ１１とその順序の組み合わせに対応するものである。図１１では、候補選択タブ５５が４つ設けられており、ユーザが４通りの複数のカメラ１１およびその順序の組み合わせのイベントパターンを指定したことを示している。

ここで、イベントパターンとは、例えば、ユーザがマウス１４を用いてカメラアイコンＩ１〜Ｉ５を連結させた矢印５３により示される連結順序に対応するイベントパターンの動体検知シーンを選択するためのものである。例えば、後述する図１２の場合、カメラアイコンＩ１→Ｉ２→Ｉ３→Ｉ４の順序に従って矢印５３により連結されているため、後述する図１３に示すように、イベントＥ１→Ｅ４→Ｅ６→Ｅ８を含む動体検知シーンを検索する。候補選択タブ５５の数は、検索対象の映像中に含まれるユーザが選択したイベントパターンの動体検知シーン、すなわちユーザが選択した複数のカメラ１１とその順序の組み合わせに基づくものである。

映像再生ウインドウ５６は、候補選択タブ５５毎に設定、すなわちユーザが選択した複数のカメラ１１毎設けられ、各カメラ１１の映像をそれぞれ表示するものである。

検索ボタン５７は、ユーザが検索命令をするボタンであり、再生ボタン５８は、ユーザが再生命令を実行するボタンである。尚、再生ボタン５８は、映像再生中は停止ボタンとなる。

図１２は、本実施の形態における複数カメラ映像検索装置の動体検知シーン再生時に表示される地図画面１３１の一例を示している。つまり、アプリケーション起動時に図９に示すように表示された部屋等の監視対象を示す地図５１と、その部屋等に配置された５台のカメラ１１の位置と向きとを示すカメラアイコンＩ１〜Ｉ４の上に、条件入力手段２８によってユーザにより矢印５３が引かれて多数のカメラ１１とその順序が指定され、指定されたカメラ１１および順序に従って動体検知シーンが検知され、図１１に示す映像再生画面１３２にてその動体検知シーンが再生されると、この地図画面１３１では、動体検知シーンの再生時刻を示す再生カーソルＣ１〜Ｃ３とが表示される。

具体的には、指定したカメラ１１に対応するカメラアイコンＩ１〜Ｉ４が、ユーザの指示によって矢印５３により接続され、再生カーソル５４が動体検知シーンの再生時刻に合わせて、その矢印５３の上を、新規に動体が現れるカメラアイコンに向かって移動させながら表示する。

なお、図１２において、Ｃ１〜Ｃ３は、再生カーソル５４がカメラアイコンＩ１とＩ２との間、Ｉ２とＩ３との間、Ｉ３とＩ４との間にある場合を示しており、実際には、１つの再生カーソル５４しか表示されない。

図１３は、ユーザが選択した各カメラ１１の映像から動体検知シーンを検索する方法を示す図である。

つまり、例えば、ユーザが条件入力手段２８を介して４つのカメラ１１を選択し、その４つのカメラ１１の映像をＬ１〜Ｌ４とする。各映像Ｌ１〜Ｌ４には、それぞれ、動体検知シーンであるイベントＥ１〜Ｅ８が含まれているものとする。

また、動体検知シーンのパターンが各映像Ｌ１→Ｌ２→Ｌ３→Ｌ４であるため、検索手段２２は、映像Ｌ１からイベントＥ１を抽出すると、そのイベントＥ１の開始時刻より後に開始するイベントを映像Ｌ２から検索して、映像Ｌ２からはイベントＥ４を抽出することになる。同様に、映像Ｌ３からは映像Ｌ２のイベントＥ４の開始時刻より後に開始するイベントＥ６、映像Ｌ４からは映像Ｌ３のイベントＥ６の開始時刻より後に開始するイベントＥ８を抽出することになる。

また、再生カーソルＣ１〜Ｃ３は、それぞれ、各映像Ｌ１〜Ｌ４におけるイベントＥ１，Ｅ４，Ｅ６の表示タイミングを示しており、再生カーソル５４が時間の経過に伴って移動することに従い、地図５１上の再生カーソルＣ１〜Ｃ３と変わることを示している。

また、再生カーソル５４の位置は、ユーザが任意に変えることができ、指定された位置に対応した時刻のイベント、すなわち動体検知シーンを表示することができる。

なお、アプリケーション起動後は、図１０や図１２等に示す地図画面１３１と、図１１に示す映像再生画面１３２とは、同時に表示され、同一のディスプレイ１３に同時に表示され、あるいは別々のディスプレイ１３に同時に表示され、地図画面１３１を参照しながら映像再生画面１３２にて動体検知シーン等のカメラ映像を観察する。

次に、図面を参照して動作を説明する。

図１４は、本発明の実施の形態１におけるイベント検知を含む映像記憶過程処理を示すフローチャートである。

まず、イベント検知手段２４が、各カメラ１１の映像を解析して、動体を検知する（Ｓ１１００）。動体の検知は、例えば、２枚のフレーム画像の差分画像に対して輝度の閾値処理を行い、閾値以上の輝度変化を有する場合はカメラ映像が動体を検知したことになるのでイベント有りと判定するのに対し、輝度変換が閾値以下の場合は動体がカメラ映像に映っていないので、イベント無し、と判定する。そして、イベント検知手段２４は、動体を検知した動体検知シーンをイベント情報２１２として記憶手段２１に記憶する（Ｓ１２００）。イベント情報２１２は、カメラ１１毎に管理され、図６に示すように、イベント開始時刻と、終了時刻とが付与される。最後に、記憶手段２１がカメラ映像を記憶する（Ｓ１３００）。尚、イベント検知手段２４による動体検知は、カメラ１１から映像入力手段２５を介し入力する映像データでも良いし、あるいは、記憶手段２１に記憶されて映像データを対象にしてもどちらでも良い。また、Ｓ１１００の動体検知処理において、カメラ映像内に動体検知窓、すなわち動体を検知すべき場所が限定的に予めまたはユーザにより設定されている場合、当該窓内に限定して動体検知処理を行う。以上が、映像記憶過程のフローチャートである。

図１５は、本発明の実施の形態における映像検索アプリケーションの起動過程処理を示すフローチャートである。

地図表示手段２６は、まず、記憶手段２１に記憶されている地図画面１３１を読み出すと共に（Ｓ２１００）、カメラアイコン情報２１１を読み出す（Ｓ２２００）。そして、読み出した地図画面１３１を地図画像としてディスプレイ１３に表示した後（Ｓ２３００）、カメラアイコンＩ１〜Ｉ４をその地図画像に重畳して表示する（Ｓ２４００）。地図画像に重畳表示するカメラアイコンの位置と向きは、カメラアイコン情報２１１に含まれる。以上が、映像検索アプリケーションの起動過程のフローチャートである。

尚、図９に示すような地図画面１３１がディスプレイ１３に表示されると、ユーザは、図１０に示すように、マウス１４を用いてカメラアイコンＩ１〜Ｉ４を矢印５３で連結する。矢印５３で示される連結順序が、検索条件となる。入力された検索条件は、検索条件情報２１３として記憶手段２１に記憶される。なお、ユーザの入力だけでなく、本装置が自動的に認識してカメラアイコンＩ１〜Ｉ４を矢印５３で連結したり、地図画面１３１上で連結をガイドするようにしても勿論よい。例えば、監視領域が室内であって、入り口や窓と出口とがある場合には、入り口に近いカメラアイコンＩ１〜Ｉ４から出口に近いカメラアイコンＩ１〜Ｉ４に検索して自動的に矢印５３で連結することができる。

図１６は、本発明の実施の形態における動体検知シーンの検索過程処理を示すフローチャートである。

検索手段２２は、まず、ユーザ等によって検索条件の入力が完了しているか確認する（Ｓ３０００）。検索条件の入力が完了していない場合（Ｓ３０００“ＮＯ”）、エラーを表示して（Ｓ３１００）、Ｓ３０００の検索条件の入力完了確認処理に戻る。

一方、検索条件の入力が完了している場合（Ｓ３０００“ＹＥＳ”）、検索手段２２は、記憶手段２１からユーザ等がカメラ１１およびその順序を指定した検索条件情報２１３を読み出すと共に（Ｓ３２００）、イベント情報２１２を読み出す（Ｓ３３００）。

次に、検索手段２２は、イベント情報２１２から検索条件に基づくイベントパターンの動体検知シーンの検索を行う（Ｓ３４００）。ここで、検索条件に基づくイベントパターンの動体検知シーンは複数存在する場合があるため、検索対象の動体検知シーンを全て検索するまで行う。

そして、イベントパターンの動体検知シーンが検索された場合は（Ｓ３５００“ＹＥＳ”）、全てのイベントパターンの動体検知シーンについて全てのイベント情報２１２の検索が終了しているか否かを判断し（Ｓ３６００）、全てのイベントパターンの動体検知シーンについて全てのイベント情報２１２の検索が終了していない場合（Ｓ３６００“ＮＯ”）、そのイベントパターンの動体検知シーンに候補選択タブ５５を追加して（Ｓ３７００）、Ｓ３４００のイベントパターンの動体検知シーン検索処理に戻る。このようにして、イベントパターンの動体検知シーンが検索されると、検索されたイベントパターンの動体検知シーン毎に候補選択タブ５５が付加されて、ユーザは、図１１に示すようにして、この候補選択タブ５５を選択することにより、検索条件に基づくイベントパターンの動体検知シーンを選択することができる。以上が、動体検知シーンの検索過程処理である。

図１７は、図１６に示すＳ３４００の動体検知シーン検索処理の詳細なフローチャートである。

検索手段２２は、まず、初回か否かを判断し（Ｓ４０００）、初回の場合のみ（Ｓ４０００“ＹＥＳ”）、基準時刻の初期設定を行う（Ｓ４１００）。基準時刻とは、動体検知シーン等の映像を検索する際に、イベントを検知した順序を把握するためのパラメータである。基準時刻の初期設定は、初回のみ行う。そして、検索条件情報２１３において、順序が最初のカメラ１１を探索対象カメラとして設定する（Ｓ４２００）。

次に、探索対象の複数のカメラ１１において、基準時刻より後に検知したイベント、すなわち動体検知シーンを探索する（Ｓ４３００）。

イベント探索に成功した場合（Ｓ４４００“ＹＥＳ”）、見つかった動体検知シーンの開始時刻を新しい基準時刻として設定して更新し（Ｓ４５００）、全ての探索対象のカメラ映像について終了していなければ（Ｓ４６００“ＮＯ”）、次のカメラ映像について探索を続ける（Ｓ４７００）。このようにして、動体検知シーンであるイベントの探索は、検索条件情報２１３において、指定した順序が最後のカメラまで行う。尚、イベント探索過程で、イベントが見つからなかった場合、Ｓ３４００を終了する。

例えば、図１３に示す場合であれば、映像Ｌ１〜Ｌ４まで動体検知シーンの探索を行う。その結果、図１３の例では、映像Ｌ１ではイベントＥ１の開始時刻が基準時刻である場合、その基準時刻より後に検知した動体検知シーンを探索すると共に、基準時刻を更新していくので、映像Ｌ２ではイベントＥ４が探索対象イベントとなり、映像Ｌ３ではイベントＥ６が探索対象イベントとなり、映像Ｌ４ではイベントＥ８が探索対象イベントとなる。以上が、Ｓ３４００のイベントパターンの動体検知シーン検索処理の詳細なフローチャートである。

図１８は、図１７のＳ４３００のイベント探索処理の詳細なフローチャートである。

検索手段２２は、まず、初回であるか否かを判断し（Ｓ５０００）、初回である場合のみ（Ｓ５０００“ＹＥＳ”）、イベント番号の初期設定を行う（Ｓ５１００）。イベント番号とは、個々のイベントを示すインデックスである。初期設定は、初回のみ行い、二回目以降は、記憶手段２１に記憶されている次のイベント番号を読み出す（Ｓ５２００）。

次に、イベント番号で示されるイベントである動体検知シーンが存在するか確認し（Ｓ５３００）、イベントが見つかった場合（Ｓ５４００“ＹＥＳ”）、当該動体検知シーンの開始時刻を参照する（Ｓ５５００）。そして、順序が１つ前のカメラ映像における動体検知シーンの開始時刻である基準時刻と、当該カメラ映像の動体検知シーンの開始時刻との大小関係を比較して（Ｓ５６００）、その開始時刻が基準時刻より遅い場合には、順序関係が成立したと判断し（Ｓ５７００“ＹＥＳ”）、検索結果情報２１４として、記憶手段２１に記憶し（Ｓ５８００）、当該動体検知シーンのイベント番号を記憶手段２１に記憶する（Ｓ５９００）。なお、Ｓ５６００にて、順序が１つ前のカメラ映像における動体検知シーンの基準時刻と、当該カメラ映像の動体検知シーンの開始時刻との大小関係を比較する際、その時間差の大きさも考慮するようにしても良い。つまり、基準時刻より当該カメラ映像の動体検知シーンの開始時刻のほうが遅い場合でも、あまりに時間的に遅い場合には、関連性の小さい動体検知シーンと考えられるので、条件不成立と判断するようにしても良い。

ここで、このように、Ｓ５９００にてイベント番号を記憶するのは、本装置では、複数のカメラの映像を、同期再生をしているため、次にイベント探索する際、前に探索したイベント番号から時間的に後のイベントから探索処理をすれば良いので、前に探索したイベント番号より時間的に前の、すなわちイベント番号が前のイベントまで戻って検索することがないように、イベント番号を記憶するようにしたものである。このようにすれば、イベントが複数有り、何度もイベント探索処理を行う時、いちいち、時間的に前のイベントに戻る必要がなくなるので、イベント探索処理の効率が非常に良くなる。なお、このＳ５９００の当該動体検知シーンのイベント番号を記憶手段２１に記憶する処理を省略しても勿論良い。

一方、開始時刻が基準時刻より早い場合に（Ｓ５７００“ＮＯ”）、順序関係が成立しなかったと判断し、次のイベント、すなわち動体検知シーンへ移動して（Ｓ５７５０）、Ｓ５３００の処理に戻り、条件の成立するイベントを探索する。以上が、Ｓ４３００のイベント探索処理の詳細なフローチャートである。

図１９は、本発明の実施の形態における映像の再生過程処理を示すフローチャートである。

再生手段２３は、まず、イベントの検索が完了しているか確認する（Ｓ６０００）。イベントの検索が完了していない場合（Ｓ６０００“ＮＯ”）、エラーを表示する（Ｓ６１００）。検索が完了している場合（Ｓ６０００“ＹＥＳ”）、記憶手段２１に記憶されているイベントの検索結果情報２１４を読み出すと共に（Ｓ６２００）、その検査結果情報に対応したフレーム画像である動体検知シーンを読み出す（Ｓ６３００）。そして、フレーム画像のヘッダに含まれているタイムスタンプを参照し（Ｓ６４００）、再生カーソル５４の位置の計算を行う（Ｓ６５００）。

再生カーソル５４の位置は、再生カーソル５４を挟む２つのカメラ番号を取得することからはじめる。これは、図８に示す検索結果情報２１４を参照し、フレーム画像のタイムスタンプとイベント検知時刻の関係から把握することができる。

例えば、図８において、タイムスタンプＴが検知時刻ＤＴ２＜Ｔ＜ＤＴ３の関係に有る場合、カメラ番号１と２に対応したカメラアイコンＩ１，Ｉ２が再生カーソル５４を挟むことになる。

そして、図２０に示す通り、カメラ番号１のカメラアイコンＩ１の座標を（Ｘ１、Ｙ１）、イベントを検知した時刻をＤＴ１、カメラ番号２のカメラアイコンＩ２の座標（Ｘ２、Ｙ２）、イベントを検知した時刻をＤＴ２、タイムスタンプをＴとすると、再生カーソル５４の座標（ＸＣ、ＹＣ）は、以下の（式１）、（式２）により与えられる。

ＸＣ＝（Ｘ２−Ｘ１）×（Ｔ−ＤＴ１）／（ＤＴ２−ＤＴ１）＋Ｘ１・・・（式１）
ＹＣ＝（Ｙ２−Ｙ１）×（Ｔ−ＤＴ１）／（ＤＴ２−ＤＴ１）＋Ｙ１・・・（式２）

最後に、計算した座標（ＸＣ、ＹＣ）の位置に、地図表示手段２６が再生カーソル５４を地図画面１３１上に表示すると共に（Ｓ６６００）、再生手段２３がその再生カーソル５４の時刻に対応したフレーム画像である動体検知シーンを表示する（Ｓ６７００）。フレーム画像の表示は、ユーザからの停止命令がなされるまで、次のフレーム画像へ移動して繰り返される（Ｓ６８００）。以上が、映像の再生過程処理である。

図２１は、本発明の実施の形態における再生カーソル５４を用いた映像の再生過程処理を示すフローチャートである。

再生手段２３は、まず、閲覧したい複数のカメラおよびその順序を示す候補選択タブ５５（図１１参照）が選択されて、閲覧したい複数のカメラおよびその順序の選択が完了しているかを確認する（Ｓ７０００）。候補選択タブ５５の選択が完了していない場合（Ｓ７０００“ＮＯ”）、エラーを表示する（Ｓ７１００）。選択が完了している場合（Ｓ７０００“ＹＥＳ”）、再生カーソル５４の位置を取得し（Ｓ７２００）、タイムスタンプ形式に変換する（Ｓ７３００）。

タイムスタンプ形式への変換は、再生カーソル５４を挟む２つのカメラアイコンの座標と、イベントを検知した時刻の取得から始める。図２０の例では、再生カーソル５４を挟む２つのカメラアイコンＩ１，Ｉ２は、座標が（Ｘ１、Ｙ１）であるカメラ番号１のカメラアイコンＩ１と、イベントを検知した時刻ＤＴ１、座標が（Ｘ２、Ｙ２）であるカメラ番号２のカメラアイコンＩ２である。そして、２つのカメラアイコンＩ１，Ｉ２の座標を、それぞれ、（Ｘ１、Ｙ１）、（Ｘ２、Ｙ２）とし、イベントを検知した時刻をそれぞれＤＴ１、ＤＴ２とし、再生カーソル５４の座標を（ＸＣ、ＹＣ）とすると、タイムスタンプＴは、以下の（式３）、（式４）で与えられる。

Ｔ＝（Ｔ２−ＤＴ１）×（ＸＣ−Ｘ１）／（Ｘ２−Ｘ１）＋ＤＴ１・・・（式３）
又は、
Ｔ＝（Ｔ２−ＤＴ１）×（ＹＣ−Ｙ１）／（Ｙ２−Ｙ１）＋ＤＴ１・・・（式４）

そして、計算したタイムスタンプＴに最も近いタイムスタンプを持つ動体検知シーンのフレーム画像を記憶手段２１から読み出し（Ｓ７４００）、ディスプレイ１３に表示した図１１に示すような映像再生画面１３２の映像再生ウインドウ５６中に表示する（Ｓ７５００）。以上が、再生カーソル５４を用いた映像の再生過程処理である。

このように、本実施の形態１によれば、地図画面１３１にて矢印５３により指定した複数のカメラ１１及び順序に従って複数のカメラ映像から動体を検知し、その動体検知シーンを映像再生画面１３２にて再生するため、地図画面１３１にて簡単に検索しようとする複数のカメラ１１及び順序を指定することができると共に、その指定に従って検索された動体検知シーンを映像再生画面１３２にて再生することができ、ユーザが閲覧し易いように動体検知シーンを検索して再生することができる。

その結果、ユーザは、地図画面１３１および映像再生画面１３２をディスプレイ１３に同時に並べて表示して閲覧すれば、次にどの位置に設置されたカメラ１１に動体が現れるのか、更に、どのタイミングで動体が現れるのか等、動体の出現状況を把握することが可能となる。

また、本実施の形態１では、地図画面５１上のカメラアイコンＩ１〜Ｉ４を矢印５３で連結して複数のカメラ１１及びその順序を指定するため、ユーザは地図５１上のカメラアイコンＩ１〜Ｉ４に基づいて、直感的な操作により検索条件を入力することが可能となる。

なお、本実施の形態１では、図１、図２に示すように、多数カメラ映像検索装置１２内に、記憶手段２１や再生手段２３が設けて説明しているが、本発明では、これに限らず、例えば、多数カメラ映像検索装置１２内に記憶手段２１や再生手段２３、映像入力手段２５、映像出力手段２７が設けられてなく、複数のカメラ１１とディスプレイ１３と同様に、本装置の外部に接続された記憶手段２１や再生手段２３、映像入力手段２５、映像出力手段２７、またはそれらの一部のみを有する映像記憶装置や映像再生装置等が接続されていて、外部の映像記憶装置等からカメラ映像を読み込んで動体検知シーンを検索し、外部に接続された映像再生装置等にて再生するようにしても勿論よい。

実施の形態２．
実施の形態２は、ディスプレイ１３に表示される地図画面１３１の他の例を示したものである。

図２２に、実施の形態２のディスプレイ１３に表示される地図画面１３１の一例を示す。

本実施の形態２では、図２２に示す通り、ユーザが矢印で検索対象のカメラアイコンＩ１〜Ｉ４を連結される都度、カメラアイコンＩ１〜Ｉ４の連結順序を動的に計算して、カメラアイコンＩ１〜Ｉ４の傍に“１”、“２”、“３”、“４”、というように数値表示をした連結順序アイコン８１を表示する。これにより、ユーザは矢印を辿ることなく、カメラ１１の順序関係を数値により把握することが可能となる。

実施の形態３．
実施の形態３は、ディスプレイ１３に表示される地図画面１３１の他の例を示したものである。

図２３に、実施の形態３のディスプレイ１３に表示される地図画面１３１の一例を示す。

本実施の形態３では、図２３に示す通り、カメラ映像を再生する際に、動体検知しているカメラ１１のカメラアイコンＩ３を強調表示する。これにより、ユーザは動体を検知しているカメラを一目で把握することが可能となる。

実施の形態４．
実施の形態４は、ディスプレイ１３に表示される地図画面１３１の他の例を示したものである。

図２４に、実施の形態４のディスプレイ１３に表示される地図画面１３１の一例を示す。

本実施の形態４では、図２４に示す通り、カメラ映像を再生する際に、動体検知しているカメラ１１のカメライコンＩ３の撮像視野範囲等を示す視野アイコン８３を地図５１に重畳表示する。これにより、ユーザは検知されている動体のおおよその空間的位置を把握することが可能となる。

実施の形態５．
実施の形態５は、ディスプレイ１３に表示される地図画面１３１の他の例を示したものである。

図２５に、実施の形態５のディスプレイ１３に表示される地図画面１３１の一例を示す。

本実施の形態５では、図２５に示す通り、カメラ映像を再生する際に、新規に動体が現れるカメラアイコンに向かって、大きめの再生カーソル５４を映像再生可能なウインドウにより構成して、その再生カーソル５４にカメラ映像、特に、検索手段２２が検索した動体検知シーンを再生しながら移動させる。

これにより、１つの画面で、ユーザは次にどの位置に設置されたカメラ１１に動体が現れるのか、更に、どのタイミングで動体が現れるのか把握することができるとともに、実際のカメラ映像を閲覧することが可能となる。なお、再生カーソル５４は、ユーザが指定したカメラ１１およびその順序に従って、動体検知シーンを順に表示しても良いが、ユーザにより自由または任意に位置を設定可能にしてもよい。

これにより、１つの画面で、ユーザは次にどの位置に設置されたカメラに動体が現れるのか、更に、どのタイミングで動体が現れるのか把握することができるとともに、実際のカメラ映像を閲覧することが可能となる。

また、再生カーソル５４の位置は、ユーザが自由または任意に位置を設定可能にしたため、ユーザが再生したいカメラ１１や場所における動体検知シーンを簡単に検索して再生することができる。

実施の形態６．
前記実施の形態では、本発明に係る多数カメラ映像検索装置１２を、図２に示すように、機能的に構成して説明したが、本実施の形態５では、汎用のパーソナルコンピュータ等により構成した場合を示す。

図２６は、本発明の実施の形態６における多数カメラ映像検索装置の構成を示すものである。

多数カメラ映像検索装置１２は、汎用のコンピュータにより構成されており、図２６に示す通り、全体を制御するＣＰＵ３１と、主記憶装置３２と、ハードディスク等の二次記憶装置３３と、キャプチャボード３４と、ビデオボード３５とを備えている。

キャプチャボード３４は、カメラ１１の映像を多数カメラ映像検索装置１２に取り込むインタフェースの役割をする。

主記憶装置３２は、図２に示す記憶手段２１と同様に、カメラ映像、及び、監視領域を含む地図画面１３１、カメラアイコン情報２１１、イベント検知結果を示すイベント情報２１２、検索条件を示す検索条件情報２１３、検索結果を示す検索結果情報２１４を記憶するものである。地図画面１３１とカメラアイコン情報２１１は、予め記憶しておく。

そして、本実施の形態６の場合、二次記憶装置３３に、多数カメラ映像検索プログラムが記憶媒体から読み出されてインストールされたり、あるいはネットワークを介してダウンロードされてインストールされており、ＣＰＵ３１がこの多数カメラ映像検索プログラムを実行することにより、図２に示す多数カメラ映像検索装置１２の各手段の機能を達成して、前記実施の形態１等と同様の効果が得られるものである。

本発明の複数カメラ映像検索装置、複数カメラ映像検索方法、及び複数カメラ映像検索プログラムは、指定された複数のカメラ及び順序に従って動体を検知した動体検知シーンが検索されるため、ユーザが閲覧し易いように動体検知シーンを検索することができる、という効果を有し、複数のカメラ映像には各種センサの組み合わせによる映像も含み、複数のカメラを利用している室内や店舗内の監視カメラシステム、それより広域の駐車場や、駅構内、飛行場、街中、道路等の監視カメラシステム等において多数カメラ映像を記憶したビデオテープやＤＶＤ等の記憶媒体、あるいはハードディスクレコーダ等の記憶装置や、これらの記憶媒体から映像データを読み出したり、それらの記憶装置を備えたコンピュータやＴＶ受像機、映像編集装置等、複数のカメラにより撮影した映像を検索する複数カメラ映像検索装置、複数カメラ映像検索方法、及び複数カメラ映像検索プログラム、さらにはそのプログラムを記憶した記憶媒体等に有用である。

実施の形態１に係る多数カメラ映像検索装置のシステム概要を示す図 実施の形態１に係る多数カメラ映像検索装置の構成を示す機能ブロック図 記憶手段に記憶されるカメラ映像のデータ構造の一例を示す図 記憶手段に記憶された地図画面の一例を示す図 記憶手段に記憶されたカメラアイコン情報の一例を示す図 記憶手段に記憶されるイベント情報の一例を示す図 記憶手段に記憶される検索条件情報の一例を示す図 記憶手段に記憶される検索結果情報の一例を示す図 アプリケーション起動時に表示される地図画面の一例を示す図 アプリケーション起動後に表示される地図画面の一例を示す図 アプリケーション起動後に表示される映像再生画面一例を示す図 動体検知シーン再生時に表示される地図画面の一例を示す図 各カメラの映像から動体検知シーンを検索する方法を示す図 イベント検知を含む映像記憶過程処理を示すフローチャート 映像検索アプリケーションの起動過程処理を示すフローチャート 動体検知シーンの検索過程処理を示すフローチャート イベントパターンの動体検知シーン検索処理の詳細なフローチャート イベント探索処理の詳細なフローチャート 映像の再生過程処理を示すフローチャート カメラアイコンと再生カーソルの位置関係を示す図 再生カーソルを用いた映像の再生過程処理を示すフローチャート 実施の形態２の地図画面の一例を示す図 実施の形態３の地図画面の一例を示す図 実施の形態４の地図画面の一例を示す図 実施の形態５の地図画面の一例を示す図 実施の形態６の多数カメラ映像検索装置の構成を示すブロック図

符号の説明

１１ カメラ
１２ 多数カメラ映像検索装置
１３ ディスプレイ
１４ マウス
２１ 記憶手段
２２ 検索手段
２３ 再生手段
２４ イベント検知手段
２５ 映像入力手段
２６ 地図表示手段
２７ 映像出力手段
２８ 条件入力手段
５３ 矢印
５４，Ｃ１〜Ｃ３ 再生カーソル

Claims (10)

1. 複数のカメラの映像を検索する複数カメラ映像検索装置であって、
   前記複数のカメラ及びその順序を指定する条件入力手段と、
   前記指定された複数のカメラ及び順序に従って動体を検知した動体検知シーンを、前記複数のカメラ映像から検索する動体検知シーン検索手段と、
   を有することを特徴とする複数カメラ映像検索装置。
2. さらに、前記複数のカメラの位置を示すカメラアイコンが表示された地図を表示する地図表示手段を備え、
   前記条件入力手段は、前記地図上の前記カメラアイコンを矢印で連結して前記複数のカメラ及びその順序を指定する、
   ことを特徴とする請求項１記載の複数カメラ映像検索装置。
3. 前記地図表示手段は、複数のカメラアイコンが矢印で連結される都度、検索対象のカメラアイコンの連結順序を計算して、各カメラアイコンの傍に数値表示する、
   ことを特徴とする請求項２記載の複数カメラ映像検索装置。
4. 前記地図表示手段は、
   前記検索手段によって検索された動体検知シーンが再生される際、再生されている動体検知シーンを撮影したカメラアイコンを強調表示する、
   ことを特徴とする請求項２記載の複数カメラ映像検索装置。
5. 前記地図表示手段は、
   前記検索手段によって検索された動体検知シーンが再生される際、再生されている動体検知シーンを撮影したカメラアイコンの撮像視野範囲を前記地図に重畳表示する、
   ことを特徴とする請求項２記載の複数カメラ映像検索装置。
6. 前記地図表示手段は、
   前記検索手段によって検索された動体検知シーンが再生される際、再生時刻を示す再生カーソルを、前記条件入力手段によって入力された矢印上を新規に動体が現れるカメラアイコンに向かって移動させて表示する、
   ことを特徴とする請求項２記載の複数カメラ映像検索装置。
7. 前記地図表示手段は、
   前記検索手段によって検索された動体検知シーンが再生される際、再生時刻を示す再生カーソルを、前記条件入力手段によって入力された矢印上を新規に動体が現れるカメラアイコンに向かって、前記検索された動体検知シーンを移動させながら表示すると共に、前記再生カーソルに前記動体検知シーンを再生させる、
   ことを特徴とする請求項２記載の複数カメラ映像検索装置。
8. 前記地図表示手段は、
   再生時刻を示す再生カーソルを前記条件入力手段によって入力された矢印上の任意の位置に設定可能にすると共に、前記再生カーソルが位置する前記条件入力手段によって入力された矢印上の位置に基づく再生時刻の前記検索された動体検知シーンを再生させる、
   ことを特徴とする請求項２記載の複数カメラ映像検索装置。
9. 複数のカメラ映像から指定した複数のカメラ及び順序に従って動体を検知した動体検知シーンを検索することを特徴とする複数カメラ映像検索再生方法。
10. 複数のカメラ映像から指定した複数のカメラ及び順序に従って動体を検知した動体検知シーンを検索することをコンピュータに実行させるための複数カメラ映像検索プログラム。

Images