JP2007515136A - ビデオとデータ注釈との同期 - Google Patents

Abstract

ビデオ監視システムが、保護エリアのビデオをキャプチャし、そのビデオをコンピュータ可読メモリに保存し、検索基準を使用して検索可能なデータ注釈をコンピュータ可読メモリに保存し、対象ビデオ部分を検索するのにデータ注釈が使用され得るように、保存データ注釈を保存ビデオの対応するビデオ部分に結び付けるリンクを保存する。データ注釈は検索基準を使用して検索され、検索の結果見つけられたデータ注釈に結び付けられた対象ビデオ部分が表示される。

Description

本発明は、警備エリアを撮影した監視ビデオなどのビデオに対する同期データ注釈に関する。

現在、ビデオ監視システムが、侵入者、無断使用、犯罪行為などからの保護を必要とするエリアをビデオ録画するために使用されている。保護エリアで不正行為が行われた場合、捜査官は、不正行為に関わった者を見つけかつ／または首尾よく起訴する際に役立つ証拠を探し出すために、保護エリアのビデオ録画を見ることができる。

しかし、不正行為に関係する監視ビデオの部分を見つけ出すには、労力と時間がかかる。現在のビデオ監視システムによって得られるビデオ録画は、ビデオカメラによってキャプチャされた画像しか含まない。したがって、関係する部分を見つけ出すには、監視ビデオの全部または多くの部分が見られなければならない。現在のビデオ監視システムは、関係するビデオ部分をより容易に見つけ出せるようにする他の情報源からのデータ注釈を一緒に録画したり、またはその他の方法で記録したりしない。したがって、捜査時に現在のビデオ録画が調査される場合、現在のビデオ調査方法は、時間データと調査者の視覚認識だけに依存しており、調査を労力と時間のかかる、時には非効率なものにする。

本発明は、他の情報源からのデータでビデオ録画に注釈を付けることを含む。そのようなデータ注釈は、ビデオ録画に同期またはリンクされ、ユーザが対象ビデオ部分をより容易に見つけ出すことを可能にする。

本発明の一態様によれば、監視システムは、カメラと、入力装置と、サーバとを備える。カメラは、保護エリアの画像を出力するように構成される。入力装置は、データ注釈を入力するように構成される。サーバは、画像の部分を検索するのにデータ注釈が使用され得るように、画像とデータ注釈を同期をとって保存するように構成される。

本発明の別の態様によれば、方法は、監視ビデオをメモリに保存するステップと、監視ビデオの対象ビデオ部分を検索する際に役立つデータ注釈をメモリに保存するステップと、対象ビデオ部分を検索するのにデータ注釈が使用され得るように、保存データ注釈を保存ビデオの対応するビデオ部分に同期させるステップとを含む。

本発明のさらに別の態様によれば、監視方法は、保護エリアの画像をキャプチャするステップと、画像をコンピュータ可読メモリに保存するステップと、検索基準を使用して検索可能なデータ注釈をコンピュータ可読メモリに保存するステップと、対象画像部分を検索するのにデータ注釈が使用され得るように、保存データ注釈を保存画像の対応する画像部分に結び付けるリンクを保存するステップとを含む。

本発明の特徴および利点は、図面を併用する本発明の詳細な考察からより明白になるであろう。

図１は、１つまたは複数の保護エリアのビデオをキャプチャできるように配置されたビデオカメラ１２および１４などの１つまたは複数のビデオカメラを含むビデオ／データ監視システム１０を示す。ビデオカメラ１２および１４の代わりに、ビデオカメラ以外のカメラが使用されることもできる。例えば、熱画像装置、ＩＲカメラなどが使用されることができる。さらに、ビデオカメラ１２および１４は、ビデオカメラと熱画像装置、ＩＲカメラと熱画像装置、ビデオカメラとＩＲカメラなど、ビデオカメラ、熱画像装置、およびＩＲカメラなどの任意の混成を含むことができる。ビデオカメラ１２および１４は、対応するカメラストリーマ１６および１８にビデオを供給する。カメラストリーマ１６および１８は、カメラストリーマ１６および１８に結合されたビデオサーバ２０による効率的な保存および処理のために、ビデオカメラ１２および１４からのビデオを圧縮し、その他の方法でフォーマットを整える。そのような圧縮およびフォーマット整形は、帯域および保存領域を節約する。

ビデオサーバ２０は、適切な記憶媒体にビデオストリームを保存し、保存ビデオ録画が、捜査またはその他のときに、捜査官またはその他のユーザによって（図１に示されたように）見られ、検索されることを可能にする。カメラストリーマ１６および１８とビデオサーバ２０は、Ａｘｉｓ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓによって提供されるカメラストリーマとすることができ、ビデオサーバ２０は、Ｄｅｌｌによって提供される標準的なデスクトップサーバとすることができる。しかし、その他のカメラストリーマおよび／またはビデオサーバが代わりに使用され得ることを理解されたい。また、カメラストリーマ１６および１８およびビデオサーバ２０の機能は、単一の装置に統合されることができ、または複数の装置に分割されることもできる。

ビデオ／データ監視システム１０は、バーコードスキャナ、１つまたは複数のキーを有するキーボード、音声をテキストに変換できるまたはできないオーディオ装置などの入力装置２２も含む。キーボードが入力装置２２として使用される場合、タイプライタまたはコンピュータで一般に使用されるＱＷＥＲＴＹキーボードが使用されることができる。１つまたは複数のそのような装置が、入力装置２２として使用されることができる。入力装置２２は、ビデオサーバ２０に有線接続されることができ、または入力装置２２は、ＲＦ、赤外線、音波、またはその他の信号を用いてデータ注釈をビデオサーバ２０に送信する送信機を含むことができる。入力装置２２は、追加的または代替的に、指紋、顔認識、網膜スキャンなどの生体認証サインを提供する装置とすることができる。

入力装置２２は、ビデオサーバ２０に録画及び保存されるビデオに注釈を付けるために、警備員または徒歩巡回員などの人によって使用されることができる。例えば、そのような人は、状況が正常であることを示すデータを入力することができ、または爆発、強盗、壊された窓もしくはドア、侵入者、疑わしい行為などの異常を示すデータを入力することができる。ビデオサーバ２０は、カメラ１２および１４から録画されるビデオに入力装置２０によって入力されたデータで同期のとれた注釈を付けるソフトウェアコンポーネントを含む。注釈付けデータは、対象ビデオ部分の検索を容易にするのに役立つ。例えば、注釈付けデータは、異常を録画したビデオ部分を探し出そうとする捜査官を助けることができる。

ビデオサーバ２０は、代替的にデータタグとも呼ばれることがある、入力装置２２によって入力されるデータ注釈が、データタグの検索を可能にするフォーマットでビデオサーバ２２のメモリに保存されることができるように、ソフトウェアコンポーネントでプログラムされる。例えば、データタグは、ＳＱＬ可読形式で保存されることができる。したがって、ソフトウェアコンポーネントがデータタグの検索を可能にし、その結果、注釈付けされたビデオ部分がより容易に見つけ出され、ユーザに再生されることができる。ビデオサーバ２２のメモリは、ディスク記憶、ＲＡＭ、ＥＰＲＯＭなどとすることができる。

これらのソフトウェアコンポーネントは、図２のフローチャートによって示されるデータタグ記録プログラム３０を含む。データタグ記録プログラム３０のブロック３２は、入力装置２２から入力されたデータタグを受け取る。次にデータタグ記録プログラム３０のブロック３４は、ビデオサーバ２０が入力装置２２からデータを受け取った時間を用いて、受け取ったデータタグにタイムスタンプを押し、データタグとそのタイムスタンプの両方をビデオサーバ２０のメモリに保存する。このタイムスタンプは、ビデオサーバ２０のメモリにやはり保存されたビデオの対応する（すなわち注釈付けされた）ビデオ部分にデータタグを同期させる。必須ではないが、好ましくは、データタグのタイムスタンプとビデオ録画に関連するビデオカウントは、同一フォーマットをとる。

データタグがビデオサーバ２０のメモリに保存されると、図３のフローチャートによって示されるようなＳＱＬプログラム４０が、データタグをＳＱＬ可読形式に変換するために実行される。したがって、ＳＱＬプログラム４０のブロック４２は、保存されるデータタグを受け取り、ブロック４４は、入力テキストボックスにデータタグを表示する。この入力テキストボックスは、検索されるテキストを入力するのにインターネット検索エンジンによって使用される標準的なテキスト入力ボックスとすることができる。しかし、入力テキストボックスは、その他の形式をとることもできる。また、ブロック４６は、ＳＱＬの挿入ステートメントにデータタグを埋め込む。次に、ＳＱＬで検索可能なデータベースにデータタグを保存するため、ブロック４８は、セッションを開き、挿入ステートメントを実行し、セッションを閉じることによって、ＳＱＬの挿入ステートメントを実行する。

ユーザがビデオの特定部分を見つけ出し、それを見たいと思った場合、図４のフローチャートによって示されるようなデータ検索プログラム５０が、ビデオサーバ２０によって実行される。ブロック５２は、ユーザによって入力される入力データタグ検索文字列を受け取る。この検索文字列は、関連するデータタグを見つけ出す際に役立つキーワードまたはその他の検索基準を含む。ブロック５４は、データタグ検索文字列に基づいて自動的にＳＱＬ問合せを構成する。このＳＱＬ問合せを使用した検索は、検索文字列を含むＳＱＬデータベースのすべての行を返す。これらの行は、検索の結果見つけられたデータ注釈を含む。ブロック５６は、返された行をフォーマット整形して、フォーマット整形済の返された行を対応するビデオと一緒にビデオサーバ２０のモニタに表示する。したがって、この表示は、フォーマット整形済の返された行と、データタグに対応し、注釈付けされたビデオ部分を指示するビデオカウントとを含む。代替的または追加的に、タグ付けデータのタイムスタンプで与えられた時刻からビデオを直接見ることも可能である。ブロック５８は、ユーザがグラフィカルユーザインタフェースを使用して、タグ付け文字列の全部または一部が一致する再生用のビデオシーケンスを選択することを可能にする。

図５のフローチャートによって示される再生プログラム６０は、選択されたビデオを再生するために、ビデオサーバ２０によって実行される。ブロック６２は、ビデオサーバ２０のモニタに表示するため、選択されたビデオの再生を開始する。ブロック６４は、現在の再生時間カウンタがデータタグをもつかどうかを決定する。再生時間カウンタは、単に１つまたは複数の時間とすることができる。データタグを有する再生時間カウンタは、時間とデータタグを結び付ける少なくとも１行のデータが存在することを意味する。ブロック６４によってなされる決定は、現在の再生時間に対応するデータタグがメモリに保存されているかどうかをチェックする。すなわち、ブロック６４は、ビデオに関連する現在の再生時間カウンタによって指示される時間が、データタグのタイムスタンプに一致するかどうかを決定する。現在の再生時間カウンタがデータタグをもつ場合、ブロック６６は、データタグもビデオサーバ２０のモニタに表示させる。現在の再生時間カウンタがデータタグをもたない場合、ブロック６８は、ユーザが再生を終了したかどうかを決定する。ブロック６８がユーザは再生を終了していないと決定した場合、ビデオ部分の再生は継続される。一方、ブロック６８がユーザは再生を終了したと決定した場合、再生は中止される。

本発明向けの例示的な環境を提供するデジタルビデオ管理システムが、ＷＯ０１／１３６３７ Ａ１に開示されている。

本発明の若干の変更は上で説明された。本発明の当業者には、その他の変更も思いつくであろう。例えば、ビデオおよびデータタグが、ビデオサーバ２０のモニタに表示される。しかし、ビデオおよび／またはデータタグは、ビデオサーバ２０のモニタ以外の装置を使用して表示されることもできる。例えば、ビデオサーバ２０は、ビデオおよび／またはデータタグをその他のモニタ、映写スクリーンなどに送ることができる。

また、上で開示されたように、タイムスタンプは、データタグをそのデータタグが注釈付けするビデオに結び付けるのに使用される。したがって、データタグは、特定のデータタグに結び付けられた対象ビデオ部分をより容易に見つけ出すために、その特定のデータタグを求めて検索されることができ、その検索から見つけ出されたデータタグのタイムスタンプは、対象ビデオ部分を特定するために、ビデオのビデオカウントと比較されることができる。しかし、データタグ以外のリンクも、データタグを対応するビデオ部分に関連付けるのに使用されることができる。例えば、フラグまたはポインタが、データタグを対応するビデオ部分に結び付けるのに使用されることができる。また、温度スタンプまたは輝度スタンプなどのリンクが、使用されることもできる。例えば、温度スタンプの場合、一定の温度を超えた設備の熱映像が、検索されることができる。例えば、輝度スタンプの場合、一定の照明状態のビデオ画像が、検索されることができる。

したがって、本発明の説明は、例示的なものに過ぎないと解釈されるべきであり、本発明を実施する最良の態様を当業者に教示することを目的としている。細部は実質的に本発明の主旨から逸脱することなく変更されることができ、添付の特許請求の範囲の範囲内にあるすべての修正の排他使用が確保される。

本発明の一実施形態によるビデオ／データ監視システムの図である。 図１に示されたビデオ／データ監視システムのビデオサーバによって実行されるデータタグ記録プログラムのフローチャートである。 図１に示されたビデオ／データ監視システムのビデオサーバによって実行されるＳＱＬデータ操作プログラムのフローチャートである。 図１に示されたビデオ／データ監視システムのビデオサーバによって実行されるデータ検索プログラムのフローチャートである。 図１に示されたビデオ／データ監視システムのビデオサーバによって実行される再生プログラムのフローチャートである。

Claims (37)

1. 保護エリアの画像を出力するように構成されるカメラと、
   データ注釈を提供するように構成される入力装置と、
   前記画像の部分を検索するのに前記データ注釈が使用され得るように、前記画像と前記データ注釈を同期をとって保存するように構成されるサーバとを備える監視システム。
2. 前記サーバが、前記データ注釈にタイムスタンプを押すように構成される、請求項１に記載の監視システム。
3. 前記サーバが、前記画像の前記部分を検索するときに、前記データ注釈の前記タイムスタンプを画像カウントと比較するように構成される、請求項２に記載の監視システム。
4. 前記サーバが、前記タイムスタンプと一致する前記画像の前記部分を表示させるように構成される、請求項３に記載の監視システム。
5. 前記サーバが、前記データ注釈をＳＱＬ可読形式で保存するように構成される、請求項１に記載の監視システム。
6. 前記サーバが、前記データ注釈にタイムスタンプを押すように構成される、請求項５に記載の監視システム。
7. 前記サーバが、検索される前記データ注釈に対応するＳＱＬ検索文字列を受け取り、前記ＳＱＬ検索文字列に基づいて前記データ注釈を検索するように構成される、請求項５に記載の監視システム。
8. 前記サーバが、前記検索の結果見つけられた前記データ注釈を前記画像の前記部分に一致させるように構成される、請求項７に記載の監視システム。
9. 前記サーバが、前記画像の前記部分を検索するときに、前記データ注釈の前記タイムスタンプを画像カウントに一致させるように構成される、請求項６に記載の監視システム。
10. 前記カメラが、ビデオカメラを含み、前記サーバが、ビデオサーバを含む、請求項１に記載の監視システム。
11. 前記カメラが、ＩＲカメラを含む、請求項１に記載の監視システム。
12. 前記カメラが、熱画像装置を含む、請求項１に記載の監視システム。
13. 監視ビデオをメモリに保存するステップと、
    前記監視ビデオの対象ビデオ部分を検索する際に役立つデータ注釈をメモリに保存するステップと、
    前記対象ビデオ部分を検索するのに前記データ注釈が使用され得るように、前記保存データ注釈を前記保存ビデオの対応するビデオ部分に同期させるステップとを含む方法。
14. 前記保存データ注釈を対応するビデオ部分に同期させるステップが、対応するタイムスタンプを用いて前記データ注釈にタイムスタンプを押すステップを含む、請求項１３に記載の方法。
15. 特定のデータ注釈を検索するステップをさらに含む、請求項１４に記載の方法。
16. 前記対象ビデオ部分を検索するときに、前記特定のデータ注釈の前記タイムスタンプを前記ビデオのタイミングと比較するステップをさらに含む、請求項１５に記載の方法。
17. 前記特定のデータ注釈の前記タイムスタンプと一致する前記対象ビデオ部分を表示するステップをさらに含む、請求項１６に記載の方法。
18. 検索基準を使用して前記データ注釈を検索するステップをさらに含む、請求項１３に記載の方法。
19. 前記保存データ注釈を対応するビデオ部分に同期させるステップが、対応するタイムスタンプを用いて前記データ注釈にタイムスタンプを押すステップを含む、請求項１８に記載の方法。
20. 特定のデータ注釈を検索するステップをさらに含む、請求項１９に記載の方法。
21. 前記検索が、前記特定のデータ注釈の前記タイムスタンプを前記ビデオのタイミングと一致させるステップを含む、請求項２０に記載の方法。
22. 前記特定のデータ注釈の前記タイムスタンプと一致する前記対象ビデオ部分を表示するステップをさらに含む、請求項２１に記載の方法。
23. データの検索が、前記検索を実行するためにＳＱＬを使用するステップを含む、請求項１８に記載の方法。
24. 前記保存データ注釈を前記保存ビデオの対応するビデオ部分に同期させるステップが、対応するタイムスタンプを用いて前記データ注釈にタイムスタンプを押すステップを含み、前記検索が、前記検索基準に対応する前記保存データ注釈に関連する前記タイムスタンプを前記ビデオのタイミングと一致させるステップを含み、前記方法が、前記検索基準に対応する前記保存データ注釈に関連する前記タイムスタンプとタイミングが一致する前記対象ビデオ部分を表示するステップをさらに含む、請求項２３に記載の方法。
25. 保護エリアの画像をキャプチャするステップと、
    前記画像をコンピュータ可読メモリに保存するステップと、
    検索基準を使用して検索可能なデータ注釈を前記コンピュータ可読メモリに保存するステップと、
    対象画像部分を検索するのに前記データ注釈が使用され得るように、前記保存データ注釈を前記保存画像の対応する画像部分に結び付けるリンクを保存するステップとを含む監視方法。
26. 前記検索基準を使用して特定のデータ注釈を検索するステップをさらに含む、請求項２５に記載の監視方法。
27. 前記検索の結果見つけられた前記特定のデータ注釈に結び付けられた前記対象画像部分を表示するステップをさらに含む、請求項２６に記載の監視方法。
28. 前記リンクが、タイムスタンプを含む、請求項２５に記載の監視方法。
29. 前記検索基準を使用して特定のデータ注釈を検索するステップをさらに含む、請求項２８に記載の監視方法。
30. 前記対象画像部分を検索するときに、前記検索の結果見つけられた前記特定のデータ注釈に対応する前記タイムスタンプを前記画像のタイミングと比較するステップをさらに含む、請求項２９に記載の監視方法。
31. 前記特定のデータ注釈の前記タイムスタンプとタイミングが一致する前記対象画像部分を表示するステップをさらに含む、請求項３０に記載の監視方法。
32. 前記検索基準が、ＳＱＬ検索基準を含む、請求項２５に記載の監視方法。
33. 前記ＳＱＬ検索基準を使用して特定のデータ注釈を検索するステップと、
    前記特定のデータ注釈に結び付けられた前記対象画像部分を見つけ出すステップと、
    前記対象画像部分を表示するステップをさらに含む、請求項３２に記載の監視方法。
34. 前記リンクが、データ属性スタンプを含み、前記データ属性スタンプが、データ属性によって推論されるのと同じ特性のビデオおよびデータ部分を取り出すインデックスとして機能する、請求項２５に記載の監視方法。
35. 前記データ属性が、温度を含む、請求項３４に記載の監視方法。
36. 前記データ属性が、輝度を含む、請求項３４に記載の監視方法。
37. 前記データ属性が、生体認証サインを含む、請求項３４に記載の監視方法。

Images