JP2007184853A

JP2007184853A - 映像記録システム

Info

Publication number: JP2007184853A
Application number: JP2006002752A
Authority: JP
Inventors: Tetsuji Hashimo; 哲司羽下; Kazuya Sato; 和也佐藤
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2006-01-10
Filing date: 2006-01-10
Publication date: 2007-07-19

Abstract

【課題】映像記録機能に求められるリアルタイム性や、漏れのない記録動作保証などを損なうことなく、映像検索機能の拡張に対応することができる映像記録システムを得ることを目的とする。
【解決手段】映像データを映像データ記録部１２に記録する映像記録装置２の他に、その映像記録装置２から出力された映像データを解析して映像内の移動物体を抽出し、その移動物体の軌跡を表す追跡データを生成して、その追跡データを追跡データ記録部２５に記録する一方、その追跡データ記録部２５から検索条件に合致する追跡データを検索し、その追跡データに対応する映像データを特定する映像検索装置４を設ける。
【選択図】図１

Description

この発明は、映像データを記録する機能と、検索条件に合致する映像を検索する機能とを備えている映像記録システムに関するものである。

映像データを記録する機能と、検索条件に合致する映像を検索する機能とを備えている映像記録システムを構築するに際して、例えば、レコーダーなどの専用の映像記録装置をベースにして構築し、その映像記録装置に映像検索機能を組み込むアプローチが考えられる。
ここで、映像検索機能は、映像データを解析して映像内の移動物体を抽出し、その移動物体の軌跡を表す追跡データを生成する機能や、検索条件に合致する追跡データを検索する機能などを含むものである（例えば、特許文献１を参照）。

このように、専用の映像記録装置をベースにして映像記録システムを構築する場合、一般的に、映像記録機能に求められるリアルタイム性や漏れのない記録動作などを保証することができる。
しかし、リアルタイム性や漏れのない記録動作などを保証するのに十分な演算リソースやメモリリソースが割り当てられるが、一般的に機能の拡張性などは考慮されないため、これらの演算リソースやメモリリソースには余裕がなく、新たな機能の追加や機能のバージョンアップを実施する余地はほとんどない。

一方、映像データを記録する機能と、検索条件に合致する映像を検索する機能とを備えている映像記録システムを構築するに際して、例えば、パーソナルコンピュータなど、演算機能と豊富なデータ保存領域を有する汎用機器を用いて実現する方法がある。
しかし、パーソナルコンピュータなどの汎用機器を用いて実現する場合、新たな機能の追加や機能のバージョンアップなどを容易に実施することができるが、映像記録機能に求められるリアルタイム性や、漏れのない記録動作などを保証することができない。

特開平１０−８４５２５号公報（段落番号［００１６］から［００１７］、図１）

従来の映像記録システムは以上のように構成されているので、レコーダーなどの専用の映像記録装置をベースにして構築する場合、新たな機能の追加や機能のバージョンアップを実施する余地がほとんどなく、パーソナルコンピュータなどの汎用機器を用いて構築する場合、新たな機能の追加や機能のバージョンアップなどを容易に実施することができても、映像記録機能に求められるリアルタイム性や、漏れのない記録動作などを保証することができないなどの課題があった。

この発明は上記のような課題を解決するためになされたもので、映像記録機能に求められるリアルタイム性や、漏れのない記録動作保証などを損なうことなく、映像検索機能の拡張に対応することができる映像記録システムを得ることを目的とする。

この発明に係る映像記録システムは、映像データを映像データ記録手段に記録する映像記録装置の他に、その映像記録装置から出力された映像データを解析して映像内の移動物体を抽出し、その移動物体の軌跡を表す追跡データを生成して、その追跡データを追跡データ記録手段に記録する一方、その追跡データ記録手段から検索条件に合致する追跡データを検索し、その追跡データに対応する映像データを特定する映像検索装置を設けるようにしたものである。

この発明によれば、映像データを映像データ記録手段に記録する映像記録装置の他に、その映像記録装置から出力された映像データを解析して映像内の移動物体を抽出し、その移動物体の軌跡を表す追跡データを生成して、その追跡データを追跡データ記録手段に記録する一方、その追跡データ記録手段から検索条件に合致する追跡データを検索し、その追跡データに対応する映像データを特定する映像検索装置を設けるように構成したので、映像記録機能に求められるリアルタイム性や、漏れのない記録動作保証などを損なうことなく、映像検索機能の拡張に対応することができる効果がある。

実施の形態１．
図１はこの発明の実施の形態１による映像記録システムを示す構成図であり、図において、映像提供装置１は例えばカメラ、ビデオ、ハードディスク、ネットワークなど、映像データを配信することが可能な装置である。
映像記録装置２は映像提供装置１から配信される映像データを入力して、その映像データをメモリに記録する一方、そのメモリに記録されている映像データを読み出して、その映像データを出力する装置である。
映像表示装置３は映像記録装置２から出力された映像データにしたがって映像を表示する装置である。
映像検索装置４は映像記録装置２から出力された映像データを解析して映像内の移動物体を抽出し、その移動物体の軌跡を表す追跡データを生成して、その追跡データをメモリに記録する一方、そのメモリから検索条件に合致する追跡データを検索し、その追跡データに対応する映像データを特定する装置である。
なお、映像記録装置２と映像検索装置４は別個独立の装置であり、その映像記録装置２と映像検索装置４は取り外し自在に接続されている。

映像記録装置２の映像入力部１１は映像提供装置１から配信される映像データを入力し、その映像データに対する圧縮処理などのエンコード処理を実施する。
映像記録装置２の映像データ記録部１２は映像入力部１１によるエンコード処理後の映像データを記録するメモリである。なお、映像入力部１１及び映像データ記録部１２から映像データ記録手段が構成されている。
映像記録装置２の映像読出部１３は映像データ記録部１２に記録されている映像データを読み出して、その映像データに対する圧縮解除処理などのデコード処理を実施し、デコード処理後の映像データを映像表示装置３又は映像検索装置４に出力する。
また、映像読出部１３は映像検索装置４の映像検索部２７から後述するインデックス情報を受けると、映像データ記録部１２に記録されている映像データの中から、そのインデックス情報に対応する映像データを読み出し、その映像データを映像表示装置３又は映像検索装置４の２次映像表示部２９に出力する。
なお、映像読出部１３は映像データ読出手段を構成している。

映像検索装置４の解析用映像入力部２１は映像記録装置２の映像データ記録部１２に記録されている過去の映像データの中から、予め設定された検索期間の映像データを入力する処理を実施する。ただし、検索期間の設定は、ユーザが例えば検索条件入力部２６を操作することにより自由に行えるものとする。
なお、解析用映像入力部２１はユーザにより現在の映像データを入力する設定がなされた場合、映像提供装置１から現在配信されている映像データを映像記録装置２を介して入力する。

映像検索装置４の２次映像データ記録部２２は解析用映像入力部２１により入力された映像データを記録するメモリである。なお、２次映像データ記録部２２は映像データ格納手段を構成している。
映像検索装置４の移動物体抽出部２３は解析用映像入力部２１により入力された映像データを解析して映像内の移動物体を抽出する処理を実施する。なお、移動物体抽出部２３は移動物体抽出手段を構成している。
映像検索装置４の追跡データ生成部２４は移動物体抽出部２３により抽出された移動物体の出現位置、出現時間、消失位置、消失時間、面積、幅、高さ、重心の軌跡、移動ベクトル、速度、滞留時間などの特徴量を抽出することにより、移動物体の軌跡を表す追跡データを生成する処理を実施する。なお、追跡データ生成部２４は追跡データ生成手段を構成している。
映像検索装置４の追跡データ記録部２５は追跡データ生成部２４により生成された追跡データを記録するとともに、その追跡データに対応する映像データのインデックス情報（例えば、移動物体が出現して消失までの映像データを特定する情報）を記録するメモリである。なお、追跡データ記録部２５は追跡データ記録手段を構成している。

映像検索装置４の検索条件入力部２６はユーザが再生を希望する映像の検索条件として、例えば、移動物体の通過領域、移動物体の出現・消失領域などの条件の入力を受け付けるユーザインタフェースである。
映像検索装置４の映像検索部２７は追跡データ記録部２５に記録されている追跡データの中から、検索条件入力部２６により入力された検索条件に合致する追跡データを検索し、その追跡データに対応する映像データのインデックス情報を映像記録装置２の映像読出部１３又は２次映像読出部２８に出力することにより、その映像データの出力を指示する。なお、検索条件入力部２６及び映像検索部２７から映像データ特定手段が構成されている。

映像検索装置４の２次映像読出部２８は２次映像データ記録部２２に記録されている映像データの中から、映像検索部２７から出力されたインデックス情報に対応する映像データを読み出し、その映像データを映像表示装置３又は２次映像表示部２９に出力する。
映像検索装置４の２次映像表示部２９は映像記録装置２又は２次映像読出部２８から出力された映像データにしたがって映像を表示する。

次に動作について説明する。
映像記録装置２の映像入力部１１は、映像提供装置１から配信される映像データを入力し、その映像データに対する圧縮処理などのエンコード処理を実施してから、エンコード処理後の映像データを映像データ記録部１２に記録する。
映像記録装置２の映像読出部１３は、例えば、ユーザから映像の表示指令を受けると、映像データ記録部１２に記録されている映像データを読み出して、その映像データに対する圧縮解除処理などのデコード処理を実施し、デコード処理後の映像データを映像表示装置３に出力する。
これにより、映像表示装置３が映像データを再生することにより、映像が映像表示装置３に表示される。

映像検索装置４の解析用映像入力部２１は、例えば、ユーザが検索条件入力部２６を操作して、映像データの検索期間を設定すると、その検索期間を映像記録装置２の映像読出部１３に出力することにより、映像記録装置２の映像読出部１３からその検索期間の映像データを入力し、その映像データを２次映像データ記録部２２に記録する。また、その検索期間の映像データを移動物体抽出部２３に出力する。
なお、映像記録装置２の映像読出部１３は、映像検索装置４から映像データの検索期間を受けると、映像データ記録部１２に記録されている映像データの中から、その検索期間の映像データを読み出して、その映像データに対する圧縮解除処理などのデコード処理を実施し、デコード処理後の映像データを映像検索装置４に出力する。

映像検索装置４の移動物体抽出部２３は、解析用映像入力部２１から映像データを受けると、その映像データを解析して映像内の移動物体を抽出する。
移動物体の抽出処理は、例えば、上記の特許文献１などに開示されている公知の技術を利用すればよいため、ここでは、詳細な説明を省略する。

映像検索装置４の追跡データ生成部２４は、移動物体抽出部２３が移動物体を抽出すると、その移動物体の出現位置、出現時間、消失位置、消失時間、面積、幅、高さ、重心の軌跡、移動ベクトル、速度、滞留時間などの特徴量を抽出することにより、移動物体の軌跡を表す追跡データを生成する。
追跡データの生成も、例えば、上記の特許文献１などに開示されている公知の技術を利用すればよいため、ここでは、詳細な説明を省略する。
ここで、図２は検索期間の映像データに係る映像シーケンスＡから移動物体の映像シーケンスＢが生成され、移動物体の映像シーケンスＢから追跡データＣ１，Ｃ２が生成されている様子を示している。

映像検索装置４の追跡データ生成部２４は、上記のようにして、追跡データＣ１，Ｃ２を生成すると、その追跡データＣ１，Ｃ２を追跡データ記録部２５に記録するとともに、その追跡データＣ１，Ｃ２の生成元である移動物体の映像シーケンスＢに対応する映像シーケンスＡのインデックス情報（例えば、移動物体が出現して消失までの映像データを特定する情報）を追跡データ記録部２５に記録する。

映像検索装置４の映像検索部２７は、ユーザが検索条件入力部２６を操作して、映像の検索条件として、例えば、移動物体の通過領域Ｄを指定すると、追跡データ記録部２５に記録されている追跡データＣ１，Ｃ２の中から、その検索条件に合致する追跡データを検索する。
即ち、映像検索部２７は、追跡データ記録部２５に記録されている追跡データＣ１，Ｃ２の中から、移動物体の通過領域Ｄを通過する追跡データＣ２を検索する。
映像検索部２７は、上記のように、検索条件に合致する追跡データＣ２を検索すると、追跡データ記録部２５に記録されている追跡データＣ２に対応する映像シーケンスＡのインデックス情報を映像記録装置２の映像読出部１３又は２次映像読出部２８に出力することにより、その映像データの出力を指示する。

映像記録装置２の映像読出部１３は、映像検索装置４の映像検索部２７からインデックス情報を受けると、映像データ記録部１２に記録されている映像データの中から、そのインデックス情報に対応する映像データを読み出し、その映像データを映像表示装置３又は映像検索装置４の２次映像表示部２９に出力する。
映像検索装置４の２次映像読出部２８は、映像検索部２７からインデックス情報を受けると、２次映像データ記録部２２に記録されている映像データの中から、そのインデックス情報に対応する映像データを読み出し、その映像データを映像表示装置３又は２次映像表示部２９に出力する。

映像表示装置３は、映像記録装置２の映像読出部１３又は映像検索装置４の２次映像読出部２８から映像データを受けると、その映像データにしたがって映像を表示する。
映像検索装置４の２次映像表示部２９は、映像記録装置２の映像読出部１３又は２次映像読出部２８から映像データを受けると、その映像データにしたがって映像を表示する。

以上で明らかなように、この実施の形態１によれば、映像データを映像データ記録部１２に記録する映像記録装置２の他に、その映像記録装置２から出力された映像データを解析して映像内の移動物体を抽出し、その移動物体の軌跡を表す追跡データを生成して、その追跡データを追跡データ記録部２５に記録する一方、その追跡データ記録部２５から検索条件に合致する追跡データを検索し、その追跡データに対応する映像データを特定する映像検索装置４を設けるように構成したので、映像記録機能に求められるリアルタイム性や、漏れのない記録動作保証などを損なうことなく、映像検索機能の拡張に対応することができる効果を奏する。

即ち、映像記録装置２と別個独立に映像検索装置４が設けられ、その映像記録装置２と映像検索装置４が取り外し自在に接続されているので、映像記録装置２の機能に影響を与えることなく、映像検索装置４における映像検索機能の拡張を図ることができる効果を奏する。
これにより、映像記録装置２と映像検索装置４の何れか一方を個別にアップグレードすることができる。また、既に映像記録装置２のみが設置されている映像記録システムに対して、映像検索装置４を後付けして、映像記録システムをアップグレードすることもできる。
なお、映像記録装置２及び映像検索装置４の外部インターフェースの整合が取れていれば、それぞれを別個のシステムに変更することも可能である。

この実施の形態１では、映像の検索条件として、例えば、移動物体の通過領域Ｄが指定されているものについて示したが、図３に示すように、映像の検索条件として、例えば、移動物体の出現領域Ｅ１と移動物体の消失領域Ｅ２が指定された場合、追跡データ記録部２５に記録されている追跡データの中から、映像検索部２７が出現領域Ｅ１から現れて、消失領域Ｅ２で消えている移動物体の追跡データＣを検索するようにする。

実施の形態２．
上記実施の形態１では、映像検索装置４が２次映像データ記録部２２と２次映像読出部２８を実装しているものについて示したが、２次映像データ記録部２２と２次映像読出部２８は必須の構成要素ではなく、図４に示すように、映像検索装置４が２次映像データ記録部２２と２次映像読出部２８を実装しないようにしてもよい。

実施の形態３．
上記実施の形態１では、映像提供装置１と映像記録装置２と映像検索装置４が直列に接続されているものについて示したが（図５を参照）、図６に示すように、１台の映像記録装置２に複数台の映像検索装置４を接続するようにしてもよい。
この場合、複数台の映像検索装置４から別個の検索期間が映像記録装置２に出力され、映像記録装置２から別個の映像データが複数台の映像検索装置４に出力されるようになる。
この実施の形態３によれば、複数のユーザが同時に映像を鑑賞することができる効果を奏する。

実施の形態４．
上記実施の形態１では、映像提供装置１と映像記録装置２と映像検索装置４が直列に接続されているものについて示したが（図５を参照）、図７に示すように、複数台の映像記録装置２に１台の映像検索装置４を接続するようにしてもよい。
この場合、１台の映像検索装置４から映像データの検索期間が複数台の映像記録装置２に出力され、複数台の映像記録装置２から映像データが１台の映像検索装置４に出力されるようになる。
この実施の形態４によれば、数多くの映像提供装置１から配信される映像データを再生することができる効果を奏する。

実施の形態５．
上記実施の形態３では、１台の映像記録装置２に複数台の映像検索装置４を接続し、上記実施の形態４では、複数台の映像記録装置２に１台の映像検索装置４を接続するものについて示したが、図８に示すように、ネットワーク５を介して、複数台の映像記録装置２と複数台の映像検索装置４を接続するようにしてもよい。

この発明の実施の形態１による映像記録システムを示す構成図である。映像検索装置の映像検索部における追跡データの検索処理を示す説明図である。映像検索装置の映像検索部における追跡データの検索処理を示す説明図である。この発明の実施の形態２による映像記録システムを示す構成図である。映像提供装置と映像記録装置と映像検索装置の接続形態を示す構成図である。この発明の実施の形態３による映像記録システムの接続形態を示す構成図である。この発明の実施の形態４による映像記録システムの接続形態を示す構成図である。この発明の実施の形態５による映像記録システムの接続形態を示す構成図である。

符号の説明

１映像提供装置、２映像記録装置、３映像表示装置、４映像検索装置、５ネットワーク、１１映像入力部（映像データ記録手段）、１２映像データ記録部（映像データ記録手段）、１３映像読出部（映像データ読出手段）、２１解析用映像入力部、２２２次映像データ記録部（映像データ格納手段）、２３移動物体抽出部（移動物体抽出手段）、２４追跡データ生成部（追跡データ生成手段）、２５追跡データ記録部（追跡データ記録手段）、２６検索条件入力部（映像データ特定手段）、２７映像検索部（映像データ特定手段）、２８２次映像読出部、２９２次映像表示部。

Claims

映像データを入力して、上記映像データを記録する映像データ記録手段と、上記映像データ記録手段に記録されている映像データを読み出して、上記映像データを出力する映像データ読出手段とを有する映像記録装置と、上記映像記録装置の映像データ読出手段から出力された映像データを解析して映像内の移動物体を抽出する移動物体抽出手段と、上記移動物体抽出手段により抽出された移動物体の軌跡を表す追跡データを生成する追跡データ生成手段と、上記追跡データ生成手段により生成された追跡データを記録する追跡データ記録手段と、上記追跡データ記録手段に記録されている追跡データの中から検索条件に合致する追跡データを検索し、上記追跡データに対応する映像データを特定する映像データ特定手段とを有する映像検索装置とを備えた映像記録システム。
映像検索装置の追跡データ記録手段が追跡データを記録する際、上記追跡データに対応する映像データのインデックス情報を記録し、上記映像検索装置の映像データ特定手段が映像記録装置の映像データ記録手段に記録されている映像データの中から上記インデックス情報に係る映像データを特定することを特徴とする請求項１記載の映像記録システム。
映像検索装置が映像記録装置の映像データ読出手段から出力された映像データを格納する映像データ格納手段を有し、上記映像検索装置の追跡データ記録手段が追跡データを記録する際、上記追跡データに対応する映像データのインデックス情報を記録し、上記映像検索装置の映像データ特定手段が上記映像データ格納手段に格納されている映像データの中から上記インデックス情報に係る映像データを特定することを特徴とする請求項１記載の映像記録システム。
映像記録装置と映像検索装置が別個独立の装置であり、上記映像記録装置と上記映像検索装置が取り外し自在に接続されていることを特徴とする請求項１から請求項３のうちのいずれか１項記載の映像記録システム。
少なくとも１以上の映像記録装置と少なくとも１以上の映像検索装置とが相互に接続されていることを特徴とする請求項１から請求項４のうちのいずれか１項記載の映像記録システム。