JP2012222780A - Record distribution device, record distribution method, and monitoring system - Google Patents
Record distribution device, record distribution method, and monitoring system Download PDFInfo
- Publication number
- JP2012222780A JP2012222780A JP2011089998A JP2011089998A JP2012222780A JP 2012222780 A JP2012222780 A JP 2012222780A JP 2011089998 A JP2011089998 A JP 2011089998A JP 2011089998 A JP2011089998 A JP 2011089998A JP 2012222780 A JP2012222780 A JP 2012222780A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- data
- image data
- image
- importance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、画像データの記録配信装置、画像データの記録配信方法、及び、画像データを用いた監視システムに関する。 The present invention relates to an image data recording / delivery device, an image data recording / delivery method, and a monitoring system using image data.
近年のネットワーク技術の向上と、画像符号化技術の向上とにより、ネットワークに接続された監視カメラを用いて遠隔地からセキュリティーの監視を行うことが行われている。このような遠隔監視においては、複数の監視カメラから送信された画像データを、ネットワークを介して、遠隔地のサーバーが受信して記録するとともに、監視者がこの記録画像を用いて異常発生時の画像を確認することが広く行われている。 With recent improvements in network technology and image coding technology, security is monitored from a remote location using a monitoring camera connected to the network. In such remote monitoring, image data transmitted from a plurality of monitoring cameras is received and recorded by a remote server via a network, and the monitor uses this recorded image when an abnormality occurs. Checking images is widely performed.
また、監視カメラから送信された画像データの画像をリアルタイムで表示させ、遠隔地の監視者が異常を監視することも広く行われている。このような監視においては、監視カメラでの撮像画像の変化に応じて、異常を検出することも一般的に行われている。 In addition, it is widely performed that an image of image data transmitted from a monitoring camera is displayed in real time, and a remote monitor monitors the abnormality. In such monitoring, an abnormality is generally detected in accordance with a change in a captured image by the monitoring camera.
このような複数の監視カメラを用いた遠隔地での監視においては、モニタに表示される画面を分割して、複数の監視カメラから送信されてくる画像データの画像を、同時にモニタに表示させることで、監視者が同時に複数の画像を視聴することが広く行われている。例えば、１６台の監視カメラから送信されてきた画像データの画像を表示する場合には、モニタに表示される画面を１６分割して、このモニタに、各々の監視カメラからの画像を同時に表示させることが行われている。また、この分割表示においては、モニタに、特定の監視カメラの画像のみを大きく表示させるように設定できる場合が多い。 In such remote monitoring using a plurality of surveillance cameras, the screen displayed on the monitor is divided and images of image data transmitted from the plurality of surveillance cameras are simultaneously displayed on the monitor. Therefore, it is widely performed that a supervisor views a plurality of images at the same time. For example, when displaying images of image data transmitted from 16 surveillance cameras, the screen displayed on the monitor is divided into 16 and the images from each surveillance camera are simultaneously displayed on this monitor. Things have been done. Further, in this divided display, it is often possible to set so that only the image of a specific surveillance camera is displayed on the monitor.
しかしながら、監視員が、複数の監視カメラから送信されてくる画像を監視している際に、重要な画像を見つけだして、それらを関連付けて監視することは困難であった。例えば、複数の監視カメラから送られてくる画像にまたがって人物が移動していくような場合に、監視員が、それらを関連付けて監視することは困難であった。 However, when the surveillance staff is monitoring images transmitted from a plurality of surveillance cameras, it has been difficult to find important images and relate them to each other. For example, when a person moves across images sent from a plurality of monitoring cameras, it is difficult for the monitoring person to associate and monitor them.
このため、特許文献１では、複数のモーションディテクト付きＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）カメラを用いて、動きを検知したカメラの画像のみを遠隔地に送信し、遠隔地では、送信されてきた画像を１つのモニタに順次表示させるシステムが提案されている。
For this reason, in
しかしながら、特許文献１に記載されたシステムでは、複数のＩＰカメラが同時に動きを検知した場合には複数のＩＰカメラが同時に画像送信を行うため、データ量が急激に増加し、ネットワークの帯域が狭帯域の環境では画像の送信に時間がかかり重要なシーンの確認が遅れる等の問題があった。
However, in the system described in
そこで、本発明は上記のような課題を解決するためになされたものであり、狭帯域のネットワーク環境でも、複数の画像を効率的に送信して、効果的に監視することができるようにすることを目的とする。 Therefore, the present invention has been made to solve the above-described problems, and enables a plurality of images to be efficiently transmitted and effectively monitored even in a narrow-band network environment. For the purpose.
本発明の一態様に係る記録配信装置は、
画像を撮像する画像撮像部と、
前記画像撮像部で撮像された画像の画像データを生成する画像符号化部と、
第１ネットワークから、画像データを含む個別送信データを受信するデータ受信部と、
前記個別送信データから画像データを抽出する画像データ抽出部と、
前記生成された画像データ及び前記抽出された画像データから選択された画像データより１つの画像データを生成し、当該１つの画像データを含む合成送信データを生成するデータ合成部と、
前記合成送信データを、第２ネットワークに送信するデータ送信部と、を備えること
を特徴とする。
A record delivery apparatus according to an aspect of the present invention includes:
An image capturing unit for capturing an image;
An image encoding unit that generates image data of an image captured by the image capturing unit;
A data receiving unit for receiving individual transmission data including image data from the first network;
An image data extraction unit for extracting image data from the individual transmission data;
A data composition unit for generating one image data from the generated image data and image data selected from the extracted image data, and generating composite transmission data including the one image data;
A data transmission unit configured to transmit the combined transmission data to a second network.
本発明の一態様によれば、狭帯域のネットワーク環境でも、複数の画像を効率的に送信して、効果的に監視することができる。 According to one embodiment of the present invention, a plurality of images can be efficiently transmitted and effectively monitored even in a narrow-band network environment.
実施の形態１．
図１は、実施の形態１に係る記録配信装置１００の構成を概略的に示すブロック図である。記録配信装置１００は、画像撮像部１０１と、画像解析部１０２と、外部情報入力部１０３と、外部情報解析部１０４と、音声入力部１０５と、音声解析部１０６と、メタデータ生成部１０７と、重要度算出部１０８と、画像符号化部１０９と、画像切出部１１０と、送信データ切替部１１１と、管理情報生成部１１２と、データ記録部１１３と、データ受信部１１４と、メタデータ抽出部１１５と、重要度抽出部１１６と、画像データ抽出部１１７と、重要度比較部１１８と、スケーリング部１１９と、データ合成部１２０と、データ送信部１２１とを備える。ここで、記録配信装置１００は、利用者の設定に基づいて、マスタ装置又はスレーブ装置のいずれかとして機能する。
FIG. 1 is a block diagram schematically showing a configuration of a
なお、図１においては、記録配信装置１００に設けられる、あるいは、記録配信装置１００に接続される部分のうち、一部の部分、例えば、本装置の利用者が、記録の開始又は停止、マスタ装置又はスレーブ装置の設定等を指定するためのコマンド入力部、マスタ装置又はスレーブ装置等の設定を記憶する設定記憶部、機器の状態を表示する状態表示部、画像の符号化及び復号処理のために一時的にデータを格納するデータ一時格納部、一時的に格納されたデータを制御する制御部、並びに、出力された画像信号を表示する表示部等は、省略されている。
In FIG. 1, a part of the portions provided in the recording / distributing
画像撮像部１０１は、画像を撮像し、当該画像に対応する電気信号である画像信号を生成する。そして、画像撮像部１０１は、生成された画像信号を画像解析部１０２及び画像符号化部１０９に与える。
The
画像解析部１０２は、画像撮像部１０１より与えられた画像信号に基づいて、画像撮像部１０１で撮像された画像を解析し、解析結果を示す解析結果データとして、画像解析データを生成する。例えば、画像解析部１０２は、画像撮像部１０１で撮像された画像に重要な部分が含まれているか否かを解析する。一例として、画像解析部１０２は、画像撮像部１０１で撮像された画像に基づいて、動き検知と、顔検出とを行う。そして、画像解析部１０２は、解析結果として、動きが検知された領域の割合と、動きが検知された場合（例えば、動きが検知された領域の割合が「０」ではない場合）には、動きが検知された領域の座標と、顔検出の有無と、顔が検出された場合には、顔が検出された領域の座標とを示すデータを含む画像解析データを生成し、この画像解析データをメタデータ生成部１０７に与える。
The
外部情報入力部１０３は、外部機器で生成された外部信号の入力を受け付ける。例えば、本実施の形態においては、外部信号は、センサ機器（図示せず）で生成された検出信号であるが、他の信号、例えば、エレベータで生成された運行信号等であってもよい。ここで、本実施の形態においては、センサ機器は、センシング対象が動いた場合、例えば、ドアが開いた場合に、その検出信号を出力するものとする。なお、本実施の形態では、外部情報入力部１０３は、１つ設けられているが、複数でもよい。
The external
外部情報解析部１０４は、外部情報入力部１０３に入力された外部信号を解析し、その解析結果を示す解析結果データとして、外部入力データを生成する。例えば、本実施の形態においては、外部情報解析部１０４は、外部情報入力部１０３にセンサ機器からの外部信号が入力された際に、外部機器からの外部信号の入力があったことを示す外部入力データを生成し、外部情報入力部１０３にセンサ機器からの外部信号の入力がない場合には、外部機器からの外部信号の入力がないことを示す外部入力データを生成する。そして、外部情報解析部１０４は、生成された外部入力データをメタデータ生成部１０７に与える。
The external
音声入力部１０５は、マイク（図示せず）等からの音声信号の入力を受け付ける。なお、本実施の形態では、音声入力部１０５は、１つ設けられているが、複数でもよい。
The
音声解析部１０６は、音声入力部１０５に入力された音声信号を解析し、その解析結果を示す解析結果データとして、音声入力データを生成する。例えば、音声解析部１０６は、音声入力部１０５に入力された音声信号から、音声の音量レベルを特定する。そして、音声解析部１０６は、予め定められた音量レベルの最大値に対する、特定された音量レベルの割合を算出し、この割合（音声入力割合）を示す音声入力データを生成する。そして、音声解析部１０６は、生成された音声入力データをメタデータ生成部１０７に与える。
The
以上のように、画像解析部１０２、外部情報解析部１０４及び音声解析部１０６は、監視対象の状態を複数の項目で解析する状態解析部を構成し、その解析結果を示す解析結果データをメタデータ生成部１０７に与える。
As described above, the
メタデータ生成部１０７は、画像解析部１０２、外部情報解析部１０４及び音声解析部１０６から与えられた解析結果データに基づいて、これらで解析された解析結果を含む部分メタデータを生成し、この部分メタデータを重要度算出部１０８に与える。そして、メタデータ生成部１０７は、部分メタデータに基づいて重要度算出部１０８で算出された重要度の値が与えられると、この重要度の値とこの部分メタデータとをデータ合成部１２０に与える。ここで、部分メタデータには、動きが検知された領域の割合と、動きが検知された場合には、動きが検知された領域の座標と、顔検出の有無と、顔が検出された場合には、顔が検出された領域の座標と、外部信号の入力の有無と、音声入力割合とを示すデータが少なくとも含まれている。
また、メタデータ生成部１０７は、画像解析部１０２から受け取った画像解析データを画像切出部１１０に与える。
Based on the analysis result data given from the
Also, the
重要度算出部１０８は、個別画像データの重要度を算出する。ここで、重要度算出部１０８は、画像解析部１０２、外部情報解析部１０４及び音声解析部１０６により構成される状態解析部から、メタデータ生成部１０７を介して、監視対象の状態を複数の項目で解析した解析結果を示す解析結果データを取得し、この解析結果に基づいて、個別画像データの重要度を算出する。例えば、重要度算出部１０８は、自装置である記録配信装置１００がスレーブ装置である場合には、メタデータ生成部１０７から与えられる部分メタデータから個別画像データの重要度を算出し、この重要度の値を、メタデータ生成部１０７に与える。また、重要度算出部１０８は、自装置である記録配信装置１００がマスタ装置である場合には、メタデータ生成部１０７から与えられる部分メタデータから個別画像データの重要度を算出し、この重要度の値を、メタデータ生成部１０７及び重要度比較部１１８に与える。なお、重要度の具体的な算出方法については、図７及び図８を用いて後述する。
The
画像符号化部１０９は、画像撮像部１０１から与えられた画像信号を符号化して、画像データを生成する。そして、画像符号化部１０９は、生成された画像データを、画像切出部１１０及び管理情報生成部１１２に与える。
The
画像切出部１１０は、メタデータ生成部１０７から与えられた画像解析データに基づいて、必要な場合には、画像撮像部１０１で撮像された画像の中の一部分を切り出す。ここで、画像切出部１１０は、画像解析部１０２が画像撮像部１０１で撮像された画像の中に重要な部分が含まれていると判断した場合には、この重要な部分を切り出す。例えば、画像切出部１１０は、画像解析部１０２で、動きが検知された領域、あるいは、顔が検出された領域が含まれるように、切り出し範囲を決定する。なお、１つの画像で、動きが検知され、かつ、顔も検出されている場合には、画像切出部１１０は、顔が検出された領域を優先して、顔が検出された領域が含まれるように切出し範囲を決定することが望ましい。また、画像切出部１１０は、画像符号化部１０９によって符号化された画像データを一度復号してから切り出し処理を行ってもよいし、また、符号化形式によっては、復号せずに切り出し処理を行ってもよい。
画像切出部１１０は、切出し処理が行われた後の画像データを、個別画像データとして、送信データ切替部１１１に与える。また、画像切出部１１０は、動きが検知されず、かつ、顔も検出されていない場合には、画像符号化部１０９から与えられた画像データをそのまま、個別画像データとして、送信データ切替部１１１に与える。
The
The
送信データ切替部１１１は、画像切出部１１０から与えられた個別画像データを出力する出力先を切り替える。例えば、送信データ切替部１１１は、自装置である記録配信装置１００がマスタ装置である場合には、個別画像データをスケーリング部１１９に与える。また、送信データ切替部１１１は、自装置である記録配信装置１００がスレーブ装置である場合には、個別画像データをデータ合成部１２０に与える。
The transmission
管理情報生成部１１２は、画像符号化部１０９から与えられた画像データに対して一意となる固有識別子を生成する。また、管理情報生成部１１２は、画像符号化部１０９から与えられた画像データを、生成された固有識別子に対応付けて、データ記録部１１３に記録させる。さらに、管理情報生成部１１２は、生成された固有識別子をデータ合成部１２０に与える。
ここで、管理情報生成部１１２が生成する固有識別子について説明する。固有識別子は、画像データに対して一意となるものであればどのようなものであってもよいが、例えば、本実施の形態においては、固有識別子は、自装置である記録配信装置１００を識別するための識別情報である装置情報と、各々の画像データを識別するためのシーケンス番号とにより構成される。シーケンス番号は、日時情報で構成するのが望ましい。ここで、シーケンス番号として日時情報を用いる場合には、１秒間に複数の画像データが生成される場合もあるため、日時情報は、１秒以下の分解能を有するものとすることが望ましい。例えば、９０ｋＨｚの分解能を有する日時情報を用いることで、画像データに対して一意のシーケンス番号を付与することができる。
The management
Here, the unique identifier generated by the management
データ記録部１１３は、データを記録する。例えば、データ記録部１１３は、管理情報生成部１１２から与えられた画像データ及び固有識別子を対応付けて記録する。また、データ記録部１１３は、メタデータ生成部１０７から部分メタデータが与えられると、当該部分メタデータを、当該部分メタデータに対応する画像データに対応付けて記録する。さらに、データ記録部１１３は、自装置である記録配信装置１００がマスタ装置である場合には、データ合成部１２０から与えられた合成送信データを記録する。
ここで、データ記録部１１３は、内部にデータ蓄積用の媒体を備える。データ蓄積用の媒体は、ハードディスク、フラッシュメモリ、リムーバブルなＳＤメモリーカード等により構成することができる。
The
Here, the
データ受信部１１４は、データを受信する。例えば、本実施の形態においては、データ受信部１１４は、他の記録配信装置１００から送られてきた個別送信データを受信する。
The
メタデータ抽出部１１５は、データ受信部１１４で受信された個別送信データから個別メタデータを抽出し、この個別メタデータを重要度抽出部１１６及びデータ合成部１２０に与える。
The
重要度抽出部１１６は、メタデータ抽出部１１５から与えられた個別メタデータより重要度の値を抽出し、この重要度の値を重要度比較部１１８に与える。
The importance
画像データ抽出部１１７は、データ受信部１１４で受信された個別送信データから個別画像データを抽出し、この個別画像データをスケーリング部１１９に与える。
The image
重要度比較部１１８は、重要度算出部１０８で算出された、個別画像データの重要度の値、及び、重要度抽出部１１６で抽出された、各個別画像データの重要度の値、を比較して、個別画像データの画像を１つの画像データに合成する際の、個別画像データ毎のサイズ及び配置位置を特定する。そして、重要度比較部１１８は、個別画像データ毎のサイズをスケーリング部１１９に与え、個別画像データ毎の配置位置をデータ合成部１２０に与える。重要度比較部１１８が特定する各個別画像データのサイズ及び配置位置については、図１１を用いて後述する。
The
スケーリング部１１９は、重要度比較部１１８から受け取った個別画像データ毎のサイズに合わせて、送信データ切替部１１１及び画像データ抽出部１１７から与えられた個別画像データのサイズ（解像度）を変更する。そして、スケーリング部１１９は、サイズ変更後の個別画像データをデータ合成部１２０に与える。
The
データ合成部１２０は、画像データにメタデータを添付することにより送信データを生成し、この送信データをデータ送信部１２１に与える。
例えば、データ合成部１２０は、自装置である記録配信装置１００がスレーブ装置である場合には、メタデータ生成部１０７から与えられた部分メタデータ及び重要度の値と、管理情報生成部１１２から与えられた固有識別子とを含む個別メタデータを生成し、この個別メタデータを、送信データ切替部１１１から与えられた個別画像データに添付することで個別送信データを生成する。
また、データ合成部１２０は、自装置である記録配信装置１００がマスタ装置である場合には、スケーリング部１１９から与えられたサイズ変更後の個別画像データを、重要度比較部１１８から受け取った個別画像データ毎の配置位置に配置することで合成画像データを生成する。そして、データ合成部１２０は、自装置である記録配信装置１００がマスタ装置である場合には、メタデータ生成部１０７から与えられた部分メタデータ及び重要度の値と、管理情報生成部１１２から与えられた固有識別子と、メタデータ抽出部１１５から与えられた個別メタデータとを含む合成メタデータを生成する。そして、データ合成部１２０は、生成された合成画像データに合成メタデータを添付することで合成送信データを生成する。
そして、データ合成部１２０は、以上のようにして生成された個別送信データ又は合成送信データをデータ送信部１２１に与える。また、データ合成部１２０は、以上のようにして生成された合成送信データをデータ記録部１１３に記録させる。
The
For example, when the recording / distributing
In addition, when the recording / distributing
Then, the
データ送信部１２１は、ネットワークにデータを送信する。例えば、データ送信部１２１は、自装置である記録配信装置１００がスレーブ装置である場合には、データ合成部１２０から与えられた個別送信データを、ネットワークを介して、マスタ装置である記録配信装置１００に送信する。
また、データ送信部１２１は、自装置である記録配信装置１００がマスタ装置である場合には、データ合成部１２０から与えられた合成送信データを、ネットワークを介して、予め定められた装置に送信する。ここで、合成送信データの送信先となる、予め定められた装置は、マスタ装置である記録配信装置１００に個別送信データを送信する記録配信装置１００以外の装置である。例えば、予め定められた装置は、合成画像を表示する表示部を備える視聴装置であることが望ましい。
なお、自装置である記録配信装置１００がスレーブ装置である場合には、マスタ装置である記録配信装置１００の通信アドレスが、図示しない通信アドレス記憶部に記憶されているものとし、自装置である記録配信装置１００がマスタ装置である場合には、予め定められた装置の通信アドレスが、図示しない通信アドレス記憶部に記憶されているものとする。
The
Further, when the recording / distributing
When the recording / distributing
図２は、記録配信装置１００を用いた監視システム１５０の構成を概略的に示す構成図である。監視システム１５０は、第１カメラ１５１と、第２カメラ１５２と、第３カメラ１５３と、第４カメラ１５４と、視聴装置１５５と、を備える。第１カメラ１５１、第２カメラ１５２、第３カメラ１５３及び第４カメラ１５４は、ネットワークハブ１５６を介して、ＬＡＮ（Ｌｏｃａｌ Ａｒｅ Ｎｅｔｗｏｒｋ）に接続されている。また、このＬＡＮには、第１ネットワークルータ１５７が接続されており、第１カメラ１５１、第２カメラ１５２、第３カメラ１５３及び第４カメラ１５４は、第１ネットワークルータ１５７を介してインターネット１５８に接続することができるように構成されている。また、視聴装置１５５は、第２ネットワークルータ１５９を介して、インターネット１５８に接続することができるように構成されている。
FIG. 2 is a configuration diagram schematically showing the configuration of the
第１カメラ１５１、第２カメラ１５２、第３カメラ１５３及び第４カメラ１５４は、記録配信装置１００により構成されている。そして、第１カメラ１５１がマスタ装置に設定されており、第２カメラ１５２、第３カメラ１５３及び第４カメラ１５４がスレーブ装置に設定されている。
これらのカメラ１５１〜１５４は、監視対象とされたエリアに設置され、このエリアの画像を撮像する。そして、スレーブ装置である第２カメラ１５２、第３カメラ１５３及び第４カメラ１５４は、個別送信データを生成し、この個別送信データを、マスタ装置である第１カメラ１５１に送信する。そして、第１カメラ１５１は、自装置で撮像された画像から生成された個別画像データ、部分メタデータ、固有識別子、及び、第２カメラ１５２、第３カメラ１５３及び第４カメラ１５４から受信した個別送信データに基づいて、合成送信データを生成し、この合成送信データを視聴装置１５５に送信する。視聴装置１５５は、通常、遠隔地に設置されており、視聴装置１５５の利用者は、遠隔地から監視エリアを監視することができる。
The
These
視聴装置１５５は、図示されていないが、受信部と、画像処理部と、表示部とを少なくとも備えており、受信部で合成送信データを受信し、画像処理部でこの合成送信データから合成画像データを抽出し、表示部でこの合成画像データに対応する画像を表示する。また、視聴装置１５５は、さらに、視聴装置１５５の利用者からの指示の入力を受け付ける入力部を備えるように構成することもできる。そして、この入力部が利用者からメタデータの表示指示の入力を受け付けた場合に、画像処理部が、合成送信データから合成メタデータを抽出して、この合成メタデータに含まれている全部又は一部のデータを所定の表示形式にしたメタデータ画像データを生成し、表示部がこのメタデータ画像データに対応する画像を表示してもよい。なお、視聴装置１５５は、合成送信データを記録する記録部をさらに備えていてもよい。
Although not shown, the
以上のような構成により、監視システム１５０では、複数のカメラ１５２〜１５４で生成された複数の画像データが、ＬＡＮに接続されたマスタ装置としての第１カメラ１５１に送られ、この第１カメラ１５１は、これらの画像データと、自装置で撮像した画像に対応する画像データとを合成することで１つの合成画像データを生成し、この合成画像データを広域ネットワークに送信する。
With the configuration as described above, in the
なお、ここでは、カメラ４台で監視システム１５０を構成したが、カメラの台数は、この４台に限るものではなく、３台以下でも５台以上でもよい。
Although the
図３は、図２に示されているカメラ１５１〜１５４の配置例を示す概略図である。図示するようにカメラ１５１〜１５４は、監視対象としての部屋１６０内に、それぞれ異なる位置に配置されている。部屋１６０には、人が出入りするための扉１６１が設けられており、部屋１６０内には、被写体１６２が存在する。そして、カメラ１５１〜１５４は、被写体１６２をそれぞれ異なる位置から撮影する。また、扉１６１には、図示されてはいないが、センサ機器としての開閉センサが設けられており、この開閉センサは第４カメラ１５４の外部情報入力部１０３に接続されている。そして、開閉センサは、扉１６１が開かれたことを検出すると、その検出信号を第４カメラ１５４に出力する。
FIG. 3 is a schematic diagram showing an arrangement example of the
図４（Ａ）〜（Ｄ）は、図３に示されているカメラ１５１〜１５４で撮像された画像を示す概略図である。図４（Ａ）は、第１カメラ１５１で撮像された画像ＩＭ１を示す概略図である。図４（Ｂ）は、第２カメラ１５２で撮像された画像ＩＭ２を示す概略図である。図４（Ｃ）は、第３カメラ１５３で撮像された画像ＩＭ３を示す概略図である。図４（Ｄ）は、第１カメラ１５４で撮像された画像ＩＭ４を示す概略図である。
4A to 4D are schematic diagrams illustrating images captured by the
これらの画像ＩＭ１〜ＩＭ４は、同一の被写体１６２を、それぞれ異なる角度から撮影したものであるため、関連のある画像となる。しかしながら、これらの画像ＩＭ１〜ＩＭ４は、カメラの位置によって、重要な画像と、重要ではない画像とに区別できる。画像ＩＭ２では、被写体１６２が、他の画像よりも大きく写されている。画像ＩＭ１及び画像ＩＭ３では、被写体１６２が、画像ＩＭ２の次に大きく写されている。画像ＩＭ４では、被写体１６２が、他の画像ＩＭ１〜ＩＭ３よりも小さく写されているが、被写体１６２の顔が、正面に写っている。そして、記録配信装置１００の重要度算出部１０８は、これらの画像ＩＭ１〜ＩＭ４の状態に応じて、重要度を算出する。
Since these images IM1 to IM4 are obtained by photographing the same subject 162 from different angles, they are related images. However, these images IM1 to IM4 can be distinguished into important images and unimportant images depending on the position of the camera. In the image IM2, the subject 162 is shown larger than the other images. In the image IM1 and the image IM3, the subject 162 is photographed next to the image IM2. In the image IM4, the subject 162 is shown smaller than the other images IM1 to IM3, but the face of the subject 162 is shown in front. Then, the
図５は、カメラ１５１〜１５４で撮像された画像を合成した合成画像ＳＩＭの概略図である。合成画像ＳＩＭの領域＃１には、第１カメラ１５１で撮像された画像ＩＭ１（図４（Ａ）参照）をスケーリングした画像が合成される。領域＃２には、第２カメラ１５２で撮像された画像ＩＭ２（図４（Ｂ）参照）をスケーリングした画像が合成される。領域＃３には、第３カメラ１５３で撮像された画像ＩＭ３（図４（Ｃ）参照）をスケーリングした画像が合成される。領域＃４には、第４カメラ１５４で撮像された画像ＩＭ４からリッピングされた画像ＲＩＭ４（図４（Ｄ）参照）をスケーリングした画像が合成される。
FIG. 5 is a schematic diagram of a composite image SIM obtained by combining images captured by the
次に、記録配信装置１００での動作を説明する。
図６は、記録配信装置１００がスレーブ装置である場合の処理を示すフローチャートである。
Next, the operation of the
FIG. 6 is a flowchart showing processing when the
まず、画像撮像部１０１が画像を撮像する（Ｓ１０）と、画像撮像部１０１は、撮像された画像の画像信号を画像解析部１０２及び画像符号化部１０９に与える。そして、画像解析部１０２はステップＳ１１の処理を行い、画像符号化部１０９はステップＳ１４の処理を行う。
First, when the
ステップＳ１１では、画像解析部１０２は、与えられた画像信号に基づいて、動き検知と、顔検出とを行い、これらの解析結果を含む画像解析データを生成し、この画像解析データをメタデータ生成部１０７に与える。この画像解析データには、例えば、動きが検知された領域の割合と、動きが検知された場合には、動きが検知された領域の座標と、顔検出の有無と、顔が検出された場合には、顔が検出された領域の座標とを示すデータが含まれる。
In step S11, the
次に、メタデータ生成部１０７は、画像解析部１０２から与えられる画像解析データ、外部情報解析部１０４から与えられる外部入力データ、及び、音声解析部１０６から与えられる音声入力データに基づいて、部分メタデータを生成し、この部分メタデータを重要度算出部１０８に与える（Ｓ１２）。この部分メタデータには、動きが検知された場合には、動きが検知された領域の座標と、顔検出の有無と、顔が検出された場合には、顔が検出された領域の座標と、外部信号の入力の有無と、音声入力割合とを示すデータが少なくとも含まれている。
Next, the
次に、重要度算出部１０８は、メタデータ生成部１０７から与えられた部分メタデータに基づいて、重要度を算出する（Ｓ１３）。そして、重要度算出部１０８は、算出された重要度の値をメタデータ生成部１０７に与える。メタデータ生成部１０７は、生成された部分メタデータと、重要度算出部１０８より与えられた重要度の値とをデータ合成部１２０に与える。
Next, the importance
図７は、重要度を算出する際に、重要度算出部１０８が参照する重要度算出情報ＩＰＴを示す概略図である。重要度算出情報ＩＰＴは、項目番号欄ＩＰＴ１と、項目欄ＩＰＴ２と、条件欄ＩＰＴ３と、スコア欄ＩＰＴ４とを有するテーブル形式の情報である。
FIG. 7 is a schematic diagram showing importance calculation information IPT that is referred to by the
項目番号欄ＩＰＴ１は、重要度を算出する際に用いられる各々の項目を識別するための識別番号である項目番号を格納する。
項目欄ＩＰＴ２は、項目番号欄ＩＰＴ１で識別される項目の項目名を格納する。ここで、本実施の形態においては、「動き検知」、「顔検出」、「外部入力」及び「音声入力」の４つの項目を用いて重要度が算出される。
条件欄ＩＰＴ３は、項目番号欄ＩＰＴ１で識別される項目毎に、解析結果をスコア欄ＩＰＴ４に格納されているスコアに割り当てるための条件を格納する。
スコア欄ＩＰＴ４は、項目番号欄ＩＰＴ１で識別される項目の解析結果が、条件欄ＩＰＴ３に格納されている条件を満たしている場合に、重要度を計算するために割り当てられるスコアの値を格納する。図７の例では、項目番号ｉが「０」の動き検知では、撮像画像の全体が例えば８１（＝９×９）個のエリアに分割され、それぞれのエリアで、撮像画像に動きがあったかどうかが判定される。そして、動きのあったエリア数が全体の７０％以上であれば、Ｓｃｏｒｅ［０］の値は「１」となり、３１％〜６９％の場合には、Ｓｃｏｒｅ［０］の値は「０.５」となり、３０％以下の場合には、Ｓｃｏｒｅ［０］の値は「０」となる。また、項目番号ｉが「１」の顔検知では、撮像画像に人物の顔が含まれている場合には、Ｓｃｏｒｅ［１］の値は「１」となり、人物の顔が含まれていない場合には、Ｓｃｏｒｅ［１］の値は「０」となる。また、項目番号ｉが「２」の外部入力では、センサ入力がある場合には、Ｓｃｏｒｅ［２］の値は「１」となり、センサ入力がない場合には、Ｓｃｏｒｅ［２］の値は「０」となる。また、項目番号ｉが「３」の音声入力では、音声入力割合が７０％を超えていた場合には、Ｓｃｏｒｅ［３］の値は「１」となり、音声入力割合が３１％〜６９％の場合には、Ｓｃｏｒｅ［３］の値は「０.５」となり、音声入力割合が３０％以下の場合には、Ｓｃｏｒｅ［３］の値は「０」となる。
The item number column IPT1 stores an item number that is an identification number for identifying each item used when calculating the importance.
The item column IPT2 stores the item name of the item identified in the item number column IPT1. Here, in the present embodiment, the importance is calculated using four items of “motion detection”, “face detection”, “external input”, and “voice input”.
The condition column IPT3 stores a condition for assigning the analysis result to the score stored in the score column IPT4 for each item identified in the item number column IPT1.
The score column IPT4 stores a score value assigned to calculate the importance when the analysis result of the item identified in the item number column IPT1 satisfies the condition stored in the condition column IPT3. . In the example of FIG. 7, in the motion detection in which the item number i is “0”, the entire captured image is divided into, for example, 81 (= 9 × 9) areas, and whether or not the captured image has moved in each area. Is determined. If the number of areas that have moved is 70% or more of the whole, the value of Score [0] is “1”, and if it is 31% to 69%, the value of Score [0] is “0. In the case of 30% or less, the value of Score [0] is “0”. In the face detection with the item number i being “1”, if the captured image includes a person's face, the value of Score [1] is “1” and the person's face is not included. The value of Score [1] is “0”. In the case of external input with the item number i being “2”, the value of Score [2] is “1” when there is a sensor input, and the value of Score [2] is “1” when there is no sensor input. 0 ". Also, in the voice input with the item number i being “3”, if the voice input ratio exceeds 70%, the value of Score [3] is “1”, and the voice input ratio is 31% to 69%. In this case, the value of Score [3] is “0.5”, and when the voice input ratio is 30% or less, the value of Score [3] is “0”.
なお、この図７に示されている条件は、図７に示されているものに限定されるものではなく、例えば、項目番号ｉが「０」の動き検知で、Ｓｃｏｒｅ［０］の値が「１」となる条件を、動き検知エリア数が８０％以上としてもよい。また、項目番号ｉが「３」の音声入力では、条件として音声入力割合を用いているが、特定周波数の音声における音量レベルの割合、又は、より高度な音声認識を用いて、特定の音声条件を満たした場合により高いスコアの値が付与されるように構成されていてもよい。 The conditions shown in FIG. 7 are not limited to those shown in FIG. 7. For example, the motion number of item number i is “0” and the value of Score [0] is The condition of “1” may be that the number of motion detection areas is 80% or more. In addition, in the voice input with the item number i being “3”, the voice input ratio is used as a condition. However, the specific voice condition is determined by using the ratio of the volume level in the voice of the specific frequency or higher voice recognition. It may be configured such that a higher score value is given when the above is satisfied.
そして、重要度算出部１０８は、例えば、図７に示されている重要度算出情報ＩＰＴを用いて、下記の（１）式により重要度（ＩＰ）を算出する。
図８（Ａ）及び（Ｂ）は、図３に示されているカメラ１５１〜１５４において、ある撮影条件下で撮像された画像に対して、重要度算出部１０８が割り当てたスコアの値と、重要度算出部１０８が算出した重要度の値の一例を示す概略図である。
8A and 8B show the score values assigned by the
図８（Ａ）は、重要度算出部１０８が割り当てたスコアの値の一例を示している。例えば、第１カメラ１５１で撮像された画像では、中程度の動きが検知されているため、動き検知のスコアＳｃｏｒｅ［０］の値は「０.５」、また、顔は検出されていないため、顔検出のＳｃｏｒｅ［１］の値は「０」、センサ入力もなく、センサ入力のＳｃｏｒｅ［２］の値も「０」、音声信号の入力もなく、音声入力のＳｃｏｒｅ［３］の値も「０」となっている。第２カメラ１５２で撮像された画像では、被写体に近く、動きが検知された領域が広いため、動き検知のスコアＳｃｏｒｅ［０］の値は「１」、顔は検出されていないため、顔検知のＳｃｏｒｅ［１］の値は「０」、センサ入力もなく、センサ入力のＳｃｏｒｅ［２］の値も「０」、中程度の音声信号が入力されているため、音声入力のＳｃｏｒｅ［３］の値は「０.５」となっている。第３カメラ１５３で撮像された画像では、中程度の動きが検知されているため、動き検知のスコアＳｃｏｒｅ［０］の値は「０.５」、顔は検出されていないため、顔検出のＳｃｏｒｅ［１］の値は「０」、センサ入力もないため、センサ入力のＳｃｏｒｅ［２］の値も「０」、中程度の音声信号が入力されているため、音声入力のＳｃｏｒｅ［３］の値は「０.５」となっている。第４カメラ１５４で撮像された画像では、被写体からの距離が遠く、動きが検出されたエリアが狭いため、動き検知のＳｃｏｒｅ［０］の値は「０」、被写体の顔を正面から捉えていて、顔が検出されたため、顔検出のＳｃｏｒｅ［１］の値は「１」、ドアの開閉によりセンサ入力もあるため、センサ入力のＳｃｏｒｅ［２］の値は「１」、音声信号の入力はないため、音声入力のＳｃｏｒｅ［３］の値は「０」となっている。
FIG. 8A shows an example of score values assigned by the
図８（Ｂ）は、図８（Ａ）に示されているスコアの値に基づいて、重要度算出部１０８が算出した重要度の値の一例を示す概略図である。
重要度算出部１０８は、図８（Ａ）に示されているスコアの値を、（１）式に代入することにより、重要度を算出する。図８（Ｂ）に示されている例では、第１カメラ１５１で撮像された画像の重要度の値は「１．０」、第２カメラ１５２で撮像された画像の重要度の値は「２．５」、第３カメラ１５３で撮像された画像の重要度の値は「１．５」、第４カメラ１５４で撮像された画像の重要度の値は「７」となる。このように重要度を複数の項目を組み合わせて算出することで、例えば、動きは無いが顔を検知している場合や、動きは小さいが音声入力がある場合等、監視者にとってより重要な画像を総合的に判定することが可能となる。
FIG. 8B is a schematic diagram illustrating an example of importance values calculated by the
The
図６の説明に戻り、ステップＳ１４では、画像符号化部１０９は、画像撮像部１０１から与えられた画像信号を符号化して、画像データを生成する。そして、画像符号化部１０９は、生成された画像データを、管理情報生成部１１２及び画像切出部１１０に与える。
Returning to the description of FIG. 6, in step S <b> 14, the
次に、管理情報生成部１１２は、画像符号化部１０９から与えられた画像データに対して一意となる固有識別子を生成し、画像符号化部１０９から与えられた画像データと、この固有識別子とをデータ記録部１１３に与える（Ｓ１５）。例えば、管理情報生成部１１２は、生成された固有識別子を、画像データのフッタ部に付与して、データ記録部１１３に与える。
Next, the management
次に、データ記録部１１３は、管理情報生成部１１２から与えられた画像データと、固有識別子とを対応付けて記録する（Ｓ１６）。なお、データ記録部１１３は、メタデータ生成部１０７より、当該画像データの部分メタデータが送られてきた場合には、当該部分メタデータも当該画像データに対応付けて記録する。
Next, the
ステップＳ１７では、画像切出部１１０は、個別画像データを生成する。例えば、画像切出部１１０は、メタデータ生成部１０７から与えられた部分メタデータに、動きが検知された領域を示すデータ及び顔が検出された領域を示すデータの少なくとも何れか一方が含まれている場合には、当該領域を含む範囲を、画像符号化部１０９から与えられた画像データより切り出す。そして、画像切出部１１０は、切り出した画像データを個別画像データとする。一方、画像切出部１１０は、メタデータ生成部１０７から与えられた部分メタデータに、動きが検知されていないことを示すデータが含まれており、かつ、顔が検出されていないことを示すデータが含まれている場合には、画像符号化部１０９から与えられた画像データを個別画像データとする。画像切出部１１０は、個別画像データを送信データ切替部１１１に与え、送信データ切替部１１１は、この個別画像データをデータ合成部１２０に与える。
In step S17, the
次に、データ合成部１２０は、ステップＳ１３でメタデータ生成部１０７から与えられた部分メタデータ及び重要度の値と、ステップＳ１５で管理情報生成部１１２から与えられた固有識別子とを含む個別メタデータを生成し、この個別メタデータを、ステップＳ１７で送信データ切替部１１１から与えられた個別画像データに添付することで個別送信データを生成する（Ｓ１８）。そして、データ合成部１２０は、生成された個別送信データをデータ送信部１２１に与える。
Next, the
ここで、図９は、個別送信データＩＩＤ１のデータ構造を示す概略図である。
個別送信データＩＩＤ１は、個別画像データＩＩＤ１１と、固有識別子ＩＩＤ１２と、重要度ＩＩＤ１３と、項目個数ＩＩＤ１４と、項目番号ＩＩＤ１５と、解析結果データサイズＩＩＤ１６と、解析結果ＩＩＤ１７とを有する。
個別画像データＩＩＤ１１は、ステップＳ１７で送信データ切替部１１１から与えられた個別画像データである。
固有識別子ＩＩＤ１２は、ステップＳ１５で管理情報生成部１１２から与えられた固有識別子である。この固有識別子ＩＩＤ１２により、個別画像データＩＩＤ１１が一意に識別される。
重要度ＩＩＤ１３は、ステップＳ１３でメタデータ生成部１０７から与えられた重要度の値である。
項目個数ＩＩＤ１４、項目番号ＩＩＤ１５、解析結果データサイズＩＩＤ１６及び解析結果ＩＩＤ１７は、ステップＳ１３でメタデータ生成部１０７から与えられた部分メタデータに含まれているデータである。
項目個数ＩＩＤ１４は、重要度を算出するために使用される項目の数を示すものであり、本実施の形態では、この個数は「４」になっている。そして、この項目個数ＩＩＤ１４で示される数だけ、項目番号ＩＩＤ１５と、解析結果データサイズＩＩＤ１６と、解析結果ＩＩＤ１７との組み合わせが格納される。項目番号ＩＩＤ１５は、重要度を算出するために用いられる各々の項目を識別するための識別番号であって、本実施の形態においては、「０」は動き検知、「１」は顔検出、「２」は外部入力、「３」は音声入力となっている。解析結果データサイズＩＩＤ１６は、解析結果ＩＩＤ１７のデータサイズを示す。解析結果ＩＩＤ１７は、項目番号ＩＩＤ１５で識別される項目に対応する解析結果を含む。本実施の形態では、項目番号ＩＩＤ１５が「０」の場合は、動きが検知された領域の割合、及び、動きが検知された場合には、動きが検知された領域の座標、項目番号ＩＩＤ１５が「１」の場合は、顔検出の有無、及び、顔が検出された場合には、顔が検出された領域の座標、項目番号ＩＩＤ１５が「２」の場合は、外部入力の有無、項目番号ＩＩＤ１５が「３」の場合は、音声入力割合を示すデータが、解析結果ＩＩＤ１７として格納される。
なお、固有識別子ＩＩＤ１２、重要度ＩＩＤ１３、項目個数ＩＩＤ１４、項目番号ＩＩＤ１５、解析結果データサイズＩＩＤ１６及び解析結果ＩＩＤ１７が、個別メタデータを構成する。
Here, FIG. 9 is a schematic diagram showing a data structure of the individual transmission data IID1.
The individual transmission data IID1 includes individual image data IID11, a unique identifier IID12, an importance IID13, an item number IID14, an item number IID15, an analysis result data size IID16, and an analysis result IID17.
The individual image data IID11 is individual image data given from the transmission
The unique identifier IID12 is a unique identifier given from the management
The importance IID13 is the importance value given from the
The item number IID14, the item number IID15, the analysis result data size IID16, and the analysis result IID17 are data included in the partial metadata provided from the
The item number IID14 indicates the number of items used to calculate the importance, and in the present embodiment, this number is “4”. Then, the combinations of the item number IID15, the analysis result data size IID16, and the analysis result IID17 are stored for the number indicated by the item number IID14. The item number IID15 is an identification number for identifying each item used for calculating the importance. In this embodiment, “0” is motion detection, “1” is face detection, “ “2” is an external input, and “3” is a voice input. The analysis result data size IID16 indicates the data size of the analysis result IID17. The analysis result IID17 includes an analysis result corresponding to the item identified by the item number IID15. In the present embodiment, when the item number IID15 is “0”, the ratio of the area where the motion is detected, and when the motion is detected, the coordinates of the area where the motion is detected, the item number IID15 is In the case of “1”, the presence / absence of face detection, and in the case where a face is detected, the coordinates of the area in which the face is detected, the item number IID15 being “2”, the presence / absence of external input, the item number When IID15 is “3”, data indicating the voice input ratio is stored as analysis result IID17.
The unique identifier IID12, the importance level IID13, the item number IID14, the item number IID15, the analysis result data size IID16, and the analysis result IID17 constitute individual metadata.
図６の説明に戻り、データ送信部１２１は、データ合成部１２０から与えられた個別送信データを、ネットワークを介して、マスタ装置である記録配信装置１００に送信する（Ｓ１９）。
Returning to the description of FIG. 6, the
図１０は、記録配信装置１００がマスタ装置である場合の処理を示すフローチャートである。ここで、図１０のステップＳ２０〜ステップＳ２７までの処理は、図６のステップＳ１０〜Ｓ１７までの処理と同様である。
FIG. 10 is a flowchart showing processing when the
ステップＳ２８では、データ受信部１１４が、スレーブ装置となっている他の記録配信装置１００から個別送信データを受信したか否かを判断する。そして、データ受信部１１４は、受信した個別送信データに受信した時刻を示すタイムスタンプを付与する。また、メタデータ抽出部１１５は、受信された個別送信データから個別メタデータを抽出して、この個別メタデータを重要度抽出部１１６及びデータ合成部１２０に与える。さらに、画像データ抽出部１１７は、受信された個別送信データから個別画像データを抽出して、この個別画像データをスケーリング部１１９に与える。そして、データ受信部１１４は、個別送信データを受信している場合（ステップＳ２８でＹｅｓ）には、ステップＳ２９の処理に進み、個別送信データを受信していない場合（ステップＳ２８でＮｏ）には、ステップＳ３１の処理に進む。
In step S28, the
ステップＳ２９では、重要度抽出部１１６は、メタデータ抽出部１１５から与えられた個別メタデータに含まれている重要度の値を抽出する（Ｓ２９）。そして、重要度抽出部１１６は、抽出された重要度の値を重要度比較部１１８に与える。
In step S29, the importance
次に、データ受信部１１４は、同一時刻のタイムスタンプが付与された全ての個別送信データから重要度の値が抽出されたか否かを判断する（Ｓ３０）。そして、データ受信部１１４は、同一時刻のタイムスタンプが付与された全ての個別送信データから重要度の値が抽出された場合（ステップＳ３０でＹｅｓ）、言い換えると、同一時刻のタイムスタンプが付与された個別送信データのうち、重要度の値が抽出されていない個別送信データが存在しない場合には、ステップＳ３１の処理に進む。一方、データ受信部１１４は、同一時刻のタイムスタンプが付与された全ての個別送信データからは重要度の値が抽出されていない場合（ステップＳ３０でＮｏ）、言い換えると、同一時刻のタイムスタンプが付与された個別送信データのうち、重要度の値が抽出されていない個別送信データが存在する場合には、ステップＳ２９の処理に戻る。
Next, the
ステップＳ３１では、重要度比較部１１８は、重要度算出部１０８で算出された、個別画像データの重要度の値、及び、重要度抽出部１１６で抽出された、各個別画像データの重要度の値を比較して、各個別画像データの画像を１つの画像データに合成する際の、個別画像データ毎のサイズ及び配置位置を特定する。例えば、重要度比較部１１８は、合成画像データとして、個別画像データを配置するサイズ及び位置が予め定められた複数の配置パターンから、個別画像データ毎の重要度の値に応じて、１つの配置パターンを選択し、選択された配置パターンで、各個別画像データを配置するサイズ及び位置を特定する。そして、重要度比較部１１８は、特定されたサイズをスケーリング部１１９に与え、特定された配置位置をデータ合成部１２０に与える。
In step S31, the importance
図１１（Ａ）〜（Ｔ）は、重要度比較部１１８で選択することのできる配置パターンの一例を示す概略図である。なお、図１１（Ａ）〜（Ｔ）は、ネットワークに接続されている記録配信装置１００が４つである場合の例であるが、この数については、４つに限定されるものではない。
図１１（Ａ）は、４つの個別画像データの重要度の値の全てが、予め定められた閾値よりも低い場合の配置パターンＳＩＰ１である。
図１１（Ｂ）〜（Ｅ）は、４つの個別画像データのうち、１つの個別画像データの重要度の値だけが、予め定められた閾値以上である場合の配置パターンＳＩＰ２〜ＳＩＰ５である。
図１１（Ｆ）〜（Ｉ）も、４つの個別画像データのうち、１つの個別画像データの重要度の値だけが、予め定められた閾値以上である場合の配置パターンＳＩＰ６〜ＳＩＰ９である。例えば、パターンＳＩＰ６〜ＳＩＰ９が選択される場合の閾値は、パターンＳＩＰ２〜ＳＩＰ５が選択される場合の閾値よりも大きな値となっていることが望ましい。
図１１（Ｊ）〜（Ｏ）は、４つの個別画像データのうち、２つの個別画像データの重要度の値だけが、予め定められた閾値以上である場合の配置パターンＳＩＰ１０〜ＳＩＰ１５である。
図１１（Ｐ）〜（Ｓ）は、４つの個別画像データのうち、３つの個別画像データの重要度の値だけが、予め定められた閾値以上である場合の配置パターンＳＩＰ１６〜ＳＩＰ１９である。
図１１（Ｔ）は、４つの個別画像データの重要度の値の全てが、予め定められた閾値以上である場合の配置パターンＳＩＰ２０である。
FIGS. 11A to 11T are schematic diagrams illustrating examples of arrangement patterns that can be selected by the importance
FIG. 11A shows an arrangement pattern SIP1 when all the importance values of the four individual image data are lower than a predetermined threshold.
FIGS. 11B to 11E show the arrangement patterns SIP2 to SIP5 when only the importance value of one individual image data among the four individual image data is greater than or equal to a predetermined threshold value.
FIGS. 11F to 11I also show the arrangement patterns SIP6 to SIP9 when only the importance value of one individual image data among the four individual image data is greater than or equal to a predetermined threshold value. For example, it is desirable that the threshold when the patterns SIP6 to SIP9 are selected be larger than the threshold when the patterns SIP2 to SIP5 are selected.
FIGS. 11J to 11O show the arrangement patterns SIP10 to SIP15 when only the importance value of the two individual image data out of the four individual image data is greater than or equal to a predetermined threshold value.
11 (P) to 11 (S) show the arrangement patterns SIP16 to SIP19 when only the importance value of the three individual image data among the four individual image data is greater than or equal to a predetermined threshold value.
FIG. 11 (T) shows an arrangement pattern SIP20 in the case where all of the importance values of the four individual image data are greater than or equal to a predetermined threshold value.
なお、重要度比較部１１８は、４つの記録配信装置１００の内、同一時刻に個別送信データを受信していないものがある場合には、個別送信データを受信していない記録配信装置１００に対応する個別画像データの重要度を「０」として、そのサイズ及び配置位置を特定する。そして、重要度比較部１１８は、スケーリング部１１９に、個別送信データを受信していない記録配信装置１００に対応する個別画像データを、例えば、黒画像データ等、予め定められた画像データで代用するように指示を出す。
The importance
図１０の説明に戻り、ステップＳ３２では、スケーリング部１１９は、重要度比較部１１８から与えられたサイズとなるように、各個別画像データのスケーリングを実行する。そして、スケーリング部１１９は、サイズ変更後の個別画像データをデータ合成部１２０に与える。この際、スケーリング部１１９は、個別画像データ毎に、縮小率又は拡大率を示すスケーリングエリア情報を添付する。また、黒画像データ等、予め定められた画像データで代用した場合には、代用された画像データに元の画像がないことを示す情報を添付する。
Returning to the description of FIG. 10, in step S <b> 32, the
次に、データ合成部１２０は、ステップＳ３２でスケーリングされた個別画像データを、重要度比較部１１８から与えられた配置位置に配置することで合成画像データを生成する。また、データ合成部１２０は、ステップＳ２３でメタデータ生成部１０７から与えられた部分メタデータ及び重要度の値と、ステップＳ２５で管理情報生成部１１２から与えられた固有識別子と、ステップＳ２８でメタデータ抽出部１１５から与えられた個別メタデータとを含む合成メタデータを生成する。そして、データ合成部１２０は、生成された合成画像データに、生成された合成メタデータを添付することで合成送信データを生成する（Ｓ３３）。そして、データ合成部１２０は、生成された合成送信データをデータ送信部１２１に与える。
Next, the
ここで、図１２は、合成送信データＳＩＤ１のデータ構造を示す概略図である。
合成送信データＳＩＤ１は、合成画像データＳＩＤ１１と、最大カメラ数ＳＩＤ１２と、各画像有無情報ＳＩＤ１３と、カメラ番号ＳＩＤ１４と、スケーリングエリアＳＩＤ１５と、固有識別子ＳＩＤ１６と、重要度ＳＩＤ１７と、項目個数ＳＩＤ１８と、項目番号ＳＩＤ１９と、解析結果データサイズＳＩＤ２０と、解析結果ＳＩＤ２１とを有する。
合成画像データＳＩＤ１１は、ステップＳ３３で、各個別画像データが合成された合成画像データである。
最大カメラ数ＳＩＤ１２は、合成画像データに合成される個別画像データを撮像するカメラ（記録配信装置１００）の最大数を示す。例えば、図２及び３の例では、最大カメラ数ＳＩＤ１２は、「４」である。
各画像有無情報ＳＩＤ１３は、カメラ（記録配信装置１００）毎に、撮像された個別画像データが合成画像データに合成されているか否かを示す情報である。例えば、各画像有無情報ＳＩＤ３は、ビットパターンの情報で明示される。例えば、図２及び３に示されている例では、４つのカメラ１５１〜１５４のうち、第１カメラ１５１、第２カメラ１５２及び第４カメラ１５４で撮像された画像の個別画像データが合成画像データに含まれており、第３カメラ１５３で撮像された画像の個別画像データの代わりに、黒画像データが代用された場合には、各画像有無情報ＳＩＤ１３は、「１０１１」と示されるものとする。
カメラ番号ＳＩＤ１４〜解析結果ＳＩＤ２１は、個別画像データが合成画像データに含まれているカメラ（記録配信装置１００）の数だけ設けられる。
カメラ番号ＳＩＤ１４は、カメラ（記録配信装置１００）を識別するための識別番号である。例えば、カメラ番号ＳＩＤ１４としては、固有識別子に含まれている装置情報が利用できる。
スケーリングエリアＳＩＤ１５は、カメラ番号ＳＩＤ１４で識別されるカメラ（記録配信装置１００）で撮像された画像の個別画像データに対して、スケーリング部１１９がスケーリングした縮小率又は拡大率を示す。
固有識別子ＳＩＤ１６は、カメラ番号ＳＩＤ１４で識別されるカメラ（記録配信装置１００）で撮像された画像の個別画像データの固有識別子である。これは、ステップＳ２５で、管理情報生成部１１２より与えられる。
なお、このように、４つのカメラの画像を１枚に合成して送信する際に、４つの個別画像データのそれぞれに付与された固有識別子を、合成画像データに付与して送信するため、遠隔地で合成画像データを記録した場合に、その合成画像データから元の個別画像データを特定することが可能となり、合成画像データからより詳細な個別画像データの確認を効率的に行うことができる。また、各カメラにおける画像の記録の際に、この固有識別子のリストを作成し、固有識別子と、画像データのアドレス情報とをペアで管理してもよく、このようにすると固有識別子の検索を高速で実行可能となる。
重要度ＳＩＤ１７は、カメラ番号ＳＩＤ１４で識別されるカメラ（記録配信装置１００）で撮像された画像の個別画像データの重要度の値である。これは、ステップＳ２３でメタデータ生成部１０７から与えられた部分メタデータ、又は、ステップＳ２９でメタデータ抽出部１１５から与えられた個別メタデータに含まれているものである。
項目個数ＳＩＤ１８、項目番号ＳＩＤ１９、解析結果データサイズＳＩＤ２０及び解析結果ＳＩＤ２１は、これは、ステップＳ２３でメタデータ生成部１０７から与えられた部分メタデータ、又は、ステップＳ２９でメタデータ抽出部１１５から与えられた個別メタデータに含まれているものである。項目個数ＳＩＤ１８、項目番号ＳＩＤ１９、解析結果データサイズＳＩＤ２０及び解析結果ＳＩＤ２１は、図９に示されている個別送信データＩＩＤ１の項目個数ＩＩＤ１４、項目番号ＩＩＤ１５、解析結果データサイズＩＩＤ１６及び解析結果ＩＩＤ１７と同様である。
Here, FIG. 12 is a schematic diagram showing a data structure of the combined transmission data SID1.
The composite transmission data SID1 includes composite image data SID11, maximum camera number SID12, each image presence / absence information SID13, camera number SID14, scaling area SID15, unique identifier SID16, importance SID17, item number SID18, It has item number SID19, analysis result data size SID20, and analysis result SID21.
The composite image data SID11 is composite image data obtained by combining the individual image data in step S33.
The maximum camera number SID12 indicates the maximum number of cameras (recording / distributing apparatus 100) that capture individual image data to be combined with the combined image data. For example, in the examples of FIGS. 2 and 3, the maximum camera number SID12 is “4”.
Each image presence / absence information SID13 is information indicating whether or not the captured individual image data is combined with the combined image data for each camera (recording / distributing apparatus 100). For example, each image presence / absence information SID3 is clearly indicated by bit pattern information. For example, in the example shown in FIGS. 2 and 3, the individual image data of the images captured by the
The camera numbers SID14 to analysis results SID21 are provided as many as the number of cameras (recording / distributing devices 100) in which the individual image data is included in the composite image data.
The camera number SID14 is an identification number for identifying the camera (recording / distributing apparatus 100). For example, as the camera number SID14, device information included in the unique identifier can be used.
The scaling area SID15 indicates a reduction rate or an enlargement rate scaled by the
The unique identifier SID16 is a unique identifier of individual image data of an image captured by the camera (recording / distributing apparatus 100) identified by the camera number SID14. This is given from the management
As described above, when the images from the four cameras are combined and transmitted, the unique identifier assigned to each of the four individual image data is added to the combined image data and transmitted. When the composite image data is recorded on the ground, the original individual image data can be specified from the composite image data, and more detailed individual image data can be efficiently confirmed from the composite image data. In addition, when recording an image in each camera, this list of unique identifiers may be created, and the unique identifiers and the address information of the image data may be managed as a pair. Can be executed.
The importance SID17 is a value of importance of individual image data of an image captured by the camera (recording / distributing apparatus 100) identified by the camera number SID14. This is included in the partial metadata given from the
The item number SID18, the item number SID19, the analysis result data size SID20, and the analysis result SID21 are given from the partial metadata supplied from the
図１０の説明に戻り、データ送信部１２１は、データ合成部１２０から与えられた合成送信データを、ネットワークを介して、予め定められた装置、例えば、視聴装置に送信する（Ｓ３４）。
Returning to the description of FIG. 10, the
なお、以上で説明した本実施の形態では、音声データそのものは外部に配信、あるいは、記録を行わない構成であるが、必要であれば、音声データの記録とネットワークへの送信を行ってもよい。ネットワークに音声データを送信する際には、複数装置の音声データを多重化して送信してもよいし、重要度の値に応じて、どれか１つの装置（例えば、重要度の最も高い装置）の音声データを送信してもよい。 In the embodiment described above, the audio data itself is configured not to be distributed or recorded to the outside. However, if necessary, the audio data may be recorded and transmitted to the network. . When audio data is transmitted to the network, audio data of a plurality of devices may be multiplexed and transmitted, or any one device (for example, a device having the highest importance) according to the importance value. Audio data may be transmitted.
以上のように、本実施の形態に係る記録配信装置１００、および、記録配信装置１００が行う記録配信方法によれば、複数の記録配信装置１００にまたがる重要画像を少ないデータ量で公衆回線に同時にのせられるため、狭帯域の環境でも複数の映像を関連付けた効率的な遠隔監視を行うことができる。
As described above, according to the recording / distributing
例えば、近年増加してきたフルハイビジョンと呼ばれる、解像度が１９２０×１０８０の監視映像の場合、高画質のモードでは、フレームレートが３０ｆｐｓ（Ｆｒａｍｅｓ Ｐｅｒ Ｓｅｃｏｎｄ）換算で、ビットレートが８Ｍｂｐｓ（Ｂｉｔ Ｐｅｒ Ｓｅｃｏｎｄ）程度のデータサイズとなる。また、標準画質のモードでは、前記条件においてそのビットレートは４Ｍｂｐｓ程度となる。本実施の形態において、例えば、図２及び３に示されている第１カメラ１５１と第２カメラ１５２とが高画質、第３カメラ１５３と第４カメラ１５４とが標準画質に設定され、各カメラ１５１〜１５４のフレームレートが、第１カメラ１５１では１５ｆｐｓ、第２カメラ１５２では１５ｆｐｓ、第３カメラ１５３では７．５ｆｐｓ、第４カメラ１５４では４ｆｐｓで設定されていたとする。この場合、各々のカメラ１５１〜１５４が、そのまま遠隔地に画像データを送信した場合には、図２に示されているインターネット１５８等の広域ネットワークには、４．７７Ｍｂｐｓのデータが毎秒送信されることとなる。一方、本実施の形態により４つのカメラ１５１〜１５４の画像を１枚の画像に合成して送信する場合、例えば４枚の画像の重要度の値がいずれも均等であった場合には、広域ネットワークには１．３８Ｍｂｐｓのデータが毎秒送信されることとなる。このケースでは、本実施の形態では、広域ネットワークへ送信するデータ量が、従来の方式の４．７７Ｍｂｐｓから１．３８Ｍｂｐｓまで約７１％削減されることとなる。
For example, in the case of surveillance video with a resolution of 1920 × 1080 called full high-vision, which has been increasing in recent years, in a high image quality mode, the frame rate is about 8 Mbps (Bit Per Second) in terms of a frame rate of 30 fps (Frames Per Second). Data size. In the standard image quality mode, the bit rate is about 4 Mbps under the above conditions. In the present embodiment, for example, the
従来のように伝送するデータ量が４．７７Ｍｂｐｓでは、５Ｍｂｐｓ以上の回線帯域が必要となり、本実施の形態のように伝送するデータ量が１．３８Ｍｂｐｓでは、２Ｍｂｐｓ以上の回線帯域が必要となる。ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）を提供しているある環境の例では、５Ｍｂｐｓ以上の実行速度が出ている回線の比率は６０％であるのに対し、２Ｍｂｐｓ以上の実行速度が出ている回線の比率は９８％に達している。このため、この環境においては、本発明の効果によりほとんどのすべての回線でデータをスムーズに送信することができる。 When the amount of data to be transmitted is 4.77 Mbps as in the conventional case, a line bandwidth of 5 Mbps or more is required, and when the amount of data to be transmitted is 1.38 Mbps as in the present embodiment, a line bandwidth of 2 Mbps or more is required. In an example of an environment that provides ADSL (Asymmetric Digital Subscriber Line), the ratio of the line that has an execution speed of 5 Mbps or higher is 60%, whereas the line that has an execution speed of 2 Mbps or higher is output. The ratio has reached 98%. For this reason, in this environment, data can be smoothly transmitted on almost all lines by the effect of the present invention.
また、以上のような記録配信装置１００、および、記録配信装置１００が行う記録配信方法によれば、記録配信装置１００が画像の合成を行うため、監視者の視聴装置では、画像の拡大縮小及び入れ替え等の処理が不要であり、近年増加している携帯端末のような、画像処理能力がＰＣ等に比べて低い装置においても、複数の画像を関連付けてスムーズに監視することができる。
In addition, according to the recording / distributing
また、以上に記載された記録配信装置１００、および、記録配信装置１００が行う記録配信方法によれば、合成画像データにおいて、各個別画像データの重要度の値に応じて、各個別画像データの画像サイズが自動的に変更されるため、監視者は、特に画面を切り替える等の操作をすることなく、重要な画像に常に着目して監視することができ、また、重要な事象を見逃すことなく細部の確認を行うことができる。
In addition, according to the recording / distributing
また、以上に記載された記録配信装置１００、および、記録配信装置１００が行う記録配信方法によれば、重要度の判定に、動き検知だけではなく複数の項目を組み合わせているため、動きのあるものだけでなく静止物にも対応することができるとともに、複数の項目に対して重み付けを行うことで、監視者が必要とする、より重要な画像に着目することができる。
In addition, according to the recording / distributing
さらに、以上に記載された記録配信装置１００、および、記録配信装置１００が行う記録配信方法によれば、画像の重要度に応じて、スレーブ装置となった各記録配信装置１００が画像の重要な部分のみを切り出してデータを送信するため、ＬＡＮにおけるトラフィックを低減することができるとともに、画像の切り出し処理を各記録配信装置１００に分散することで、マスタ装置である記録配信装置１００が画像合成を行う際の処理負荷を低減することができる。このため、記録配信装置１００を安価に製造することができる。
Furthermore, according to the recording /
また、以上に記載された記録配信装置１００、および、記録配信装置１００が行う記録配信方法によれば、自装置で撮像された画像データが固有識別子とともに記録されるとともに、合成画像データにも合成された個別画像データの固有識別子が添付されているため、視聴者は、合成画像データに添付されている固有識別子に基づいて、元の個別画像データを容易に確認することができる。
Further, according to the recording /
さらに、以上に記載された記録配信装置１００、および、記録配信装置１００が行う記録配信方法によれば、記録配信装置１００の設置位置は、なんら制約を受けることなく、自由に設置しても本発明の効果が得られる。
Furthermore, according to the recording / distributing
実施の形態２．
次に、実施の形態２について説明する。
図１３は、実施の形態２に係る記録配信装置２００の構成を概略的に示すブロック図である。記録配信装置２００は、画像撮像部１０１と、画像解析部１０２と、外部情報入力部１０３と、外部情報解析部１０４と、音声入力部１０５と、音声解析部１０６と、メタデータ生成部１０７と、重要度算出部２０８と、画像符号化部１０９と、画像切出部１１０と、送信データ切替部２１１と、管理情報生成部１１２と、データ記録部１１３と、データ受信部１１４と、メタデータ抽出部１１５と、重要度抽出部１１６と、画像データ抽出部１１７と、重要度比較部２１８と、スケーリング部１１９と、データ合成部１２０と、データ送信部１２１と、閾値比較部２２２とを備える。ここで、実施の形態２に係る記録配信装置２００は、重要度算出部２０８、送信データ切替部２１１及び重要度比較部２１８での処理の点、並びに、閾値比較部２２２が備えられている点で、実施の形態１に係る記録配信装置１００と異なっている。実施の形態２に係る記録配信装置２００は、撮像された画像の個別画像データの重要度の値が予め定められている閾値を超えた場合に、合成画像データを含む合成送信データを作成し、ネットワークに送信する。
Next, a second embodiment will be described.
FIG. 13 is a block diagram schematically showing the configuration of the
重要度算出部２０８は、実施の形態１における重要度算出部１０８と同様に、個別画像データの重要度を算出する。例えば、重要度算出部２０８は、自装置である記録配信装置２００がスレーブ装置である場合には、メタデータ生成部１０７から与えられる部分メタデータから個別画像データの重要度を算出し、この重要度の値を、メタデータ生成部１０７及び閾値比較部２２２に与える。また、重要度算出部２０８は、自装置である記録配信装置２００がマスタ装置である場合には、メタデータ生成部１０７から与えられる部分メタデータから個別画像データの重要度を算出し、この重要度の値を、メタデータ生成部１０７、重要度比較部２１８及び閾値比較部２２２に与える。
The
閾値比較部２２２は、重要度算出部２０８から与えられた重要度の値が、予め定められた閾値よりも大きいか否かを判断する。そして、閾値比較部２２２は、重要度算出部２０８から与えられた重要度の値が、予め定められた閾値よりも大きい場合には、送信データ切替部２１１に個別画像データを出力する指示を与え、重要度算出部２０８から与えられた重要度の値が、予め定められた閾値以下である場合には、送信データ切替部２１１に個別画像データを出力しない指示を与える。
The
送信データ切替部２１１は、実施の形態１における送信データ切替部１１１と同様に、画像切出部１１０から与えられた個別画像データを出力する出力先を切り替える。但し、本実施の形態においては、送信データ切替部２１１は、閾値比較部２２２より個別画像データを出力する指示が与えられた場合に、個別画像データを出力し、閾値比較部２２２より個別画像データを出力しない指示が与えられた場合には、個別画像データを出力しない。
Similar to the transmission
重要度比較部２１８は、実施の形態１における重要度比較部１１８と同様の処理を行うが、自装置である記録配信装置２００がマスタ装置である場合に、重要度算出部２０８で算出された重要度の値が予め定められた閾値以下であると閾値比較部２２２が判断したときには、スレーブ装置である記録配信装置２００から個別送信データを受信しているか否かを判断する。例えば、重要度比較部２１８は、重要度抽出部１１６より重要度の値を受け取っている場合には、スレーブ装置である記録配信装置２００から個別送信データを受信していると判断する。そして、重要度比較部２１８は、スレーブ装置である記録配信装置２００から個別送信データを受信していると判断した場合には、実施の形態１における重要度比較部１１８と同様に重要度の値を比較する処理を行う。
The importance
次に、記録配信装置２００での動作を説明する。
図１４は、実施の形態２に係る記録配信装置２００がスレーブ装置である場合の処理を示すフローチャートである。ここで、図１４のステップＳ４０〜Ｓ４６までの処理は、図６のステップＳ１０〜Ｓ１６までの処理と同様である。但し、重要度算出部２０８は、ステップＳ４３で算出した重要度の値を閾値比較部２２２にも与える。
Next, the operation in the
FIG. 14 is a flowchart showing processing when the
ステップＳ４７では、画像切出部１１０は、個別画像データを生成する。例えば、画像切出部１１０は、メタデータ生成部１０７から与えられた部分メタデータに、動きが検知された領域を示すデータ及び顔が検出された領域を示すデータの少なくとも何れか一方が含まれている場合には、当該領域を含む範囲を、画像符号化部１０９から与えられた画像データより切り出す。そして、画像切出部１１０は、切り出した画像データを個別画像データとする。一方、画像切出部１１０は、メタデータ生成部１０７から与えられた部分メタデータに、動きが検知されていないことを示すデータが含まれており、かつ、顔が検出されていないことを示すデータが含まれている場合には、画像符号化部１０９から与えられた画像データを個別画像データとする。そして、画像切出部１１０は、個別画像データを送信データ切替部２１１に与える。
In step S47, the
次に、閾値比較部２２２は、ステップＳ４３で重要度算出部２０８より与えられた重要度の値が、予め定められている閾値を超えているか否かを判断する（Ｓ４８）。閾値比較部２２２は、閾値を超えている場合（ステップＳ４８でＹｅｓ）には、送信データ切替部２１１に個別画像データを出力する指示を与えて、ステップＳ４９の処理に進み、閾値を超えていない場合（ステップＳ４８でＮｏ）には、送信データ切替部２１１に個別画像データを出力しない指示を与えて、ステップＳ４０の処理に戻る。
ここで、送信データ切替部２１１は、閾値比較部２２２より、個別画像データを出力する指示を受けた場合には、ステップＳ４７で画像切出部１１０より与えられた個別画像データをデータ合成部１２０に与える。なお、送信データ切替部１１１は、閾値比較部２２２より、個別画像データを出力しない指示を受けた場合には、例えば、ステップＳ４７で画像切出部１１０より与えられた個別画像データを廃棄する。
Next, the threshold
When the transmission
次に、データ合成部１２０は、ステップＳ４３でメタデータ生成部１０７から与えられた部分メタデータ及び重要度の値と、ステップＳ４５で管理情報生成部１１２から与えられた固有識別子とを含む個別メタデータを生成し、この個別メタデータを、ステップＳ４８で送信データ切替部２１１から与えられた個別画像データに添付することで個別送信データを生成する（Ｓ４９）。そして、データ合成部１２０は、生成された個別送信データをデータ送信部１２１に与える。
Next, the
次に、データ送信部１２１は、データ合成部１２０から与えられた個別送信データを、ネットワークを介して、マスタ装置である記録配信装置２００に送信する（Ｓ５０）。
Next, the
図１５は、実施の形態２に係る記録配信装置２００がマスタ装置である場合の処理を示すフローチャートである。ここで、図１５のステップＳ６０〜ステップＳ７０までの処理は、図１０のステップＳ２０〜Ｓ３０までの処理と同様である。但し、重要度算出部２０８は、ステップＳ６３において算出された重要度の値を閾値比較部２２２にも与える。
FIG. 15 is a flowchart showing processing when the
ステップＳ７１では、閾値比較部２２２は、ステップＳ６３で重要度算出部２０８から与えられた重要度の値が、予め定められた閾値を超えているか否かを判断する。そして、閾値比較部２２２は、この重要度の値が予め定められた閾値以下である場合（ステップＳ７１でＮｏ）には、ステップＳ７２の処理に進み、この重要度の値が予め定められた閾値を超えている場合（ステップＳ７１でＹｅｓ）には、ステップＳ７３の処理に進む。
In step S71, the threshold
ステップＳ７２では、重要度比較部２１８は、スレーブ装置である記録配信装置２００から個別送信データを受信しているか否かを判断する。そして、重要度比較部２１８は、このような個別送信データを受信している場合（ステップＳ７２でＹｅｓ）には、ステップＳ７３の処理に進み、このような個別送信データを受信していない場合（ステップＳ７２でＮｏ）には、ステップＳ６０の処理に戻る。
In step S <b> 72, the importance
ステップＳ７３では、重要度比較部２１８は、重要度算出部２０８で算出された、個別画像データの重要度の値、及び、重要度抽出部１１６で抽出された、各個別画像データの重要度の値を比較して、各個別画像データの画像を１つの画像データに合成する際の、各個別画像データのサイズ及び配置位置を特定する。そして、重要度比較部２１８は、特定されたサイズをスケーリング部１１９に与え、特定された配置位置をデータ合成部１２０に与える。
In step S73, the importance
次に、スケーリング部１１９は、重要度比較部２１８から与えられたサイズとなるように、各個別画像データのスケーリングを実行する（Ｓ７４）。そして、スケーリング部１１９は、サイズ変更後の個別画像データをデータ合成部１２０に与える。この際、スケーリング部１１９は、個別画像データ毎に、縮小率又は拡大率を示すスケーリングエリア情報を添付する。また、スケーリング部１１９は、黒画像データ等、予め定められた画像データで代用した場合には、元の画像がないことを示す情報を添付する。
Next, the
次に、データ合成部１２０は、ステップＳ７４でスケーリングされた個別画像データを、重要度比較部２１８から与えられた配置位置に配置することで合成画像データを生成する。また、データ合成部１２０は、ステップＳ６３でメタデータ生成部１０７から与えられた部分メタデータ及び重要度の値と、ステップＳ６５で管理情報生成部１１２から与えられた固有識別子と、ステップＳ６８でメタデータ抽出部１１５から与えられた個別メタデータとを含む合成メタデータを生成する。そして、データ合成部１２０は、生成された合成画像データに、生成された合成メタデータを添付することで合成送信データを生成する（Ｓ７５）。そして、データ合成部１２０は、生成された合成送信データをデータ送信部１２１に与える。
ＬＡＮに接続されている全ての記録配信装置２００、例えば、図３に示されている設置例においては、４台のカメラ１５１〜１５４の画像の全てが重要であるわけではなく、重要度によって、カメラ１台分の画像のみが重要であるケース、又は、カメラ２台分の画像が重要であるケース等が発生する。このため、実施の形態２におけるデータ合成部１２０は、例えば、広域ネットワークに送信する画像がカメラ１台分の場合には、その１台のカメラの画像を全画面に表示されるようなサイズ及び位置に合成する。
Next, the
In all the
次に、データ送信部１２１は、データ合成部１２０から与えられた合成送信データを、ネットワークを介して、予め定められた装置、例えば、視聴装置に送信する（Ｓ７６）。
Next, the
以上のように、実施の形態２に係る記録配信装置２００によれば、複数の記録配信装置２００で撮像された画像のうち、少なくとも１台以上においてその画像の重要度の値が閾値を越えている場合、言い換えると、その画像が重要と判断された場合にのみ、広域ネットワークに対して合成画像データの送信が行われる。また、実施の形態２に係る記録配信装置２００によれば、ＬＡＮにおいても、画像の重要度の値が所定の閾値を超えた場合にのみ、スレーブ装置からマスタ装置に対して個別画像データの送信が行われる。このため、実施の形態２に係る記録配信装置２００によれば、広域ネットワーク及びＬＡＮの何れのネットワークにおいても、伝送するデータ量を削減することができる。従って、実施の形態１よりもネットワーク帯域が狭い環境でも、効率的な監視を行うことができる。
As described above, according to the recording / distributing
また、実施の形態２に係る記録配信装置２００によれば、重要度の値が閾値を超えている画像、言い換えると、重要と判断された画像のみを合成画像として送信することで、重要な画像をより大きく表示可能となり、また、重要では無い画像を表示しないことで、監視者が重要な事象を見逃すといった問題がなくなる。
Further, according to the recording / distributing
なお、閾値比較部２２２で重要度を判定する閾値は、ＬＡＮに接続された全ての記録配信装置２００で同一の値が設定されていてもよいし、記録配信装置２００の設定位置や撮像対象等に応じて、記録配信装置２００毎に個別の値が設定されてもよい。
Note that the threshold for determining the importance level by the
実施の形態３．
次に、実施の形態３について説明する。
図１６は、実施の形態３に係る記録配信装置３００の構成を概略的に示すブロック図である。記録配信装置３００は、画像撮像部１０１と、画像解析部１０２と、外部情報入力部１０３と、外部情報解析部１０４と、音声入力部１０５と、音声解析部１０６と、メタデータ生成部３０７と、重要度算出部３０８と、画像符号化部１０９と、画像切出部３１０と、送信データ切替部１１１と、管理情報生成部１１２と、データ記録部１１３と、データ受信部１１４と、メタデータ抽出部１１５と、重要度抽出部３１６と、画像データ抽出部１１７と、重要度比較部３１８と、スケーリング部３１９と、データ合成部３２０と、データ送信部１２１と、タイマー部３２３と、グループ化抽出部３２４とを備える。実施の形態３に係る記録配信装置３００は、メタデータ生成部３０７、重要度算出部３０８、画像切出部３１０、重要度抽出部３１６、重要度比較部３１８、スケーリング部３１９及びデータ合成部３２０での処理の点、及び、タイマー部３２３及びグループ化抽出部３２４が備えられている点において、実施の形態１と異なっている。ここで、実施の形態３に係る記録配信装置３００は、所定の時間内に撮像された画像のなかから選択された画像を合成する。なお、記録配信装置３００が、スレーブ装置である場合の処理は、実施の形態１と同様である。
Next,
FIG. 16 is a block diagram schematically showing the configuration of the record delivery apparatus 300 according to the third embodiment. The recording / distributing device 300 includes an
メタデータ生成部３０７は、自装置である記録配信装置３００がスレーブ装置である場合には、実施の形態１におけるメタデータ生成部１０７と同様の処理を行う。
メタデータ生成部３０７は、自装置である記録配信装置３００がマスタ装置である場合には、画像解析部１０２、外部情報解析部１０４及び音声解析部１０６から与えられた解析結果データに基づいて、これらの解析部で解析された解析結果を含む部分メタデータを生成し、この部分メタデータに、画像解析部１０２で解析された画像を識別するための画像識別情報を添付して、重要度算出部３０８に与える。ここで、この画像識別情報としては、画像解析部１０２から画像解析データが入力される度に、所定の初期値からカウントアップしたカウント値が用いられればよい。
そして、メタデータ生成部３０７は、部分メタデータに基づいて重要度算出部３０８で算出された重要度の値と、この重要度の値を算出するために用いた部分メタデータに添付されていた画像識別情報とが与えられると、この重要度の値と、この重要度の値を算出するために用いられた部分メタデータとをデータ合成部３２０に与える。
また、メタデータ生成部３０７は、重要度算出部３０８から受け取った重要度の値を算出するために用いられた部分メタデータに含まれている画像解析データと、この画像解析データに対応する画像の画像識別情報とを画像切出部３１０に与える。
The
The
The
The
重要度算出部３０８は、自装置である記録配信装置３００がスレーブ装置である場合には、実施の形態１における重要度算出部１０８と同様の処理を行う。
重要度算出部３０８は、自装置である記録配信装置３００がマスタ装置である場合には、メタデータ生成部３０７から与えられる部分メタデータから個別画像データの重要度を算出し、この重要度の値を、この重要度の値を算出するために用いた部分メタデータに添付されていた画像識別情報とともに、グループ化抽出部３２４に与える。そして、重要度算出部３０８は、グループ化抽出部３２４より、グループ化抽出部３２４で抽出された画像識別情報の通知を受けると、通知された画像識別情報と、この画像識別情報が添付されていた部分メタデータから算出された重要度の値と、をメタデータ生成部３０７及び重要度比較部３１８に与える。
The importance
The
画像切出部３１０は、自装置である記録配信装置３００がスレーブ装置である場合には、実施の形態１における画像切出部１１０と同様の処理を行う。
画像切出部３１０は、自装置である記録配信装置３００がマスタ装置である場合には、メタデータ生成部３０７から与えられた画像識別情報に対応する画像データにおいて、メタデータ生成部３０７から与えられた画像解析データに基づいて、必要な場合には、画像撮像部１０１で撮像された画像の中の一部分を切り出す。そして、画像切出部３１０は、個別画像データを送信データ切替部１１１に与える。なお、本実施の形態においては、画像切出部３１０は、自装置である記録配信装置３００がマスタ装置である場合には、メタデータ生成部３０７から与えられた画像識別情報に対応しない画像データを破棄して、送信データ切替部１１１には出力しない。ここで、画像切出部３１０でも、画像符号化部１０９から画像データが与えられる度に、所定の初期値からカウントアップしたカウント値を算出しておき、このカウント値を画像識別情報として用いればよい。
The
When the recording / delivery device 300 that is the device itself is a master device, the
重要度抽出部３１６は、メタデータ抽出部１１５から与えられた個別メタデータより重要度の値及び固有識別子を抽出し、これらの重要度の値及び固有識別子をグループ化抽出部３２４に与える。
そして、重要度抽出部３１６は、グループ化抽出部３２４より、グループ化抽出部３２４により抽出された固有識別子の通知を受けると、通知された固有識別子と、この固有識別子に対応する個別画像データの重要度の値を重要度比較部３１８に与える。
The importance
Upon receiving notification of the unique identifier extracted by the
タイマー部３２３は、予め定められた時間をカウントする。そして、タイマー部３２３は、予め定められた時間がカウントされた場合には、予め定められた時間がカウントされたことをグループ化抽出部３２４に通知する。
The
グループ化抽出部３２４は、タイマー部３２３からの通知間隔毎に、重要度算出部３０８から与えられた重要度の値が複数ある場合には、これらの中で最も値の大きい重要度に対応する画像識別情報をメタデータ生成部３０７に通知する。なお、グループ化抽出部３２４は、タイマー部３２３からの通知間隔内において、重要度算出部３０８から与えられた重要度の値が１つである場合には、この重要度の値に対応する画像識別情報をメタデータ生成部３０７に通知する。
また、グループ化抽出部３２４は、タイマー部３２３からの通知間隔毎に、重要度抽出部３１６から、同じスレーブ装置で生成された個別画像データの重要度の値が複数与えられた場合には、これらの中で最も値の大きい重要度に対応する固有識別子を重要度抽出部３１６に通知する。なお、グループ化抽出部３２４は、タイマー部３２３からの通知間隔内において、重要度抽出部３１６から、同じスレーブ装置で生成された個別画像データの重要度の値が１つ与えられた場合には、この重要度の値に対応する固有識別子を重要度抽出部３１６に通知する。
When there are a plurality of importance values given from the
In addition, the
重要度比較部３１８は、重要度算出部３０８及び重要度抽出部３１６から与えられた重要度の値を比較して、各個別画像データの画像を１つの画像データに合成する際の、各個別画像データのサイズ及び配置位置を特定する。そして、重要度比較部３１８は、画像識別情報又は固有識別子で識別される、各個別画像データのサイズをスケーリング部３１９に与え、画像識別情報又は固有識別子で識別される、各個別画像データの配置位置をデータ合成部３２０に与える。
The importance
スケーリング部３１９は、重要度比較部３１８から受け取った、画像識別情報又は固有識別子で識別される、各個別画像データのサイズに合わせて、送信データ切替部１１１及び画像データ抽出部１１７から与えられた個別画像データのサイズを変更する。そして、スケーリング部３１９は、サイズ変更後の個別画像データをデータ合成部３２０に与える。なお、スケーリング部３１９は、重要度比較部１１８から与えられた固有識別子に対応しない個別画像データについては、破棄し、データ合成部３２０には、出力しない。
The
データ合成部３２０は、自装置である記録配信装置３００がスレーブ装置である場合には、実施の形態１におけるデータ合成部１２０と同様の処理を行う。
データ合成部３２０は、自装置である記録配信装置３００がマスタ装置である場合には、重要度比較部３１８から受け取った、画像識別情報又は固有識別子で識別される各個別画像データの配置位置に合わせて、送信データ切替部１１１及びスケーリング部３１９から与えられた個別画像データを合成することで合成画像データを生成する。そして、データ合成部３２０は、メタデータ生成部３０７から与えられた部分メタデータ及び重要度の値と、管理情報生成部１１２から与えられた固有識別子のうち、重要度比較部３１８から受け取った画像識別子に対応するものと、メタデータ抽出部１１５から与えられた個別メタデータのうち、重要度比較部３１８から受け取った固有識別子に対応するものとを含む合成メタデータを生成する。そして、データ合成部３２０は、生成された合成画像データに合成メタデータを添付することで合成送信データを生成する。
そして、データ合成部３２０は、以上のようにして生成された合成送信データをデータ送信部１２１に与える。また、データ合成部１２０は、以上のようにして生成された合成送信データをデータ記録部１１３に記録させる。
When the recording / distributing device 300 as its own device is a master device, the
Then, the
次に、図１７を用いて、実施の形態３に係る記録配信装置３００でのグループ化抽出処理について説明する。図１７は、実施の形態３に係る記録配信装置３００が行うグループ化抽出処理を説明するための概略図である。図１７において、第１カメラ、第２カメラ、第３カメラ及び第４カメラは、記録配信装置３００により実現されている。また、図１７において、横軸方向は時間軸であり、丸の記号は、各カメラの画像生成タイミングを示す。そして、縦の破線で区切られた区間が、タイマー部３２３で計時される一定の時間である。図１７では、この一定の時間を１つのグループとし、説明のために、それぞれのグループは、グループＡからグループＦとして、区別されている。
Next, the grouping extraction process in the record delivery apparatus 300 according to
図１７に示されているように、一般的に監視用途では、カメラの設置場所によって、例えば、４秒に１枚の撮像であったり、１秒に１枚の撮像であったり、あるいは、１秒間に４枚の撮像である等、撮像の間隔が異なる設定で運用される場合がある。 As shown in FIG. 17, in general, in surveillance applications, for example, one image is captured every 4 seconds, one image is captured per second, or 1 There are cases where the operation is performed with different image capturing intervals, such as four images captured per second.
本実施の形態に係る記録配信装置３００は、各グループ内で各カメラに対して最大１枚の画像を抽出する。１つグループの中に、あるカメラの画像が１枚だけである場合には、その画像が抽出され、１つグループの中に、あるカメラの画像が１枚もない場合には、画像は抽出されない。そして、１つグループの中に、あるカメラの画像が複数枚ある場合には、それら複数枚の画像の重要度の値を比較し、一番重要度の値の高いものが抽出される。 The record distribution apparatus 300 according to the present embodiment extracts a maximum of one image for each camera in each group. If there is only one camera image in a group, the image is extracted. If there is no camera image in a group, the image is extracted. Not. When there are a plurality of images from a certain camera in one group, the importance values of the plurality of images are compared, and the one with the highest importance value is extracted.
グループＡの例では、第１カメラの画像は１枚だけであるため、この画像が第１カメラの画像として抽出される。第２カメラの画像も１枚だけであるため、この画像が第２カメラの画像として抽出される。第３カメラの画像は２枚あるため、これらの画像のうち、より重要度の値の高い方が第３カメラの画像として抽出される。第４カメラの画像は１枚だけであるため、この画像が第４カメラの画像として抽出される。このようにして抽出された画像が、グループＡの時間における合成画像データとして合成される。 In the example of group A, since there is only one image of the first camera, this image is extracted as the image of the first camera. Since there is only one image of the second camera, this image is extracted as the image of the second camera. Since there are two images from the third camera, of these images, the one with the higher importance value is extracted as the image of the third camera. Since there is only one image from the fourth camera, this image is extracted as the image from the fourth camera. The images extracted in this way are combined as combined image data at the time of group A.
本実施の形態におけるグループ化のための一定の時間は、記録配信装置３００の設置される環境や監視対象によって予め設定されればよい。例えば、河川の状態等を監視するような場合には、一般的に単位時間当たりの重要度の値の変化は小さいため、グループ化のための一定の時間は、比較的長い時間、例えば、５秒等が設定されればよい。一方、人の動き等を監視するような場合には、この一定の時間は、比較的短い時間、例えば、０．５秒等が設定されればよい。グループ化のための一定の時間を小さくするほど、合成画像データに含まれている複数の画像データの相関度は高くなるが、送出されるデータ量は増加する。 The fixed time for grouping in the present embodiment may be set in advance according to the environment where the recording / distributing apparatus 300 is installed and the monitoring target. For example, when monitoring the state of a river, etc., since the change in importance value per unit time is generally small, the fixed time for grouping is a relatively long time, for example, 5 Seconds etc. may be set. On the other hand, when monitoring the movement of a person or the like, the fixed time may be set to a relatively short time, for example, 0.5 seconds. As the fixed time for grouping is reduced, the degree of correlation between a plurality of image data included in the composite image data increases, but the amount of data to be transmitted increases.
以上のように、実施の形態３に係る記録配信装置３００によれば、一定時間間隔において最も重要な画像が抽出されて合成され、この一定時間間隔における重要画像を１枚の画像で確認できるため、ネットワークに送信するデータ量を効率的に削減することができる。 As described above, according to the recording / distributing apparatus 300 according to the third embodiment, the most important images are extracted and combined at a certain time interval, and the important images at the certain time interval can be confirmed with one image. The amount of data transmitted to the network can be efficiently reduced.
以上に記載された実施の形態３での処理を、実施の形態２に追加することも可能である。 The processing in the third embodiment described above can be added to the second embodiment.
実施の形態４．
次に、実施の形態４について説明する。
図１８は、実施の形態４に係る記録配信装置４００の構成を概略的に示すブロック図である。記録配信装置４００は、画像撮像部１０１と、画像解析部１０２と、外部情報入力部１０３と、外部情報解析部１０４と、音声入力部１０５と、音声解析部１０６と、メタデータ生成部４０７と、重要度算出部１０８と、画像符号化部１０９と、画像切出部１１０と、送信データ切替部１１１と、管理情報生成部１１２と、データ記録部４１３と、データ受信部１１４と、メタデータ抽出部４１５と、重要度抽出部１１６と、画像データ抽出部４１７と、重要度比較部１１８と、スケーリング部４１９と、データ合成部４２０と、データ送信部１２１と、記録状態監視部４２５と、記録状態検知部４２６と、記録データ切替部４２７とを備える。実施の形態４に係る記録配信装置４００は、メタデータ生成部４０７、メタデータ抽出部４１５、画像データ抽出部４１７、スケーリング部４１９及びデータ合成部４２０での処理の点、データ記録部４１３に記録されているデータの点、並びに、記録状態監視部４２５、記録状態検知部４２６及び記録データ切替部４２７が備えられている点において、実施の形態１に係る記録配信装置１００と異なっている。
Next, a fourth embodiment will be described.
FIG. 18 is a block diagram schematically showing the configuration of the record delivery apparatus 400 according to the fourth embodiment. The recording / distributing device 400 includes an
記録状態監視部４２５は、データ記録部４１３で正常に記録が行われているか否かを監視する。例えば、データ記録部４１３は、ハードディスク又はフラッシュメモリ等の記憶媒体により実現されているが、一般的に、これら記憶媒体は、書き込み回数に応じた寿命、又は、部分的な故障等により、書き込みができなくなる場合がある。そして、記録状態監視部４２５は、何らかの理由により、データ記録部４１３で正常に記録されていないことを検知した場合、例えば、記録エラーを検知した場合等には、正常に記録が行われていないことをメタデータ生成部４０７に通知する。
The recording
メタデータ生成部４０７は、画像解析部１０２、外部情報解析部１０４及び音声解析部１０６から与えられた解析結果データに基づいて、これらの解析部で解析された解析結果を含む部分メタデータを生成し、この部分メタデータを重要度算出部１０８に与える。また、メタデータ生成部４０７は、記録状態監視部４２５からの通知に基づいて、記録が正常に行われているか否かを示すフラグ情報を生成する。例えば、メタデータ生成部４０７は、記録状態監視部４２５から正常に記録が行われていないことが通知された場合には、記録が正常に行われていないことを示すフラグ情報を生成し、記録状態監視部４２５から正常に記録が行われていないことが通知されていない場合には、記録が正常に行われていることを示すフラグ情報を生成する。そして、メタデータ生成部４０７は、部分メタデータに基づいて重要度算出部１０８で算出された重要度の値が与えられると、この重要度の値と、この部分メタデータと、フラグ情報とをデータ合成部４２０に与える。
また、メタデータ生成部４０７は、画像解析部１０２から受け取った画像解析データを画像切出部１１０に与える。
The
Also, the
メタデータ抽出部４１５は、データ受信部１１４で受信された個別送信データから個別メタデータを抽出し、この個別メタデータを重要度抽出部１１６、データ合成部４２０及び記録状態検知部４２６に与える。
The
画像データ抽出部４１７は、データ受信部１１４で受信された個別送信データから個別画像データを抽出し、この個別画像データを記録データ切替部４２７に与える。
The image
記録状態検知部４２６は、メタデータ抽出部４１５から与えられた個別メタデータに含まれているフラグ情報を確認し、このフラグ情報が、記録が正常に行われていないことを示す場合には、この個別メタデータを記録データ切替部４２７に与え、データ記録部４１３に個別画像データとともに記録する指示を出す。
The recording
記録データ切替部４２７は、画像データ抽出部４１７から受け取った個別画像データをスケーリング部４１９に与える。また、記録データ切替部４２７は、記録状態検知部４２６からの記録指示に応じて、記録状態検知部４２６から受け取った個別メタデータに対応する個別画像データを、この個別メタデータとともに、データ記録部４１３に送る。
The recording
データ記録部４１３は、データを記録する。例えば、データ記録部４１３は、管理情報生成部１１２から与えられた画像データ及び固有識別子を対応付けて記録する。また、データ記録部４１３は、メタデータ生成部４０７から部分メタデータが与えられると、当該部分メタデータを対応する画像データに対応付けて記録する。さらに、データ記録部４１３は、自装置である記録配信装置４００がマスタ装置である場合には、データ合成部４２０から与えられた合成送信データを記録する。また、データ記録部４１３は、記録データ切替部４２７から受け取った個別画像データ及び個別メタデータを記録する。
The
スケーリング部４１９は、重要度比較部１１８から受け取った、各個別画像データのサイズに合わせて、送信データ切替部１１１及び記録データ切替部４２７から与えられた個別画像データのサイズを変更する。そして、スケーリング部４１９は、サイズ変更後の個別画像データをデータ合成部４２０に与える。
The
データ合成部４２０は、画像データにメタデータを添付することにより送信データを生成し、この送信データをデータ送信部１２１に与える。
例えば、データ合成部４２０は、自装置である記録配信装置４００がスレーブ装置である場合には、メタデータ生成部４０７から与えられた部分メタデータ、重要度の値及びフラグ情報と、管理情報生成部１１２から与えられた固有識別子とを含む個別メタデータを生成し、この個別メタデータを、送信データ切替部１１１から与えられた個別画像データに添付することで個別送信データを生成する。
一方、データ合成部４２０は、自装置である記録配信装置４００がマスタ装置である場合には、スケーリング部４１９から与えられたサイズ変更後の個別画像データを、重要度比較部１１８から受け取った各個別画像データの配置位置に配置することで合成画像データを生成する。そして、データ合成部４２０は、自装置である記録配信装置４００がマスタ装置である場合には、メタデータ生成部４０７から与えられた部分メタデータ、重要度の値及びフラグ情報と、管理情報生成部１１２から与えられた固有識別子と、メタデータ抽出部４１５から与えられた個別メタデータとを含む合成メタデータを生成する。そして、データ合成部１２０は、生成された合成画像データに合成メタデータを添付することで合成送信データを生成する。
そして、データ合成部４２０は、以上のようにして生成された個別送信データ又は合成送信データをデータ送信部１２１に与える。また、データ合成部４２０は、以上のようにして生成された合成送信データをデータ記録部４１３に記録させる。
The
For example, when the recording / distributing device 400 that is the own device is a slave device, the
On the other hand, the
Then, the
図１９は、実施の形態４におけるデータ合成部４２０が生成する個別送信データＩＩＤ４のデータ構造を示す概略図である。
個別送信データＩＩＤ４は、個別画像データＩＩＤ４１と、固有識別子ＩＩＤ４２と、記録状態情報ＩＩＤ４３と、重要度ＩＩＤ４４と、項目個数ＩＩＤ４５と、項目番号ＩＩＤ４６と、解析結果データサイズＩＩＤ４７と、解析結果ＩＩＤ４８とを有する。ここで、個別送信データＩＩＤ４の個別画像データＩＩＤ４１、固有識別子ＩＩＤ４２、重要度ＩＩＤ４４、項目個数ＩＩＤ４５、項目番号ＩＩＤ４６、解析結果データサイズＩＩＤ４７及び解析結果ＩＩＤ４８は、図９に示されている個別送信データＩＩＤ１の個別画像データＩＩＤ１１、固有識別子ＩＩＤ１２、重要度ＩＩＤ１３、項目個数ＩＩＤ１４、項目番号ＩＩＤ１５、解析結果データサイズＩＩＤ１６及び解析結果ＩＩＤ１７と、それぞれ同様である。
記録状態情報ＩＩＤ４３は、メタデータ生成部４０７から送られてくるフラグ情報である。この記録状態情報ＩＩＤ４３を参照することにより、マスタ装置は、スレーブ装置の記録状態を検知することができる。
FIG. 19 is a schematic diagram showing a data structure of individual transmission data IID4 generated by
The individual transmission data IID4 includes individual image data IID41, unique identifier IID42, recording state information IID43, importance IID44, item number IID45, item number IID46, analysis result data size IID47, and analysis result IID48. Have. Here, the individual image data IID41, the unique identifier IID42, the importance IID44, the item number IID45, the item number IID46, the analysis result data size IID47, and the analysis result IID48 of the individual transmission data IID4 are the individual transmission data shown in FIG. The same applies to individual image data IID11, unique identifier IID12, importance IID13, item number IID14, item number IID15, analysis result data size IID16, and analysis result IID17.
The recording state information IID 43 is flag information sent from the
図２０は、実施の形態４におけるデータ合成部４２０が生成する合成送信データＳＩＤ４のデータ構造を示す概略図である。
合成送信データＳＩＤ４は、合成画像データＳＩＤ４１と、最大カメラ数ＳＩＤ４２と、各画像有無情報ＳＩＤ４３と、各記録状態情報ＳＩＤ４４と、カメラ番号ＳＩＤ４５と、スケーリングエリアＳＩＤ４６と、固有識別子ＳＩＤ４７と、重要度ＳＩＤ４８と、項目個数ＳＩＤ４９と、項目番号ＳＩＤ５０と、解析結果データサイズＳＩＤ５１と、解析結果ＳＩＤ５２とを有する。ここで、合成送信データＳＩＤ４の合成画像データＳＩＤ４１、最大カメラ数ＳＩＤ４２、各画像有無情報ＳＩＤ４３、カメラ番号ＳＩＤ４５、スケーリングエリアＳＩＤ４６、固有識別子ＳＩＤ４７、重要度ＳＩＤ４８、項目個数ＳＩＤ４９、項目番号ＳＩＤ５０、解析結果データサイズＳＩＤ５１及び解析結果ＳＩＤ５２は、図１０に示されているＳＩＤ１の合成画像データＳＩＤ１１、最大カメラ数ＳＩＤ１２、各画像有無情報ＳＩＤ１３、カメラ番号ＳＩＤ１４、スケーリングエリアＳＩＤ１５、固有識別子ＳＩＤ１６、重要度ＳＩＤ１７、項目個数ＳＩＤ１８、項目番号ＳＩＤ１９、解析結果データサイズＳＩＤ２０及び解析結果ＳＩＤ２１と、それぞれ同様である。
各記録状態情報ＳＩＤ４４は、カメラ（記録配信装置４００）毎に、記録が正常に行われているか否かを示す情報である。例えば、各記録状態情報ＳＩＤ４４は、ビットパターンの情報で明示される。例えば、図２及び３に示されている例において、４つのカメラ１５１〜１５４のうち、第１カメラ１５１、第２カメラ１５２及び第４カメラ１５４では、記録が正常に行われており、第３カメラ１５３では、記録が正常に行われていない場合には、各記録状態情報ＳＩＤ４４は、「０００１」と示される。
FIG. 20 is a schematic diagram illustrating a data structure of the combined transmission data SID4 generated by the
The composite transmission data SID4 includes composite image data SID41, maximum camera number SID42, each image presence / absence information SID43, each recording state information SID44, camera number SID45, scaling area SID46, unique identifier SID47, and importance SID48. , Item number SID49, item number SID50, analysis result data size SID51, and analysis result SID52. Here, composite image data SID41 of composite transmission data SID4, maximum camera number SID42, each image presence / absence information SID43, camera number SID45, scaling area SID46, unique identifier SID47, importance SID48, item number SID49, item number SID50, analysis result The data size SID51 and the analysis result SID52 are the composite image data SID11 of SID1 shown in FIG. 10, the maximum camera number SID12, each image presence / absence information SID13, the camera number SID14, the scaling area SID15, the unique identifier SID16, the importance SID17, This is the same as the item number SID18, item number SID19, analysis result data size SID20, and analysis result SID21.
Each recording state information SID44 is information indicating whether or not recording is normally performed for each camera (recording / distributing apparatus 400). For example, each recording state information SID44 is clearly indicated by bit pattern information. For example, in the example shown in FIGS. 2 and 3, the
なお、個別送信データＩＩＤ４及び合成送信データＳＩＤ４のデータ構造は、図１９及び図２０にそれぞれ示されているデータ構造に限定されるものではない。図１９及び図２０に示されている情報が含まれていればよい。従って、本発明の効果に影響のないその他の情報、例えば、メーカー情報等が含まれていてもよい。 Note that the data structures of the individual transmission data IID4 and the combined transmission data SID4 are not limited to the data structures shown in FIGS. 19 and 20, respectively. The information shown in FIGS. 19 and 20 only needs to be included. Therefore, other information that does not affect the effect of the present invention, such as manufacturer information, may be included.
以上のように、実施の形態４に係る記録配信装置４００によれば、ＬＡＮ接続された複数の記録配信装置４００の何れかにおいて、画像データを記録できなくなる不具合が発生した場合に、別の記録配信装置４００で、不具合の生じた記録配信装置４００で撮像された個別画像データを記録することができ、記録媒体の不具合により記録ができない問題を改善することができる。 As described above, according to the recording / distributing apparatus 400 according to the fourth embodiment, when a problem occurs in which image data cannot be recorded in any of the plurality of recording / distributing apparatuses 400 connected via LAN, The distribution device 400 can record the individual image data captured by the recording / distribution device 400 in which a problem has occurred, and can improve the problem that recording cannot be performed due to a problem in the recording medium.
なお、以上に記載された実施の形態４での処理を、実施の形態２又は３に追加することも可能である。 Note that the processing in the fourth embodiment described above can be added to the second or third embodiment.
以上に記載された実施の形態１〜４では、記録配信装置１００〜４００は、自装置がスレーブ装置である場合に、自装置で撮像された画像の個別画像データに対して、重要度を算出して、この重要度を個別送信データに含めて、マスタ装置に送信している。この点、例えば、記録配信装置１００〜４００は、自装置がスレーブ装置である場合には、重要度を算出せず、重要度を算出するために必要な部分メタデータを個別送信データに含めて、マスタ装置に送信するようにしてもよい。このような場合には、マスタ装置である記録配信装置１００〜４００では、メタデータ抽出部１１５、４１５が、抽出された個別メタデータを重要度算出部１０８、２０８、３０８に与えて、重要度算出部１０８、２０８、３０８が、個別メタデータに含まれている部分メタデータに基づいて、スレーブ装置の個別画像データの優先度を算出するようにすればよい。
In the first to fourth embodiments described above, the
また、以上に記載された実施の形態１〜４では、記録配信装置１００〜４００は、自装置がマスタ装置である場合に、個別画像データのスケーリングを行っているが、自装置がスレーブ装置である場合にも、重要度に対応したサイズに、個別画像データのスケーリングを行ってもよい。このような場合には、マスタ装置で、スレーブ装置から送られてきた個別画像データをスケーリングしなくてもよい。そして、スレーブ装置が、個別画像データをダウンサイズして送信することで、ＬＡＮにおける使用帯域も節約することができる。
In the first to fourth embodiments described above, the
また、例えば、特許文献１に記載された技術では、複数のＩＰカメラで同時に動きが検出された場合には、動きが検出された画像のうち、関連する画像のみを連続してモニタに表示することができなくなるが、実施の形態１〜４に係る記録配信装置１００〜４００によれば、動きが検出された画像が合成されて１つの画像として表示されるため、複数の記録配信装置１００〜４００で撮像された画像に、同時に動きが検出された場合であっても、効率的に監視を行うことができる。
Further, for example, in the technique described in
さらに、特許文献１に記載された技術では、動きが検出された画像が１枚ずつモニタに表示されるため、重要な画像が複数のＩＰカメラにまたがって撮像された場合に、それらの画像を関連付けて管理し、同時に視聴することができず、重要な映像を見逃すといった問題があった。しかしながら、実施の形態１〜４に係る記録配信装置１００〜４００では、重要な映像が合成されて同時に視聴することができるため、このような問題が生じない。
Furthermore, in the technique described in
さらにまた、特許文献１に記載された技術では、動きを検知するモーションディテクト機能を用いて画像の切り替えを行うため、動きがあった場合にしか画像が送信されない。このため、例えば、立ち止まった人や、置き去りにされた物等動きのない画像はデータとして送信されることがなく、視聴することも記録することもできないという問題があった。しかしながら、実施の形態１〜４に係る記録配信装置１００〜４００では、動きが検出された場合だけでなく、例えば、センサ入力があった場合、顔が検出された場合、音声入力があった場合等、複数の項目から重要度を判定しているため、このような問題が生じない。
Furthermore, in the technique described in
加えて、送信されてきた画像データを１枚の画像として表示する従来技術では、一度に多量の画像データが送られてきた場合には、画像を順次１枚の画像として表示するために、モニタ側の装置に高い処理能力が必要であった。これに対して、実施の形態１〜４に係る記録配信装置１００〜４００では、送信側で画像が合成されるため、受信側の装置は高い処理能力を必要としない。
In addition, in the conventional technique for displaying transmitted image data as a single image, when a large amount of image data is sent at a time, the monitor displays the images sequentially as a single image. The equipment on the side needed high throughput. On the other hand, in the
１００，２００，３００，４００：記録配信装置、 １０１：画像撮像部、 １０２：画像解析部、 １０３：外部情報入力部、 １０４：外部情報解析部、 １０５：音声入力部、 １０６：音声解析部、 １０７，３０７，４０７：メタデータ生成部、 １０８，２０８，３０８：重要度算出部、 １０９：画像符号化部、 １１０，３１０：画像切出部、 １１１，２１１：送信データ切替部、 １１２：管理情報生成部、 １１３，４１３：データ記録部、 １１４：データ受信部、 １１５，４１５：メタデータ抽出部、 １１６，３１６：重要度抽出部、 １１７，４１７：画像データ抽出部、 １１８，２１８，３１８：重要度比較部、 １１９，３１９，４１９：スケーリング部、 １２０，３２０，４２０：データ合成部、 １２１：データ送信部、 ２２２：閾値比較部、 ３２３：タイマー部、 ３２４：グループ化抽出部、 ４２５：記録状態監視部、 ４２６：記録状態検知部、 ４２７：記録データ切替部。
100: 200, 300, 400: Record distribution device 101: Image capturing unit 102: Image analysis unit 103: External information input unit 104: External information analysis unit 105: Audio input unit 106:
Claims (19)
前記画像撮像部で撮像された画像の画像データを生成する画像符号化部と、
第１ネットワークから、画像データを含む個別送信データを受信するデータ受信部と、
前記個別送信データから画像データを抽出する画像データ抽出部と、
前記生成された画像データ及び前記抽出された画像データから選択された画像データより１つの画像データを生成し、当該１つの画像データを含む合成送信データを生成するデータ合成部と、
前記合成送信データを、第２ネットワークに送信するデータ送信部と、を備えること
を特徴とする記録配信装置。 An image capturing unit for capturing an image;
An image encoding unit that generates image data of an image captured by the image capturing unit;
A data receiving unit for receiving individual transmission data including image data from the first network;
An image data extraction unit for extracting image data from the individual transmission data;
A data composition unit for generating one image data from the generated image data and image data selected from the extracted image data, and generating composite transmission data including the one image data;
And a data transmission unit that transmits the combined transmission data to the second network.
前記データ合成部は、前記スケーリング部でサイズ変更済みの画像データから１つの画像データを生成すること
を特徴とする請求項１に記載の記録配信装置。 A scaling unit that changes a size of the generated image data and image data selected from the extracted image data;
The record distribution device according to claim 1, wherein the data composition unit generates one image data from the image data whose size has been changed by the scaling unit.
前記個別送信データから個別メタデータを抽出するメタデータ抽出部と、をさらに備え、
前記データ合成部は、前記１つの画像データに、前記選択された画像データに対応する部分メタデータ及び個別メタデータの少なくとも何れか１つを合成することで、合成送信データを生成すること
を特徴とする請求項２に記載の記録配信装置。 A metadata generation unit that generates partial metadata of the generated image data;
A metadata extraction unit that extracts individual metadata from the individual transmission data; and
The data synthesizing unit generates synthesized transmission data by synthesizing at least one of partial metadata corresponding to the selected image data and individual metadata with the one image data. The record distribution device according to claim 2.
前記個別メタデータから重要度を抽出する重要度抽出部と、
前記算出された重要度及び前記抽出された重要度から、前記選択された画像データのサイズ及び配置位置を特定する重要度比較部と、をさらに備え、
前記スケーリング部は、前記選択された画像データを、前記特定されたサイズに変更し、
前記データ合成部は、前記サイズ変更済みの画像データを、前記特定された配置位置に配置することで、前記１つの画像データを生成すること
を特徴とする請求項３に記載の記録配信装置。 An importance calculator for calculating the importance of the generated image data based on the partial metadata;
An importance extraction unit for extracting the importance from the individual metadata;
An importance comparison unit that identifies the size and arrangement position of the selected image data from the calculated importance and the extracted importance; and
The scaling unit changes the selected image data to the specified size,
The record distribution device according to claim 3, wherein the data composition unit generates the one image data by arranging the resized image data at the specified arrangement position.
前記メタデータ生成部は、前記状態解析部での解析結果を前記部分メタデータに含め、
前記重要度算出部は、前記解析結果から、前記重要度を算出すること
を特徴とする請求項４に記載の記録配信装置。 It further includes a status analysis unit that analyzes the status of the monitoring target with multiple items,
The metadata generation unit includes the analysis result in the state analysis unit in the partial metadata,
The record distribution apparatus according to claim 4, wherein the importance calculation unit calculates the importance from the analysis result.
を特徴とする請求項５に記載の記録配信装置。 The state analysis unit is an image analysis unit that analyzes whether the captured image includes an important part, an external information analysis unit that analyzes whether an external signal is input from an external device, and The recording / distributing apparatus according to claim 5, further comprising at least one of a voice analysis unit that analyzes a volume level of the input voice.
前記生成された画像データから、前記重要な部分を切り出す画像切出部と、をさらに備え、
前記スケーリング部は、前記切出し済みの画像データ及び前記抽出された画像データから選択された画像データのサイズを変更すること、
を特徴とする請求項２から４の何れか一項に記載の記録配信装置。 An image analysis unit that analyzes whether the captured image includes an important part; and
An image cutout unit that cuts out the important part from the generated image data,
The scaling unit is configured to change a size of image data selected from the extracted image data and the extracted image data;
The record distribution device according to any one of claims 2 to 4, wherein
を特徴とする請求項２から７の何れか一項に記載の記録配信装置。 The record distribution device according to any one of claims 2 to 7, wherein the scaling unit changes all sizes of the generated image data and the extracted image data.
前記スケーリング部は、前記閾値比較部で、前記重要度が予め定められた閾値以上であると判断された画像データのサイズを変更すること
を特徴とする請求項２から７の何れか一項に記載の記録配信装置。 A threshold comparison unit for determining whether the importance is equal to or higher than a predetermined threshold;
8. The scaling unit according to claim 2, wherein the scaling unit changes the size of the image data determined by the threshold value comparison unit to be equal to or more than a predetermined threshold value. 9. The record distribution apparatus according to the description.
前記予め定められた時間において撮像された画像から生成された複数の画像データの中で最も重要度の高い画像データを特定するとともに、前記予め定められた時間において、同じ送信元から受信された複数の個別送信データから抽出された画像データの中で最も重要度の高い画像データを特定するグループ化抽出部と、をさらに備え、
前記スケーリング部は、前記グループ化抽出部で特定された画像データのサイズを変更すること
を特徴とする請求項２から７の何れか一項に記載の記録配信装置。 A timer section for measuring a predetermined time;
Among the plurality of image data generated from the image captured at the predetermined time, the image data having the highest importance is specified, and the plurality of data received from the same transmission source at the predetermined time A grouping extraction unit that identifies image data having the highest importance among the image data extracted from the individual transmission data of
The recording / distributing apparatus according to claim 2, wherein the scaling unit changes a size of the image data specified by the grouping extraction unit.
前記生成された画像データを、前記固有識別子に対応付けて記録するデータ記録部と、をさらに備え、
前記データ合成部は、前記選択された画像データに前記生成された画像データが含まれる場合には、前記１つの画像データに、前記生成された画像データの固有識別子をさらに合成すること
を特徴とする請求項１から１０の何れか一項に記載の記録配信装置。 A management information generator for generating a unique identifier for uniquely identifying the generated image data;
A data recording unit that records the generated image data in association with the unique identifier;
The data synthesis unit further synthesizes the unique identifier of the generated image data with the one image data when the generated image data is included in the selected image data. The record distribution device according to any one of claims 1 to 10.
前記記録状態検知部が、前記個別送信データに含まれている画像データが正しく記録されていないと判断した場合には、前記個別送信データに含まれている画像データを前記データ記憶部に記憶させる記録データ切替部と、をさらに備えること
を特徴とする請求項１１に記載の記録配信装置。 Recording state information indicating whether or not image data is correctly recorded is extracted from the individual transmission data, and whether or not the image data included in the individual transmission data is correctly recorded based on the recording state information A recording state detection unit for determining whether or not,
When the recording state detection unit determines that the image data included in the individual transmission data is not correctly recorded, the image data included in the individual transmission data is stored in the data storage unit. The record distribution device according to claim 11, further comprising: a record data switching unit.
前記撮像工程で撮像された画像の画像データを生成する画像符号化工程と、
第１ネットワークから、画像データを含む個別送信データを受信するデータ受信工程と、
前記個別送信データから画像データを抽出する画像データ抽出工程と、
前記生成された画像データ及び前記抽出された画像データから選択された画像データより１つの画像データを生成し、当該１つの画像データを含む合成送信データを生成するデータ合成工程と、
前記合成送信データを、第２ネットワークに送信するデータ送信工程と、を有すること
を特徴とする記録配信方法。 An imaging process for capturing an image;
An image encoding step for generating image data of the image captured in the imaging step;
A data receiving step of receiving individual transmission data including image data from the first network;
An image data extraction step of extracting image data from the individual transmission data;
A data synthesizing step for generating one image data from the generated image data and image data selected from the extracted image data, and generating combined transmission data including the one image data;
A data transmission step of transmitting the combined transmission data to the second network.
前記データ合成工程では、前記スケーリング工程でサイズ変更済みの画像データから１つの画像データを生成すること
を特徴とする請求項１３に記載の記録配信方法。 A scaling step of changing a size of image data selected from the generated image data and the extracted image data;
The recording / distributing method according to claim 13, wherein in the data synthesizing step, one image data is generated from the image data whose size has been changed in the scaling step.
前記個別送信データから個別メタデータを抽出するメタデータ抽出工程と、をさらに有し、
前記データ合成工程では、前記１つの画像データに、前記選択された画像データに対応する部分メタデータ及び個別メタデータの少なくとも何れか１つを合成することで、合成送信データを生成すること
を特徴とする請求項１４に記載の記録配信方法。 A metadata generation step of generating partial metadata of the generated image data;
A metadata extraction step of extracting individual metadata from the individual transmission data, and
In the data combining step, combined transmission data is generated by combining at least one of partial metadata and individual metadata corresponding to the selected image data with the one image data. The record distribution method according to claim 14.
前記個別メタデータから重要度を抽出する重要度抽出工程と、
前記算出された重要度及び前記抽出された重要度から、前記選択された画像データのサイズ及び配置位置を特定する重要度比較工程と、をさらに有し、
前記スケーリング工程では、前記選択された画像データを、前記特定されたサイズに変更し、
前記データ合成工程では、前記サイズ変更済みの画像データを、前記特定された配置位置に配置することで、前記１つの画像データを生成すること
を特徴とする請求項１５に記載の記録配信方法。 An importance calculation step of calculating the importance of the generated image data based on the partial metadata;
An importance extraction step of extracting the importance from the individual metadata;
An importance comparison step for identifying the size and arrangement position of the selected image data from the calculated importance and the extracted importance; and
In the scaling step, the selected image data is changed to the specified size,
The recording / distributing method according to claim 15, wherein, in the data composition step, the one image data is generated by arranging the resized image data at the specified arrangement position.
前記メタデータ生成工程では、前記状態解析工程での解析結果を前記部分メタデータに含め、
前記重要度算出工程では、前記解析結果から、前記重要度を算出すること
を特徴とする請求項１６に記載の記録配信方法。 It further has a state analysis process for analyzing the state of the monitoring target with a plurality of items,
In the metadata generation step, the analysis result in the state analysis step is included in the partial metadata,
The record distribution method according to claim 16, wherein in the importance calculation step, the importance is calculated from the analysis result.
を特徴とする請求項１７に記載の記録配信方法。 The state analysis step includes an image analysis step for analyzing whether or not an important part is included in the captured image, an external information analysis step for analyzing whether an external signal is input from an external device, and The recording / distributing method according to claim 17, further comprising at least one of voice analysis steps of analyzing a volume level of input voice.
前記スレーブ装置は、
画像を撮像する画像撮像部と、
前記画像撮像部で撮像された画像の画像データを生成する画像符号化部と、
前記画像データを含む個別送信データを生成するデータ合成部と、
前記第１のネットワークを介して、前記個別送信データを、前記マスタ装置に送信するデータ送信部と、を備え、
前記マスタ装置は、
画像を撮像する画像撮像部と、
前記画像撮像部で撮像された画像の画像データを生成する画像符号化部と、
前記第１ネットワークを介して、前記個別送信データを受信するデータ受信部と、
前記個別送信データから画像データを抽出する画像データ抽出部と、
前記生成された画像データ及び前記抽出された画像データから選択された画像データより１つの画像データを生成し、当該１つの画像データを含む合成送信データを生成するデータ合成部と、
前記合成送信データを、前記第２ネットワークを介して、前記視聴装置に送信するデータ送信部と、を備え、
前記視聴装置は、
前記第２ネットワークを介して、前記合成送信データを受信する受信部と、
前記合成送信データから、前記１つの画像データを抽出する画像処理部と、
前記１つの画像データに基づいて、画像を表示する表示部と、を備えること
を特徴とする監視システム。 A slave device that transmits and receives data via the first network; a master device that transmits and receives data via the first network and the second network; and a viewing device that transmits and receives data via the second network. A monitoring system,
The slave device is
An image capturing unit for capturing an image;
An image encoding unit that generates image data of an image captured by the image capturing unit;
A data synthesis unit for generating individual transmission data including the image data;
A data transmission unit that transmits the individual transmission data to the master device via the first network;
The master device is
An image capturing unit for capturing an image;
An image encoding unit that generates image data of an image captured by the image capturing unit;
A data receiving unit for receiving the individual transmission data via the first network;
An image data extraction unit for extracting image data from the individual transmission data;
A data composition unit for generating one image data from the generated image data and image data selected from the extracted image data, and generating composite transmission data including the one image data;
A data transmission unit that transmits the combined transmission data to the viewing device via the second network;
The viewing device includes:
A receiving unit that receives the combined transmission data via the second network;
An image processing unit for extracting the one image data from the combined transmission data;
And a display unit that displays an image based on the one image data.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011089998A JP2012222780A (en) | 2011-04-14 | 2011-04-14 | Record distribution device, record distribution method, and monitoring system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011089998A JP2012222780A (en) | 2011-04-14 | 2011-04-14 | Record distribution device, record distribution method, and monitoring system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012222780A true JP2012222780A (en) | 2012-11-12 |
Family
ID=47273785
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011089998A Withdrawn JP2012222780A (en) | 2011-04-14 | 2011-04-14 | Record distribution device, record distribution method, and monitoring system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012222780A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018195883A (en) * | 2017-05-12 | 2018-12-06 | キヤノン株式会社 | Image processing system, control device, control method, and program |
-
2011
- 2011-04-14 JP JP2011089998A patent/JP2012222780A/en not_active Withdrawn
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018195883A (en) * | 2017-05-12 | 2018-12-06 | キヤノン株式会社 | Image processing system, control device, control method, and program |
| US10979631B2 (en) | 2017-05-12 | 2021-04-13 | Canon Kabushiki Kaisha | Image processing system, apparatus, and control method |
| JP7121470B2 (en) | 2017-05-12 | 2022-08-18 | キヤノン株式会社 | Image processing system, control method, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8891826B2 (en) | Image processing system, image processing method, and computer program | |
| TWI433057B (en) | Improved pre-alarm video buffer | |
| US8159538B2 (en) | Monitoring apparatus, filter calibration method, and filter calibration program | |
| JP2008035095A (en) | Monitoring apparatus, monitoring system, monitoring method and program | |
| JP2007243699A (en) | Method and apparatus for video recording and playback | |
| JP5192414B2 (en) | Audio information display system | |
| KR101794005B1 (en) | Error detection system for network camera | |
| US20110255590A1 (en) | Data transmission apparatus and method, network data transmission system and method using the same | |
| JP4959592B2 (en) | Network video monitoring system and monitoring device | |
| JP2016058994A (en) | Monitoring camera device and monitoring camera system | |
| JP5636205B2 (en) | Image recording control apparatus and monitoring system | |
| US20230093631A1 (en) | Video search device and network surveillance camera system including same | |
| KR101990789B1 (en) | Method and Apparatus for Searching Object of Interest by Selection of Object | |
| JP2006093955A (en) | Video processing apparatus | |
| JP2009111677A (en) | Video imaging control system | |
| JP2012222780A (en) | Record distribution device, record distribution method, and monitoring system | |
| JP2008112402A (en) | Regional monitoring system | |
| JP5461623B2 (en) | Monitoring data processing in a monitoring system | |
| JP4202228B2 (en) | Management server and monitoring system | |
| JP4382739B2 (en) | Monitoring system | |
| KR200434039Y1 (en) | Centralized Surveillance System | |
| US20220286642A1 (en) | Event-oriented multi-channel video backup apparatus and method, and network surveillance camera system including the same | |
| KR102433744B1 (en) | A method and apparatus for integrated control through linkage of video collection device and analysis device | |
| KR101961199B1 (en) | Method and Apparatus for Recording Timeline | |
| KR101942418B1 (en) | Method and Apparatus for Recording Timeline |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140701 |