JP2009171295A - Video network system and transmission controller - Google Patents
Video network system and transmission controller Download PDFInfo
- Publication number
- JP2009171295A JP2009171295A JP2008007933A JP2008007933A JP2009171295A JP 2009171295 A JP2009171295 A JP 2009171295A JP 2008007933 A JP2008007933 A JP 2008007933A JP 2008007933 A JP2008007933 A JP 2008007933A JP 2009171295 A JP2009171295 A JP 2009171295A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- transmission control
- reply message
- request
- priority
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
- Information Transfer Between Computers (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、複数のカメラを備える映像ネットワークシステムに関する。 The present invention relates to a video network system including a plurality of cameras.
WebカメラなどのIP接続可能な撮像装置が普及することにより、IPネットワークを利用した広域・大規模監視システムを構築することが可能となった。しかし、多数のカメラと映像蓄積装置の間を単純にIP接続すると、帯域不足及び/又は負荷集中によって効率的な監視システムを構成することができない。このため、情報の優先度に基づいた帯域制御を行う必要がある。これを実現するための方法として、以下の三つの方法がある。 With the widespread use of IP-capable imaging devices such as Web cameras, it has become possible to construct a wide-area and large-scale monitoring system using an IP network. However, if a large number of cameras and video storage devices are simply IP-connected, an efficient monitoring system cannot be configured due to insufficient bandwidth and / or load concentration. For this reason, it is necessary to perform bandwidth control based on information priority. There are the following three methods for realizing this.
第1に、カメラ及び映像蓄積装置に帯域制御機能を組み込む方法である。しかし、安価な市販品を用いて構築された既存のシステムに対し、帯域制御機能を追加的に導入することは困難である。また、帯域制御機能の組み込みが可能であっても、新たな優先度付けの手法をさらに追加しようとしたときには、大量の装置に対して設定の変更が必要となる。 The first is a method of incorporating a bandwidth control function into a camera and a video storage device. However, it is difficult to additionally introduce a bandwidth control function to an existing system constructed using inexpensive commercial products. Even if it is possible to incorporate a bandwidth control function, it is necessary to change settings for a large number of devices when a new prioritization method is added.
第2に、IPレイヤ以下での帯域制御を導入する方法である。これは、透過的に導入できるという利点があるが、レイヤ4以上でのみ識別可能なコンテンツレベルの優先度情報に基づいた帯域制御を導入することが困難である。 Second, it is a method of introducing bandwidth control below the IP layer. This has the advantage that it can be introduced transparently, but it is difficult to introduce bandwidth control based on priority information at the content level that can be identified only in layer 4 or higher.
第3に、Webプロキシ等のレイヤ7のネットワーク処理装置を導入し、明示的に帯域を制御する方法がある。これには、要求を受け付けるカメラ側には変更が不要である利点があるが、要求を出す蓄積装置側にはプログラムの変更が発生する。 Third, there is a method of explicitly controlling the bandwidth by introducing a layer 7 network processing device such as a Web proxy. This has the advantage that no change is required on the camera side that receives the request, but a program change occurs on the storage device side that issues the request.
いずれの方法によっても、広域かつ大規模な監視システム帯域制御を実現することは困難であった。 With either method, it has been difficult to realize wide-area and large-scale monitoring system bandwidth control.
また、通信経路上の装置で伝送制御を行うものとしては、例えば、特許文献1に開示される技術が知られている。これは、メール転送時に悪意のあるメールに対しての返答に遅延を導入することにより、悪意のあるメールに対する応答速度を下げつつ、通常のメールは高い応答速度で転送可能とするものである。
しかしながら、上記のような従来の技術では、多数のカメラから映像データ(フレーム画像)を映像蓄積装置に登録すると、データを転送するためのネットワークの負荷が増大し、映像蓄積装置の記憶装置の容量が増大する。 However, in the conventional technology as described above, when video data (frame images) from a large number of cameras is registered in the video storage device, the load on the network for transferring the data increases, and the capacity of the storage device of the video storage device Will increase.
また、上述のように既存のカメラ及び映像蓄積装置に帯域制御機能を組み込む場合では、安価な市販品を用いて構築された既存のシステムに対して、帯域制御機能を追加的に導入することは設備投資が過大になるという問題がある。特に、カメラの台数が数百または数千などの多数になると、カメラ側に変更を加えること自体に多大な労力と費用を要するという問題がある。 In addition, when the bandwidth control function is incorporated into the existing camera and the video storage device as described above, it is not possible to introduce the bandwidth control function additionally to the existing system constructed by using a commercially available product that is inexpensive. There is a problem that capital investment becomes excessive. In particular, when the number of cameras becomes a large number such as hundreds or thousands, there is a problem that it takes a lot of labor and cost to make changes to the camera itself.
そこで本発明は、上記問題点に鑑みてなされたもので、既存のカメラ及び映像蓄積装置に変更を加えることなくネットワークの負荷を抑制することを目的とする。 Therefore, the present invention has been made in view of the above problems, and an object thereof is to suppress a load on a network without changing an existing camera and a video storage device.
本発明は、画像を撮影する複数のカメラ装置と、前記カメラ装置が撮影した画像を蓄積する蓄積装置と、前記カメラ装置と蓄積装置を接続するネットワークと、を備え、前記蓄積装置が前記カメラ装置に画像要求を送信し、前記カメラ装置は前記画像要求を受信すると画像を返信メッセージとして前記蓄積装置に送信する映像ネットワークシステムにおいて、前記ネットワークと蓄積装置の間に設置されて、前記蓄積装置が前記カメラ装置に送信した画像要求を受信して、当該画像要求に含まれるアドレス及びポートを変換してから当該画像要求をカメラ装置側へ転送し、前記カメラ装置が前記蓄積装置へ送信した返信メッセージを受信し、当該返信メッセージに含まれるアドレス及びポートを変換してから当該返信メッセージを前記蓄積装置へ転送するリクエスト変換装置と、前記ネットワークとカメラ装置の間に設置されて、前記リクエスト変換装置が転送した画像要求を受信し、当該画像要求に含まれるポートの情報から当該画像要求を転送するカメラ装置を特定して当該画像要求を前記特定されたカメラ装置に転送し、前記画像要求に応じて前記カメラ装置が送信した返信メッセージを受信して、当該返信メッセージに含まれるアドレス及びポートを変換してから前記リクエスト変換装置に転送する伝送制御装置と、を備える。 The present invention includes a plurality of camera devices that capture images, a storage device that stores images captured by the camera device, and a network that connects the camera devices and the storage device, and the storage device is the camera device. In the video network system that transmits an image request to the storage device when the camera device receives the image request, the camera device is installed between the network and the storage device. The image request transmitted to the camera device is received, the address and port included in the image request are converted, the image request is transferred to the camera device side, and a reply message transmitted from the camera device to the storage device is transmitted. Receiving, converting the address and port included in the reply message, and then sending the reply message to the storage device. A request conversion device that transfers to the network, and a camera that is installed between the network and the camera device, receives the image request transferred by the request conversion device, and transfers the image request from information on a port included in the image request The device is specified, the image request is transferred to the specified camera device, the reply message transmitted by the camera device in response to the image request is received, and the address and port included in the reply message are converted. And a transmission control device for transferring to the request conversion device.
また、前記リクエスト変換装置は、前記蓄積装置から画像要求を受信したときには、当該画像要求に含まれる宛先アドレスを前記蓄積装置が設定した前記カメラ装置のアドレスに代わって前記伝送制御装置のアドレスに変換し、前記カメラ装置のアドレスに対応する値を宛先ポートに設定し、当該画像要求の送信元アドレスを前記蓄積装置に代わって当該リクエスト変換装置のアドレスに変換してから当該画像要求を前記伝送制御装置に転送し、前記伝送制御装置から返信メッセージを受信したときには、当該返信メッセージに含まれる宛先アドレスを、前記蓄積装置のアドレスに変換し、前記返信メッセージに含まれる宛先ポートの値を対応する送信元アドレスに変換してから当該返信メッセージを前記蓄積装置へ転送し、前記伝送制御装置は、前記リクエスト変換装置から受信した画像要求に含まれる宛先ポートから、当該画像要求を転送するカメラ装置を特定し、当該特定したカメラ装置に前記画像要求を転送し、前記画像要求に応じて前記カメラ装置が送信した返信メッセージを受信して、当該返信メッセージに含まれる宛先アドレスを前記リクエスト変換装置のアドレスに変換し、前記返信メッセージに含まれる送信元アドレスに対応する値を宛先ポートに設定してから前記リクエスト変換装置に転送する。 When the request conversion device receives an image request from the storage device, the request conversion device converts the destination address included in the image request into the address of the transmission control device instead of the address of the camera device set by the storage device. Then, a value corresponding to the address of the camera device is set in the destination port, the transmission source address of the image request is converted into the address of the request conversion device on behalf of the storage device, and then the transmission control of the image request is performed. When a reply message is received from the transmission control device, the destination address included in the reply message is converted into the address of the storage device, and the value of the destination port included in the reply message is transmitted correspondingly. The reply message is transferred to the storage device after being converted into the original address, and the transmission control device Identifies a camera device that forwards the image request from a destination port included in the image request received from the request conversion device, forwards the image request to the identified camera device, and responds to the image request according to the image request. Upon receiving the reply message transmitted by the camera device, the destination address included in the reply message is converted into the address of the request conversion device, and a value corresponding to the source address included in the reply message is set in the destination port. And then forwarded to the request conversion device.
また、前記カメラ装置は、前記画像要求を受信すると、所定の数の画像を返信メッセージとし送信し、前記伝送制御装置は、他の計算機から受信した優先すべきカメラ装置の情報に基づいて、前記リクエスト変換装置に転送する返信メッセージの優先度を前記カメラ装置毎に設定し、前記優先度に基づいて受信した返信メッセージを転送するタイミングを変更する。 Further, when the camera device receives the image request, the camera device transmits a predetermined number of images as a reply message, and the transmission control device, based on the information on the camera device to be prioritized received from another computer, The priority of the reply message to be transferred to the request conversion apparatus is set for each camera apparatus, and the timing for transferring the received reply message is changed based on the priority.
したがって、本発明は、返信メッセージの優先度に基づいてフレームレートの制御(帯域制御)を行うことで、必要最小限の帯域で画像の転送が可能となり、多数のカメラ装置を備えたシステムにおいても、ネットワークの負荷が過大になるのを抑制することができる。さらに、既存のシステムに適用する際には、カメラ措置と蓄積装置の間にリクエスト変換装置と伝送制御装置を挿入するだけでよいので、導入コスト及び労力を低減することができるのである。 Therefore, according to the present invention, by performing frame rate control (bandwidth control) based on the priority of the reply message, it is possible to transfer an image with the minimum necessary bandwidth, and even in a system having a large number of camera devices. It is possible to suppress an excessive load on the network. Furthermore, when applied to an existing system, it is only necessary to insert the request conversion device and the transmission control device between the camera measures and the storage device, so that the introduction cost and labor can be reduced.
以下、本発明の一実施形態を添付図面に基づいて説明する。 Hereinafter, an embodiment of the present invention will be described with reference to the accompanying drawings.
図1は、本発明を適用するネットワーク映像モニタリングシステムの一例を示すブロック図である。また、図2は、図1に示したネットワーク映像モニタリングシステムの構成要素間の通信の概要を示すブロック図である。 FIG. 1 is a block diagram showing an example of a network video monitoring system to which the present invention is applied. FIG. 2 is a block diagram showing an outline of communication between the components of the network video monitoring system shown in FIG.
図1において、ネットワーク映像モニタリングシステムは、複数のカメラ220を含むカメラ群2−0、2−1と、複数のカメラ220を制御し、所望のカメラ220の画像を表示するセンタ1と、センタ1と各カメラ群2−0、2−1を接続するネットワーク100と、センタ1のセンサ情報変換装置7に接続されてセンサノードからの情報(センサ情報)を転送するセンサネットワーク8を主体に構成される。 In FIG. 1, the network video monitoring system includes a camera group 2-0 and 2-1 including a plurality of cameras 220, a center 1 that controls the plurality of cameras 220 and displays an image of a desired camera 220, and a center 1 And a network 100 that connects each of the camera groups 2-0 and 2-1, and a sensor network 8 that is connected to the sensor information conversion device 7 of the center 1 and transfers information (sensor information) from the sensor node. The
このネットワーク映像モニタリングシステムは、建造物内などに複数のカメラ220を設置し、監視センタ1の管理者または監視員が複数のカメラ220の画像を監視し、各カメラ220の画像を蓄積装置4に格納していくものである。 In this network video monitoring system, a plurality of cameras 220 are installed in a building or the like, an administrator or a monitor of the monitoring center 1 monitors images of the plurality of cameras 220, and images of each camera 220 are stored in the storage device 4. It will be stored.
監視センタ1には、複数のカメラ220のサムネイル画像を表示し、所望のカメラ220の画像を高精細度の画像で表示する表示PC(計算機)5を備え、管理者(または監視員)が表示PC5の入出力装置50に表示されるサムネイル画像または高精細度画像を監視する。また、表示PC5では、予め設定したセンサノードからのイベントに基づいて、このセンサノードの位置に対応するカメラ220の画像を入出力装置50に表示する。センサノードが所定の位置に固定されて、かつ、所定のカメラ220に対応付けられており、このセンサノードのイベントから当該カメラ220の画像を表示PC5に表示させることで、人や物の通過などを監視することができる。また、表示PC5では、管理者が入出力装置50の操作によって指定したカメラ220の画像を高精細度で表示することができる。 The monitoring center 1 includes a display PC (computer) 5 that displays thumbnail images of a plurality of cameras 220 and displays images of a desired camera 220 as high-definition images, and is displayed by an administrator (or a monitor). A thumbnail image or a high definition image displayed on the input / output device 50 of the PC 5 is monitored. The display PC 5 displays an image of the camera 220 corresponding to the position of the sensor node on the input / output device 50 based on a preset event from the sensor node. A sensor node is fixed at a predetermined position and is associated with a predetermined camera 220, and an image of the camera 220 is displayed on the display PC 5 from an event of the sensor node, thereby passing a person or an object. Can be monitored. The display PC 5 can display the image of the camera 220 designated by the administrator by operating the input / output device 50 with high definition.
監視センタ1は、上述の機能を実現するため、画像の表示を行う表示PC5と、カメラ群2−0、2−1から画像を要求して蓄積する蓄積装置4と、カメラ群2−0、2−1から画像のサムネイルと特徴量を取得して表示PC5に配信する検索PC(計算機)6と、蓄積装置4からの画像の要求を後述するように変換するリクエスト変換装置3と、センサネットワーク8からの情報を後述するように変換し、カメラ220の識別子に対応付けたセンサ情報を送信するセンサ情報変換装置7から構成される。以下、各部の詳細について説明する。 In order to realize the above-described functions, the monitoring center 1 includes a display PC 5 that displays images, a storage device 4 that requests and stores images from the camera groups 2-0 and 2-1, and a camera group 2-0, A search PC (computer) 6 that acquires image thumbnails and feature values from the image 2-1, and distributes them to the display PC 5, a request conversion device 3 that converts image requests from the storage device 4 as described later, and a sensor network 8 includes a sensor information conversion device 7 that converts information from 8 as described later and transmits sensor information associated with the identifier of the camera 220. Details of each part will be described below.
<カメラ群の構成>
監視センタ1は、複数のカメラ群2−0、2−1を管理しており、各カメラ群は建造物などの所定の領域(例えば、各フロア)毎、あるいは、カメラ220の台数毎に設定され、ひとつのカメラ群2−0、2−1には複数のカメラ220とひとつの伝送制御装置20が含まれる。なお、以下の説明では、カメラ群2−0、2−1の構成は同様であるので、同一のものに同一の符号を付して重複した説明を省略する。
<Configuration of camera group>
The monitoring center 1 manages a plurality of camera groups 2-0 and 2-1, and each camera group is set for each predetermined area (for example, each floor) such as a building or for each camera 220. One camera group 2-0 and 2-1 includes a plurality of cameras 220 and one transmission control device 20. In the following description, since the configurations of the camera groups 2-0 and 2-1 are the same, the same reference numerals are assigned to the same components, and redundant descriptions are omitted.
所定の位置に設置されたカメラ220は、所定のフレームレートで所定の解像度の画像(動画)を撮像し、出力する。カメラ220は、カメラPC(計算機)210に接続される。 The camera 220 installed at a predetermined position captures and outputs an image (moving image) with a predetermined resolution at a predetermined frame rate. The camera 220 is connected to a camera PC (computer) 210.
カメラPC210は、CPUとメモリ及び通信インターフェースを備えた計算機であり、図2で示すように、カメラ220が撮影した動画を蓄積装置4からの要求に応じて1フレームずつ監視センタ1の蓄積装置4へ送信する。したがって、カメラPC210は、蓄積装置4からの画像要求があったときにのみ、最新の1フレーム(画像)を蓄積装置4へ向けて送信し、その他のフレームについては後述するサムネイル画像の生成と特徴量の抽出が完了すると破棄する。 The camera PC 210 is a computer having a CPU, a memory, and a communication interface. As shown in FIG. 2, the storage device 4 of the monitoring center 1 frame-by-frame the moving image captured by the camera 220 in response to a request from the storage device 4. Send to. Therefore, the camera PC 210 transmits the latest one frame (image) to the storage device 4 only when there is an image request from the storage device 4, and the generation and characteristics of thumbnail images described later for the other frames. Discard when the amount extraction is complete.
さらに、カメラPC210は、図2で示すように、カメラ220が撮影した画像からサムネイル画像を生成し、また、画像の特徴量を抽出し、これらのサムネイル画像と特徴量を監視センタ1の検索PC(計算機)5へ送信する。サムネイル画像は、カメラ220が撮影した動画の解像度を縮小したものであり、例えば、カメラ220が640×480ドット(VGA)の解像度の画像を出力する場合には、カメラPC210はサムネイル画像として128×96ドットの画像を生成する。また、カメラPC210は、カメラ220が撮影した画像から、エッジ検出や輪郭検出など公知の手法によって、画像の特徴量を抽出する。なお、以下の説明では、カメラ220の原画像の解像度またはサムネイル画像よりも高解像度の画像を高精細度画像という。 Further, as shown in FIG. 2, the camera PC 210 generates a thumbnail image from the image captured by the camera 220, extracts the feature amount of the image, and searches the thumbnail PC and the feature amount for the search PC of the monitoring center 1. (Computer) Send to 5. The thumbnail image is obtained by reducing the resolution of a moving image taken by the camera 220. For example, when the camera 220 outputs an image having a resolution of 640 × 480 dots (VGA), the camera PC 210 uses 128 × as a thumbnail image. A 96-dot image is generated. Further, the camera PC 210 extracts the feature amount of the image from the image captured by the camera 220 by a known method such as edge detection or contour detection. In the following description, an image having a higher resolution than the resolution or thumbnail image of the original image of the camera 220 is referred to as a high-definition image.
各カメラPC210から監視センタ1宛に送信された情報と、監視センタ1から各カメラPC210またはカメラ220宛の情報は、伝送制御装置20を介して転送される。 Information transmitted from each camera PC 210 to the monitoring center 1 and information from the monitoring center 1 to each camera PC 210 or camera 220 are transferred via the transmission control device 20.
ここで、各カメラPC210には所定の識別子(例えば、IPアドレス)が予め付与されており、監視センタ1はこのIPアドレスによりカメラ220を特定する。 Here, a predetermined identifier (for example, an IP address) is assigned to each camera PC 210 in advance, and the monitoring center 1 identifies the camera 220 based on the IP address.
蓄積装置4は、画像を取得するカメラPC210のIPアドレスを指定して画像要求をリクエスト変換装置3へ送信する。リクエスト変換装置3は、蓄積装置4からの画像要求の宛先を、後述するように各カメラ群の伝送制御装置20のアドレスとポート番号に変換してネットワーク100に送信する。蓄積装置4は、全てのカメラPC210に対してポーリングを行い、各カメラPC210に対する画像要求をリクエスト変換装置に送信する。ただし,1台のカメラPC210に対して並行して2つ以上の要求は発行しない。 The storage device 4 designates the IP address of the camera PC 210 that acquires the image and transmits an image request to the request conversion device 3. The request conversion device 3 converts the destination of the image request from the storage device 4 into an address and a port number of the transmission control device 20 of each camera group, as will be described later, and transmits it to the network 100. The storage device 4 polls all the camera PCs 210 and transmits an image request for each camera PC 210 to the request conversion device. However, two or more requests are not issued to one camera PC 210 in parallel.
伝送制御装置20は、ネットワーク100を介してリクエスト変換装置3から画像要求を受信すると、画像要求のポート番号からカメラPC210を特定し、画像要求を特定したカメラPC210へ転送する。このため、カメラPC210は、ポート番号とカメラPC210の対応関係を示す転送先テーブル230を備える。なお、転送先テーブル230は、予め設定されたものであり、図5で示すように設定される。図5については後述する。 When the transmission control apparatus 20 receives an image request from the request conversion apparatus 3 via the network 100, the transmission control apparatus 20 identifies the camera PC 210 from the port number of the image request and transfers the image request to the identified camera PC 210. For this reason, the camera PC 210 includes a transfer destination table 230 indicating the correspondence between the port number and the camera PC 210. The transfer destination table 230 is set in advance, and is set as shown in FIG. FIG. 5 will be described later.
カメラPC210は、伝送制御装置20からの画像要求に対して最新の画像(高精細度画像)を1フレームだけ返信する。伝送制御装置20は、カメラPC210から受信した画像を含んだメッセージを、当該カメラPC210を特定するポート番号に変換してからリクエスト変換装置3へ送信する。リクエスト変換装置3は、受信した画像のポート番号からカメラPC210のIPアドレスに変換し、蓄積装置4へ送信する。蓄積装置4は、受信した画像の送信元のIPアドレスからカメラPC210を特定して画像を格納していく。 The camera PC 210 returns one frame of the latest image (high definition image) in response to the image request from the transmission control device 20. The transmission control device 20 converts the message including the image received from the camera PC 210 into a port number that identifies the camera PC 210 and transmits the message to the request conversion device 3. The request conversion device 3 converts the port number of the received image into the IP address of the camera PC 210 and transmits it to the storage device 4. The storage device 4 specifies the camera PC 210 from the IP address of the transmission source of the received image and stores the image.
伝送制御装置20は、所定の数のカメラPC210を配下に置き、リクエスト変換装置3から転送された画像要求をカメラPC210に転送し、画像要求に対する返信メッセージを受信して、リクエスト変換装置3へ返信する返信メッセージについて、後述するように優先度とセンサ情報に基づいてフレームレートの制御を行う。返信メッセージを転送する優先度の制御を行うため、伝送制御装置20は、図6に示す優先度履歴テーブル240を備える。図6については後述する。 The transmission control apparatus 20 places a predetermined number of camera PCs 210 under its control, transfers the image request transferred from the request conversion apparatus 3 to the camera PC 210, receives a reply message for the image request, and returns it to the request conversion apparatus 3. As will be described later, the frame rate is controlled based on the priority and the sensor information. In order to control the priority for transferring the reply message, the transmission control device 20 includes a priority history table 240 shown in FIG. FIG. 6 will be described later.
また、伝送制御装置20は、モニタリング対象の拠点側(つまり、カメラ群側)、リクエスト変換装置3は集約モニタリングを行う監視センタ1側に置き、その間は広域のネットワーク100に接続されている。これにより、ネットワーク100に流れるトラフィックを削減することが可能となる。 Further, the transmission control device 20 is placed on the monitoring target base side (that is, the camera group side), and the request conversion device 3 is placed on the monitoring center 1 side that performs aggregated monitoring, and is connected to the wide area network 100 in the meantime. As a result, the traffic flowing through the network 100 can be reduced.
なお、本実施形態では、カメラPC210とカメラ220が独立した構成を示したが、カメラPC210とカメラ220が一体となった構成であっても良い。 In the present embodiment, the configuration in which the camera PC 210 and the camera 220 are independent is shown, but the configuration in which the camera PC 210 and the camera 220 are integrated may be used.
<監視センタの構成>
次に、監視センタ1の構成要素について、図1及び図2を参照しながら以下に説明する。
<Configuration of monitoring center>
Next, components of the monitoring center 1 will be described below with reference to FIGS. 1 and 2.
蓄積装置4は、CPUとメモリと通信インターフェース及びストレージ装置を含む計算機で構成されて、多数のカメラPC210を管理下に置き、各カメラPC210に対して画像要求を送信して高精細画像を取得すると共に、表示PCからの蓄積画像取得要求に対して高精細の画像を返信する。 The storage device 4 is configured by a computer including a CPU, a memory, a communication interface, and a storage device. The storage device 4 places a large number of camera PCs 210 under management, and transmits an image request to each camera PC 210 to acquire a high-definition image. At the same time, a high-definition image is returned in response to a stored image acquisition request from the display PC.
センサ情報変換装置7は、CPUとメモリ及び通信インターフェースを備えた計算機で構成され、赤外発信ノード820と名札センサ810と無線基地局80からなるセンサネットワーク8から送られてくる情報を、伝送制御装置20および検索PC6が解釈可能なメッセージ形式および送信手順に変換してそれぞれにメッセージ(センサ情報)を送信する。 The sensor information conversion device 7 is constituted by a computer having a CPU, a memory, and a communication interface, and controls transmission of information sent from the sensor network 8 including the infrared transmission node 820, the name tag sensor 810, and the wireless base station 80. The message (sensor information) is transmitted to the device 20 and the search PC 6 after being converted into a message format and a transmission procedure that can be interpreted.
センサ情報変換装置7は、センサノードの識別子から当該センサノードに対応するカメラPC210の識別子を特定するセンサ−カメラ管理テーブル70を備える。このセンサ−カメラ管理テーブル70は、センサノードのうち固定ノードの識別子に対して、予め設定したカメラPC210のIPアドレスを設定したもので、例えば、固定ノードの近傍を通過する人や物体を撮影可能なカメラ220に接続されたカメラPC210のIPアドレスが設定される。 The sensor information conversion device 7 includes a sensor-camera management table 70 that identifies the identifier of the camera PC 210 corresponding to the sensor node from the identifier of the sensor node. The sensor-camera management table 70 is a table in which a preset IP address of the camera PC 210 is set for an identifier of a fixed node among sensor nodes. For example, a person or an object passing near the fixed node can be photographed. The IP address of the camera PC 210 connected to the correct camera 220 is set.
センサ情報変換装置7は、図2で示すように、後述する名札センサ810からのイベントについて無線基地局80を介して受信すると、センサ−カメラ管理テーブル70を参照し、赤外線ノード820の識別子(ID)からカメラPC210のIPアドレスを特定し、このIPアドレスを画像の転送の際に優先すべき画像であることを示す優先カメラIDとして伝送制御装置20に送信する。また、センサ情報変換装置7は、伝送制御装置20に優先カメラIDを送信する際に、検索PC6に名札センサ810からのイベントを送信する。なお、センサ情報変換装置7は、伝送制御装置20と検索PC6に対して優先カメラIDに加えて、イベントを送信した名札センサ810の識別子(名札ID)とこのイベントの種別もセンサ情報として送信する。イベントの種別は、名札センサ810の検出(接近)や、検出した名札センサ810の消失(離脱)など、固定ノードが検知した情報の種別などである。 As shown in FIG. 2, when receiving an event from a name tag sensor 810, which will be described later, via the wireless base station 80, the sensor information conversion device 7 refers to the sensor-camera management table 70 and refers to the identifier (ID) of the infrared node 820. ) To identify the IP address of the camera PC 210 and transmit this IP address to the transmission control apparatus 20 as a priority camera ID indicating that the image should be prioritized when transferring the image. The sensor information conversion device 7 transmits an event from the name tag sensor 810 to the search PC 6 when transmitting the priority camera ID to the transmission control device 20. In addition to the priority camera ID, the sensor information conversion device 7 also transmits the identifier (name tag ID) of the name tag sensor 810 that transmitted the event and the type of the event as sensor information to the transmission control device 20 and the search PC 6. . The event type is the type of information detected by the fixed node, such as detection (approach) of the name tag sensor 810 or disappearance (detachment) of the detected name tag sensor 810.
検索PC6は、CPUとメモリと通信インターフェース及びストレージ装置を備えた計算機で構成され、カメラPC210からの画像の特徴量およびサムネイル画像、およびセンサ情報変換装置7から受信したセンサ情報を格納し、表示PC5に対して検知情報(センサネットワークからのセンサ情報)とサムネイル画像を送付する。 The search PC 6 is configured by a computer including a CPU, a memory, a communication interface, and a storage device, and stores the feature amount and thumbnail image of the image from the camera PC 210 and the sensor information received from the sensor information conversion device 7, and the display PC 5 Detection information (sensor information from the sensor network) and a thumbnail image are sent.
リクエスト変換装置3は、CPUとメモリ及び通信インターフェースを備えた計算機で構成され、蓄積装置4とカメラPC210の間の通信経路上に配置され、蓄積装置4からカメラPC210に向かう画像要求を中継する際に、伝送制御装置20を経由するようメッセージの送信元と送信先を変更し、かつ、伝送制御装置20から蓄積装置4に向かうメッセージの送信元と送信先を変更する。 The request conversion device 3 includes a CPU, a computer having a memory and a communication interface, is arranged on a communication path between the storage device 4 and the camera PC 210, and relays an image request from the storage device 4 to the camera PC 210. In addition, the transmission source and transmission destination of the message are changed so as to pass through the transmission control device 20, and the transmission source and transmission destination of the message from the transmission control device 20 toward the storage device 4 are changed.
リクエスト変換装置3は、蓄積装置4からの画像要求に含まれる宛先(カメラPC210のIPアドレス)を各カメラ群の伝送制御装置20のIPアドレスとポート番号に変換し、送信元をリクエスト変換装置3に置き換えたメッセージを伝送制御装置20に送信する。また、リクエスト変換装置3は伝送制御装置20からの返信(画像)に含まれる宛先を蓄積装置4に変換し、送信元を返信に含まれるカメラPC210のIPアドレスに変換したメッセージを蓄積装置4に送信する。このため、リクエスト変換装置3は、カメラPC210のIPアドレスとポート番号を変換するためのアドレス変換テーブル30を備える。アドレス変換テーブル30は、図4に示すように構成され、詳細については後述する。 The request conversion device 3 converts the destination (the IP address of the camera PC 210) included in the image request from the storage device 4 into the IP address and port number of the transmission control device 20 of each camera group, and the transmission source is the request conversion device 3. The message replaced with is transmitted to the transmission control device 20. Further, the request conversion device 3 converts the destination included in the reply (image) from the transmission control device 20 to the storage device 4, and sends the message converted to the IP address of the camera PC 210 included in the reply to the storage device 4. Send. Therefore, the request conversion device 3 includes an address conversion table 30 for converting the IP address and port number of the camera PC 210. The address conversion table 30 is configured as shown in FIG. 4 and will be described in detail later.
表示PC5は、CPUとメモリ及び通信インターフェースを備えた計算機で構成され、複数のカメラ220のサムネイル画像と、所望のカメラ220の画像を高精細度の画像で入出力装置50に表示する。なお、入出力装置50は、ディスプレイとキーボードやマウスなどで構成される。 The display PC 5 is configured by a computer having a CPU, a memory, and a communication interface, and displays thumbnail images of a plurality of cameras 220 and desired camera 220 images on the input / output device 50 as high-definition images. The input / output device 50 includes a display, a keyboard, a mouse, and the like.
表示PC5は、入出力装置50の操作により管理者または監視員が指定したカメラPC210の識別子(優先カメラID)を、フレームレートを優先するカメラPC210として伝送制御装置20に通知する。この通知に基づいて、伝送制御装置20は指定されたカメラPC210の優先度履歴テーブル240を更新する。 The display PC 5 notifies the transmission control device 20 of the identifier (priority camera ID) of the camera PC 210 designated by the administrator or the monitor by operating the input / output device 50 as the camera PC 210 that prioritizes the frame rate. Based on this notification, the transmission control device 20 updates the priority history table 240 of the designated camera PC 210.
表示PC5で、管理者などが表示させるカメラPC210を指定すると、図2で示すように、表示PC5がカメラPC210の識別子を優先カメラIDとして伝送制御装置20へ送信し、当該優先カメラIDの高精細度画像を蓄積装置4へ要求する。蓄積装置4は表示PC5から要求されたカメラPC210からの画像を受信すると、表示PC5へ転送する。これにより、表示PC5では指定されたカメラPC210のカメラ220が撮影した画像を表示することができる。 When the camera PC 210 to be displayed by the administrator or the like is designated on the display PC 5, as shown in FIG. 2, the display PC 5 transmits the identifier of the camera PC 210 to the transmission control device 20 as the priority camera ID, and the high definition of the priority camera ID. The image is requested to the storage device 4. When the storage device 4 receives the image from the camera PC 210 requested from the display PC 5, it transfers the image to the display PC 5. Thereby, the display PC 5 can display an image taken by the camera 220 of the designated camera PC 210.
また、表示PC5は、検索PC6からセンサ情報変換装置7がイベントを受信したセンサ情報を受信すると、センサ情報に含まれる優先カメラIDの画像を取得するように蓄積装置4に指令する。 In addition, when the sensor information conversion device 7 receives the sensor information from the search PC 6 that receives the event, the display PC 5 instructs the storage device 4 to acquire the image of the priority camera ID included in the sensor information.
<センサネットワークの構成>
次に、センサネットワーク8について説明する。図1において、センサネットワーク8は、センサ情報変換装置7に接続された無線基地局80と、無線ネットワーク800を介して無線基地局80に接続されたセンサノードから構成される。
<Configuration of sensor network>
Next, the sensor network 8 will be described. In FIG. 1, the sensor network 8 includes a radio base station 80 connected to the sensor information conversion apparatus 7 and a sensor node connected to the radio base station 80 via the radio network 800.
本実施形態のセンサノードとしては、所定の位置に固定された固定ノードと、人や物体に装着される移動ノードから構成された例を示す。図1において、センサネットワーク8は、予め設定された識別子を赤外線発信機から送信する赤外線ノード820を固定ノードとして備える。また、センサネットワーク8は、移動ノードとして赤外線ノード820から受信した識別子を無線基地局80へ送信する名札センサ810を備える。 As a sensor node of this embodiment, an example in which a fixed node fixed at a predetermined position and a mobile node attached to a person or an object is shown. In FIG. 1, the sensor network 8 includes an infrared node 820 that transmits a preset identifier from an infrared transmitter as a fixed node. The sensor network 8 includes a name tag sensor 810 that transmits the identifier received from the infrared node 820 as a mobile node to the radio base station 80.
図13に名札センサ810と赤外線ノード820の構成を示す。赤外線ノード820は、予め設定された識別子を格納するID格納部822と、識別子を発信する赤外線通信部823と、無線基地局80と通信を行う無線通信部821を備える。 FIG. 13 shows the configuration of the name tag sensor 810 and the infrared node 820. The infrared node 820 includes an ID storage unit 822 that stores a preset identifier, an infrared communication unit 823 that transmits the identifier, and a wireless communication unit 821 that communicates with the wireless base station 80.
名札センサ810は、赤外線ノード820から識別子を受信する赤外線通信部813と、予め設定された名札センサ自身の識別子を格納するID格納部812と、赤外線通信部813で受信した赤外線ノード820の識別子と、自身の識別子を無線ネットワーク800へ送信する無線通信部811から構成される。 The name tag sensor 810 includes an infrared communication unit 813 that receives an identifier from the infrared node 820, an ID storage unit 812 that stores a preset identifier of the name tag sensor itself, and an identifier of the infrared node 820 that is received by the infrared communication unit 813. The wireless communication unit 811 transmits its own identifier to the wireless network 800.
名札センサ810は、赤外線ノード820に接近すると、赤外線通信部813で赤外線ノード820から識別子を受信し、無線基地局80へ自身の識別子と赤外線ノード820の識別子及び赤外線ノード820へ接近したことを示すイベントの種別を送信することで、固定ノードである赤外線ノード820の近傍に名札センサ810が接近したことを通知することができる。逆に、名札センサ810は、赤外線通信を開始した赤外線ノード820から離れて赤外線ノード820の識別子が取得できなくなると、無線基地局80へ自身の識別子と赤外線ノード820の識別子及び赤外線ノード820から離脱したことを示すイベントの種別を送信することで、固定ノードである赤外線ノード820の近傍から名札センサ810が離脱したことを通知することができる。なお、赤外線ノード820の無線通信部821は、赤外線ノード820の識別子の設定などの際にセンサ情報変換装置7や表示PC5等と通信を行うことができる。 When the name tag sensor 810 approaches the infrared node 820, the infrared communication unit 813 receives the identifier from the infrared node 820, and indicates to the wireless base station 80 its own identifier, the identifier of the infrared node 820, and the approach to the infrared node 820. By transmitting the event type, it is possible to notify that the name tag sensor 810 has approached the vicinity of the infrared node 820 which is a fixed node. Conversely, when the name tag sensor 810 leaves the infrared node 820 that started the infrared communication and cannot acquire the identifier of the infrared node 820, the name tag sensor 810 leaves the wireless base station 80 with its own identifier, the identifier of the infrared node 820, and the infrared node 820. By transmitting the event type indicating that the name tag sensor 810 has been disconnected, it is possible to notify that the name tag sensor 810 has left the vicinity of the infrared node 820 that is a fixed node. Note that the wireless communication unit 821 of the infrared node 820 can communicate with the sensor information conversion device 7 and the display PC 5 when setting the identifier of the infrared node 820.
<蓄積装置とカメラPCの通信手順>
図3は、蓄積装置4がカメラPC210に対して1枚の画像を要求した際の通信手順を示している。
<Communication procedure between storage device and camera PC>
FIG. 3 shows a communication procedure when the storage device 4 requests one image from the camera PC 210.
蓄積装置4は、蓄積装置4のIPアドレスを送信元、カメラPC210のIPアドレスを送信先にした画像要求メッセージを送信する(S1)。 The storage device 4 transmits an image request message with the IP address of the storage device 4 as the transmission source and the IP address of the camera PC 210 as the transmission destination (S1).
画像要求メッセージの通信系路上にあるリクエスト変換装置3は、画像要求メッセージを中継する際に、画像要求メッセージの送信先を伝送制御装置20のIPアドレスに変更し、さらに、送信元のIPアドレスをリクエスト変換装置3に変更して、画像要求メッセージを伝送制御装置20へ転送する(S2)。このとき、リクエスト変換装置3は、図4に示すアドレス変換テーブル30を参照して、元の送信先のカメラPC210のIPアドレスと、伝送制御装置20のポート番号とを対応付けて変換することで、伝送制御装置20において元の送信先であるカメラPC210を識別可能にする。 When relaying the image request message, the request conversion device 3 on the communication path of the image request message changes the destination of the image request message to the IP address of the transmission control device 20, and further changes the IP address of the transmission source. The request conversion device 3 is changed to transfer the image request message to the transmission control device 20 (S2). At this time, the request conversion apparatus 3 refers to the address conversion table 30 shown in FIG. 4 to convert the IP address of the original destination camera PC 210 and the port number of the transmission control apparatus 20 in association with each other. The transmission control device 20 can identify the camera PC 210 that is the original transmission destination.
図4は、リクエスト変換装置3に予め設定されたアドレス変換テーブル30の一例を示す説明図である。アドレス変換テーブル30は、ひとつのエントリに、蓄積装置4のIPアドレスを格納する送信元IP301と、画像要求メッセージの最終的な宛先となるカメラPC210のIPアドレスを格納する送信先IP302と、送信先のポート番号を格納する送信先ポート303と、カメラPC210のIPアドレス(送信先IP302)に代わる宛先として伝送制御装置20のIPアドレスを格納する転送先IP304と、伝送制御装置20の転送先のポート番号を格納する転送先ポート305と、を含む。 FIG. 4 is an explanatory diagram illustrating an example of the address conversion table 30 set in advance in the request conversion apparatus 3. The address conversion table 30 includes, in one entry, a transmission source IP 301 that stores the IP address of the storage device 4, a transmission destination IP 302 that stores the IP address of the camera PC 210 that is the final destination of the image request message, and a transmission destination. Destination port 303 for storing the port number, transfer destination IP 304 for storing the IP address of the transmission control device 20 as a destination in place of the IP address of the camera PC 210 (destination IP 302), and the transfer destination port of the transmission control device 20 And a transfer destination port 305 for storing the number.
ここで、本発明のアドレス変換テーブル30では、転送先ポート305の値を送信先IP302のIPアドレスから設定したものである。つまり、送信先のカメラPC210のIPアドレスの一部または全てを転送先ポート305のポート番号とすればよい。これにより、画像要求メッセージを受信する伝送制御装置20では、ポート番号を参照すれば宛先のカメラPC210を容易に識別することができる。なお、IPアドレスとポート番号の間に一対一の対応が取れるのであれば,必ずしもIPアドレスの一部をポート番号とする必要はない。 Here, in the address conversion table 30 of the present invention, the value of the transfer destination port 305 is set from the IP address of the transmission destination IP 302. That is, part or all of the IP address of the destination camera PC 210 may be the port number of the transfer destination port 305. Thereby, the transmission control apparatus 20 that receives the image request message can easily identify the destination camera PC 210 by referring to the port number. If a one-to-one correspondence can be taken between an IP address and a port number, a part of the IP address does not necessarily have to be a port number.
リクエスト変換装置3は、蓄積装置4側から送られてきたメッセージの送信元IPアドレス・送信先IPアドレス・送信先ポートと同じエントリがアドレス変換テーブル30に存在していた場合、そのメッセージの送信元をリクエスト変換装置3のIPアドレスに変更し、送信先をエントリの転送先IP304の内容に変更し、送信先ポートをエントリの転送先ポート305の内容に変更した後に転送を行う。 If the same entry as the source IP address / destination IP address / destination port of the message sent from the storage device 4 side exists in the address conversion table 30, the request conversion device 3 sends the message source Is changed to the IP address of the request conversion apparatus 3, the transmission destination is changed to the contents of the transfer destination IP 304 of the entry, and the transfer is performed after the transmission destination port is changed to the contents of the transfer destination port 305 of the entry.
また、伝送制御装置20側から送信先アドレスがリクエスト変換装置3であり、送信元IPアドレス・送信元ポートが、それぞれ転送先アドレス、転送先ポートと等しいエントリがあった場合、そのメッセージの送信元IPアドレスとポートを、当該エントリの送信先IP・ポートの内容に変更した後にメッセージの転送を行う。 Further, when the transmission destination address from the transmission control device 20 side is the request conversion device 3 and there is an entry whose transmission source IP address / transmission source port is equal to the transmission destination address and the transmission destination port, respectively, the transmission source of the message The message is transferred after the IP address and port are changed to the contents of the destination IP / port of the entry.
図4の例では、蓄積装置4のIPアドレスが10.0.0.2、カメラ群2−0の伝送制御装置20のIPアドレスが10.0.2.20、カメラ群2−1の伝送制御装置20のIPアドレスが10.0.2.21である場合を示している。
蓄積装置4が宛先のカメラPC210のIPアドレスとして10.0.1.10の画像要求メッセージを送信すると、リクエスト変換装置3は、アドレス変換テーブル30を参照し、宛先のIPアドレスをカメラ群2−0の伝送制御装置20のIPアドレスである転送先IP304の10.0.2.20に変更し、宛先のポートを転送先ポート305の10110に変更した画像要求メッセージを伝送制御装置20へ転送する。
In the example of FIG. 4, the IP address of the storage device 4 is 10.0.0.2, the IP address of the transmission control device 20 of the camera group 2-0 is 10.0.2.20, and the transmission of the camera group 2-1 The case where the IP address of the control device 20 is 10.0.2.21 is shown.
When the storage device 4 transmits an image request message of 10.0.1.10 as the IP address of the destination camera PC 210, the request conversion device 3 refers to the address conversion table 30 and sets the destination IP address to the camera group 2- The image request message in which the IP address of the transmission control device 20 is changed to 10.0.2.20 of the transfer destination IP 304 and the destination port is changed to 10110 of the transfer destination port 305 is transferred to the transmission control device 20. .
次に、図3のS3では、リクエスト変換装置3から転送された画像要求メッセージを受け取った伝送制御装置20は、図5で示す転送先テーブル230を参照して、受信したポート番号から転送先のカメラPC210を決定し、当該カメラPC210あてに画像要求メッセージを送信する。 Next, in S3 of FIG. 3, the transmission control device 20 that has received the image request message transferred from the request conversion device 3 refers to the transfer destination table 230 shown in FIG. The camera PC 210 is determined and an image request message is transmitted to the camera PC 210.
ここで、図5に示す転送先テーブル230は、伝送制御装置20に予め設定されたものであり、ひとつのエントリに伝送制御装置20が受信したポート番号を格納する受信ポート2301と、画像要求メッセージを転送する宛先を格納する転送先URL2302とを含む。 Here, the transfer destination table 230 shown in FIG. 5 is set in advance in the transmission control apparatus 20, and includes a reception port 2301 that stores the port number received by the transmission control apparatus 20 in one entry, and an image request message. A transfer destination URL 2302 for storing a destination to which the URL is transferred.
伝送制御装置20は、リクエスト変換装置3から受け取った画像要求メッセージの送信先ポートを調べ、転送先テーブル230を検索し、転送すべきカメラPC210のアドレス(URL)を得る。ここではURLでカメラPC210へのアクセス方法を表現している。例えば、”http://camera1.example.com:80/getimage”であれば、送信先アドレスがcamera1.example.com、送信先ポートが80、送信プロトコルはHTTP、要求は”/getimage”という文字列を渡す、ということを示している。 The transmission control device 20 checks the transmission destination port of the image request message received from the request conversion device 3, searches the transfer destination table 230, and obtains the address (URL) of the camera PC 210 to be transferred. Here, the URL represents the access method to the camera PC 210. For example, if “http://camera1.example.com:80/getimage”, the destination address is camera1. example. com, the transmission destination port is 80, the transmission protocol is HTTP, and the request is a character string “/ getimage”.
次に、図3において、カメラPC210は、カメラ220からの画像を含んだ返信メッセージを伝送制御装置20に送信する(S4)。この返信メッセージには、高精細画像と当該高精細度画像を転送する優先度を示す情報が含まれている。優先度を示す情報は、カメラPC210が設定したものであり、返信メッセージのパケットに含まれる優先度フィールドの値であり、伝送制御装置20はこれらの優先度に関するフィールドを書き換えることで、蓄積装置4に蓄積される動画のフレームレートを制御する。優先度を示す情報は,ネットワーク100のプロトコルがIPv4であればサービスタイプの値、プロトコルがIPv6であればClassの値として格納しても良い。 Next, in FIG. 3, the camera PC 210 transmits a reply message including the image from the camera 220 to the transmission control device 20 (S4). This reply message includes a high-definition image and information indicating the priority for transferring the high-definition image. The information indicating the priority is set by the camera PC 210 and is the value of the priority field included in the packet of the reply message. The transmission control device 20 rewrites the fields related to these priorities to thereby store the storage device 4. Controls the frame rate of moving images stored in the. The information indicating the priority may be stored as a service type value if the protocol of the network 100 is IPv4, and as a Class value if the protocol is IPv6.
伝送制御装置20はカメラPC210から返信メッセージを受信し、この返信メッセージ内に含まれる優先度の情報と、センサ情報変換装置7および表示PC5からの情報(センサ情報)に従って当該高精細度画像を含む返信メッセージの送信の優先度を決定する。 The transmission control device 20 receives the reply message from the camera PC 210 and includes the high-definition image according to the priority information included in the reply message and the information (sensor information) from the sensor information conversion device 7 and the display PC 5. Determine the priority of sending a reply message.
伝送制御装置20は、送信の優先度が一定の閾値より低い場合は、当該IPアドレスのカメラPC210のメッセージ(画像)を返信せず、カメラPC210あてに再度画像の取得要求を行う(S5)。伝送制御装置20とカメラPC210は上記ステップS4とステップS5を繰り返し、伝送制御装置20は当該カメラPC210の優先度が所定の閾値を超えるか、もしくは一定の上限回数まで繰り返した後に、優先度に従った待ち時間を挿入した後、返信メッセージに優先カメラIDおよび優先度の情報を追加した返信メッセージをリクエスト変換装置3宛に返信する(S6)。なお、伝送制御装置20が付与する待ち時間は、例えば、優先度が低くなるにつれて大きく設定される。 If the transmission priority is lower than a certain threshold, the transmission control device 20 does not send back a message (image) of the camera PC 210 of the IP address, and makes an image acquisition request again to the camera PC 210 (S5). The transmission control device 20 and the camera PC 210 repeat the above steps S4 and S5, and the transmission control device 20 follows the priority after the priority of the camera PC 210 exceeds a predetermined threshold or is repeated up to a certain upper limit number of times. After the waiting time is inserted, a reply message in which the priority camera ID and priority information are added to the reply message is returned to the request conversion apparatus 3 (S6). Note that the waiting time provided by the transmission control device 20 is set to be larger as the priority becomes lower, for example.
ここで、伝送制御装置20が管理するカメラPC210毎の優先度は、図6に示す優先度履歴テーブル240に格納される。図6に示す優先度履歴テーブル240は、伝送制御装置20に予め設定されたものであり、ひとつのエントリにカメラPC210の識別子を格納するカメラID2401と、当該カメラPC210の画像の最新の優先度を格納する最新優先度2402と、画像の優先度の平均値を格納する平均優先度2403と、センサ情報変換装置7や表示PC5から受信した情報を格納するセンサ情報2404とを含む。 Here, the priority for each camera PC 210 managed by the transmission control apparatus 20 is stored in the priority history table 240 shown in FIG. The priority history table 240 shown in FIG. 6 is set in advance in the transmission control device 20, and stores the camera ID 2401 for storing the identifier of the camera PC 210 in one entry and the latest priority of the image of the camera PC 210. The latest priority 2402 to be stored, the average priority 2403 for storing the average value of the priority of the image, and the sensor information 2404 for storing the information received from the sensor information conversion device 7 and the display PC 5 are included.
センサ情報2404には、センサ情報変換装置7からの検出情報(優先カメラID)と、表示PC5からのカメラPC210の優先度の指示が格納される。例えば、図6において、カメラID2401=Camera3のエントリのセンサ情報2404には、表示PC5からの優先度を高める指示があったことを示す情報として”disp”という情報が格納されている。 The sensor information 2404 stores detection information (priority camera ID) from the sensor information conversion device 7 and a priority instruction of the camera PC 210 from the display PC 5. For example, in FIG. 6, sensor information 2404 of the entry of camera ID 2401 = Camera 3 stores information “disp” as information indicating that there is an instruction to increase the priority from the display PC 5.
また、図6において、カメラID2401=Camera2のエントリのセンサ情報2404には、センサ情報変換装置7からの名札センサ810の識別子として、”Nameid1”と”Nameid2”が格納されており、これらの識別子を有する名札センサ810が赤外線ノード820の近傍を通過したことを示す。このようにセンサ情報2404に何らかの値が入っている場合、伝送制御装置20は該当カメラIDの情報を最高の優先度で送信する。 In FIG. 6, “Nameid1” and “Nameid2” are stored in the sensor information 2404 of the entry of camera ID 2401 = Camera2 as identifiers of the name tag sensor 810 from the sensor information conversion device 7. It shows that the name tag sensor 810 having passed the vicinity of the infrared node 820. As described above, when the sensor information 2404 includes any value, the transmission control device 20 transmits the information of the corresponding camera ID with the highest priority.
次に、図3において、伝送制御装置20から返信メッセージを受信したリクエスト変換装置3は、図4に示したアドレス変換テーブル30を参照し、受け取った返信メッセージの送信元アドレスをカメラPC210に変換し、送信先アドレスを蓄積装置4に変換してから当該返信メッセージを蓄積装置4に転送する(S7)。 Next, in FIG. 3, the request conversion device 3 that has received the reply message from the transmission control device 20 refers to the address conversion table 30 shown in FIG. 4 and converts the source address of the received reply message to the camera PC 210. After the destination address is converted into the storage device 4, the reply message is transferred to the storage device 4 (S7).
こうして蓄積装置4は、あたかもカメラPC210から高精細画像が返信されたと認識して、画像を蓄積装置4内に格納する。 In this way, the storage device 4 recognizes that a high-definition image has been returned from the camera PC 210 and stores the image in the storage device 4.
<伝送制御装置における処理>
図7は、伝送制御装置20で行われる処理の一例を示し、リクエスト変換装置3から画像要求メッセージを受信したときに実行される処理のフローチャートである。
<Processing in transmission control device>
FIG. 7 shows an example of processing performed in the transmission control device 20, and is a flowchart of processing executed when an image request message is received from the request conversion device 3.
まず、伝送制御装置20は、リクエスト変換装置3から画像要求メッセージを受信すると、上述のように受信ポートをキーとして転送先テーブル230を検索して転送先のカメラPC210を決定し、画像要求を転送する(S11)。 First, when receiving an image request message from the request conversion device 3, the transmission control device 20 searches the transfer destination table 230 using the reception port as a key to determine the transfer destination camera PC 210 as described above, and transfers the image request. (S11).
そして、伝送制御装置20はカメラPC210からの返信メッセージを受信し、返信メッセージのヘッダに含まれる画像の優先度、およびカメラ220またはカメラPC210のIDを抽出する(S12)。そして、画像の優先度は変数Pnowに代入しておく。 Then, the transmission control device 20 receives the reply message from the camera PC 210, and extracts the priority of the image included in the header of the reply message and the ID of the camera 220 or the camera PC 210 (S12). The priority of the image is substituted for the variable Pnow.
次に伝送制御装置20は、カメラPC210のIDをキーとして優先度履歴テーブル240を検索する(S13)。検索されたエントリ内にセンサ情報が存在していた場合、このカメラPC210の画像は最高の優先度として扱うため、遅延を挿入せずに転送処理を行う(S14、S24、S20)。 Next, the transmission control device 20 searches the priority history table 240 using the ID of the camera PC 210 as a key (S13). If sensor information is present in the retrieved entry, the image of this camera PC 210 is treated as the highest priority, so transfer processing is performed without inserting a delay (S14, S24, S20).
ステップS20の転送処理では、返信メッセージのヘッダに優先度の情報とセンサ情報を追加して、リクエスト変換装置3に送信する。このとき、返信メッセージ内だけでなくその下位レイヤであるIPレイヤのパケットの優先度の情報として画像の優先度を書き込むことで、伝送制御装置20とリクエスト変換装置3の間のIPネットワークにおいて、IPレベルの優先度制御に利用することも可能である。 In the transfer process of step S20, priority information and sensor information are added to the header of the reply message and transmitted to the request conversion device 3. At this time, in the IP network between the transmission control device 20 and the request conversion device 3, the IP priority between the transmission control device 20 and the request conversion device 3 is written by writing the priority of the image not only in the reply message but also as the priority information of the packet of the IP layer which is the lower layer It can also be used for level priority control.
一方、ステップS14の判定で、検索されたエントリ内にセンサ情報が無かった場合、ステップS15以降で通常の送信優先度決定処理を行う。ステップS15では、返信メッセージに含まれている画像の優先度が0であるか否かを判定する。この判定の結果、返信メッセージに含まれている画像の優先度が0であった場合にはステップS21へ進み、そうでない場合にはステップS16へ進む。 On the other hand, if it is determined in step S14 that there is no sensor information in the retrieved entry, normal transmission priority determination processing is performed in step S15 and subsequent steps. In step S15, it is determined whether or not the priority of the image included in the reply message is zero. As a result of the determination, if the priority of the image included in the reply message is 0, the process proceeds to step S21. If not, the process proceeds to step S16.
ステップS21では、画像の優先度が0であるため、当該画像の優先度は非常に低いと判定し、再度転送先のカメラPC210に画像要求を行う。このとき、画像要求の繰り返しが長期間に及んで蓄積装置4への返信が中断されることを防止するため、繰り返しの回数が所定の上限値である10回未満の時のみ繰り返し処理を行い(S23、S11)、繰り返し回数が10回に達した時点で、優先度を最低にした上で前述の転送処理を行う(S22、S20)。なお、カメラPC210に画像要求を繰り返す際には、ステップS23で所定の遅延(例えば、200msec)を挿入する。 In step S21, since the priority of the image is 0, it is determined that the priority of the image is very low, and an image request is made to the transfer destination camera PC 210 again. At this time, in order to prevent the reply to the storage device 4 from being interrupted due to the repetition of the image request for a long period, the repetition process is performed only when the number of repetitions is less than a predetermined upper limit of 10 ( S23, S11) When the number of repetitions reaches 10, the above transfer process is performed after the priority is minimized (S22, S20). When the image request is repeated to the camera PC 210, a predetermined delay (for example, 200 msec) is inserted in step S23.
一方、ステップS15の判定で、画像の優先度が正の値であった場合は、ステップS16に進んで、上記ステップS12で抽出した現在の画像の優先度Pnowから、優先度履歴テーブル240に格納された平均優先度2403を差し引いた値を、最新の優先度2402として計算する。最新の優先度をP’nowとし、平均優先度をPaveとすると、
P’now=Pnow−Pave
となる。この処理によって、一旦優先度を高く設定したカメラPC210の画像は、センサ情報や表示PC5からの指示がない場合には、時間の経過とともに徐々に優先度が低下することになる。
On the other hand, if it is determined in step S15 that the priority of the image is a positive value, the process proceeds to step S16 and the current image priority Pnow extracted in step S12 is stored in the priority history table 240. A value obtained by subtracting the average priority 2403 is calculated as the latest priority 2402. If the latest priority is P'now and the average priority is Pave,
P'now = Pnow-Pave
It becomes. With this process, the priority of the image of the camera PC 210 once set to a high priority is gradually lowered with the passage of time if there is no instruction from the sensor information or the display PC 5.
次に、伝送制御装置20はステップ17で、優先度履歴テーブル240内の平均優先度および最新優先度の値の更新を行う。ここでは、前回までの優先度の平均と画像の最新の優先度の間で加重平均を取ることで、新しい平均優先度2403を求める。すなわち、新たな平均優先度をP’aveとすると、
P’ave=(99×Pave+Pnow)÷100
となる。伝送制御装置20は新たな平均優先度P’aveを現在着目しているカメラID2401のエントリの平均優先度2403に格納し、ステップS16で求めた最新の優先度Pnowを最新優先度2402に格納する。
Next, in step 17, the transmission control device 20 updates the values of the average priority and the latest priority in the priority history table 240. Here, a new average priority 2403 is obtained by taking a weighted average between the average of the priorities up to the previous time and the latest priority of the image. That is, if the new average priority is P'ave,
P′ave = (99 × Pave + Pnow) ÷ 100
It becomes. The transmission control apparatus 20 stores the new average priority P′ave in the average priority 2403 of the entry of the camera ID 2401 currently focused on, and stores the latest priority Pnow obtained in step S16 in the latest priority 2402. .
次に、ステップS18では、上記ステップS16で求めた最新優先度2402と、優先度履歴テーブル240内の他のカメラIDの最新優先度2402とを比較して、現在着目しているカメラIDの優先度の順位を求める。次に、ステップS19では、当該カメラPC210の送信の優先度が上位3位までに入った場合は、遅延を挿入せずに転送処理に進む。一方、上位4位以下であった場合、当該カメラPC210の送信の優先度の順位が前回の値から下がる毎に所定の遅延(例えば、20msの)を挿入してステップS20の転送処理に進む(すなわち、遅延時間[ms]=(順位−3)*20)。 In step S18, the latest priority 2402 obtained in step S16 is compared with the latest priorities 2402 of other camera IDs in the priority history table 240, and the priority of the camera ID currently focused on is compared. Find the degree ranking. Next, in step S19, when the transmission priority of the camera PC 210 enters the top three, the process proceeds to the transfer process without inserting a delay. On the other hand, if it is lower than the top four, each time the priority of transmission of the camera PC 210 drops from the previous value, a predetermined delay (for example, 20 ms) is inserted and the process proceeds to the transfer process in step S20 ( That is, delay time [ms] = (rank-3) * 20).
以上の処理により、優先度履歴テーブル240のセンサ情報2404に名札センサ810のIDや表示PC5からの表示の指示が設定されている場合には、カメラPC210から受信した画像(高精細度画像)をそのままリクエスト変換装置3に転送するが、優先度が低下するにつれて遅延が大きくなるため、カメラPC210の画像のフレームレートは低下することになる。 With the above processing, when the ID of the name tag sensor 810 and the display instruction from the display PC 5 are set in the sensor information 2404 of the priority history table 240, the image (high definition image) received from the camera PC 210 is displayed. Although it is transferred to the request conversion apparatus 3 as it is, since the delay increases as the priority decreases, the frame rate of the image of the camera PC 210 decreases.
すなわち、本実施形態の蓄積装置4は、ひとつのカメラPC210に対して画像の要求を行う際に、1フレームずつ高精細画像を取得するので、高精細度画像が返信されてから、次の画像要求を行うことになり、遅延が大きくなれば一枚の画像を取得する時間がかかり、蓄積装置4に蓄積されるカメラPC210への画像要求の頻度が低下する。この結果、蓄積装置4に蓄積されるカメラPC210からの画像のフレームレートは低下することになる。 That is, the storage device 4 of the present embodiment acquires a high-definition image frame by frame when requesting an image to one camera PC 210, so that the next image is returned after the high-definition image is returned. If the delay is increased, it takes time to acquire one image, and the frequency of image requests to the camera PC 210 stored in the storage device 4 decreases. As a result, the frame rate of the image from the camera PC 210 stored in the storage device 4 decreases.
また、カメラ220の画像の過去の優先度の平均値と最新の優先度の差によって送信の優先度を評価することにより、恒常的に高い優先度を送信してくるカメラ220の画像の優先度を相対的に低下させることができる。 Also, the priority of the image of the camera 220 that constantly transmits a high priority is evaluated by evaluating the transmission priority based on the difference between the average of the priorities of the images of the camera 220 and the latest priority. Can be lowered relatively.
次に図8は、伝送制御装置20がセンサ情報変換装置7からセンサ情報を受信した場合のフローチャートである。伝送制御装置20はセンサ情報変換装置7からセンサ情報を受信すると、受信したセンサ情報からカメラIDと、名札IDおよびイベント種別を抽出する(S31)。 Next, FIG. 8 is a flowchart when the transmission control device 20 receives sensor information from the sensor information conversion device 7. When receiving the sensor information from the sensor information conversion device 7, the transmission control device 20 extracts the camera ID, the name tag ID, and the event type from the received sensor information (S31).
次に、ステップS32では、伝送制御装置20がステップS31で抽出したイベント種別について、名札センサ810が赤外線ノード820へ接近したのか、検出した名札センサ810が赤外線ノード820から離脱したのかを判定し、接近の場合にはステップS33へ進み、離脱の場合にはステップS34へ進む。 Next, in step S32, it is determined whether the name tag sensor 810 has approached the infrared node 820 or the detected name tag sensor 810 has left the infrared node 820 for the event type extracted by the transmission control device 20 in step S31. In the case of approach, the process proceeds to step S33, and in the case of separation, the process proceeds to step S34.
イベント種別の判定が名札センサ810が赤外線ノード820へ接近したことを示す接近情報であった場合、伝送制御装置20は、ステップS33でセンサ情報から抽出したカメラIDから優先度履歴テーブル240を検索し、カメラIDに対応するエントリのセンサ情報2404に名札センサ810のIDを追加する。 If the event type determination is access information indicating that the name tag sensor 810 has approached the infrared node 820, the transmission control device 20 searches the priority history table 240 from the camera ID extracted from the sensor information in step S33. The ID of the name tag sensor 810 is added to the sensor information 2404 of the entry corresponding to the camera ID.
一方、ステップS32の判定で、センサ情報から抽出したイベント種別が離脱情報であった場合、ステップS34で、伝送制御装置20がカメラIDから優先度履歴テーブル240を検索し、当該カメラIDに対応するエントリのセンサ情報2404から名札センサ810のIDを削除する。これにより、一旦、センサ情報2404に名札センサ810のIDを登録して優先度の高くなったカメラIDは、名札センサ810の離脱によりセンサ情報2404から名札センサ810のIDが削除されるので、優先度が低減され、いつまでも優先度が高い状態が保持されるのを防ぐことができる。 On the other hand, if it is determined in step S32 that the event type extracted from the sensor information is departure information, in step S34, the transmission control device 20 searches the priority history table 240 from the camera ID and corresponds to the camera ID. The ID of the name tag sensor 810 is deleted from the sensor information 2404 of the entry. As a result, once the ID of the name tag sensor 810 is registered in the sensor information 2404 and the priority of the camera ID is increased, the ID of the name tag sensor 810 is deleted from the sensor information 2404 when the name tag sensor 810 is removed. The degree is reduced, and it is possible to prevent the state where the priority is kept high forever.
表示PC5からの優先度変更要求は、優先度を上げたいカメラPC210に対してはカメラ220へのダミーの人物の接近情報を設定し、優先度を下げたいカメラPC210に対してはカメラへの離脱の情報として表示PC5が伝送制御装置20にメッセージを送ることで対応可能である。 The priority change request from the display PC 5 sets dummy person approach information to the camera 220 for the camera PC 210 whose priority is to be increased, and leaves the camera for the camera PC 210 whose priority is to be decreased. This can be dealt with by the display PC 5 sending a message to the transmission control device 20 as information of the above.
<メッセージの詳細>
図9は、蓄積装置4が発行する画像要求のメッセージの一例である。HTTPに準拠したメッセージとして、”/getimage”というパスの情報を取得(GET)せよという命令として表現している。この画像要求メッセージを受信したカメラPC210は、1フレームの画像を伝送制御装置20へ送信する。
<Details of message>
FIG. 9 is an example of an image request message issued by the storage device 4. As a message complying with HTTP, it is expressed as an instruction to acquire (GET) information of a path “/ getimage”. Upon receiving this image request message, the camera PC 210 transmits an image of one frame to the transmission control device 20.
図10は、カメラPC210が発行する上記画像要求に対する返信メッセージの例である。図中、8行目の”X-ICN-Precedence: 20”が画像の優先度を示し、9行目の”X-ICN-Camera-Id: 15”がカメラPC210のカメラIDを示し、11行目の”JFIF”以降が高精細画像のデータを示す。なお、図10は返信メッセージのデータ部を示しており、宛先アドレスと宛先ポートと送信元アドレスと送信元ポートを含むヘッダ部は省略した。 FIG. 10 is an example of a reply message to the image request issued by the camera PC 210. In the figure, “X-ICN-Precedence: 20” on the 8th line indicates the priority of the image, “X-ICN-Camera-Id: 15” on the 9th line indicates the camera ID of the camera PC 210, and 11th line. The high-definition image data is shown after “JFIF” in the eye. FIG. 10 shows the data part of the reply message, and the header part including the destination address, destination port, source address, and source port is omitted.
図11は、センサ情報変換装置7が送信するセンサ情報のメッセージのフォーマットの一例である。本実施形態では、図中のフォーマットうち、イベント種別と、名札IDと、カメラIDを利用する。上述のようにイベント種別には、名札センサ810の接近または離脱が格納され、名札IDには赤外線ノード820と赤外線で通信した名札センサ810の識別子が格納され、カメラIDには名札センサ810がセンサ情報変換装置7に通知した赤外線ノード820に対応するカメラPC210の識別子が格納される。 FIG. 11 is an example of a format of a sensor information message transmitted by the sensor information conversion apparatus 7. In the present embodiment, among the formats in the figure, the event type, name tag ID, and camera ID are used. As described above, the approach or departure from the name tag sensor 810 is stored in the event type, the identifier of the name tag sensor 810 communicated with the infrared node 820 by infrared rays is stored in the name tag ID, and the name tag sensor 810 detects the sensor ID. The identifier of the camera PC 210 corresponding to the infrared node 820 notified to the information conversion device 7 is stored.
<リクエスト変換装置の処理>
図12は、リクエスト変換装置3が蓄積装置4または伝送制御装置20からメッセージを受信した際に実行する処理の一例を示すフローチャートである。
<Processing of request conversion device>
FIG. 12 is a flowchart illustrating an example of processing executed when the request conversion device 3 receives a message from the storage device 4 or the transmission control device 20.
リクエスト変換装置3は、蓄積装置4または伝送制御装置20からメッセージを受信すると、受信したメッセージの送信元アドレスと、送信先アドレスと、送信元ポートと、送信先ポートを抽出する(S41)。 When receiving a message from the storage device 4 or the transmission control device 20, the request conversion device 3 extracts the transmission source address, transmission destination address, transmission source port, and transmission destination port of the received message (S41).
そして、リクエスト変換装置3は、抽出した送信元アドレスと、送信先アドレスと、送信先ポートが、アドレス変換テーブル30の送信元IP301、送信先IP302、送信先ポート303に一致するエントリを検索する(S42)。ステップS43では、上記ステップS42の検索の結果、エントリが存在した場合にはステップS44へ進み、エントリが存在しない場合にはステップS45へ進む。 Then, the request conversion apparatus 3 searches for an entry in which the extracted transmission source address, transmission destination address, and transmission destination port match the transmission source IP 301, transmission destination IP 302, and transmission destination port 303 of the address conversion table 30 ( S42). In step S43, if the entry exists as a result of the search in step S42, the process proceeds to step S44, and if the entry does not exist, the process proceeds to step S45.
エントリが存在した場合のステップS44では、当該メッセージが蓄積装置4からカメラPC210への画像要求メッセージであると判定し、伝送制御装置20へメッセージを転送するために、メッセージの送信先アドレス、送信先ポートを、検索されたエントリ内の転送先IP304と、転送先ポート305の内容に変更し、メッセージの送信元アドレスをリクエスト変換装置3のIPアドレスに変換してから転送する(S44、S45、S46、S47)。 In step S44 when there is an entry, it is determined that the message is an image request message from the storage device 4 to the camera PC 210, and in order to transfer the message to the transmission control device 20, the message destination address, destination The port is changed to the contents of the transfer destination IP 304 and the transfer destination port 305 in the searched entry, and the message source address is converted to the IP address of the request conversion device 3 and transferred (S44, S45, S46). , S47).
一方、ステップS43の判定で、エントリが存在しない場合は、メッセージの送信先アドレスがリクエスト変換装置3であるか否かを判定する(S48)。判定の結果、リクエスト変換装置3宛のメッセージでない場合には、本メッセージは伝送制御すべきメッセージではないためそのまま転送する(S49、S47)。 On the other hand, if it is determined in step S43 that there is no entry, it is determined whether the destination address of the message is the request conversion device 3 (S48). As a result of the determination, if the message is not addressed to the request conversion device 3, this message is not transferred and is transferred as it is (S49, S47).
メッセージの宛先がリクエスト変換装置3の場合は、ステップS50に進んで、受信したメッセージの送信元アドレスと送信元ポートが、アドレス変換テーブル30内の転送先IP304と転送先ポート305に一致するエントリを検索する。そして、ステップS51では、リクエスト変換装置3がエントリの有無を判定して、エントリが存在しなかった場合には、ステップS49、S47に進んで、本メッセージは伝送制御すべきメッセージではないためそのまま転送する。 When the destination of the message is the request conversion device 3, the process proceeds to step S50, and an entry in which the transmission source address and the transmission source port of the received message match the transfer destination IP 304 and the transfer destination port 305 in the address conversion table 30 is displayed. Search for. In step S51, the request conversion apparatus 3 determines whether or not there is an entry. If there is no entry, the process proceeds to steps S49 and S47. To do.
一方、エントリが存在した場合はステップS52へ進む。ステップS52では、本メッセージはカメラPC210から蓄積装置4へ送られた高精彩画像情報であるため、蓄積装置4にメッセージを転送するために、メッセージの送信元アドレスと、送信元ポートと、送信先アドレスを、アドレス変換テーブル30で検索されたエントリ内の送信先IP302と、送信先ポート303と、送信元IP301の内容に変更して転送する(S52、S53、S54、S47)。 On the other hand, if an entry exists, the process proceeds to step S52. In step S52, since this message is high-definition image information sent from the camera PC 210 to the storage device 4, in order to transfer the message to the storage device 4, the message source address, the source port, and the destination The address is changed and transferred to the contents of the transmission destination IP 302, transmission destination port 303, and transmission source IP 301 in the entry searched in the address conversion table 30 (S52, S53, S54, S47).
以上処理により、蓄積装置4がカメラPC210に送信した画像要求メッセージは、宛先アドレスを伝送制御装置20に変更され、宛先ポートをカメラPC210のアドレスに対応するポート番号に変更され、さらに送信元のアドレスをリクエスト変換装置3のIPアドレスに変更することにより、蓄積装置4からの画像要求に対して必ずリクエスト変換装置3へ返信メッセージが送られる。 As a result of the above processing, the image request message transmitted from the storage device 4 to the camera PC 210 has its destination address changed to the transmission control device 20, the destination port changed to the port number corresponding to the address of the camera PC 210, and the source address. Is changed to the IP address of the request conversion device 3, a reply message is always sent to the request conversion device 3 in response to an image request from the storage device 4.
そして、伝送制御装置20からリクエスト変換装置3に宛てた画像要求メッセージに対する返信メッセージは、リクエスト変換装置3で送信元のアドレスとポートを、蓄積装置4が要求したカメラPC210のアドレスとポート番号に変換することで、蓄積装置4はあたかもカメラPC210と直接通信を行っていると同様に処理することができる。 Then, the reply message to the image request message addressed to the request conversion device 3 from the transmission control device 20 converts the transmission source address and port in the request conversion device 3 into the address and port number of the camera PC 210 requested by the storage device 4. As a result, the storage device 4 can perform processing as if it were directly communicating with the camera PC 210.
したがって、本発明を既存のネットワーク映像モニタリングシステムに適用する際には、カメラPC210と蓄積装置4の間に本発明のリクエスト変換装置3と伝送制御装置20を挿入するだけで、多数のカメラ220の画像の優先度に応じたフレームレートで動画の蓄積を行うことができるのである。そして、優先度に応じたフレームレートに抑制することで、多数のカメラ220を備えたネットワーク映像モニタリングシステムであっても、ネットワークの負荷が過大になるのを抑制することができる。 Therefore, when the present invention is applied to an existing network video monitoring system, it is only necessary to insert the request conversion device 3 and the transmission control device 20 of the present invention between the camera PC 210 and the storage device 4, and to install a number of cameras 220. The moving image can be accumulated at a frame rate corresponding to the priority of the image. By suppressing the frame rate according to the priority, even a network video monitoring system including a large number of cameras 220 can suppress an excessive network load.
なお、上記実施形態では、画像を撮影するカメラ220と、カメラ220が撮影した画像を監視センタ1側へ転送するカメラPC210を独立して備えた例を示したが、画像を撮影して監視センタ1側へ送信するカメラ装置に置き換えても良い。特に、カメラ装置で撮影した画像を蓄積装置4へ蓄積することを主眼とするネットワーク映像モニタリングシステムまたは映像ネットワークシステムでは、カメラ装置にサムネイルの生成機能や特徴量の抽出機能を備える必要はなく、カメラ装置は画像要求メッセージに応じて1フレームずつ監視センタ1側(伝送制御装置20)へ送信する送信部を備えればよい。 In the above embodiment, an example is shown in which the camera 220 that captures an image and the camera PC 210 that transfers the image captured by the camera 220 to the monitoring center 1 side are provided independently. You may replace with the camera apparatus which transmits to 1 side. In particular, in a network video monitoring system or video network system whose main purpose is to store images captured by a camera device in the storage device 4, it is not necessary for the camera device to have a thumbnail generation function or a feature amount extraction function. The apparatus only needs to include a transmission unit that transmits one frame at a time to the monitoring center 1 side (transmission control apparatus 20) in response to the image request message.
また、上記実施形態においては、カメラ装置(カメラ220及びカメラPC210)が、画像要求に応じて1フレームずつ画像を送信する例を示したが、所定数のフレーム(画像)を送信するようにしても良い。 In the above embodiment, an example is shown in which the camera device (camera 220 and camera PC 210) transmits an image frame by frame in response to an image request. However, a predetermined number of frames (images) are transmitted. Also good.
<まとめ>
以上のように、本発明では、カメラPC210からの返信メッセージの優先度に基づいてフレームレートの制御(帯域制御)を行うことで、必要最小限の帯域で映像監視が可能となり、多数のカメラ220を備えたシステムにおいても、ネットワークの負荷が過大になるのを抑制することができる。
<Summary>
As described above, in the present invention, by performing frame rate control (bandwidth control) based on the priority of the reply message from the camera PC 210, video monitoring can be performed with the minimum necessary bandwidth, and a large number of cameras 220 can be monitored. Even in a system provided with the network, it is possible to suppress an excessive load on the network.
また、本発明では帯域制御を行う際に、カメラ同士が情報交換することはなく、複数のカメラ220(カメラPC210)の情報をもとに通信帯域の調停が可能となり、複数のカメラPC210が一斉に発報(送信)した場合であっても帯域を適切に制限するため、通信帯域が細い通信回線(またはネットワーク)を用いたシステムであっても安定した画像の転送が可能となる。 Further, in the present invention, when performing bandwidth control, the cameras do not exchange information, and the communication bandwidth can be adjusted based on information from a plurality of cameras 220 (camera PCs 210). Therefore, even if a system using a communication line (or network) with a narrow communication band is used, stable image transfer is possible.
また、カメラ220やカメラPC210に変更を加えることなく、優先度の設定のための新たな手法を導入できるため、画像解析手法の進歩や、新たなセンサデバイスの登場時に迅速に対応することが可能となる。 In addition, a new method for setting priorities can be introduced without changing the camera 220 or the camera PC 210, so that it is possible to quickly respond to the advancement of image analysis methods and the appearance of new sensor devices. It becomes.
さらに、センサ情報や表示PC5からの指示により優先度を変更可能であるため、監視者が捕らえようとしている画像を高い優先度で配信することができるので、監視の効率を高めることが可能となる。 Furthermore, since the priority can be changed according to the sensor information or the instruction from the display PC 5, the image that the monitor is trying to capture can be distributed with a high priority, so that the efficiency of monitoring can be improved. .
既存の装置(カメラ220、カメラPC210及び蓄積装置4)に変更を加えることなく、コンテンツレベルの情報(センサ情報や表示PC5からの指定)に基づいた帯域制御を行うことが可能となるため、帯域制御機能の導入にかかるコストを最低限に抑えることが可能となる。 Bandwidth control based on content level information (sensor information and designation from the display PC 5) can be performed without changing existing devices (camera 220, camera PC 210, and storage device 4). It is possible to minimize the cost for introducing the control function.
以上のように、本発明は、多数のカメラを備えて画像の転送を行うネットワーク映像モニタリングシステムに適用することができる。 As described above, the present invention can be applied to a network video monitoring system that includes a large number of cameras and transfers images.
1 監視センタ
3 リクエスト変換装置
4 蓄積装置
5 表示PC
6 検索PC
7 センサ情報変換装置
8 センサネットワーク
20 伝送制御装置
30 アドレス変換テーブル
210 カメラPC
220 カメラ
230 転送先テーブル
240 優先度履歴テーブル
810 名札センサ
820 赤外線ノード
1 Monitoring Center 3 Request Conversion Device 4 Storage Device 5 Display PC
6 Search PC
7 Sensor information conversion device 8 Sensor network 20 Transmission control device 30 Address conversion table 210 Camera PC
220 Camera 230 Destination table 240 Priority history table 810 Name tag sensor 820 Infrared node
Claims (15)
前記カメラ装置が撮影した画像を蓄積する蓄積装置と、
前記カメラ装置と蓄積装置を接続するネットワークと、を備え、前記蓄積装置が前記カメラ装置に画像要求を送信し、前記カメラ装置は前記画像要求を受信すると画像を返信メッセージとして前記蓄積装置に送信する映像ネットワークシステムにおいて、
前記ネットワークと蓄積装置の間に設置されて、前記蓄積装置が前記カメラ装置に送信した画像要求を受信して、当該画像要求に含まれるアドレス及びポートを変換してから当該画像要求をカメラ装置側へ転送し、前記カメラ装置が前記蓄積装置へ送信した返信メッセージを受信し、当該返信メッセージに含まれるアドレス及びポートを変換してから当該返信メッセージを前記蓄積装置へ転送するリクエスト変換装置と、
前記ネットワークとカメラ装置の間に設置されて、前記リクエスト変換装置が転送した画像要求を受信し、当該画像要求に含まれるポートの情報から当該画像要求を転送するカメラ装置を特定して当該画像要求を前記特定されたカメラ装置に転送し、前記画像要求に応じて前記カメラ装置が送信した返信メッセージを受信して、当該返信メッセージに含まれるアドレス及びポートを変換してから前記リクエスト変換装置に転送する伝送制御装置と、
を備えたことを特徴とする映像ネットワークシステム。 A plurality of camera devices for taking images;
A storage device for storing images taken by the camera device;
A network connecting the camera device and the storage device, wherein the storage device transmits an image request to the camera device, and upon receiving the image request, the camera device transmits an image as a reply message to the storage device. In the video network system,
Installed between the network and the storage device, receives the image request sent from the storage device to the camera device, converts the address and port included in the image request, and then sends the image request to the camera device side. A request conversion device that receives the reply message sent to the storage device by the camera device, converts the address and port included in the reply message, and then forwards the reply message to the storage device;
The image request is installed between the network and the camera device, receives the image request transferred by the request conversion device, identifies the camera device to which the image request is transferred from the information of the port included in the image request, and Is transferred to the specified camera device, a reply message transmitted by the camera device in response to the image request is received, an address and a port included in the reply message are converted, and then transferred to the request conversion device. A transmission control device,
A video network system characterized by comprising:
前記蓄積装置から画像要求を受信したときには、当該画像要求に含まれる宛先アドレスを前記蓄積装置が設定した前記カメラ装置のアドレスに代わって前記伝送制御装置のアドレスに変換し、前記カメラ装置のアドレスに対応する値を宛先ポートに設定し、当該画像要求の送信元アドレスを前記蓄積装置に代わって当該リクエスト変換装置のアドレスに変換してから当該画像要求を前記伝送制御装置に転送し、
前記伝送制御装置から返信メッセージを受信したときには、当該返信メッセージに含まれる宛先アドレスを、前記蓄積装置のアドレスに変換し、前記返信メッセージに含まれる宛先ポートの値を対応する送信元アドレスに変換してから当該返信メッセージを前記蓄積装置へ転送し、
前記伝送制御装置は、
前記リクエスト変換装置から受信した画像要求に含まれる宛先ポートから、当該画像要求を転送するカメラ装置を特定し、当該特定したカメラ装置に前記画像要求を転送し、
前記画像要求に応じて前記カメラ装置が送信した返信メッセージを受信して、当該返信メッセージに含まれる宛先アドレスを前記リクエスト変換装置のアドレスに変換し、前記返信メッセージに含まれる送信元アドレスに対応する値を宛先ポートに設定してから前記リクエスト変換装置に転送することを特徴とする請求項1に記載の映像ネットワークシステム。 The request conversion device includes:
When an image request is received from the storage device, the destination address included in the image request is converted to the address of the transmission control device instead of the address of the camera device set by the storage device, and the address of the camera device is converted. Set the corresponding value in the destination port, convert the source address of the image request to the address of the request conversion device instead of the storage device, and then transfer the image request to the transmission control device,
When a reply message is received from the transmission control device, a destination address included in the reply message is converted into an address of the storage device, and a destination port value included in the reply message is converted into a corresponding source address. And then transfer the reply message to the storage device,
The transmission control device includes:
From the destination port included in the image request received from the request conversion device, identify the camera device that transfers the image request, and transfer the image request to the identified camera device,
A reply message transmitted by the camera device in response to the image request is received, a destination address included in the reply message is converted into an address of the request conversion device, and a source address included in the reply message is corresponded The video network system according to claim 1, wherein a value is set as a destination port and then transferred to the request conversion device.
前記伝送制御装置は、
他の計算機から受信した優先すべきカメラ装置の情報に基づいて、前記リクエスト変換装置に転送する返信メッセージの優先度を前記カメラ装置毎に設定し、前記優先度に基づいて受信した返信メッセージを転送するタイミングを変更することを特徴とする請求項1に記載の映像ネットワークシステム。 Upon receiving the image request, the camera device transmits a predetermined number of images as a reply message,
The transmission control device includes:
Based on the information of the camera device to be prioritized received from another computer, the priority of the reply message to be transferred to the request conversion device is set for each camera device, and the reply message received based on the priority is forwarded. The video network system according to claim 1, wherein the timing to perform is changed.
前記センサ情報変換装置は、前記特定したカメラ装置の返信メッセージの優先度を高く設定するよう前記伝送制御装置に通知することを特徴とする請求項3に記載の映像ネットワークシステム。 The other computer is connected to a sensor network including a fixed node and a mobile node, receives an event from the mobile node that has detected the fixed node from the sensor network, and identifies a camera device corresponding to the fixed node from the event A sensor information conversion device,
4. The video network system according to claim 3, wherein the sensor information conversion apparatus notifies the transmission control apparatus to set a high priority for a reply message of the identified camera device. 5.
前記センサ情報変換装置は、前記イベントに含まれる固定ノードの識別子からカメラ装置を特定して、当該カメラ装置の識別子と前記移動ノードの識別子を前記伝送制御装置に通知することを特徴とする請求項5に記載の映像ネットワークシステム。 The mobile node acquires an identifier of the fixed node when communicating with the fixed node, and transmits an event including the identifier of the fixed node and the identifier of the mobile node to the sensor information conversion device,
The sensor information conversion device identifies a camera device from an identifier of a fixed node included in the event, and notifies the transmission control device of the identifier of the camera device and the identifier of the mobile node. 5. The video network system according to 5.
固定ノードと移動ノードを含むセンサネットワークに接続されて、前記センサネットワークから固定ノードを検出した移動ノードからイベントを受信し、当該イベントから前記固定ノードに対応するカメラ装置を特定し、前記特定したカメラ装置の返信メッセージの優先度を高く設定するよう前記伝送制御装置に通知するセンサ情報変換装置と、
前記センサ情報変換装置から前記通知を受信すると、前記蓄積装置に対して前記特定したカメラ装置の画像を要求する第1の計算機と、
を含むことを特徴とする請求項3に記載の映像ネットワークシステム。 The other computer is
Connected to a sensor network including a fixed node and a mobile node, receives an event from the mobile node that has detected the fixed node from the sensor network, identifies a camera device corresponding to the fixed node from the event, and identifies the identified camera A sensor information conversion device for notifying the transmission control device to set the priority of the reply message of the device high;
When receiving the notification from the sensor information conversion device, a first computer that requests an image of the specified camera device from the storage device;
The video network system according to claim 3, further comprising:
前記カメラ装置毎に優先度を蓄積し、前記蓄積した優先度の値と前記カメラ装置毎の最新の優先度の値に基づいて優先度を変化させることを特徴とする請求項3に記載の映像ネットワークシステム。 The transmission control device includes:
The video according to claim 3, wherein priority is accumulated for each camera device, and the priority is changed based on the accumulated priority value and the latest priority value for each camera device. Network system.
前記優先度に基づいて遅延時間を設定することで、前記受信した返信メッセージを転送するタイミングを変更することを特徴とする請求項3に記載の映像ネットワークシステム。 The transmission control device includes:
4. The video network system according to claim 3, wherein a timing for transferring the received reply message is changed by setting a delay time based on the priority.
前記伝送制御装置は、
前記ネットワークから受信した前記画像要求に含まれる宛先ポートから当該画像要求を転送するカメラ装置を特定し、当該特定されたカメラ装置に前記画像要求を転送し、
前記画像要求に応じた返信メッセージを前記ネットワークに転送する際に、当該返信メッセージの送信元アドレスに対応する値を宛先ポートに設定し、前記送信元アドレスに当該伝送制御装置のアドレスを設定してから当該返信メッセージを転送し、
他の計算機から受信した優先すべきカメラ装置の情報に基づいて、前記ネットワークに転送する返信メッセージの優先度を前記カメラ装置毎に設定し、前記優先度に基づいて受信した返信メッセージを転送するタイミングを変更することを特徴とする伝送制御装置。 A transmission control device connected to a plurality of camera devices for capturing images, transferring an image request received from a network to the camera device, and transferring a reply message including an image transmitted by the camera device to the network. ,
The transmission control device includes:
Identify the camera device that forwards the image request from the destination port included in the image request received from the network, forward the image request to the identified camera device,
When the reply message corresponding to the image request is transferred to the network, a value corresponding to the source address of the reply message is set in the destination port, and the address of the transmission control device is set as the source address. Forward the reply message from
Timing for setting the priority of the reply message to be transferred to the network for each camera apparatus based on the information of the camera apparatus to be prioritized received from another computer and transferring the reply message received based on the priority A transmission control device characterized by changing
前記センサ情報変換装置は、前記特定したカメラ装置の返信メッセージの優先度を高く設定するよう前記伝送制御装置に通知することを特徴とする請求項10に記載の伝送制御装置。 The other computer is connected to a sensor network including a fixed node and a mobile node, receives an event from the mobile node that has detected the fixed node from the sensor network, and identifies a camera device corresponding to the fixed node from the event A sensor information conversion device,
11. The transmission control apparatus according to claim 10, wherein the sensor information conversion apparatus notifies the transmission control apparatus to set a higher priority for a reply message of the identified camera device.
前記センサ情報変換装置は、前記イベントに含まれる固定ノードの識別子からカメラ装置を特定して、当該カメラ装置の識別子と前記移動ノードの識別子を前記伝送制御装置に通知することを特徴とする請求項12に記載の伝送制御装置。 The mobile node acquires an identifier of the fixed node when communicating with the fixed node, and transmits an event including the identifier of the fixed node and the identifier of the mobile node to the sensor information conversion device,
The sensor information conversion device identifies a camera device from an identifier of a fixed node included in the event, and notifies the transmission control device of the identifier of the camera device and the identifier of the mobile node. 12. The transmission control device according to 12.
前記カメラ装置毎に優先度を蓄積し、前記蓄積した優先度の値と前記カメラ装置毎の最新の優先度の値に基づいて優先度を変化させることを特徴とする請求項10に記載の伝送制御装置。 The transmission control device includes:
The transmission according to claim 10, wherein priority is accumulated for each camera device, and the priority is changed based on the accumulated priority value and the latest priority value for each camera device. Control device.
前記優先度に基づいて遅延時間を設定することで、前記受信した返信メッセージを転送するタイミングを変更することを特徴とする請求項10に記載の伝送制御装置。 The transmission control device includes:
The transmission control apparatus according to claim 10, wherein a timing for transferring the received reply message is changed by setting a delay time based on the priority.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008007933A JP2009171295A (en) | 2008-01-17 | 2008-01-17 | Video network system and transmission controller |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008007933A JP2009171295A (en) | 2008-01-17 | 2008-01-17 | Video network system and transmission controller |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009171295A true JP2009171295A (en) | 2009-07-30 |
Family
ID=40971975
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008007933A Pending JP2009171295A (en) | 2008-01-17 | 2008-01-17 | Video network system and transmission controller |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009171295A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012060531A (en) * | 2010-09-10 | 2012-03-22 | Hitachi Plant Technologies Ltd | Image network system, image transmission system, and image acquisition system |
WO2014109039A1 (en) * | 2013-01-10 | 2014-07-17 | 三菱電機株式会社 | Vehicle interior monitoring system, and vehicle interior monitoring method |
JP2015515840A (en) * | 2012-10-29 | 2015-05-28 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | Bandwidth management device, central management device, and bandwidth management method |
-
2008
- 2008-01-17 JP JP2008007933A patent/JP2009171295A/en active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012060531A (en) * | 2010-09-10 | 2012-03-22 | Hitachi Plant Technologies Ltd | Image network system, image transmission system, and image acquisition system |
JP2015515840A (en) * | 2012-10-29 | 2015-05-28 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | Bandwidth management device, central management device, and bandwidth management method |
US9641582B2 (en) | 2012-10-29 | 2017-05-02 | Huawei Techologies Co., Ltd. | Bandwidth management device, central management device and method of bandwidth management |
WO2014109039A1 (en) * | 2013-01-10 | 2014-07-17 | 三菱電機株式会社 | Vehicle interior monitoring system, and vehicle interior monitoring method |
US9794524B2 (en) | 2013-01-10 | 2017-10-17 | Mitsubishi Electric Corporation | In-vehicle monitoring system and in-vehicle monitoring method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6088737A (en) | Information processing system and control method thereof | |
US8838730B2 (en) | Apparatus for displaying an image, system processing image data, and method of processing image data | |
JP3017925B2 (en) | Mobile communication terminal and mobile communication method | |
US20230300726A1 (en) | Data processing method and apparatus, network element device, storage medium, and program product | |
CN111586098A (en) | Data transmission method, device, equipment and computer readable storage medium | |
KR20150007623A (en) | Method and appratus for protection switching in packet transport system | |
CN101340501B (en) | Image forming device, a host device for providing a communication port, and methods for providing a communication port | |
JP5454992B2 (en) | Video network system | |
JP2004320741A (en) | Apparatus and method for connecting independent networks | |
JP2009171295A (en) | Video network system and transmission controller | |
US20090296149A1 (en) | Communication system, information storage device, management device, and terminal device | |
JP6504002B2 (en) | Induction program, control device, and induction method | |
JP2005033296A (en) | Protocol conversion apparatus | |
JP2011044800A (en) | Communication device, communication system and communication method | |
JP2009088962A (en) | Communication adapter, communication device, and communication method | |
JP2003283567A (en) | Data communication system and method, server device, client device, repeater, and program | |
WO2020060141A1 (en) | Signaling between nodes for resource allocation | |
JP2001067291A (en) | Network monitor system | |
CN104994018A (en) | Instant communication data multichannel transmission method and transmission system | |
US9923972B2 (en) | Control apparatus for controlling data transmission via network, and method for selecting data destination | |
US11863369B2 (en) | Network control method and data processing system | |
KR100756855B1 (en) | Remote object management duplexing method using mobile communication network and system thereof | |
JP2005244273A (en) | Data communication control apparatus | |
JP2003233472A (en) | Printing device, printing system, and printing operation control method | |
US10067725B2 (en) | Communication apparatus and control method of the same |