JP5823207B2

JP5823207B2 - Monitoring system

Info

Publication number: JP5823207B2
Application number: JP2011178318A
Authority: JP
Inventors: 一成岩永; 伊藤　渡; 渡伊藤
Original assignee: Hitachi Kokusai Electric Inc
Current assignee: Hitachi Kokusai Electric Inc
Priority date: 2011-08-17
Filing date: 2011-08-17
Publication date: 2015-11-25
Anticipated expiration: 2031-08-17
Also published as: JP2013042386A

Description

本発明は、監視対象となる領域を監視する監視システムに関し、特に、パン、チルト、および焦点距離をリモート制御可能な撮像装置（ＰＴＺ撮像装置）を用いて、侵入物体の自動追尾が可能な監視システムにおいて、動作状態の確認試験の実施および確認試験の結果に応じた監視システムのパラメータの自動的な調整に関する。 The present invention relates to a monitoring system for monitoring a region to be monitored, and in particular, monitoring capable of automatically tracking an intruding object using an imaging device (PTZ imaging device) capable of remotely controlling pan, tilt, and focal length. The present invention relates to an operation state confirmation test in a system and automatic adjustment of monitoring system parameters according to the result of the confirmation test.

画像処理による侵入者検出技術の発展は近年著しく、ＰＴＺ撮像装置を用いた監視システムは、重要施設や立ち入り禁止区域などに設置され、当該区域に侵入する物体（侵入物体）を自動的に検出し、ＰＴＺ撮像装置のカメラ雲台を自動制御することにより検出した侵入物体を自動追尾することも可能であり、監視員やシステム管理者に侵入物体に関する情報を直ちに伝達することができる。
監視システムにおいて、さまざまな監視目標に対して良好に動作しているか否かを判断する定量的性能メトリックを使用して評価する技術については、特許文献１に開示されている。 The development of intruder detection technology by image processing has been remarkable in recent years, and monitoring systems using PTZ imaging devices are installed in important facilities and restricted areas, etc., and automatically detect objects that enter the area (intrusion objects). It is also possible to automatically track the detected intruding object by automatically controlling the camera head of the PTZ imaging device, and to immediately transmit information on the intruding object to the monitoring staff and the system administrator.
Japanese Patent Application Laid-Open No. 2004-151688 discloses a technique for evaluating using a quantitative performance metric that determines whether or not a monitoring system is operating well for various monitoring targets.

特開２００８−１６５７４０号公報JP 2008-165740 A

従来の監視システムでは、動作試験やシステムのパラメータ調整（初期設定や季節に応じた環境変化などに適応したパラメータ設定）を実施するためには、試験的に侵入物体を監視区域に侵入させて行っていた。しかし、重要施設や立ち入り禁止区域などでは、監視システムの設置環境によっては、必ずしも作業員が容易に入場できる環境とは限らず、システムの初期設定や長期運用に伴う定期メンテナンスに必要な監視システムの動作試験を実施することが難しい。
また、動作試験の実施（試験的に侵入物体を監視区域に侵入させこと）が容易な場所であっても、動作試験やシステムパラメータ調整は、煩雑な作業であった。
本発明は、監視システムの動作状態に関する試験（動作試験）を自動的に実施する手段を提供し、実際に人を侵入させて行う試験を必要がなく、動作試験およびパラメータ調整の作業を自動化する。この結果、従来設置が困難な環境への監視システムの設置の実現、および管理者にかかる負担の大幅な軽減を実現可能で、かつ、より効率的なシステム運用を提供することを目的とする。 In conventional monitoring systems, in order to perform operation tests and system parameter adjustment (parameter settings adapted to environmental changes according to the initial settings and seasons, etc.), an intruding object is experimentally intruded into the monitoring area. It was. However, in important facilities and restricted areas, depending on the installation environment of the monitoring system, the environment may not always be easy for workers to enter. It is difficult to conduct an operation test.
Even in a place where it is easy to perform an operation test (intrusion of an intruding object into the monitoring area on a trial basis), the operation test and system parameter adjustment are complicated operations.
The present invention provides a means for automatically performing a test (operation test) on the operation state of the monitoring system, and does not require a test that is actually performed by intruding a person, and automates the operation test and parameter adjustment work. . As a result, it is an object of the present invention to provide a more efficient system operation that can realize the installation of a monitoring system in an environment that has been difficult to install and can greatly reduce the burden on the administrator.

上記目的を達成するため、本発明の監視システムは、監視領域を撮像し、該撮像した画像を入力画像として出力するＰＴＺ撮像装置と、該ＰＴＺ撮像装置で撮影した入力映像を処理して該監視領域の物体を検出し物体検出結果として出力する手段、および検出した対象を追尾するために前記ＰＴＺ撮像装置の画角や焦点距離を制御するカメラパラメータを出力する手段を有する物体検出装置と、該カメラパラメータに基づいて前記ＰＴＺ撮像装置のパン角、チルト角およびズーム倍率を制御するカメラ制御装置と、前記物体検出装置の動作を確認するためのテスト映像を生成するテスト映像生成装置と、前記物体検出結果を表示する表示装置とを備えた監視システムであって、前記テスト映像生成装置は、前記入力画像に対して予め定めた疑似的に侵入物体の画像を合成する合成手段を有し、該生成した合成画像を前記物体検出装置に出力し、前記物体検出装置は、前記合成画像が入力された場合に、その物体検出結果を前記表示装置に出力することを第１の特徴とする。 In order to achieve the above object, a monitoring system of the present invention images a monitoring region, outputs a captured image as an input image, and processes an input video captured by the PTZ imaging device to perform the monitoring. Means for detecting an object in the region and outputting it as an object detection result; and an object detection device having means for outputting a camera parameter for controlling the angle of view and focal length of the PTZ image pickup device to track the detected target; A camera control device that controls a pan angle, a tilt angle, and a zoom magnification of the PTZ imaging device based on camera parameters, a test video generation device that generates a test video for confirming the operation of the object detection device, and the object A monitoring system including a display device for displaying a detection result, wherein the test video generation device is configured to preliminarily determine the input image. And combining means for synthesizing the image of the intruding object, and outputting the generated composite image to the object detection device. When the composite image is input, the object detection device displays the object detection result. Outputting to the display device is a first feature.

上記本発明の第１の特徴の監視システムにおいて、前記物体検出装置の動作試験やパラメータ調整を実行し、所定の画像処理試験を実施するためにテスト映像自動生成手段で生成すべき合成映像を決定して出力する手段、前記物体検出装置に所定の複数の組み合わせのパラメータを出力する手段、前記物体検出装置より前記物体検出結果を入力され前記物体検出装置のパラメータの組み合わせごとの試験結果を集計する手段、および該試験結果に基づいて前記物体検出装置のパラメータを決定して設定する試験統括手段を備えたことを第２の特徴とする。 In the monitoring system according to the first aspect of the present invention, an operation test and parameter adjustment of the object detection device are executed, and a composite video to be generated by a test video automatic generation unit is determined in order to perform a predetermined image processing test. Output means, means for outputting a plurality of predetermined combinations of parameters to the object detection device, input the object detection results from the object detection device, and total test results for each combination of parameters of the object detection device According to a second aspect of the present invention, there is provided a test control unit configured to determine and set parameters of the object detection device based on the test results.

本発明に関わる監視システムによれば、ユーザが予め定めた監視システムの動作確認試験の条件に応じて自動的に擬似的な侵入物体が出現する合成映像を生成し、動作確認試験を実施することができる。この結果、画像処理装置のパラメータを自動で決定することができる。また、本発明の別の効果として、物体検出装置の動作確認試験とパラメータ調整がより簡単に実現可能で、監視システムの管理にかかる保守および点検の負荷を大きく削減できる。この結果、効率的なシステム運用が可能となる。 According to the monitoring system according to the present invention, a synthesized image in which a pseudo intruding object appears automatically is generated according to the condition of the operation confirmation test of the monitoring system predetermined by the user, and the operation confirmation test is performed. Can do. As a result, the parameters of the image processing apparatus can be automatically determined. Further, as another effect of the present invention, the operation check test and parameter adjustment of the object detection apparatus can be realized more easily, and the maintenance and inspection load related to the management of the monitoring system can be greatly reduced. As a result, efficient system operation is possible.

本発明の監視システムの一実施例の構成を示すブロック図である。It is a block diagram which shows the structure of one Example of the monitoring system of this invention. 本発明のテスト映像生成装置の構成の一実施例の詳細を説明するためのブロック図である。It is a block diagram for demonstrating the detail of one Example of a structure of the test video generation apparatus of this invention. 本発明の監視システムの一実施例の撮像装置によって撮像された入力映像と監視領域を説明するための図である。It is a figure for demonstrating the input image | video and the monitoring area which were imaged with the imaging device of one Example of the monitoring system of this invention. 本発明の監視システムの一実施例の撮像装置によって撮像された入力映像と監視領域を説明するための図である。It is a figure for demonstrating the input image | video and the monitoring area which were imaged with the imaging device of one Example of the monitoring system of this invention. 本発明の監視システムの一実施例の撮像装置によって撮像された入力映像と監視領域を説明するための図である。It is a figure for demonstrating the input image | video and the monitoring area which were imaged with the imaging device of one Example of the monitoring system of this invention. 本発明の監視システムの一実施例の撮像装置によって撮像された入力映像と監視領域を説明するための図である。It is a figure for demonstrating the input image | video and the monitoring area which were imaged with the imaging device of one Example of the monitoring system of this invention. 本発明の監視システムの一実施例の入力映像と擬似物体画像の合成映像を説明するための図である。It is a figure for demonstrating the synthetic | combination image | video of the input image and pseudo | simulation object image of one Example of the monitoring system of this invention. 本発明の監視システムの一実施例の入力映像への擬似ノイズの合成映像を説明するための図である。It is a figure for demonstrating the synthetic | combination image | video of the pseudo noise to the input image | video of one Example of the monitoring system of this invention. 本発明の監視システムの一実施例の構成を示すブロック図である。It is a block diagram which shows the structure of one Example of the monitoring system of this invention. 本発明の監視システムの一実施例の撮像装置によって撮像された入力映像と監視領域を説明するための図である。It is a figure for demonstrating the input image | video and the monitoring area which were imaged with the imaging device of one Example of the monitoring system of this invention. 本発明の監視システムの一実施例で用いる試験項目の一覧表を示す図である。It is a figure which shows the list of the test items used in one Example of the monitoring system of this invention. 本発明の監視システムの一実施例で用いるパラメータセットの表を示す図である。It is a figure which shows the table | surface of the parameter set used in one Example of the monitoring system of this invention. 本発明の監視システムの一実施例における試験結果を示す図である。It is a figure which shows the test result in one Example of the monitoring system of this invention.

以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。
しかし、本発明は、上述の実施例に限定されるわけではなく、本発明が属する技術分野において、通常の知識を有する者であれば、本発明の思想と精神に基づいて、本発明を修正若しくは変更できる発明が含まれることは勿論である。
尚、各図の説明において、同一の機能を有する構成要素には同一の参照番号を付し、重複を避けるため、できるだけ説明を省略する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
However, the present invention is not limited to the above-described embodiments, and any person who has ordinary knowledge in the technical field to which the present invention belongs can modify the present invention based on the spirit and spirit of the present invention. Of course, the invention which can be changed is included.
In the description of each figure, components having the same function are denoted by the same reference numerals, and description thereof is omitted as much as possible to avoid duplication.

本発明に関わる実施例１について、図面を参照して説明する。
図１は、本発明の監視システムの一実施例の構成を示すブロック図である。
図１の監視システムは、ＰＴＺ撮像装置101、カメラ制御装置100、テスト映像生成装置130、物体検出装置112、指示装置109、警報出力装置110、および表示装置111により構成される。
物体検出装置112は、映像入力回路102、画像処理プロセッサ103、プログラムメモリ104、ワークメモリ105、外部I/F（Interface）回路106、映像出力回路107、および通信路108により構成される。 Example 1 relating to the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing the configuration of an embodiment of the monitoring system of the present invention.
The monitoring system in FIG. 1 includes a PTZ imaging device 101, a camera control device 100, a test video generation device 130, an object detection device 112, an instruction device 109, an alarm output device 110, and a display device 111.
The object detection device 112 includes a video input circuit 102, an image processor 103, a program memory 104, a work memory 105, an external I / F (Interface) circuit 106, a video output circuit 107, and a communication path 108.

図１を用いて、本発明の実施例１の監視システムについて説明する。
ＰＴＺ撮像装置101は、監視の対象となる領域（監視領域）を撮像し、入力映像として出力する。ＰＴＺ撮像装置101は、この入力映像を、テスト映像生成装置130を介して、物体検出装置112に出力する。
なお、図１では、ＰＴＺ撮像装置101、カメラ制御装置100、およびテスト映像生成装置130は１組しか図示していないが、複数組設けられても良い。 The monitoring system of Example 1 of this invention is demonstrated using FIG.
The PTZ imaging device 101 captures an area to be monitored (monitoring area) and outputs it as an input video. The PTZ imaging device 101 outputs this input video to the object detection device 112 via the test video generation device 130.
In FIG. 1, only one set of the PTZ imaging device 101, the camera control device 100, and the test video generation device 130 is shown, but a plurality of sets may be provided.

物体検出装置112では、ＰＴＺ撮像装置101から入力される入力映像は、映像入力回路102に入力され、映像入力回路102を経てワークメモリ105に記録される。
また、画像処理プロセッサ103は、プログラムメモリ104に記録されているプログラムに従って、ワークメモリ105内に記録された入力映像を処理し、映像出力回路107を介して、その処理結果（物体検出結果）を表示装置111に出力する。表示装置111は、入力された物体処理結果を表示する。
また、画像処理プロセッサ103は、外部I/F回路106を介して入力されるオペレータ（ユーザ）からの指示（テスト映像パラメータ139）に基づいて、前記プログラムメモリ104に記録されているプログラムのパラメータを変更または修正しながら前記入力映像を処理する。オペレータ（ユーザ）からの指示は、例えば、マウス、キーボードなどを使って指示装置109に入力され、指示装置109は、入力された指示を外部I/F回路106に送信すると共に、テスト映像生成装置130に送信する。
尚、映像入力回路102と、画像処理プロセッサ103と、プログラムメモリ104と、ワークメモリ105と、外部I/F回路106と、映像出力回路107とは、データバス108に接続されている。 In the object detection device 112, the input video input from the PTZ imaging device 101 is input to the video input circuit 102 and recorded in the work memory 105 via the video input circuit 102.
Further, the image processor 103 processes the input video recorded in the work memory 105 in accordance with the program recorded in the program memory 104, and outputs the processing result (object detection result) via the video output circuit 107. Output to the display device 111. The display device 111 displays the input object processing result.
Further, the image processor 103 stores the program parameters recorded in the program memory 104 based on an instruction (test video parameter 139) from an operator (user) input via the external I / F circuit 106. The input video is processed while changing or modifying. An instruction from an operator (user) is input to the instruction device 109 using, for example, a mouse, a keyboard, and the like, and the instruction device 109 transmits the input instruction to the external I / F circuit 106 and a test video generation device. Send to 130.
The video input circuit 102, the image processor 103, the program memory 104, the work memory 105, the external I / F circuit 106, and the video output circuit 107 are connected to the data bus 108.

物体検出装置112は、画像処理の結果、警報の発報が必要であると判断された場合、画像処理プロセッサ103より外部I/F回路106を介して警報信号を出力する。その結果、警報出力装置110は、警報を発報する。
また、物体検出装置112は、入力画像中から侵入物体を検出したＰＴＺ撮像装置101が、侵入物体を常に撮像できるようにする（追尾できるようにする）ため、画像処理プロセッサ103から当該ＰＴＺ撮像装置101のパンチルトや焦点距離などのカメラパラメータ140の制御命令をカメラ制御装置100に出力することで、ＰＴＺ撮像装置のカメラ雲台を自動制御する。この結果、ＰＴＺ撮像装置101は、侵入物体を自動追尾することが可能となる。 The object detection device 112 outputs an alarm signal from the image processing processor 103 via the external I / F circuit 106 when it is determined as a result of image processing that an alarm should be issued. As a result, the alarm output device 110 issues an alarm.
Further, the object detection device 112 is configured so that the PTZ imaging device 101 that has detected the intruding object from the input image can always capture (track) the intruding object, so that the image processing processor 103 can detect the intruding object. By outputting control commands for camera parameters 140 such as pan tilt and focal length 101 to the camera control device 100, the camera head of the PTZ imaging device is automatically controlled. As a result, the PTZ imaging apparatus 101 can automatically track an intruding object.

以上の機器構成による物体検出装置の基本動作（例えば、差分法による物体検出および、テンプレートマッチングによる物体追尾、等）は、例えば、特開２００８−１７６７６８号公報等で周知の技術を用いる。さらに、以上の機器構成による物体検出装置の画像処理アルゴリズムは、国際公開２０１０／０８４９０２号パンフレット等で周知である。 For the basic operation (for example, object detection by the difference method, object tracking by template matching, etc.) of the object detection apparatus having the above-described device configuration, a well-known technique is used, for example, in Japanese Patent Application Laid-Open No. 2008-176768. Furthermore, an image processing algorithm of the object detection apparatus having the above-described device configuration is well known in International Publication No. 2010/084902 pamphlet and the like.

図１〜図８によって、本発明の監視システムの一実施例における侵入物体の検出と自動追尾について説明する。
図３、図４、および図５は、図１の監視システムの一実施例のＰＴＺ撮像装置101によって撮像された入力映像と監視領域を説明するための図である。図３は、ＰＴＺ撮像装置101によって撮像された入力映像304について説明する図であり、図４は、ＰＴＺ撮像装置101によって撮像された入力映像403について説明する図であり、図５は、ＰＴＺ撮像装置101によって撮像された入力映像502について説明する図である。また、図６は、ＰＴＺ撮像装置101によって撮像された入力映像603について説明する図である。尚、入力映像603は、入力映像304と同一の映像である。さらに、図７は、ＰＴＺ撮像装置101によって撮像された入力映像301と擬似物体画像601の合成映像について説明する図であり、図８は、ＰＴＺ撮像装置101によって撮像された入力映像304への擬似ノイズの合成映像802について説明するための図である。
図３において、例えば、入力映像304に映る全域を監視すべき領域とした場合には、監視システムは、図４に示すように入力映像403中に侵入者（物体401）が映った時、当該侵入者401を背景差分法若しくはフレーム間差分法などによって侵入した物体を検出し、警報出力装置110に警報を発報させる。図４では、物体検出装置は、入力画像403によって、監視領域301の地点Ｐ１に物体401を検出したことを示している。 With reference to FIGS. 1 to 8, detection of an intruding object and automatic tracking in an embodiment of the monitoring system of the present invention will be described.
3, 4, and 5 are diagrams for explaining an input image and a monitoring area that are captured by the PTZ imaging apparatus 101 of an embodiment of the monitoring system of FIG. 1. FIG. 3 is a diagram for explaining the input video 304 captured by the PTZ imaging device 101, FIG. 4 is a diagram for explaining the input video 403 captured by the PTZ imaging device 101, and FIG. 6 is a diagram for describing an input video image 502 captured by the apparatus 101. FIG. FIG. 6 is a diagram for describing an input video 603 captured by the PTZ imaging apparatus 101. The input video 603 is the same video as the input video 304. Further, FIG. 7 is a diagram for explaining a composite video of the input video 301 captured by the PTZ imaging device 101 and the pseudo object image 601, and FIG. 8 is a simulation of the input video 304 captured by the PTZ imaging device 101. FIG. 6 is a diagram for describing a noise composite image 802.
In FIG. 3, for example, when the entire area shown in the input video 304 is an area to be monitored, when the intruder (object 401) appears in the input video 403 as shown in FIG. The intruder 401 is detected by the background difference method or the inter-frame difference method or the like, and the alarm output device 110 issues an alarm. In FIG. 4, the object detection device indicates that the object 401 is detected at the point P <b> 1 in the monitoring area 301 by the input image 403.

また、図３の監視領域301に示すように、ＰＴＺ撮像装置101およびカメラ制御装置100は、カメラ台302に予め定めた初期の画角で設置されており、入力画像304が映す領域は、撮像範囲303である。
ここで、撮像範囲303、つまり入力画像304に、監視すべき物体401が図４に示す侵入経路402で監視領域301内に侵入した場合には、物体検出装置112は、予め定めた発報条件が満たされた時点で警報を警報出力装置110から発報させると共に、当該物体401をＰＴＺ撮像装置101で自動追尾する制御命令をカメラ制御装置100に送信する。
なお、一般的に、画角の中心付近が、画像のゆがみが一番少なく、中心付近で焦点合わせするので焦点が合っている、このため鮮明な画像を得られる領域であるため、物体検出や追尾に最適である。
従って、図５において、図４の地点Ｐ１で検出された物体401が、侵入経路402から侵入経路501を通り地点Ｐ２に至るように、追尾中にさらに移動する場合には、物体検出装置112は、物体401が常に入力画像304の中心付近に映るようにカメラパラメータ140を変更し、カメラ制御装置100に変更したカメラパラメータ140を送信する。ゆえに、カメラ制御装置100は、受信したカメラパラメータ140に基づいて、物体401が常に入力画像304の中心付近に映るようにＰＴＺ撮像装置101のパン角、チルト角、およびズーム倍率などのカメラパラメータ140を自動的に調整することができる。その結果、図５に示すように監視領域301における物体401が、経路402および501を介して移動した場合には、物体401の移動に従ってＰＴＺ撮像装置101の画角も移動するので、ＰＴＺ撮像装置101が撮像することによって、常に監視すべき物体401が中心付近に映る入力画像502を得ることができる。 3, the PTZ imaging apparatus 101 and the camera control apparatus 100 are installed on the camera base 302 with a predetermined initial angle of view, and the area where the input image 304 is projected is captured. Range 303.
Here, when the object 401 to be monitored enters the monitoring area 301 through the intrusion route 402 shown in FIG. 4 in the imaging range 303, that is, the input image 304, the object detection device 112 determines a predetermined alert condition. When the above is satisfied, an alarm is issued from the alarm output device 110, and a control command for automatically tracking the object 401 by the PTZ imaging device 101 is transmitted to the camera control device 100.
In general, the area near the center of the angle of view has the least distortion of the image and is focused because it is focused near the center, so that a clear image can be obtained. Ideal for tracking.
Therefore, in FIG. 5, when the object 401 detected at the point P1 in FIG. 4 further moves during tracking from the intrusion route 402 through the intrusion route 501 to the point P2, the object detection device 112 The camera parameter 140 is changed so that the object 401 is always reflected near the center of the input image 304, and the changed camera parameter 140 is transmitted to the camera control device 100. Therefore, the camera control device 100 uses the camera parameters 140 such as the pan angle, the tilt angle, and the zoom magnification of the PTZ imaging device 101 so that the object 401 is always reflected near the center of the input image 304 based on the received camera parameters 140. Can be adjusted automatically. As a result, as shown in FIG. 5, when the object 401 in the monitoring region 301 moves via the paths 402 and 501, the angle of view of the PTZ imaging device 101 also moves as the object 401 moves. When the image is picked up by the image 101, an input image 502 in which the object 401 to be monitored is reflected near the center can be obtained.

上述の実施例１では、物体の追尾を、周知の技術、例えば、テンプレートマッチングにより実施している。例えば、侵入した物体401が発見されてから動き出す直前の侵入物体401の画像を、ＰＴＺ撮像装置101がテンプレートとして物体検出装置112のワークメモリ105内に保持し、ＰＴＺ撮像装置101の画角が動き出した（即ち、物体401が動き出した）次のフレームからは、保持しているテンプレートと入力画像とのマッチングを行って、侵入した物体401の位置を特定し、特定した位置と入力画像の中心の座標との差などによりＰＴＺ撮像装置101の画角、移動方法、および速度を更新する。
テンプレートマッチングにより侵入した物体401の位置の特定ができなかった時には、ＰＴＺ撮像装置101の動きを止めて、前述した背景差分法若しくはフレーム間差分法などによって侵入者検出処理を再度実施し、再検出できた場合には再検出した領域を抽出し、抽出した領域をテンプレート画像として更新し、自動追尾を再開する。 In the first embodiment described above, tracking of an object is performed by a known technique, for example, template matching. For example, the image of the intruding object 401 immediately before starting to move after the intruding object 401 is discovered is held in the work memory 105 of the object detecting device 112 as a template by the PTZ imaging device 101, and the angle of view of the PTZ imaging device 101 starts to move. From the next frame (that is, the object 401 starts moving), the template stored and the input image are matched to identify the position of the intruding object 401, and the position of the identified position and the center of the input image is determined. The angle of view, movement method, and speed of the PTZ imaging device 101 are updated based on the difference from the coordinates.
When the position of the intruded object 401 cannot be specified by template matching, the movement of the PTZ imaging device 101 is stopped, and the intruder detection process is performed again by the background difference method or the inter-frame difference method described above, for redetection. If it is possible, the redetected area is extracted, the extracted area is updated as a template image, and automatic tracking is resumed.

図２は、図１のテスト映像生成装置130の構成の一実施例を説明するためのブロック図である。
テスト映像生成装置130は、物体検出装置112と同様に、映像入力回路132、画像処理プロセッサ133、プログラムメモリ134、ワークメモリ135、外部I/F回路136、映像出力回路137、およびデータバス138により構成される。尚、テスト映像生成装置130は、必ずしも個別の物体検出装置112と同様の構成である必要はなく、例えば物体検出装置112の１つの機能とし、物体検出装置112に含有される形でも良い。 FIG. 2 is a block diagram for explaining an embodiment of the configuration of the test video generation device 130 of FIG.
Similar to the object detection device 112, the test video generation device 130 includes a video input circuit 132, an image processor 133, a program memory 134, a work memory 135, an external I / F circuit 136, a video output circuit 137, and a data bus 138. Composed. The test video generation device 130 does not necessarily have the same configuration as that of the individual object detection device 112. For example, the test video generation device 130 may be included in the object detection device 112 as one function of the object detection device 112.

図２のテスト映像自動生成装置130は、指示装置109から送信されたテスト映像条件139を受信したテスト映像条件139をワークメモリ135に記録する手段、受信したテスト映像パラメータ139に基づいて、映像入力回路132より入力された入力映像中に画像処理プロセッサ133およびプログラムメモリ134に記録されたプログラムによって所定の画像を自動的に合成して生成する手段、生成した合成映像を、映像出力回路137を介して物体検出装置112に出力する手段、および、外部IF回路136を介して物体検出装置112における物体検出の有無および検出した物体の座標情報を受信する手段を有する。
テスト映像自動生成装置130は、システム管理者（ユーザ）が指示装置109を操作することによって設定された画像処理システムの動作確認試験の条件を、指示装置109から外部IF回路136を介して、テスト映像パラメータ139として受信する。 The test video automatic generation device 130 shown in FIG. 2 receives the test video condition 139 transmitted from the instruction device 109, records the test video condition 139 in the work memory 135, and inputs the video based on the received test video parameter 139. Means for automatically synthesizing and generating a predetermined image by the program recorded in the image processor 133 and the program memory 134 in the input video input from the circuit 132, and the generated synthesized video via the video output circuit 137 Means for outputting to the object detection device 112, and means for receiving the presence / absence of object detection in the object detection device 112 and the coordinate information of the detected object via the external IF circuit 136.
The test video automatic generation device 130 tests the image processing system operation check test conditions set by the system administrator (user) operating the instruction device 109 from the instruction device 109 via the external IF circuit 136. Received as video parameter 139.

ここで、例えば、物体検出装置112の動作確認試験のため、システム管理者が、図６に示す監視領域301への侵入経路602を通る侵入物体を正しく検出できることを以ってシステムの動作確認試験とする場合について説明する。
まず、システム管理者の操作に基づいて、指示装置109は、動作確認試験に関する条件をテスト映像パラメータ139として、テスト映像自動生成装置130に入力する。テスト映像パラメータ139は、例えば、侵入物体の行動パターン、移動速度、大きさ、コントラスト、試行回数である。
テスト映像自動生成装置130には、擬似侵入物体601として入力映像に合成する画像情報が予め記録されている。
図７によって、入力映像301と擬似物体画像601の一実施例を説明する。
例えば、図７において、擬似物体画像601は、静止画像でも動画像でも良く、システム管理者が擬似物体画像601に関する条件を、指示装置109を操作するによって、テスト映像自動生成装置130に対して、擬似物体画像601の特徴をテスト映像パラメータ139として入力することが可能である。例えば、擬似物体画像601について、身長、服装（色）、侵入経路、出現位置、退出位置、移動速度、移動方向などを自由に設定することができるようにしても良い。また、擬似物体画像は、必ずしも図７の擬似物体画像601のように直立の人である必要はなく、所定の試験項目に従って、例えば匍匐前進の人、自転車、車などでも良い。 Here, for example, for the operation confirmation test of the object detection device 112, the system administrator can correctly detect the intruding object passing through the intrusion path 602 to the monitoring area 301 shown in FIG. The case will be described.
First, based on the operation of the system administrator, the instruction device 109 inputs conditions relating to the operation check test to the test video automatic generation device 130 as the test video parameters 139. The test video parameters 139 are, for example, an action pattern of an intruding object, a moving speed, a size, a contrast, and the number of trials.
In the test video automatic generation device 130, image information to be combined with the input video as the pseudo intruding object 601 is recorded in advance.
An example of the input video 301 and the pseudo object image 601 will be described with reference to FIG.
For example, in FIG. 7, the pseudo object image 601 may be a still image or a moving image, and the system administrator operates the instruction device 109 to change the conditions regarding the pseudo object image 601 to the test video automatic generation device 130. The feature of the pseudo object image 601 can be input as the test video parameter 139. For example, the height, clothes (color), intrusion route, appearance position, exit position, moving speed, moving direction, etc. may be set freely for the pseudo object image 601. Further, the pseudo object image does not necessarily need to be an upright person like the pseudo object image 601 in FIG. 7, and may be, for example, a person moving forward, a bicycle, a car, or the like according to a predetermined test item.

図７において、合成映像701は、擬似物体画像601が侵入経路602を歩行して侵入した場合である。
テスト映像生成装置130の画像処理プロセッサ133は、テスト映像パラメータ139に予め入力された擬似物体画像601について、位置情報、現在時刻でのＰＴＺ撮像装置のカメラパラメータ702、特に自動追尾中は毎フレーム更新されるパン角、チルト角および焦点距離の値、並びにテスト映像開始からの経過時刻703により、現在の時刻（フレーム）における擬似物体画像601のピクセル単位での大きさ、およびピクセル単位での位置の座標情報704を計算する。この予め入力された擬似物体画像601は、例えば、メートル単位で記載され、物体の大きさ、速度ベクトル706、侵入経路（始点、終点）は、大きさ、速度ベクトル、侵入経路（始点、終点）は、例えばＰＴＺ撮像装置の位置を原点とするワールド座標系で表現するものする。 In FIG. 7, the composite image 701 is a case where the pseudo object image 601 enters through the intrusion route 602.
The image processing processor 133 of the test video generation device 130 updates the position information, the camera parameters 702 of the PTZ imaging device at the current time, especially every frame during automatic tracking, for the pseudo object image 601 previously input to the test video parameter 139. The size of the pseudo object image 601 in the pixel unit and the position in the pixel unit at the current time (frame) by the pan angle, the tilt angle, the focal length value, and the elapsed time 703 from the start of the test video. Coordinate information 704 is calculated. This pre-input pseudo object image 601 is described, for example, in units of meters, and the size, speed vector 706, and intrusion route (start point, end point) of the object are the size, speed vector, and intrusion route (start point, end point). Is expressed in a world coordinate system with the position of the PTZ imaging device as the origin, for example.

テスト映像生成装置130の画像処理プロセッサ133は、ワールド座標系の位置情報と、現在時刻でのＰＴＺ撮像装置のカメラパラメータ702、特に自動追尾中は毎フレーム更新されるパン角、チルト角および焦点距離の値、並びにテスト映像開始からの経過時刻703により、現在の時刻（現在のフレーム）における擬似物体画像601のピクセル単位での大きさ、およびピクセル単位での位置の座標情報704を計算する。
即ち、ＰＴＺ撮像装置101の俯角θP、回転角θT、高さh、横方向の視野角である画角θH、縦方向の視野角である画角θVを用いて、ワールド座標系の擬似物体画像の各位置を、視野範囲に含まれるカメラ座標系へ変換することができる。
例えば、時刻tにおけるワールド座標系のある点（x(t)，y(t)）を、カメラ座標系の点（x'(t)，y'(t)）に変換する一例を以下で説明する。 The image processor 133 of the test video generation device 130 is configured to display the position information of the world coordinate system and the camera parameters 702 of the PTZ imaging device at the current time, particularly the pan angle, tilt angle, and focal length that are updated every frame during automatic tracking. And the coordinate information 704 of the size of the pseudo object image 601 in the pixel unit and the position in the pixel unit at the current time (current frame) are calculated based on the value of and the elapsed time 703 from the start of the test video.
That is, using the depression angle θP, the rotation angle θT, the height h, the field angle θH that is the horizontal viewing angle, and the field angle θV that is the vertical viewing angle of the PTZ imaging device 101, a pseudo object image in the world coordinate system Can be converted into a camera coordinate system included in the visual field range.
For example, an example of converting a point (x (t), y (t)) in the world coordinate system at time t to a point (x '(t), y' (t)) in the camera coordinate system will be described below. To do.

カメラ座標系の点（x'(t)，y'(t)）は、画像上（x(t)，y(t)）で表される画素を撮像する俯角θz(t)、カメラ座標の点（x'(t)，y'(t)）で表される画素を撮像する回転角θxy(t)を用いて、入力画像の縦方向の画素を480pix、横方向の画素を640pixとした時、式（１）、式（２）のように表される。 The point (x '(t), y' (t)) in the camera coordinate system is the depression angle θz (t) that captures the pixel represented on the image (x (t), y (t)). Using the rotation angle θxy (t) for imaging the pixel represented by the point (x '(t), y' (t)), the vertical pixel of the input image is 480 pix and the horizontal pixel is 640 pix. Sometimes expressed as Equation (1) and Equation (2).

尚、ワールド画像系の座標（x(t)，y(t)）で表される任意の位置とカメラの高さhおよびワールド座標系での高さ方向の座標z(t)を用いて、座標（x(t)，y(t)）を撮像する回転角θxy(t)、俯角θz(t)は式（３）、式（４）により求められる。 In addition, using an arbitrary position represented by the coordinates (x (t), y (t)) of the world image system, the height h of the camera, and the coordinate z (t) in the height direction in the world coordinate system, The rotation angle θxy (t) and depression angle θz (t) at which the coordinates (x (t), y (t)) are imaged are obtained by equations (3) and (4).

ＰＴＺ撮像装置101の横方向の視野角である画角θH、および縦方向の視野角である画角θVは、焦点距離f、撮像素子サイズ横幅H、および撮像素子サイズ縦幅Vを用いて、例えば、式（５）および式（６）で表現することができる。 The angle of view θH, which is the horizontal viewing angle of the PTZ imaging device 101, and the angle of view θV, which is the vertical viewing angle, are determined using the focal length f, the image sensor size horizontal width H, and the image sensor size vertical width V. For example, it can be expressed by Expression (5) and Expression (6).

擬似物体画像のワールド座標上の位置（x(t)，y(t)）は、例えば、擬似物体画像の初期位置を（x0，y0）、目標位置を（x1，y1）とし、初期位置から目標位置までの移動に時間Tを要し、かつ速度が一定であるとし、式（７）および式（８）で表現されるものとする。 The position (x (t), y (t)) in the world coordinates of the pseudo object image is, for example, the initial position of the pseudo object image is (x0, y0) and the target position is (x1, y1). It is assumed that the movement to the target position takes time T and the speed is constant, and are expressed by equations (7) and (8).

また、高さ方向の座標z(t)は、例えば、監視領域の地面の高さに起伏が無く、平坦で、ＰＴＺ撮像装置101を設置するカメラ台302の足元の位置などを規準とする点と同じ高さにあるとし、擬似物体画像の足元の位置の高さはz(t)＝0とする。擬似物体画像のワールド座標系、即ち、メートル単位での実の高さがh_objであるとした時、擬似物体画像の頂点の位置の高さは、z(t)＝h_objとなる。
従って、擬似物体画像と入力画像との合成は、例えば、該擬似物体画像の下辺が式（４）にz(t)＝0を代入して得られるカメラ座標に合致し、該入力画像の上辺が、式（４）にz(t)＝h_objの値を代入した時に得られる座標に合致するように擬似物体画像を拡大、縮小してスケーリングする。
また、擬似物体画像の位置が、ＰＴＺ撮像装置101の画角外の場合、即ち、本実施例において擬似物体画像のカメラ座標（x'(t)，y'(t)）が（0，0）〜（640，480）の範囲外となる場合には、当該位置に対しては、擬似物体画像を入力画像に合成しない。
ここで、物体検出装置112の自動追尾機能により、ＰＴＺ撮像装置101の画角が変更される場合には、ＰＴＺ撮像装置101のカメラパラメータである俯角（チルト角）θP、回転角（パン角）θT、および焦点距離（ズーム倍率）fが変動し得る。ＰＴＺ撮像装置101の高さhは、本実施例では一定とする。
即ち、物体検出装置112は、物体検出装置112の自動追尾処理によるＰＴＺ撮像装置101のカメラパラメータの初期値θP、θT、fからの変動量をそれぞれ、ΔθP、ΔθT、Δfとする場合には、擬似物体画像の位置のカメラ座標（x'(t)，y'(t)）は、式（１）、式（２）、式（５）、および式（６）の代わりに、式（９）、式（１０）、式（１１）、および式（１２）を用いて算出する。 In addition, the coordinate z (t) in the height direction is, for example, a point where the ground level of the monitoring area has no undulation, is flat, and is based on the position of the foot of the camera base 302 on which the PTZ imaging device 101 is installed. And the height of the foot position of the pseudo object image is z (t) = 0. When the world coordinate system of the pseudo object image, that is, the actual height in meters is h_obj, the height of the position of the vertex of the pseudo object image is z (t) = h_obj.
Therefore, the synthesis of the pseudo object image and the input image is performed, for example, when the lower side of the pseudo object image matches the camera coordinates obtained by substituting z (t) = 0 in Equation (4), and the upper side of the input image However, the pseudo object image is enlarged and reduced and scaled so as to match the coordinates obtained when the value of z (t) = h_obj is substituted into Expression (4).
Further, when the position of the pseudo object image is outside the angle of view of the PTZ imaging device 101, that is, in this embodiment, the camera coordinates (x ′ (t), y ′ (t)) of the pseudo object image are (0, 0). ) To (640, 480), the pseudo object image is not combined with the input image for the position.
Here, when the angle of view of the PTZ imaging device 101 is changed by the automatic tracking function of the object detection device 112, the depression angle (tilt angle) θP and the rotation angle (pan angle) that are camera parameters of the PTZ imaging device 101 are used. θT and focal length (zoom magnification) f may vary. The height h of the PTZ imaging device 101 is constant in this embodiment.
That is, the object detection device 112, when the variation amounts from the initial values θP, θT, f of the camera parameters of the PTZ imaging device 101 by the automatic tracking processing of the object detection device 112 are ΔθP, ΔθT, Δf, respectively, The camera coordinates (x ′ (t), y ′ (t)) of the position of the pseudo object image are expressed by the formula (9) instead of the formula (1), the formula (2), the formula (5), and the formula (6). ), Equation (10), equation (11), and equation (12).

物体検出装置112は、上記算出された座標情報704に従って擬似物体画像601を拡大または縮小、およびスケーリングし、拡大／縮小およびスケーリング後の擬似物体画像705を現在の入力映像201の該座標情報704に従った位置に合成し、合成映像701を得る。
即ち、擬似物体画像601は、ＰＴＺ撮像装置101からの距離に応じてメートル単位での大きさが不変となるように、事前に入力されたカメラパラメータにより、ＰＴＺ撮像装置101からの距離に応じたピクセル単位での位置と大きさを計算し、擬似物体画像601の大きさを変換して、スケーリング後の擬似物体画像705を得て合成する。擬似物体画像705のピクセル単位での位置、大きさ、および速度は、自動追尾処理の結果に対応して毎フレーム更新される。例えば、図７では、擬似物体画像705は、速度ベクトル706の方向に移動する。
尚、擬似物体画像705の大きさおよび速度は、実物体の移動に近づけるため可変幅を持たせても良く、例えば、テスト映像パラメータ139に経過時間703に応じた大きさおよび速度の情報を格納しておき、毎フレーム変えても良い。
物体検出装置112の映像入力回路102には、ＰＴＺ撮像装置101とテスト映像生成装置130の映像出力回路137が接続されている。しかし、テスト映像自動生成装置130により合成映像701が生成される場合には、ＰＴＺ撮像装置101が撮像する入力映像よりも、テスト映像生成装置130からの合成映像701が優先して物体検出装置112に入力される。合成映像701が生成されていない場合には、テスト映像生成装置130が生成する合成映像701よりも、ＰＴＺ撮像装置101が撮像する入力映像201が優先して物体検出装置112に入力される。尚、どちらを優先させるかの判断は、物体検出装置112若しくはテスト映像生成装置130のどちらで判断しても良い。 The object detection device 112 enlarges, reduces, or scales the pseudo object image 601 in accordance with the calculated coordinate information 704, and enlarges / reduces and scales the pseudo object image 705 into the coordinate information 704 of the current input video 201. A composite image 701 is obtained by compositing at the position according to the above.
In other words, the pseudo object image 601 corresponds to the distance from the PTZ imaging device 101 according to the camera parameters input in advance so that the size in units of meters does not change according to the distance from the PTZ imaging device 101. The position and size in pixel units are calculated, the size of the pseudo object image 601 is converted, and the scaled pseudo object image 705 is obtained and synthesized. The position, size, and speed of the pseudo object image 705 in pixel units are updated every frame in accordance with the result of the automatic tracking process. For example, in FIG. 7, the pseudo object image 705 moves in the direction of the velocity vector 706.
Note that the size and speed of the pseudo object image 705 may have a variable width to approximate the movement of the real object. For example, information on the size and speed corresponding to the elapsed time 703 is stored in the test video parameter 139. In addition, every frame may be changed.
The video input circuit 102 of the object detection device 112 is connected to the PTZ imaging device 101 and the video output circuit 137 of the test video generation device 130. However, when the composite video 701 is generated by the test video automatic generation device 130, the composite video 701 from the test video generation device 130 has priority over the input video captured by the PTZ imaging device 101. Is input. When the composite video 701 is not generated, the input video 201 captured by the PTZ imaging device 101 is input to the object detection device 112 in preference to the composite video 701 generated by the test video generation device 130. It should be noted that which is prioritized may be determined by either the object detection device 112 or the test video generation device 130.

また、監視システムの動作確認試験では、合成映像701の入力時に、テスト映像自動生成装置130で入力映像中に合成した擬似物体画像の大きさおよび位置に関する座標情報704をワークメモリ135に記録（保持）しておき、合成映像701を物体検出装置112に入力した場合に何らかの物体の検出が得られた時には、検出時の座標情報を外部IF回路106を介してテスト映像自動生成装置130に自動的に出力するようにし、擬似物体画像705の合成時の座標情報704と該物体検出装置112より出力された座標情報を比較することで、物体検出装置112による発報が真の侵入者によるものか擬似物体画像705によるものかを判別する。
即ち、擬似物体画像601の入力画像上での座標が（320,220）〜（350,300）、該検出の座標情報が（330,210）〜（350,295）であった場合には、各座標により描写される矩形の重複率が、例えば、80%を超える。このため、物体検出装置112による発報が擬似物体画像によるものと判断し、ワークメモリ135に合成映像による試験での検知が成功したことを記録する。一方で、擬似物体画像の合成映像を物体検出装置に入力したにもかかわらず、物体検出装置が擬似物体画像を検出したと判断できなかった場合（例えば、物体が検出されなかった場合など）には、ワークメモリ135に合成映像による試験が失敗したことを記録する。 In addition, in the operation check test of the monitoring system, when the composite video 701 is input, coordinate information 704 regarding the size and position of the pseudo object image synthesized in the input video by the test video automatic generation device 130 is recorded (held) in the work memory 135. When the composite image 701 is input to the object detection device 112 and any object is detected, the coordinate information at the time of detection is automatically sent to the test image automatic generation device 130 via the external IF circuit 106. The coordinate information 704 at the time of synthesis of the pseudo object image 705 and the coordinate information output from the object detection device 112 are compared. It is determined whether the object is based on the pseudo object image 705.
That is, when the coordinates of the pseudo object image 601 on the input image are (320, 220) to (350, 300) and the coordinate information of the detection is (330, 210) to (350, 295), a rectangular shape described by each coordinate is displayed. The duplication rate exceeds 80%, for example. For this reason, it is determined that the notification by the object detection device 112 is due to the pseudo object image, and the fact that the detection by the test using the composite video is successful is recorded in the work memory 135. On the other hand, when the synthesized image of the pseudo object image is input to the object detection device but the object detection device cannot determine that the pseudo object image has been detected (for example, when no object is detected). Records in the work memory 135 that the test using the composite video has failed.

合成映像による動作確認試験の全試行の成否の情報は、ワークメモリ135に記録される。ここで、例えば、合成映像による試験で物体検出装置が正常に動作していると判断できる判定条件を、全試行数60回中の55回としたとき、成功回数が55回未満だった場合には、管理者に対して監視システムに異常がある旨を警告する。また、該動作確認試験の成否の情報をログとして記録しておくことによって、管理者は、これらの情報を閲覧若しくはダウンロードできる。
尚、物体検出装置による発報が擬似物体画像によることが確認できた場合には、冗長なため、警報出力装置110による侵入物体を発見したことを知らせる警報を発報しないようにしても良い。
また、テスト映像生成装置130により出力する映像は、必ずしも入力映像と擬似物体画像の合成映像だけに限らず、例えば、物体検出装置がカメラ故障検知などのために入力映像の異常を判定するような機能を持つ場合などでは、意図的にカラーバー画像やホワイトノイズ画像などの異常映像を合成映像として物体検出装置112に対して入力するようにしても良い。 Information on the success or failure of all trials of the operation check test using the composite video is recorded in the work memory 135. Here, for example, when the judgment condition for judging that the object detection device is operating normally in the test using the composite video is 55 out of 60 trials, and the success count is less than 55, Warns the administrator that there is an abnormality in the monitoring system. Further, by recording the success / failure information of the operation confirmation test as a log, the administrator can view or download the information.
When it is confirmed that the notification by the object detection device is based on the pseudo object image, the alarm output device 110 may not issue the alarm notifying that the intruding object has been found because it is redundant.
Further, the video output by the test video generation device 130 is not necessarily limited to the composite video of the input video and the pseudo object image. For example, the object detection device may determine an abnormality of the input video for camera failure detection or the like. In the case of having a function, an abnormal video such as a color bar image or a white noise image may be intentionally input to the object detection device 112 as a composite video.

次に、図８によって、ノイズを合成して動作確認試験を実施する場合の一実施例を説明する。
図８においては、図１で示したテスト映像パラメータ139に加え、擬似ノイズの種類とその量などを示す擬似ノイズパラメータ801を設ける。例えば、ゴマ塩ノイズを発生確率5%で付加するとした場合には、入力画像304の全画素に対して2.5%の確率で輝度値0を、2.5%の確率で輝度値255を付与し、疑似ノイズ画像802を生成し、ＰＴＺ撮像装置101が撮像した入力画像304と合成して、合成画像803を得る。 Next, referring to FIG. 8, an embodiment in which noise is synthesized and an operation check test is performed will be described.
In FIG. 8, in addition to the test video parameter 139 shown in FIG. 1, a pseudo noise parameter 801 indicating the type and amount of pseudo noise is provided. For example, if sesame salt noise is added with an occurrence probability of 5%, a luminance value of 0 is assigned to all pixels of the input image 304 with a probability of 2.5%, and a luminance value of 255 is assigned with a probability of 2.5%. A noise image 802 is generated and combined with the input image 304 captured by the PTZ imaging apparatus 101 to obtain a combined image 803.

尚、テスト映像生成装置130による監視システムの動作確認試験では、必ずしも指示装置109を通した管理者（ユーザ）によるテスト映像パラメータ139の設定を必要とせず、例えば、動作確認試験を実施する日時、並びに、擬似物体画像の速度、大きさ、侵入経路などのテスト映像パラメータ139を、ランダムに決定する機能をテスト映像生成装置130のプログラムメモリ134に記録させておき、動作確認試験を不定期かつ全自動で実施できるようにしても良い。 Note that in the operation check test of the monitoring system by the test video generation device 130, it is not always necessary to set the test video parameter 139 by the administrator (user) through the instruction device 109, for example, the date and time when the operation check test is performed, In addition, a function for randomly determining the test video parameters 139 such as the speed, size, and intrusion route of the pseudo object image is recorded in the program memory 134 of the test video generation device 130, and the operation check test is performed irregularly and completely. You may enable it to be performed automatically.

上述の実施例１によれば、ユーザが予め定めた監視システムの動作確認試験の条件に応じて自動的に擬似的な侵入物体が出現する合成映像を生成し、動作確認試験を実施することができる。この結果、物体検出装置の動作確認試験をより簡単に実現可能で、監視システムの管理にかかる保守および点検の負荷を大きく削減できる。そして、効率的なシステム運用が可能となる。 According to the first embodiment described above, it is possible to automatically generate a composite image in which a pseudo intruding object appears in accordance with a condition of the operation confirmation test of the monitoring system determined in advance by the user and perform the operation confirmation test. it can. As a result, the operation check test of the object detection apparatus can be realized more easily, and the maintenance and inspection load related to the management of the monitoring system can be greatly reduced. And efficient system operation is attained.

本発明に関わる実施例２について、図面を参照して説明する。図９は、本発明の監視システムの一実施例の構成を示すブロック図である。また、図１０は、本発明の監視システムの一実施例のＰＴＺ撮像装置101によって撮像された入力映像と監視領域を説明するための図である。また、図１１は、本発明の監視システムの一実施例で用いる試験項目の一覧表を示す図である。また、図１２は、本発明の監視システムの一実施例で用いるパラメータセットの表を示す図である。また、図１３は、本発明の監視システムの一実施例における試験結果を示す図である。 A second embodiment relating to the present invention will be described with reference to the drawings. FIG. 9 is a block diagram showing the configuration of an embodiment of the monitoring system of the present invention. FIG. 10 is a diagram for explaining an input image and a monitoring area captured by the PTZ image capturing apparatus 101 according to an embodiment of the monitoring system of the present invention. FIG. 11 is a diagram showing a list of test items used in one embodiment of the monitoring system of the present invention. FIG. 12 is a diagram showing a table of parameter sets used in one embodiment of the monitoring system of the present invention. Moreover, FIG. 13 is a figure which shows the test result in one Example of the monitoring system of this invention.

図９の監視システムは、ＰＴＺ撮像装置101、カメラ制御装置100、物体検出装置112、テスト映像自動生成装置130、および、試験統括装置901により少なくとも構成される。物体検出装置112とテスト映像自動生成装置130の構成は、実施例１で示したものと同等でよく、説明を省略する（図１および図２参照。）。
試験統括装置901は、物体検出装置112に適応するための二値化しきい値や大きさの上限と下限、滞在時間などの画像処理パラメータ902の１組以上の組み合わせ、テスト映像生成装置に適応するための擬似物体画像の大きさや速度や経路、および擬似的に付加するノイズ量などのテスト映像条件139の１組以上の組み合わせを記憶する手段、および物体検出装置とテスト映像生成装置に対してそれらを出力する手段を有する。
試験統括装置901に対して、ユーザが監視条件などを図示しない指示装置（図１参）を介して入力する。これにより、試験統括装置901は、各画像処理パラメータ902と各テスト映像パラメータ139の組み合わせで画像処理装置の試験を実施する。実施した結果、検出率や誤検出数などの試験結果からユーザが指定した監視条件に沿う範囲で最も優れていた画像処理パラメータを判断する手段を持つ。 The monitoring system in FIG. 9 includes at least a PTZ imaging device 101, a camera control device 100, an object detection device 112, a test video automatic generation device 130, and a test control device 901. The configurations of the object detection device 112 and the test video automatic generation device 130 may be the same as those shown in the first embodiment, and a description thereof will be omitted (see FIGS. 1 and 2).
The test supervision apparatus 901 is adapted to one or more combinations of image processing parameters 902 such as a binarization threshold value, an upper and lower limit of size, a stay time, etc. for adapting to the object detection apparatus 112, and a test video generation apparatus. Means for storing one or more combinations of test video conditions 139 such as the size, speed and path of the pseudo object image for the purpose, and the amount of noise to be added in a pseudo manner, and for the object detection device and the test video generation device Means for outputting.
The user inputs monitoring conditions and the like to the test supervision apparatus 901 via an instruction apparatus (see FIG. 1) not shown. As a result, the test supervising apparatus 901 performs the test of the image processing apparatus with a combination of each image processing parameter 902 and each test video parameter 139. As a result of the execution, it has means for judging the image processing parameter that is most excellent in the range in accordance with the monitoring conditions designated by the user from the test results such as the detection rate and the number of false detections.

本発明の実施例の監視領域と擬似物体画像の侵入経路の一例を示す図１０の監視領域301において、擬似物体画像921、922、923、および侵入経路924、925、926によって動作確認試験を実施するとした場合には、図１１に示す表931のように、各画像処理パラメータ902の組み合わせごとに、例えば侵入経路、行動パターン、物体の高さ、物体と背景の平均コントラスト（コントラスト）、時間帯、同時に付与する擬似ノイズの種類と強さ（ノイズ量）、試行回数などテスト映像条件を全ての組み合わせで実施し、各画像処理パラメータ902での検出率と誤検出数を得る。
ユーザが監視条件として、例えばゴマ塩ノイズ5%以下の環境下でコントラスト10以上の物体を99%以上の精度で検出する目的で、試験統括装置901にパラメータを入力する。この場合には、試験統括装置901は、例えば、テスト映像パラメータ139として、ノイズ量0%、1%、3%、5%、時間帯昼、夜、コントラスト10、25、50、行動パターン歩行、走行、ほふく前進の条件において、高さを1.7m相当にスケーリングした侵入物体921、922、923を、侵入経路924、925、926の各条件を総当りで侵入者検出試験を実施し、全組み合わせ648通りを、各3回ずつ試行する。
図１１の表931は、侵入物体921によるパラメータセットAの画像処理パラメータの組み合わせであり、その他、侵入物体922によるパラメータセットBの画像処理パラメータの組み合わせ、侵入物体923によるパラメータセットBの画像処理パラメータの組み合わせがある（図１２参照。）。 In the monitoring area 301 of FIG. 10 showing an example of the intrusion path of the monitoring area and the pseudo object image of the embodiment of the present invention, an operation confirmation test is performed by the pseudo object images 921, 922, 923 and the intrusion paths 924, 925, 926. In this case, as shown in Table 931 shown in FIG. 11, for example, an intrusion route, an action pattern, an object height, an average contrast between the object and the background, a time zone for each combination of the image processing parameters 902. The test video conditions such as the type and intensity (noise amount) and the number of trials of pseudo noise to be applied at the same time are implemented in all combinations, and the detection rate and the number of false detections are obtained for each image processing parameter 902.
As a monitoring condition, for example, the user inputs a parameter to the test control apparatus 901 for the purpose of detecting an object having a contrast of 10 or more with an accuracy of 99% or more under an environment where the sesame salt noise is 5% or less. In this case, the test supervision apparatus 901, for example, as the test video parameter 139, noise amount 0%, 1%, 3%, 5%, time zone day, night, contrast 10, 25, 50, behavior pattern walking, Conducted intruder detection tests for all conditions of intrusion objects 921, 922, 923 and intrusion routes 924, 925, 926 under the conditions of traveling and fluffing advance, all combinations Try 648 streets three times each.
A table 931 in FIG. 11 shows combinations of image processing parameters of the parameter set A by the intruding object 921, other combinations of image processing parameters of the parameter set B by the intruding object 922, and image processing parameters of the parameter set B by the intruding object 923. (See FIG. 12).

尚、動作確認試験は、必ずしも全組み合わせである必要はなく、ランダムで抽出しても良い。また、重視したい試験項目の回数が多くなるよう調整しても良い。
また、画像処理装置のパラメータについては、予め定められたパラメータの組み合わせをパラメータセットとし、例えば、二値化時の物体と背景のコントラストのしきい値、検出する物体の大きさ（例えば、物体高さの上限および下限）、速度（例えば、物体速度の上限および下限）、並びに滞在時間を設定可能である。
図１２にパラメータセット表941の一例を示す。パラメータセットの数は、この表941より増えても良く、試験結果に応じて数値の異なるパラメータセットを自動生成し、追試験を実施するようにしても良い。 The operation check test does not necessarily need to be all combinations, and may be extracted at random. Further, adjustment may be made so that the number of test items to be emphasized increases.
As for the parameters of the image processing apparatus, a predetermined combination of parameters is used as a parameter set. For example, the threshold value of the contrast between the object and the background at the time of binarization, the size of the object to be detected (for example, the object height) Upper and lower limits), speed (eg, upper and lower limits of object speed), and dwell time can be set.
FIG. 12 shows an example of the parameter set table 941. The number of parameter sets may be increased from this table 941, and parameter sets having different numerical values may be automatically generated according to the test results, and the additional test may be performed.

該動作確認試験において、全試行回数と正しく検出できた回数の比率である検出率と、試験中での侵入物体以外に対する発報件数である誤検出数との評価結果を示す表を図１３に示す。評価結果に応じて、ユーザが予め指定した監視条件を満たす結果を示すパラメータセットのうち最も検出結果が優れたパラメータを物体検出装置112の真のパラメータとしてユーザに通知し、自動的に物体検出装置112に送信する。
本実施例では、ユーザは、例えば、検出率99%以上を所望しているため、検出率99%以上で誤検出数の最も少ないパラメータセットAが真のパラメータとして選択される。
尚、最適なパラメータセットの選択は必ずしも全試行数における検出率と誤検出数で判断される必要はなく、例えばノイズなしの状態で検出率100% 誤検出0.0件/日、ノイズ1%〜5%で検出率98.0% 誤検出0.5件/日というように、条件を複数設定できるようにしても良い。 FIG. 13 is a table showing the evaluation results of the detection rate, which is the ratio between the total number of trials and the number of times of being correctly detected in the operation check test, and the number of false detections, which is the number of reported cases other than the intruding object in the test. Show. According to the evaluation result, the parameter having the best detection result among the parameter sets indicating the result satisfying the monitoring condition designated in advance by the user is notified to the user as the true parameter of the object detection device 112, and the object detection device is automatically Send to 112.
In the present embodiment, for example, since the user desires a detection rate of 99% or more, the parameter set A with the detection rate of 99% or more and the smallest number of false detections is selected as the true parameter.
Note that the selection of the optimal parameter set does not necessarily have to be judged by the detection rate and the number of false detections in the total number of trials. For example, in the absence of noise, the detection rate is 100%, false detection is 0.0 cases / day, and noise is 1% to 5%. It is also possible to set a plurality of conditions such as% detection rate 98.0% false detection 0.5 cases / day.

上述の実施例２によれば、ユーザが予め定めた監視システムの動作確認試験の条件に応じて自動的に擬似的な侵入物体が出現する合成映像を生成し、動作確認試験を実施することができる。この結果、画像処理装置のパラメータを自動で決定することができる。また、本発明の別の効果として、物体検出装置の動作確認試験とパラメータ調整がより簡単に実現可能で、監視システムの管理にかかる保守および点検の負荷を大きく削減できる。この結果、効率的なシステム運用が可能となる。 According to the second embodiment described above, it is possible to automatically generate a composite image in which a pseudo intruding object appears in accordance with a condition of the operation confirmation test of the monitoring system determined by the user in advance, and perform the operation confirmation test. it can. As a result, the parameters of the image processing apparatus can be automatically determined. Further, as another effect of the present invention, the operation check test and parameter adjustment of the object detection apparatus can be realized more easily, and the maintenance and inspection load related to the management of the monitoring system can be greatly reduced. As a result, efficient system operation is possible.

100：カメラ制御装置、 101：ＰＴＺ撮像装置、 102：映像入力回路、 103：画像処理プロセッサ、 104：プログラムメモリ、 105：ワークメモリ、 106：外部I/F回路、 107：映像出力回路、 108：通信路、 109：指示装置、 110：警報出力装置、 111：表示装置、 112：物体検出装置、 130：テスト映像生成装置、 132：映像入力回路、 133：画像処理プロセッサ、 134：プログラムメモリ、 135：ワークメモリ、 136：外部I/F回路、 137：映像出力回路、 138：通信路、 139：テスト映像パラメータ、 140：カメラパラメータ、 301：監視領域、 302：カメラ台、 303：撮像領域、 304：入力画像、 401：侵入者、 402：侵入経路、 403：入力画像、 501：侵入経路、 502：入力画像、 601：擬似物体画像、 602：侵入経路、 603：入力画像、 701：合成画像、702：カメラパラメータ、 703：経過時刻、 704：座標情報、 705：スケーリング後の擬似物体画像、 706：速度ベクトル、 801：擬似ノイズ情報パラメータ、 802：擬似ノイズ画像、 803：合成画像、 901：試験統括装置、 902：画像処理パラメータ、 921：擬似物体画像、 922：擬似物体画像、 923：擬似物体画像、 924：侵入経路、 925：侵入経路、 926：侵入経路、 931：評価項目の表、 941：パラメータセットの表、 951：パラメータごとの結果の表。 100: Camera control device, 101: PTZ imaging device, 102: Video input circuit, 103: Image processor, 104: Program memory, 105: Work memory, 106: External I / F circuit, 107: Video output circuit, 108: Communication path 109: Instruction device 110: Alarm output device 111: Display device 112: Object detection device 130: Test video generation device 132: Video input circuit 133: Image processor 134: Program memory 135 : Work memory, 136: External I / F circuit, 137: Video output circuit, 138: Communication channel, 139: Test video parameter, 140: Camera parameter, 301: Monitoring area, 302: Camera stand, 303: Imaging area, 304 : Input image 401: Intruder 402: Intrusion route 403: Input image 501: Intrusion route 502: Input image 601: Pseudo object image 602: Intrusion route 603: Input image 701: Composite image 702: 703: Elapsed time, 704: Coordinate information, 705: Pseudo object image after scaling, 706: Velocity vector, 801: Pseudo noise information parameter, 802: Pseudo noise image, 803: Composite image, 901: Test control device , 902: Image processing parameter, 921: Pseudo object image, 922: Pseudo object image, 923: Pseudo object image, 924: Intrusion route, 925: Intrusion route, 926: Intrusion route, 931: Evaluation item table, 941: Parameter Set table, 951: Result table for each parameter.

Claims

監視領域を撮像し、該撮像した画像を入力画像として出力するＰＴＺ撮像装置と、該ＰＴＺ撮像装置で撮影した入力映像を処理して該監視領域の物体を検出し物体検出結果として出力する手段、および検出した対象を追尾するために前記ＰＴＺ撮像装置の画角や焦点距離を制御するカメラパラメータを出力する手段を有する物体検出装置と、該カメラパラメータに基づいて前記ＰＴＺ撮像装置のパン角、チルト角およびズーム倍率を制御するカメラ制御装置と、前記物体検出装置の動作を確認するためのテスト映像を生成するテスト映像生成装置と、前記物体検出結果を表示する表示装置と、前記物体検出装置の動作試験を実行する試験統括手段とを備えた監視システムであって、
前記テスト映像生成装置は、前記入力画像に対して予め定めた疑似的な侵入物体の画像を合成する合成手段を有し、該生成した合成画像を前記物体検出装置に出力し、
前記物体検出装置は、前記合成画像が入力された場合に、その物体検出結果を前記表示装置に出力し、
前記試験統括手段は、前記物体検出装置に所定の複数の組み合わせのパラメータを出力する手段、前記物体検出装置より前記物体検出結果を入力され前記物体検出装置のパラメータの組み合わせごとの試験結果を集計する手段、および該試験結果に基づいて前記物体検出装置のパラメータを決定して設定する手段、を備えることを特徴とする監視システム。 A PTZ imaging device that images a monitoring area and outputs the captured image as an input image; and means for processing an input video imaged by the PTZ imaging apparatus to detect an object in the monitoring area and output it as an object detection result; And an object detection device having means for outputting camera parameters for controlling the angle of view and focal length of the PTZ imaging device to track the detected object, and the pan angle and tilt of the PTZ imaging device based on the camera parameters a camera control unit for controlling the angular and zoom magnification, a test image generating apparatus for generating a test video to check the operation of the object detecting device, a display device for displaying the object detection result, the object detecting device A monitoring system including a test control means for executing an operation test ,
It said test image generating apparatus includes a combining means for combining images of a pseudo intruding object having predetermined for the input image, and outputs the composite image thus generated in the object detecting device,
When the composite image is input, the object detection device outputs the object detection result to the display device ,
The test control unit outputs a plurality of predetermined combinations of parameters to the object detection device, and receives the object detection results from the object detection device and totals the test results for each parameter combination of the object detection device. A monitoring system comprising: means; and means for determining and setting a parameter of the object detection device based on the test result .

請求項１記載の監視システムにおいて、
前記物体検出装置のパラメータは、二値化時の物体と背景のコントラストのしきい値、検出する物体の大きさ、物体速度、滞在時間のうち、少なくとも１つを含み、
前記テスト映像生成装置は、前記物体検出装置の動作試験中において、前記カメラパラメータの変化に応じて、前記合成画像のピクセル単位での位置を計算することを特徴とする監視システム。 The monitoring system according to claim 1,
The parameter of the object detection device includes at least one of a threshold value of contrast between the object and the background at the time of binarization, the size of the object to be detected, the object speed, and the staying time,
The monitoring system, wherein the test video generation device calculates a position of the synthesized image in a pixel unit according to a change in the camera parameter during an operation test of the object detection device .