JPH1115981A - Wide area monitoring device and system therefor - Google Patents
Wide area monitoring device and system thereforInfo
- Publication number
- JPH1115981A JPH1115981A JP9162234A JP16223497A JPH1115981A JP H1115981 A JPH1115981 A JP H1115981A JP 9162234 A JP9162234 A JP 9162234A JP 16223497 A JP16223497 A JP 16223497A JP H1115981 A JPH1115981 A JP H1115981A
- Authority
- JP
- Japan
- Prior art keywords
- moving object
- image
- information
- devices
- moving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、ビル、公共施設、
店舗、駐車場、道路などの広域の監視エリアに存在する
動物体を監視する広域監視装置および広域監視システム
に関するものである。The present invention relates to a building, a public facility,
The present invention relates to a wide area monitoring device and a wide area monitoring system for monitoring a moving object existing in a wide area such as a store, a parking lot, and a road.
【０００２】[0002]
【従来の技術】従来、公共施設などの動物体を監視する
装置としては、特開平６−３６０３１号公報、特開平７
−４９９５２号公報、特開平８−２４１４８０号公報に
開示されたものが知られている。2. Description of the Related Art Conventionally, apparatuses for monitoring a moving object such as a public facility are disclosed in Japanese Patent Application Laid-Open Nos.
Japanese Patent Application Laid-Open Nos. 49952 and 8-241480 are known.
【０００３】図９は、特開平６−３６０３１号公報に記
載された従来の移動物体追跡システムの構成図である。
図９において、移動物体検出装置４０１から４０３はそ
れぞれテレビカメラなどの画像撮像手段などにより撮像
された映像から移動物体固有の大きさと形状及び色など
の特徴量情報を計算し、更に移動物体の予測位置情報と
から移動物体の特定を行い、もって移動物体の位置情報
を検出する。追跡演算処理装置４０４から４０５は移動
物体検出装置４０１から４０３で検出した移動物体の前
時刻までの位置情報に基づき、該移動物体の予測位置情
報を計算し、移動物体検出装置４０１から４０３に送信
する。追跡管理装置４０６は、移動物体検出装置４０１
から４０３で検出した移動物体をその位置情報に基づき
画面表示するものである。FIG. 9 is a block diagram of a conventional moving object tracking system described in Japanese Patent Application Laid-Open No. 6-36031.
In FIG. 9, moving object detection devices 401 to 403 respectively calculate characteristic amount information such as a size, a shape, and a color unique to the moving object from an image captured by an image capturing unit such as a television camera, and further predict a moving object. The moving object is specified based on the position information and the position information of the moving object is detected. The tracking calculation processing devices 404 to 405 calculate the predicted position information of the moving object based on the position information of the moving object detected by the moving object detection devices 401 to 403 up to the previous time, and transmit it to the moving object detection devices 401 to 403. I do. The tracking management device 406 includes a moving object detection device 401
403 is displayed on the screen based on the position information of the moving object detected in steps 403 to 403.
【０００４】図１０は、特開平７−４９９５２号公報に
記載された従来の移動物体監視装置の主要部分のブロッ
ク図である。ビデオカメラ４１０から４１２により撮像
した映像はそれぞれ画像処理装置４１３から４１５に入
力し、移動物体の特徴量を求め、インタフェース部４１
８を介して統合プロセッサ４１６に入力する。統合プロ
セッサ４１６はＣＰＵ４１９を用いて前時刻の移動物体
と現時刻の移動物体との間で対応付けを行い、メモリ４
２０に作成済みの監視領域の平面図に移動物体の動きの
状態をプロットし、表示装置４１７に表示するものであ
る。FIG. 10 is a block diagram of a main part of a conventional moving object monitoring device described in Japanese Patent Application Laid-Open No. 7-49952. The images captured by the video cameras 410 to 412 are input to the image processing devices 413 to 415, respectively, to obtain the feature amount of the moving object, and the interface unit 41
8 to the integrated processor 416. The integrated processor 416 uses the CPU 419 to make a correspondence between the moving object at the previous time and the moving object at the current time, and
The state of the movement of the moving object is plotted on a plan view of the monitoring area created in FIG. 20 and displayed on the display device 417.
【０００５】図１１は、特開平８−２４１４８０号公報
に記載された従来の分散型監視装置の構成図である。動
画像入力手段４３１及び４３７で撮像した動画像（映
像）は、それぞれ動画像処理手段４３２及び４３８に入
力し、動画像処理手段４３２及び４３８で動領域を抽出
する。動画像処理手段４３２及び４３８で抽出した動領
域は動物体検出手段４３３に入力し、動物体検出手段４
３３では過去に検出した動物体の情報を動物体情報記憶
手段４３４から読み出し、前記動領域と統合処理し、現
時点での動物体を検出する。動物体検出結果は動物体検
出評価手段４３５で評価し、動画像処理手段４３２及び
４３８、動画像入力手段４３１及び４３７の調整に用い
るものである。FIG. 11 is a configuration diagram of a conventional distributed monitoring apparatus described in Japanese Patent Application Laid-Open No. 8-241480. The moving images (videos) captured by the moving image input units 431 and 437 are input to the moving image processing units 432 and 438, respectively, and the moving regions are extracted by the moving image processing units 432 and 438. The moving regions extracted by the moving image processing means 432 and 438 are input to the moving object detecting means 433,
At 33, the information of the moving object detected in the past is read out from the moving object information storage means 434, integrated with the moving area, and the moving object at the present time is detected. The moving object detection result is evaluated by the moving object detection evaluation means 435 and used for adjusting the moving image processing means 432 and 438 and the moving image input means 431 and 437.
【０００６】[0006]
【発明が解決しようとする課題】従来の技術に記した各
従来の監視装置は、映像のある１フレームにおける動物
体もしくは動領域と過去に検出した動物体とをその特徴
量や予測位置などで対応付けるものであるが、多数台の
カメラを利用し、監視エリアに存在する動物体の数が多
数になった場合には対応付け処理の数は急激に増え、実
時間の処理が困難になるという課題があった。例えば、
各カメラの監視エリアが重複していない場合でも動物体
の数の二乗、監視エリアが重複している場合には重複し
ている数をさらに掛けた対応付け処理回数が必要とな
る。Each of the conventional monitoring devices described in the prior art describes a moving object or a moving area in a certain frame of an image and a moving object detected in the past in terms of its characteristic amount and predicted position. When using a large number of cameras and the number of moving objects in the surveillance area increases, the number of association processes increases rapidly, making real-time processing difficult. There were challenges. For example,
Even if the monitoring areas of the cameras do not overlap, the square of the number of moving objects is required. If the monitoring areas are overlapping, the number of times of association processing is further multiplied by the number of overlaps.
【０００７】また、図９のシステムでは、複数の移動物
体検出装置と複数の追跡演算処理装置とをそれぞれ別々
のＣＰＵに割り当て処理の分散を図っているが、全ての
移動物体検出装置と追跡演算処理装置が情報を交換する
ようになっているため、カメラの数が増えるにつれて通
信量が急激に増加するとともに通信路の異常に対する頑
健性に欠けるという課題があった。カメラの数につれて
通信量が増加する点と頑健性の欠如に関しては、図１０
及び図１１に示した監視装置でも同様である。In the system shown in FIG. 9, a plurality of moving object detection devices and a plurality of tracking calculation processing devices are allocated to different CPUs to distribute processing. Since the processing devices exchange information, there has been a problem that as the number of cameras increases, the communication amount sharply increases, and there is a lack of robustness against a communication path abnormality. Regarding the point that communication volume increases with the number of cameras and lack of robustness, FIG.
The same applies to the monitoring device shown in FIG.
【０００８】また、いずれの従来の監視装置でも移動物
体の検出部とその統合部の２層構造となっているため、
新たにカメラを追加する場合には既存の部分に与える影
響が大きい。また、システムが均一で実際の監視対象の
構造を反映したものではないため、カメラの台数が多く
なるにつれてシステムの把握や修正が困難になるという
課題があった。[0008] In addition, since each of the conventional monitoring devices has a two-layer structure of a moving object detecting unit and an integrating unit thereof,
When a new camera is added, the effect on the existing part is great. Further, since the system is uniform and does not reflect the actual structure of the monitoring target, there is a problem that it becomes difficult to grasp and correct the system as the number of cameras increases.
【０００９】本発明は上記従来の課題を解決するもの
で、第１に多数台のビデオカメラなどの映像入力装置を
用いても処理時間と装置間の通信量が急激に増加しない
広域監視装置を提供することを目的としている。The present invention solves the above-mentioned conventional problems. First, there is provided a wide-area monitoring apparatus in which the processing time and the communication volume between the apparatuses do not sharply increase even when a plurality of video input devices such as video cameras are used. It is intended to provide.
【００１０】本発明は第２に、多数台の映像入力装置を
階層的に管理し、システムの把握が容易でかつ修正に柔
軟に対応できる広域監視装置を提供することを目的とし
ている。A second object of the present invention is to provide a wide-area monitoring device which manages a large number of video input devices in a hierarchical manner, makes it easy to grasp the system, and can flexibly cope with corrections.
【００１１】[0011]
【課題を解決するための手段】この課題を解決するため
に本発明は第１に、一つまたは複数の映像を取得しその
映像から動物体を検出及び追跡するＮ台の動物体追跡装
置と、前記Ｎ台の動物体追跡装置で検出した動物体を管
理する動物体統合処理装置とからなり、前記動物体統合
処理装置が、同一の動物体は検出した動物体追跡装置に
関わらず同一の動物体であると同定する機能を有するこ
とを特徴とする構成により、動物体追跡装置で検出され
た動物体を統合することにより、一つまたは複数の映像
から得られる動物体の情報を各動物体追跡装置内にとど
めて処理の分散と通信量の削減を行い、もって多数台の
映像入力装置を用いても処理時間と装置間の通信量が急
激に増加しない広域監視装置を実現する。また、映像入
力装置をＮ台の動物体追跡装置に分けて管理することに
より、映像入力装置の追加等が影響を与える範囲を最小
限にし、もって多数台の映像入力装置を階層的に管理
し、システム全体の把握や修正に柔軟に対応できる広域
監視装置を実現する。SUMMARY OF THE INVENTION In order to solve this problem, the present invention firstly provides N moving object tracking devices for acquiring one or more images and detecting and tracking a moving object from the images. A moving object integrated processing device that manages moving objects detected by the N moving object tracking devices, wherein the moving object integrated processing device has the same moving object regardless of the detected moving object tracking device. By integrating the moving object detected by the moving object tracking device by the configuration characterized by having a function of identifying the moving object, the information of the moving object obtained from one or a plurality of images can be obtained for each animal. Dispersion of processing and reduction of communication amount are performed within the body tracking device, thereby realizing a wide-area monitoring device in which processing time and communication amount between devices do not rapidly increase even when a large number of video input devices are used. In addition, by dividing the video input device into N moving object tracking devices and managing them, the range that the addition of the video input device or the like has an influence is minimized, and thus a large number of video input devices are hierarchically managed. A wide-area monitoring device capable of flexibly responding to grasp and correction of the entire system is realized.
【００１２】本発明は第２にＬ台の映像入力装置と、前
記Ｌ台の映像入力装置で取得した映像から第１の動物体
及びその特徴量をそれぞれ計算するＬ台の画像処理装置
と、前記Ｌ台の画像処理装置の出力である第１の動物体
及びその特徴量と送信されてきた第２の動物体の情報と
を対応付けるＬ台の対応付け装置と、前記Ｌ台の映像入
力手段で撮像しているエリアを含む監視エリアに存在す
る動物体の情報を管理し必要に応じて第２の動物体の情
報として出力する動物体管理装置と、前記動物体管理装
置の出力である第２の動物体の情報からその第２の動物
体を撮像している可能性のある前記映像入力装置に接続
された前記対応付け装置を選択しそこに第２の動物体の
情報を送信する動物体情報ルーティング装置とからな
り、動物体管理装置が前記Ｌ台の対応付け装置からの対
応付け結果と対応付けられた第１の動物体及びその特徴
量とから第２の動物体の情報を更新することにより動物
体の検出及び追跡を行うことを特徴とする構成により、
撮像されている可能性のある映像入力装置に対応する対
応付け装置にのみ第２の動物体の情報を送信することに
より、通信量を削減するとともに無駄な対応付けを行わ
ずかつ対応付け処理を分散し、もって多数台の映像入力
装置を用いても処理時間と装置間の通信量が急激に増加
しない広域監視装置を実現する。The present invention secondly provides L image input devices, and L image processing devices for respectively calculating a first moving object and its characteristic amount from images acquired by the L image input devices; L number of associating devices for associating the information of the first moving object and its characteristic amount, which are the outputs of the L image processing devices, with the transmitted information of the second moving object, and the L image input means A moving object management device that manages information on the moving object present in the monitoring area including the area being imaged at and outputs the information as the second moving object information as needed; An animal which selects the associating device connected to the video input device which may be imaging the second moving object from the information of the second moving object and transmits information of the second moving object thereto A body information management system Detecting and tracking the moving object by updating the information of the second moving object from the first moving object and its feature amount associated with the association result from the L association devices; With the featured configuration,
By transmitting the information of the second moving object only to the associating device corresponding to the video input device which may be imaged, it is possible to reduce the amount of communication, perform unnecessary association, and perform the association process. A wide-area monitoring device is realized in which processing time and communication traffic between devices are not sharply increased even when a large number of video input devices are used.
【００１３】本発明は第３に、複数の広域監視装置を階
層的に組み合わせてより広域の監視エリアを持つ広域監
視システムを実現することにより、多数台の映像入力装
置を用いても処理時間と装置間の通信量が急激に増加し
ない広域監視システムを実現する。また、映像入力装置
や広域監視装置の追加などによるシステム全体への影響
を最小限にとどめ、もって多数台の映像入力装置及び広
域監視装置を階層的に管理し、システム全体の把握や修
正に柔軟に対応できる広域監視システムを実現する。Third, the present invention realizes a wide-area monitoring system having a wider monitoring area by hierarchically combining a plurality of wide-area monitoring devices, so that processing time and processing time can be reduced even when a large number of video input devices are used. A wide area monitoring system in which the traffic between devices does not increase rapidly is realized. In addition, the impact on the entire system due to the addition of video input devices and wide-area monitoring devices is minimized, and a large number of video input devices and wide-area monitoring devices are managed hierarchically, making it possible to flexibly grasp and correct the entire system. Realize a wide area monitoring system that can respond to
【００１４】[0014]
【発明の実施の形態】本発明の請求項１に記載の発明
は、一つまたは複数の映像を取得しその映像から動物体
を検出及び追跡するＮ台の動物体追跡装置と、前記Ｎ台
の動物体追跡装置で検出した動物体を管理する動物体統
合処理装置とからなり、前記動物体統合処理装置が、同
一の動物体は検出した動物体追跡装置に関わらず同一の
動物体であると同定する機能を有することを特徴とする
広域監視装置であり、Ｎ台の動物体追跡装置で検出され
た動物体を統合することにより、各映像入力装置の映像
から得られる動物体の情報を各動物体追跡装置内にとど
めて処理の分散と通信量の削減を行い、もって多数台の
映像入力装置を用いても処理時間と装置間の通信量が急
激に増加しないようにするという作用を有する。また、
映像入力装置をＮ台の動物体追跡装置に分けて管理する
ことにより、映像入力装置の追加等が影響を与える範囲
を最小限にし、もって多数台の映像入力装置を階層的に
管理し、システムの把握や修正に柔軟に対応できるとい
う作用を有する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention according to claim 1 of the present invention comprises: N moving object tracking devices for acquiring one or more images and detecting and tracking moving objects from the images; A moving object integrated processing device that manages the moving object detected by the moving object tracking device, wherein the moving object integrated processing device is the same moving object regardless of the detected moving object tracking device. Is a wide-area monitoring device characterized by having a function of identifying a moving object by integrating the moving objects detected by the N moving object tracking devices to obtain information on the moving object obtained from the image of each image input device. Dispersion of processing and reduction of communication volume are kept within each moving object tracking device, so that even if multiple video input devices are used, processing time and communication volume between devices do not increase rapidly. Have. Also,
By dividing and managing the video input devices into N moving object tracking devices, the range that the addition of video input devices and the like has an influence is minimized, and thus a large number of video input devices are hierarchically managed, and the system is controlled. Has the effect of being able to flexibly respond to the grasp and correction of the information.
【００１５】本発明の請求項２に記載の発明は、動物体
追跡装置の一部もしくは全てが、Ｍ台の映像入力装置
と、前記Ｍ台の映像入力手段で取得した映像からそれぞ
れ動物体とその特徴量を検出するＭ台の画像処理装置
と、前記Ｍ台の画像処理装置で検出された動物体から各
時刻における動物体の位置とその特徴量を算出する統合
処理装置とを有することを特徴とする請求項１の広域監
視装置であり、多数台の映像入力装置をいくつかのグル
ープに分け、それぞれのグループを動物体追跡装置に割
り当て、各映像から各画像処理装置により動物体とその
特徴量を検出し、その動物体を統合してそのグループつ
まり各動物体追跡装置内での動物体を検出し、さらに各
動物体追跡装置で得られた動物体を動物体統合処理装置
で統合することにより、各映像入力装置の映像から画像
処理装置で得られる動物体の情報を各動物体追跡装置の
内部にとどめ、かつ、全ての映像入力装置ではなく、グ
ループに分けられた映像入力装置の間で対応付けするこ
とにより処理を分散し、もって多数台の映像入力装置を
用いても処理時間と装置間の通信量が急激に増加しない
ようにするという作用を有する。According to a second aspect of the present invention, a part or all of the moving object tracking device is provided with M moving image input devices and moving objects based on the images obtained by the M moving image input means. M image processing devices that detect the feature amount, and an integrated processing device that calculates the position of the moving object at each time from the moving object detected by the M image processing devices and the feature amount. 2. The wide-area monitoring device according to claim 1, wherein the plurality of video input devices are divided into several groups, each group is assigned to a moving object tracking device, and a moving object and its moving image are processed from each image by each image processing device. Detects the features, integrates the moving object, detects the group, that is, the moving object in each moving object tracking device, and further integrates the moving object obtained by each moving object tracking device with the moving object integrated processing device By doing The moving object information obtained by the image processing device from the image of each image input device is kept inside each moving object tracking device, and not all the image input devices but the image input devices divided into groups By attaching the image input device, the processing is dispersed, so that even if a large number of video input devices are used, the processing time and the communication amount between the devices are prevented from increasing rapidly.
【００１６】また、映像入力装置をＮ台の動物体追跡装
置に分けて管理することにより、映像入力装置の追加等
が影響を与える範囲を最小限にし、もって多数台の映像
入力装置を階層的に管理し、システムの把握や修正に柔
軟に対応できるという作用を有する。Further, by dividing and managing the video input devices into N moving object tracking devices, the range affected by the addition of video input devices and the like is minimized, and thus a large number of video input devices are hierarchically arranged. And has the effect of being able to flexibly respond to system comprehension and correction.
【００１７】本発明の請求項３に記載の発明は、Ｌ台の
映像入力装置と、前記Ｌ台の映像入力装置で取得した映
像から第１の動物体及びその特徴量をそれぞれ計算する
Ｌ台の画像処理装置と、前記Ｌ台の画像処理装置の出力
である第１の動物体及びその特徴量と送信されてきた第
２の動物体の情報とを対応付けるＬ台の対応付け装置
と、前記Ｌ台の映像入力手段で撮像しているエリアを含
む監視エリアに存在する動物体の情報を管理し必要に応
じて第２の動物体の情報として出力する動物体管理装置
と、前記動物体管理装置の出力である第２の動物体の情
報からその第２の動物体を撮像している可能性のある前
記映像入力装置に接続された前記対応付け装置を選択し
そこに第２の動物体の情報を送信する動物体情報ルーテ
ィング装置とからなり、動物体管理装置が前記Ｌ台の対
応付け装置からの対応付け結果と対応付けられた第１の
動物体及びその特徴量とから第２の動物体の情報を更新
することにより動物体の検出及び追跡を行うことを特徴
とする広域監視装置であり、撮像されている可能性のあ
る映像入力装置に対応する対応付け装置にのみ第２の動
物体の情報を送信することにより、通信量を削減すると
ともに、無駄な対応付けを行わずかつ対応付け処理を分
散し、もって多数台の映像入力装置を用いても処理時間
と装置間の通信量が急激に増加しないようにするという
作用を有する。According to a third aspect of the present invention, there are provided L video input devices, and L video devices each for calculating a first moving object and its characteristic amount from the video obtained by the L video input devices. An L image associating device for associating the first moving object and its characteristic amount, which are outputs of the L image processing devices, with the transmitted information of the second moving object, A moving object management device for managing information on moving objects present in a monitoring area including an area being imaged by the L video input means, and outputting the information as second moving object information as needed; From the information of the second moving object, which is the output of the device, select the associating device connected to the video input device which may have captured the second moving object, and select the corresponding moving object therefrom. With a moving object information routing device that transmits The moving object management apparatus updates the information of the second moving object from the first moving object and its feature amount associated with the association result from the L association devices and detects the moving object. And a wide-area monitoring device characterized by performing tracking, and by transmitting information of the second moving object only to an associating device corresponding to a video input device that may have been imaged, to reduce a communication amount. It has the effect of reducing the number of unnecessary associations and dispersing the association processing so that the processing time and the communication volume between the apparatuses do not suddenly increase even when a large number of video input devices are used. .
【００１８】本発明の請求項４に記載の発明は、一部も
しくは全てが請求項３の広域監視装置である動物体追跡
装置と、前記複数台の動物体追跡装置で検出した動物体
を統合し同一の動物体を同定するとともに動物体を管理
する動物体統合処理装置とを具備することを特徴とする
広域監視システムであり、映像入力装置をいくつかのグ
ループに分け、それぞれのグループにおいて広域監視装
置により動物体の検出・追跡を行い、動物体統合処理装
置によりグループ毎に検出された動物体のうち同一のも
のを同一と判断して全ての監視エリアの動物体を管理す
ることにより、各映像入力装置の映像から得られる動物
体の情報を広域監視装置内にとどめて処理の分散と通信
量の削減を行い、もって多数台の映像入力装置を用いて
も処理時間と装置間の通信量が急激に増加しないように
するという作用を有する。また、広域監視システムを階
層的に分けて管理することにより、映像入力装置の追加
や広域監視装置の追加等が影響を与える範囲を最小限に
し、もってシステムの把握や修正に柔軟に対応できると
いう作用を有する。According to a fourth aspect of the present invention, the moving object tracking device, part or all of which is the wide area monitoring device according to the third aspect, is integrated with the moving object detected by the plurality of moving object tracking devices. And a moving object integrated processing device for identifying the same moving object and managing the moving object, wherein the video input device is divided into several groups, and each of the groups has a wide area. By detecting and tracking the moving object by the monitoring device, by judging the same one of the moving objects detected for each group by the moving object integrated processing device to be the same, and managing the moving objects in all the monitoring areas, The information of the moving object obtained from the video of each video input device is kept in the wide area monitoring device to disperse the processing and reduce the communication volume, so that even if many video input devices are used, the processing time and the device An effect that the amount of communication is prevented from rapidly increasing. In addition, by managing the wide area monitoring system in a hierarchical manner, the range affected by the addition of video input devices and the addition of a wide area monitoring device, etc. is minimized, so that it is possible to flexibly respond to system understanding and modification. Has an action.
【００１９】本発明の請求項５に記載の発明は、一部も
しくは全てが請求項１から４の広域監視装置である動物
体追跡装置と、前記複数台の動物体追跡装置で検出した
動物体を統合し同一の動物体を同定するとともに動物体
を管理する動物体統合処理装置とを具備することを特徴
とする広域監視システムであり、映像入力装置をいくつ
かのグループに分け、それぞれのグループにおいて広域
監視装置により動物体の検出・追跡を行い、動物体統合
処理装置によりグループ毎に検出された動物体のうち同
一のものを同一と判断して全ての監視エリアの動物体を
管理することにより、各映像入力装置の映像から得られ
る動物体の情報を広域監視装置内にとどめて処理の分散
と通信量の削減を行い、もって多数台の映像入力装置を
用いても処理時間と装置間の通信量が急激に増加しない
ようにするという作用を有する。また、広域監視システ
ムを階層的に分けて管理することにより、映像入力装置
の追加や広域監視装置の追加等が影響を与える範囲を最
小限にし、もってシステムの把握や修正に柔軟に対応で
きるという作用を有する。According to a fifth aspect of the present invention, there is provided a moving object tracking device which is part or all of the wide area monitoring device according to the first to fourth aspects, and a moving object detected by the plurality of moving object tracking devices. And a moving object integrated processing device for identifying the same moving object and managing the moving object. The wide area monitoring system, wherein the video input device is divided into several groups, Detecting and tracking moving objects by the wide area monitoring device in, and managing the moving objects in all monitored areas by judging that the same object is the same among the moving objects detected for each group by the moving object integrated processing device By distributing the information of the moving object obtained from the image of each image input device in the wide area monitoring device, the processing is dispersed and the communication amount is reduced, so that the processing time can be reduced even if a large number of image input devices are used. Amount of communication between devices has the effect that to not increase sharply. In addition, by managing the wide area monitoring system in a hierarchical manner, the range affected by the addition of video input devices and the addition of a wide area monitoring device, etc. is minimized, so that it is possible to flexibly respond to system understanding and modification. Has an action.
【００２０】以下、本発明の実施の形態について図面を
用いて説明する。 （実施の形態１）図１は、本発明の実施の形態１による
広域監視装置の構成図を示す。図１において、１、９、
１０は映像を入力してその映像から動物体を検出及び追
跡する動物体追跡装置である。動物体追跡装置１は、３
台の映像入力装置２から４、そしてそれぞれ映像入力装
置２から４に接続した画像処理装置５から７、そして画
像処理装置５から７に接続した統合処理装置８から構成
されている。なお、本実施の形態では、映像入力装置２
から４は監視用カラーＴＶカメラにより実現し、統合処
理装置８はパーソナルコンピュータで実現する。Hereinafter, embodiments of the present invention will be described with reference to the drawings. (Embodiment 1) FIG. 1 shows a configuration diagram of a wide area monitoring apparatus according to Embodiment 1 of the present invention. In FIG. 1, 1, 9,
Reference numeral 10 denotes a moving object tracking device that inputs an image and detects and tracks a moving object from the image. The moving object tracking device 1 includes 3
It is composed of two video input devices 2 to 4, image processing devices 5 to 7 connected to the video input devices 2 to 4, respectively, and an integrated processing device 8 connected to the image processing devices 5 to 7. In the present embodiment, the video input device 2
To 4 are realized by a monitoring color TV camera, and the integrated processing device 8 is realized by a personal computer.
【００２１】動物体追跡装置９及び１０は動物体追跡装
置１と同じ構成となっている。１１は動物体統合処理装
置で、動物体追跡装置１、９、１０から検出した動物体
に関する情報を取得し、同一の動物体は検出した動物体
追跡装置に関わらず同一の動物体であると同定し、シス
テム全体の動物体を管理する。本実施の形態では、この
動物体統合処理装置１１はパーソナルコンピュータで実
現し、動物体追跡装置１、９、１０と動物体統合処理装
置１１との間の通信は３５のローカルエリアネットワー
ク（以下ネットワークと呼ぶ）を介して行う。The moving object tracking devices 9 and 10 have the same configuration as the moving object tracking device 1. Reference numeral 11 denotes a moving object integrated processing device, which acquires information on the detected moving object from the moving object tracking devices 1, 9, and 10, and determines that the same moving object is the same regardless of the detected moving object tracking device. Identify and manage animals throughout the system. In the present embodiment, the moving object integrated processing device 11 is realized by a personal computer, and communication between the moving object tracking devices 1, 9, 10 and the moving object integrated processing device 11 is performed by 35 local area networks (hereinafter referred to as network). To do).
【００２２】以下、画像処理装置５、統合処理装置８、
動物体追跡装置１、動物体統合処理装置１１の動作を順
に本実施の形態における広域監視装置の動作について説
明する。なお、画像処理装置６及び７は画像処理装置５
と、動物体追跡装置９及び１０は動物体追跡装置１と同
様の動作を行うため、説明は省略する。Hereinafter, the image processing device 5, the integrated processing device 8,
The operation of the moving object tracking device 1 and the operation of the moving object integrated processing device 11 will be described in order of the operation of the wide area monitoring device in the present embodiment. Note that the image processing devices 6 and 7 are
Since the moving object tracking devices 9 and 10 perform the same operation as the moving object tracking device 1, description thereof will be omitted.
【００２３】図２は、本実施の形態における画像処理装
置５のブロック図である。以下、その画像フレーム毎の
動作を説明する。映像入力装置２で撮像したカラー映像
は、Ａ／Ｄ変換器２０に入力し、デジタル信号に変換し
て、フレーム画像として画像メモリ２１に記憶する。画
像メモリ２１に記憶した内容は次のフレーム画像を入力
する前に画像メモリ２２に複写する。つまり、画像メモ
リ２２には前のフレームのフレーム画像を記憶する。FIG. 2 is a block diagram of the image processing apparatus 5 according to the present embodiment. Hereinafter, the operation for each image frame will be described. The color video captured by the video input device 2 is input to the A / D converter 20, converted into a digital signal, and stored in the image memory 21 as a frame image. The content stored in the image memory 21 is copied to the image memory 22 before the next frame image is input. That is, the image memory 22 stores the frame image of the previous frame.
【００２４】次に差分計算部２３では、画像メモリ２１
と画像メモリ２２の画像の各画素を比較し、あらかじめ
定めた閾値を越える差分を生じた画素に１を、生じなか
った画像に０を割り当てた差分二値画像を生成し、ラベ
リング部２４に入力する。Next, in the difference calculation section 23, the image memory 21
And a difference binary image in which 1 is assigned to a pixel having a difference exceeding a predetermined threshold and 0 is assigned to an image not having a difference, and the difference binary image is input to the labeling unit 24. I do.
【００２５】ラベリング部２４では、前記差分二値画像
から連結成分毎に画素をラベリングしたラベリング画像
を生成し、特徴量計算部２５に入力する。The labeling section 24 generates a labeling image in which pixels are labeled for each connected component from the binary difference image, and inputs the generated labeling image to the feature quantity calculating section 25.
【００２６】特徴量計算部２５では、ラベリング画像の
ラベル毎に画像メモリ２１に格納されたフレーム画像か
ら平均のＲＧＢ値を計算するとともに、各ラベル領域の
中心にある画素から動物体の実空間での位置を計算し、
通信Ｉ／Ｆ部２６を介して統合処理装置８に入力する。The feature value calculation unit 25 calculates an average RGB value from the frame image stored in the image memory 21 for each label of the labeling image, and calculates the average RGB value from the pixel at the center of each label region in the real space of the moving object. Calculate the position of
The data is input to the integrated processing device 8 via the communication I / F unit 26.
【００２７】以上のようにして本実施の形態における画
像処理装置５では入力した映像から、動物体を抽出しそ
の実空間位置と平均ＲＧＢ値を計算し、統合処理装置８
に入力する。As described above, the image processing device 5 according to the present embodiment extracts a moving object from the input video, calculates its real space position and average RGB values, and
To enter.
【００２８】図３は、本実施の形態における統合処理装
置８のブロック図である。以下、その画像フレーム毎の
動作を説明する。通信Ｉ／Ｆ部２６から入力した画像処
理装置５から７で検出した動物体（以下、画像動物体と
呼ぶ）の実空間位置と平均ＲＧＢ値は、対応付け決定部
３２に入力する。FIG. 3 is a block diagram of the integrated processing device 8 according to the present embodiment. Hereinafter, the operation for each image frame will be described. The real space position and the average RGB value of the moving object (hereinafter, referred to as an image moving object) detected by the image processing devices 5 to 7 input from the communication I / F unit 26 are input to the association determining unit 32.
【００２９】動物体情報予測部３１では、前フレームま
で存在していた動物体（以下、管理動物体と呼ぶ）のリ
ストを動物体情報管理部３０から読み出し、その動物体
の現在推定位置と平均ＲＧＢ値を動物体の過去の位置か
ら計算し、対応付け決定部３２に入力する。The moving object information predicting unit 31 reads out a list of moving objects (hereinafter referred to as “managed moving objects”) existing up to the previous frame from the moving object information managing unit 30, and estimates the current estimated position and average of the moving object. The RGB values are calculated from the past position of the moving object and input to the association determination unit 32.
【００３０】対応付け決定部３２では管理動物体の現在
推定位置と平均ＲＧＢ値と、画像動物体の実空間位置と
平均ＲＧＢ値とを用いて、管理動物体と画像動物体とを
画像処理装置毎に対応付ける。例えば、ある管理動物体
の現在推定位置を（Ｘ、Ｙ）、平均ＲＧＢ値を（Ｒ、
Ｇ、Ｂ）とし、ある画像動物体の実空間位置を（ｘ、
ｙ）、平均ＲＧＢ値を（ｒ、ｇ、ｂ）とする時、The association determining unit 32 uses the current estimated position of the managed moving object and the average RGB value, the real space position of the image moving object, and the average RGB value to determine the managed moving object and the image moving object in the image processing apparatus. Correspond every time. For example, the current estimated position of a certain managed moving object is (X, Y), and the average RGB value is (R,
G, B), and the real space position of a certain image moving object is (x,
y), when the average RGB value is (r, g, b),
【００３１】[0031]
【数１】 (Equation 1)
【００３２】によりまず類似度Ｓを計算する。ここでＳ
max、ｗ１、ｗ２はあらかじめ設定する定数である。First, the similarity S is calculated. Where S
max, w1, and w2 are constants set in advance.
【００３３】対応付けは、管理動物体毎に最も類似度Ｓ
の大きい画像動物体を、各画像処理装置毎に最大一つず
つ選択し、対応付けを決定する。なお、Ｓが負の場合に
は対応付けは行わず、ある画像処理装置においては画像
動物体が対応しない場合もある。これは動物体が画像入
力装置の撮像エリアの外に出た場合、動物体が静止した
場合、管理動物体が誤って生成されたものである場合な
どに対応する。逆に、同じ画像動物体を複数の管理動物
体に対応付けてもかまわないし、管理動物体に対応付け
されない画像動物体が存在してもかまわない。前者の場
合は動物体が画像入力装置から見て重なり合っている場
合に相当し、後者は新たに動物体が発生した場合に相当
する。The correspondence is the highest similarity S for each managed moving object.
Is selected for each image processing apparatus at a maximum, and the correspondence is determined. Note that when S is negative, no association is performed, and there is a case where an image moving object does not correspond in a certain image processing apparatus. This corresponds to a case where the moving object comes out of the imaging area of the image input device, a case where the moving object is stationary, and a case where the management moving object is erroneously generated. Conversely, the same image moving object may be associated with a plurality of managed moving objects, or there may be an image moving object that is not associated with the managed moving object. The former case corresponds to the case where the moving objects overlap when viewed from the image input device, and the latter case corresponds to the case where a new moving object is generated.
【００３４】次に、対応付け決定部３２より、管理動物
体とその管理動物体に対応付けされた画像動物体との実
空間位置と平均ＲＧＢ値との組を動物体更新部３４に入
力するとともに、管理動物体に対応付けされない画像動
物体の実空間位置と平均ＲＧＢ値を動物体生成部３３に
入力する。なお、一つも画像動物体が対応付けられなか
った管理動物体に関する情報はどこにも入力しない。Next, a set of the real space position and the average RGB value of the managed moving object and the image moving object associated with the managed moving object is input to the moving object updating unit 34 from the association determining unit 32. At the same time, the real space position and the average RGB value of the image moving object not associated with the management moving object are input to the moving object generating unit 33. It should be noted that no information about the managed moving object to which no image moving object is associated is input anywhere.
【００３５】動物体生成部３３では、管理動物体に対応
付けされなかった画像動物体の実空間位置と平均ＲＧＢ
値を持つ管理動物体を新たに生成し、動物体情報管理部
３０に入力する。ただし、新たに生成する管理動物体は
各フレームで一つに限定し、複数の画像動物体が入力さ
れた場合にはその他の画像動物体に関する情報は捨て
る。これにより、画像入力装置２から４の重複する撮像
エリアに新たに動物体が発生しても、複数の管理動物体
が生成されることはない。複数の新たな動物体が同時に
監視エリアに発生することは少なく、仮にその場合でも
次のフレームで無視された動物体に対応する管理動物体
は生成されるので、実用上の問題はない。In the moving object generating unit 33, the real space position and the average RGB of the image moving object not associated with the management moving object
A management moving object having a value is newly generated and input to the moving object information management unit 30. However, the management object to be newly generated is limited to one in each frame, and when a plurality of image objects are input, information on other image objects is discarded. As a result, even when a new moving object is generated in the overlapping imaging area of the image input devices 2 to 4, a plurality of managed moving objects are not generated. It is unlikely that a plurality of new moving objects are generated in the monitoring area at the same time, and even in such a case, there is no practical problem since the managed moving object corresponding to the moving object ignored in the next frame is generated.
【００３６】動物体更新部３４では、管理動物体とその
管理動物体に対応付けされた画像動物体の実空間位置と
平均ＲＧＢ値の組から現在の動物体の位置を計算して、
動物体情報管理部３０に入力する。まず、対応付けられ
た画像動物体の位置、平均ＲＧＢ値を平均し、さらに、
管理動物体の現在推定位置との重み付け平均を計算す
る。例えば、ある管理動物体に画像処理装置５から７毎
に一つずつ画像動物体が対応付けられ、管理動物体の現
在推定位置を（Ｘ、Ｙ）、平均ＲＧＢ値を（Ｒ、Ｇ、
Ｂ）とし、対応付けられた画像動物体の実空間位置を
（xi、yi）、平均ＲＧＢ値を（ri、gi、bi）(iは１から３
でそれぞれ画像処理装置５から７に対応する）とする
と、新しい管理動物体の位置ＸnewはThe moving object updating unit 34 calculates the current position of the moving object from the set of the real space position and the average RGB value of the managed moving object and the image moving object associated with the managed moving object.
The information is input to the moving object information management unit 30. First, the position of the associated image moving object and the average RGB value are averaged, and further,
Calculate a weighted average of the estimated position of the managed moving object. For example, an image moving object is associated with a certain managed moving object one by one from the image processing device 5 for each 7, and the current estimated position of the managed moving object is (X, Y), and the average RGB value is (R, G,
B), the real space position of the associated image moving object is (xi, yi), and the average RGB value is (ri, gi, bi) (i is 1 to 3).
, Respectively, corresponding to the image processing devices 5 to 7).
【００３７】[0037]
【数２】 (Equation 2)
【００３８】で計算する。ここでｗ１は０よりも大きく
１よりも小さい定数である。同様に、Ｙnew、Ｒnew、Ｇ
new、Ｂnewも計算する。Is calculated. Here, w1 is a constant larger than 0 and smaller than 1. Similarly, Ynew, Rnew, G
New and Bnew are also calculated.
【００３９】動物体情報管理部３０は、動物体更新部３
４より入力した管理動物体の新しい位置と平均ＲＧＢ値
とを記憶する。この時、過去の複数フレームの管理動物
体の位置を動物体の情報として管理しておき、動物体の
予測位置を動物体情報予測部３１で計算できるようにす
る。また、管理動物体に画像動物体が一つも対応付けら
れなかった場合、つまり更新した管理動物体が動物体更
新部３４より入力されなかった場合にはその管理動物体
をリストから削除する。The moving object information management unit 30 includes a moving object updating unit 3
The new position and the average RGB value of the management moving object input from 4 are stored. At this time, the positions of the management moving objects in the past plural frames are managed as moving object information, and the predicted position of the moving object can be calculated by the moving object information prediction unit 31. If no image moving object is associated with the managed moving object, that is, if the updated managed moving object is not input from the moving object updating unit 34, the managed moving object is deleted from the list.
【００４０】また、動物体情報管理部３０は、新たに生
成した動物体が動物体生成部３３から入力された場合に
は、その動物体を新たに動物体のリストに付け加える。When the newly generated moving object is input from the moving object generating unit 33, the moving object information management unit 30 adds the moving object to the moving object list.
【００４１】そして動物体管理部３０は、更新または新
たに付け加えられた管理動物体のリストを通信ネットワ
ーク３５を介して動物体統合処理装置１１に送信する。The moving object management unit 30 transmits a list of updated or newly added managed moving objects to the integrated moving object processing device 11 via the communication network 35.
【００４２】以上のようにして、統合処理装置８は、画
像処理装置５から７より入力した画像動物体の実空間位
置と平均ＲＧＢ値から、管理動物体を更新、もしくは新
たに生成する。As described above, the integrated processing device 8 updates or newly generates a managed moving object from the real space position and the average RGB value of the image moving object input from the image processing devices 5 to 7.
【００４３】以上のようにして、動物体追跡装置１は、
映像入力装置２から４で撮像される範囲に存在する動物
体を検出・追跡し、各フレーム毎に現在の動物体の位置
とその平均ＲＧＢ値を通信ネットワーク３５を介して動
物体統合処理装置１１に送信する。As described above, the moving object tracking device 1
The moving object present in the range imaged by the video input devices 2 to 4 is detected and tracked, and the current position of the moving object and its average RGB value for each frame are transferred to the moving object integrated processing device 11 via the communication network 35. Send to
【００４４】図４は本実施の形態における動物体統合処
理装置１１のブロック図である。以下、その画像フレー
ム毎の動作を説明する。FIG. 4 is a block diagram of the moving object integrated processing apparatus 11 according to the present embodiment. Hereinafter, the operation for each image frame will be described.
【００４５】動物体情報予測部４１では、各フレーム毎
に動物体情報管理部４０より過去に存在した動物体（以
下、広域管理動物体と呼ぶ）のリストを読み出し、広域
管理動物体の現在の実空間位置を計算し、平均ＲＧＢ値
とともに、対応付け決定部４２に入力する。The moving object information predicting unit 41 reads a list of moving objects that existed in the past (hereinafter, referred to as a wide-area managed moving object) from the moving object information managing unit 40 for each frame, and reads the current list of the wide-area managed moving objects. The real space position is calculated and input to the association determination unit 42 together with the average RGB value.
【００４６】対応付け決定部４２では、通信ネットワー
ク３５を介して動物体追跡装置１、９、１０から送信さ
れた管理動物体と、動物体情報予測部４１で推定した広
域管理動物体とを、動物体追跡装置毎に、実空間位置と
平均ＲＧＢ値を用いて対応付ける。例えば、ある広域管
理動物体の現在推定位置を（Ｘ、Ｙ）、平均ＲＧＢ値を
（Ｒ、Ｇ、Ｂ）とし、ある管理動物体の実空間位置を
（ｘ、ｙ）、平均ＲＧＢ値を（ｒ、ｇ、ｂ）とする時、
（数１）により、まず類似度Ｓを計算する。ここでＳma
x、ｗ１、ｗ２はあらかじめ設定する定数である。対応
付けは、広域管理動物体毎に最も類似度の大きい管理動
物体を各動物体追跡装置毎に最大一つずつ選択し、対応
付けを決定する。この時、一度対応付けた管理動物体は
二度は対応付けず、次に大きい類似度を持つ管理動物体
を対応付ける。また、Ｓが負の場合には対応付けは行わ
ず、ある動物体追跡装置では管理動物体が対応しない場
合もある。また、広域管理動物体に対応付けされない管
理動物体が存在してもよい。In the association determining unit 42, the management moving object transmitted from the moving object tracking devices 1, 9 and 10 via the communication network 35 and the wide-area management moving object estimated by the moving object information prediction unit 41 are Each moving object tracking device is associated with the real space position using the average RGB value. For example, the current estimated position of a certain wide-area management object is (X, Y), the average RGB value is (R, G, B), the real space position of a certain management object is (x, y), and the average RGB value is (R, g, b),
First, the similarity S is calculated by (Equation 1). Where Sma
x, w1, and w2 are constants set in advance. The association is determined by selecting, at a maximum, one management object having the highest similarity for each wide-area management object for each moving object tracking device. At this time, the management moving object that has been once associated is not associated twice, and the management moving object having the next highest similarity is associated. When S is negative, the association is not performed, and the management moving object may not correspond to a certain moving object tracking device. In addition, there may be a managed moving object that is not associated with the wide-area managed moving object.
【００４７】そして対応付け決定部４２は、広域管理動
物体と対応付けた管理動物体の実空間位置と平均ＲＧＢ
値の組を動物体更新部４４に入力する。なお、一つも管
理動物体が対応付けられなかった広域管理動物体も動物
体更新部４４に入力する。また、広域管理動物体に対応
付けられなかった管理動物体が存在した場合にはその管
理動物体の実空間位置と平均ＲＧＢ値とを動物体生成部
４３に入力する。The association determining unit 42 calculates the real space position and the average RGB of the managed moving object associated with the wide-area managed moving object.
The set of values is input to the moving object updating unit 44. Note that a wide-area managed moving object to which no managed moving object is associated is also input to the moving object updating unit 44. If there is a managed moving object that is not associated with the wide-area managed moving object, the real space position and the average RGB value of the managed moving object are input to the moving object generating unit 43.
【００４８】動物体更新部４４では、広域管理動物体と
それに対応付けられた一つまたは複数の管理動物体から
現在の広域管理動物体の位置と平均ＲＧＢ値を計算し、
動物体情報管理部４０に入力する。例えば、ある広域管
理動物体に動物体追跡装置１、９、１０毎に一つずつ管
理動物体が対応付けられ、広域管理動物体の現在推定位
置を（Ｘ、Ｙ）、平均ＲＧＢ値を（Ｒ、Ｇ、Ｂ）とし、
対応付けられた管理動物体の実空間位置を（xi、yi）、
平均ＲＧＢ値を（ri、gi、bi）(iは１から３でそれぞれ動
物体追跡装置１、９、１０に対応）とすると、新しい広
域管理動物体の位置Ｘnewは、（数２）で計算する。こ
こで、ｗ１は０よりも大きく１よりも小さい定数であ
る。同様に、Ｙnew、Ｒnew、Ｇnew、Ｂnewも計算する。
なお、一つの管理動物体にも対応付けられなかった広域
管理動物体の実空間位置、平均ＲＧＢ値は動物体情報予
測部４１で予測したそのままの値を用いる。The moving object updating unit 44 calculates the current position and average RGB value of the wide-area managed moving object from the wide-area managed moving object and one or more managed moving objects associated therewith,
The information is input to the moving object information management unit 40. For example, a management object is associated with a certain wide-area management object one by one for each of the moving object tracking devices 1, 9, and 10, the current estimated position of the wide-area management object is (X, Y), and the average RGB value is ( R, G, B)
The real space position of the associated managed object is (xi, yi),
Assuming that the average RGB value is (ri, gi, bi) (i is 1 to 3 corresponding to the moving object tracking devices 1, 9, and 10, respectively), the position Xnew of the new wide area management moving object is calculated by (Equation 2). I do. Here, w1 is a constant larger than 0 and smaller than 1. Similarly, Ynew, Rnew, Gnew, and Bnew are calculated.
It should be noted that the real space position and the average RGB value of the wide-area management moving object that is not associated with one management moving object use the values predicted by the moving object information prediction unit 41 as they are.
【００４９】動物体生成部４３では、広域管理動物体に
対応付けされなかった管理動物体の実空間位置と平均Ｒ
ＧＢ値を持つ広域管理動物体を新たに生成し、動物体情
報管理部４０に入力する。まず、動物体追跡装置１に管
理動物体が広域管理動物体に対応せずに残っている場合
には、その管理動物体の位置と平均ＲＧＢ値を持つ広域
管理動物体を新たに生成する。これを仮広域管理動物体
と呼ぶ。次に、動物体追跡装置９に管理動物体が広域管
理動物体に対応付けられずに残っている場合には、ま
ず、その管理動物体と存在する仮広域管理動物体との間
の類似度Ｓを（数１）に準じて計算し、類似度Ｓがあら
かじめ設定した閾値を超えている場合には、その管理動
物体と仮広域管理動物体との平均の実空間位置と平均Ｒ
ＧＢ値とを仮広域管理動物体に再設定する。類似度Ｓが
閾値を越えていない場合には、その管理動物体から仮広
域管理動物体を新たに生成する。In the moving object generating unit 43, the real space position and the average R of the managed moving object not associated with the wide area managed moving object are calculated.
A wide-area management moving object having a GB value is newly generated and input to the moving object information management unit 40. First, when the managed moving object remains in the moving object tracking device 1 without corresponding to the wide-area managed moving object, a wide-area managed moving object having the position of the managed moving object and the average RGB value is newly generated. This is referred to as a temporary wide-area management animal. Next, when the managed moving object remains in the moving object tracking device 9 without being associated with the wide-area managed moving object, first, the similarity between the managed moving object and the existing temporary wide-area managed moving object. S is calculated according to (Equation 1), and when the similarity S exceeds a preset threshold value, the average real space position and the average R of the managed moving object and the provisional wide area managed moving object are calculated.
The GB value is reset to the provisional wide area management moving object. When the similarity S does not exceed the threshold value, a temporary wide area management moving object is newly generated from the management moving object.
【００５０】さらに、動物体追跡装置１０の管理動物体
と仮広域管理動物体との対応付けを同様に調べ、対応付
けられた場合には仮広域管理動物体の実空間位置と平均
ＲＧＢ値を修正し、対応付けられない場合には仮広域管
理動物体を新たに生成する。なお、動物体追跡装置１０
の管理動物体に対応付けて修正する場合には、単に平均
するのではなく、それまでに仮広域管理動物体に対応付
けられた管理動物体の数に応じて重みを付けて平均す
る。そして、最終的に残った仮広域管理動物体を新たに
生成した広域管理動物体として動物体情報管理部４０に
入力する。Further, the correspondence between the managed moving object of the moving object tracking apparatus 10 and the provisional wide area management moving object is similarly examined, and if the correspondence is established, the real space position and the average RGB value of the provisional wide area management moving object are determined. If it is corrected and cannot be associated, a temporary wide area management moving object is newly generated. The moving object tracking device 10
In the case where the correction is made in association with the managed moving object, the weighting is performed according to the number of managed moving objects that have been associated with the provisional wide-area managed moving object. Then, the final remaining temporary wide-area management moving object is input to the moving object information management unit 40 as a newly generated wide-area management moving object.
【００５１】動物体情報管理部４０では、新たに生成し
た広域管理動物体を動物体生成部４３から受け取り、リ
ストに加えるとともに、動物体変更部４４から入力した
更新された広域管理動物体の情報で、既存の広域管理動
物体を更新する。なお、広域管理動物体は過去の一定時
間の動物体の位置やその他の特徴量を記憶し、動物体情
報予測部４１で位置等の特徴量を予測できるようにす
る。The moving object information management unit 40 receives the newly generated wide area management moving object from the moving object generation unit 43, adds it to the list, and updates the information of the updated wide area management moving object inputted from the moving object change unit 44. Update existing wide-area managed objects. The wide-area management moving object stores the position of the moving object and other characteristic amounts at a certain time in the past, and enables the moving object information prediction unit 41 to predict the characteristic amount such as the position.
【００５２】なお、動物体情報管理部４０で管理してい
る動物体の情報は必要に応じて、表示装置や自動警告装
置などの外部に出力する。The moving object information managed by the moving object information management unit 40 is output to an external device such as a display device or an automatic warning device as needed.
【００５３】以上のようにして、動物体統合処理装置４
１は、動物体追跡装置１、９、１０から入力した管理動
物体を用いて、広域の監視エリアに存在する動物体を検
出した動物体追跡装置に関わらず同一のものは同一のも
のと認識して、一元的に管理する。As described above, the moving object integrated processing apparatus 4
Reference numeral 1 indicates that the same object is recognized as the same irrespective of a moving object tracking device that detects a moving object existing in a wide monitoring area by using a managed moving object input from the moving object tracking devices 1, 9, and 10. And manage them centrally.
【００５４】以下、本実施の形態における広域監視装置
の特徴について説明する。例えば、映像入力装置２から
４は撮像エリアを共有しており、その撮像エリアに３つ
の動物体が存在し、また、その動物体を含め５つの動物
体が広域管理動物体として検出されており、残りの２つ
の動物体はどの映像入力装置の撮像エリアにも入ってい
ないとする。また、他の動物体追跡装置では全く動物体
が検出されていないものとする。Hereinafter, the features of the wide area monitoring apparatus according to the present embodiment will be described. For example, the video input devices 2 to 4 share an imaging area, there are three moving objects in the imaging area, and five moving objects including the moving object are detected as wide-area managed moving objects. Assume that the remaining two moving objects are not included in the imaging area of any video input device. It is also assumed that no moving object is detected by another moving object tracking device.
【００５５】この時、統合処理装置８の動物体情報管理
部３０で管理している動物体の数は３つであるから、対
応付けの類似度の計算は（画像動物体の数）＊（管理動
物体の数）＊（カメラの数）の２７回であり、さらに、
動物体統合処理装置１１では（管理動物体の数）＊（広
域管理動物体の数）の１５回の類似度の計算が必要で、
合計４２回の類似度の計算が必要となる。仮に、全ての
画像動物体を広域管理動物体と対応付ける装置を考える
と、（画像動物体の数）＊（広域管理動物体の数）＊
（カメラの数）の４５回の類似度の計算を一つの計算機
で行わなければならない。したがって、本発明によれ
ば、類似度の計算の回数を減らせるだけではなく、類似
度の計算を異なる計算機に分散するため、処理を軽減・
分散し、もって高速に処理を行うことができる。At this time, since the number of moving objects managed by the moving object information management unit 30 of the integrated processing device 8 is three, the similarity of the association is calculated by (number of image moving objects) * ( (The number of control animals) * (the number of cameras) 27 times, and
In the moving object integrated processing device 11, it is necessary to calculate 15 similarities of (number of managed moving objects) * (number of wide-area managed moving objects),
A total of 42 similarity calculations are required. Assuming a device that associates all imaged moving objects with a wide-area managed moving object, (number of imaged moving objects) * (number of wide-area managed moving objects) *
The calculation of 45 similarities (number of cameras) must be performed by one computer. Therefore, according to the present invention, not only the number of times of calculation of the similarity can be reduced, but also the calculation of the similarity is distributed to different computers.
The processing can be performed at high speed by dispersing.
【００５６】また、画像処理装置５から７から出力され
る９個の画像動物体の情報は、ネットワークに流れず、
もって通信量を削減することもできる。さらに、仮に動
物体追跡装置１とネットワークの間のインタフェースが
故障しても、その他の動物体追跡装置９、１０は動作す
るため、一部の撮像エリアの監視は不能になるが、他の
部分には影響がでない。The information on the nine image moving objects output from the image processing devices 5 to 7 does not flow to the network,
Thus, the communication amount can be reduced. Furthermore, even if the interface between the moving object tracking device 1 and the network fails, the other moving object tracking devices 9 and 10 operate, so that monitoring of a part of the imaging area becomes impossible, but other parts Has no effect.
【００５７】さらに、映像入力装置の追加や削除は該当
する動物体追跡装置内にのみ影響を与えるため、映像入
力装置の変更が容易である。例えば、動物体追跡装置１
で新たに映像入力装置を追加したり、映像入力装置を取
り除いても、統合処理装置８における処理を変更するだ
けでよく、動物体追跡装置９および１０、動物体統合処
理装置１１の処理を変更する必要はない。Further, the addition or deletion of a video input device affects only the relevant moving object tracking device, so that it is easy to change the video input device. For example, the moving object tracking device 1
Even if a video input device is newly added or a video input device is removed, only the processing in the integrated processing device 8 needs to be changed, and the processing in the moving object tracking devices 9 and 10 and the moving object integrated processing device 11 are changed. do not have to.
【００５８】また、例えば３階建ての建物を監視する場
合に、各動物体追跡装置を各階に対応させることによ
り、各映像入力装置を各階毎に階層的に管理し、把握し
やすいシステムを構築することができる。For example, when monitoring a three-story building, each moving object tracking device is made to correspond to each floor, so that each video input device is hierarchically managed for each floor and a system easy to grasp is constructed. can do.
【００５９】なお、本実施の形態では映像入力装置２か
ら４にカラーＴＶカメラを用いたが、例えば赤外線カメ
ラや、白黒のカメラを用いてもよいし、複数種類のカメ
ラが混在してもよい。この場合にはカメラにより特徴量
が異なり（数１）のような一律の類似度を用いることは
できないが、例えば、管理動物体には全ての特徴量の属
性を保持し、対応する特徴量が画像動物体及び管理動物
体に設定されている場合にのみ各特徴量毎の類似度を計
算し、その類似度に適当な重みを掛け加算するなどの処
理を行い対応付けを行えばよい。In this embodiment, a color TV camera is used for the video input devices 2 to 4. However, for example, an infrared camera or a black and white camera may be used, or a plurality of types of cameras may be mixed. . In this case, although the feature amount differs depending on the camera and a uniform similarity as in (Equation 1) cannot be used, for example, the attribute of all the feature amounts is held in the management moving object, and the corresponding feature amount is Only when the image moving object and the management moving object are set, the similarity of each feature amount is calculated, the similarity is multiplied by an appropriate weight, and processing such as addition is performed.
【００６０】また、画像処理装置５では動物体の検出に
フレーム間差分を用いているが、背景差分やオプティカ
ルフロー等を利用して動物体を検出してもよい。Although the image processing apparatus 5 uses the inter-frame difference for detecting a moving object, the moving object may be detected using a background difference, an optical flow, or the like.
【００６１】また、画像処理装置５では動物体の検出を
動領域により行っているが、例えば人の頭、車のタイヤ
など特徴的な部分を抽出したり、動物体を動領域で検出
しそれからテンプレートを生成し、そのテンプレートと
マッチングする領域を動物体として検出してもよい。In the image processing apparatus 5, the moving object is detected based on the moving area. For example, a characteristic part such as a human head or a car tire is extracted, or the moving object is detected in the moving area. A template may be generated, and a region matching the template may be detected as a moving object.
【００６２】また、画像処理装置５で計算する動領域の
特徴量としてＲＧＢ値を用いたが、その他の色の表示系
や、領域の実空間での大きさや形状特徴、テクスチャな
どの特徴量を用いてもよい。Although the RGB values are used as the feature values of the moving area calculated by the image processing apparatus 5, the other color display systems and the feature quantities such as the size, shape feature, and texture of the area in the real space are used. May be used.
【００６３】また、画像処理装置５では各ラベル領域の
中心画素から動物体の実空間での位置を計算している
が、その他の領域の特徴点を用いてもよいし、映像入力
装置が撮像エリアを共有し、複数の映像入力装置で撮像
した特徴点からステレオ計測により実空間位置を計算す
るなどの方法を用いてもよい。In the image processing device 5, the position of the moving object in the real space is calculated from the center pixel of each label region. However, the feature points of other regions may be used, A method of sharing an area and calculating a real space position by stereo measurement from feature points captured by a plurality of video input devices may be used.
【００６４】また、統合処理装置８では、画像動物体と
対応付けできなかった管理動物体を削除しているが、あ
る一定期間残しておき、静止した場合や一時的に検出で
きなかった場合に対応するようにしてもよい。The integrated processing device 8 deletes the management moving object that could not be associated with the image moving object. However, if the management moving object is left for a certain period of time and is stationary or cannot be detected temporarily. You may make it correspond.
【００６５】また、動物体生成部３３では１フレームに
新たに生成する管理動物体は一つに限定していたが、動
物体生成部４３で使用した処理のように、別々の画像処
理装置から入力した複数の画像動物体がある場合にはそ
れらを対応付け、複数の管理動物体を同時に生成するよ
うにしてもよい。In the moving object generation unit 33, the number of management moving objects newly generated in one frame is limited to one. However, as in the processing used in the moving object generation unit 43, a separate image processing apparatus is used. If there are a plurality of input image moving objects, they may be associated with each other and a plurality of management moving objects may be generated at the same time.
【００６６】また、動物体追跡装置１では３台の映像入
力装置を用いたが、１台以上の任意の台数でよく、また
動物体追跡装置１、９、１０でそれぞれ異なる台数の映
像入力装置を用いてもよい。Although three video input devices are used in the moving object tracking device 1, one or more arbitrary number of video input devices may be used, and the moving object tracking devices 1, 9, and 10 may have different numbers of video input devices. May be used.
【００６７】また、例えば映像入力装置２を動物体追跡
装置９で用いるなど、同じ映像入力装置を異なる動物体
追跡装置で共有してもよい。The same video input device may be shared by different moving object tracking devices, for example, by using the video input device 2 in the moving object tracking device 9.
【００６８】また、映像入力装置２から４の撮像範囲は
重複していても、重複していなくとも、それらが混在し
ていてもよい。Further, the imaging ranges of the video input devices 2 to 4 may or may not overlap, or may be mixed.
【００６９】（実施の形態２）図５は、本発明の実施の
形態２による広域監視装置の構成図である。図５におい
て、１００から１０２は映像入力装置で、本実施の形態
ではカラーＴＶカメラを用いる。１０３から１０５は、
それぞれ映像入力装置１００から１０２により取得した
カラー映像をフレーム画像毎に処理して第１の動物体と
その特徴量を抽出する画像処理装置、１０６から１０８
は、第２の動物体とそれぞれ画像処理装置１０３から１
０５から入力した第１の動物体とをその特徴量を利用し
て対応付ける対応付け装置である。１０９は、映像入力
装置１００から１０２の撮像エリアを含む監視エリアに
存在する動物体を第２の動物体として管理する動物体管
理装置、１１０は動物体管理装置１０９の出力である第
２の動物体の情報からその第２の動物体を撮像している
可能性のある映像入力装置を映像入力装置１００から１
０２の中から選択し、選択した映像入力装置に接続した
対応付け装置１０６から１０８に第２の動物体の情報を
送信する動物体情報ルーティング装置である。(Embodiment 2) FIG. 5 is a configuration diagram of a wide area monitoring apparatus according to Embodiment 2 of the present invention. In FIG. 5, reference numerals 100 to 102 denote video input devices, and in this embodiment, a color TV camera is used. 103 to 105
Image processing devices for processing the color video obtained by the video input devices 100 to 102 for each frame image to extract the first moving object and its feature amount, 106 to 108
Are the second moving object and the image processing devices 103 to 103, respectively.
This is an associating device for associating the first moving object input from the user interface 05 with its characteristic amount. Reference numeral 109 denotes a moving object management device that manages a moving object existing in a monitoring area including the imaging area of the video input devices 100 to 102 as a second moving object. 110 denotes a second animal that is an output of the moving object management device 109. A video input device that may have imaged the second moving object from the body information is
02 is a moving object information routing apparatus that transmits information on the second moving object to the associating apparatuses 106 to 108 connected to the selected video input apparatus.
【００７０】以下、画像処理装置１０３から１０５、対
応付け装置１０６から１０８、動物体管理装置１０９の
順に動作を説明した後に、本実施の形態における広域監
視装置の動作を説明する。Hereinafter, the operations of the image processing apparatuses 103 to 105, the associating apparatuses 106 to 108, and the moving object management apparatus 109 will be described in this order, and then the operation of the wide area monitoring apparatus according to the present embodiment will be described.
【００７１】画像処理装置１０３から１０５は、第１の
実施の形態における画像処理装置５と同様の働きをする
ため、動作の説明は省略する。以降、第１の実施の形態
と同様に第１の動物体を画像動物体と呼ぶ。Since the image processing apparatuses 103 to 105 have the same function as the image processing apparatus 5 in the first embodiment, the description of the operation is omitted. Hereinafter, the first moving object is referred to as an image moving object, as in the first embodiment.
【００７２】以下、図５を参照しながら本実施の形態に
おける広域監視装置の動作を説明する。各映像入力装置
１００から１０２から入力したカラー映像は画像処理装
置１０３から１０５でフレーム毎に処理して、画像動物
体を抽出し、各画像動物体の実空間位置と平均ＲＧＢ値
を計算し、対応付け装置１０６から１０８にそれぞれ入
力する。また、動物体管理装置では、現在管理している
管理動物体の現在の時刻における実空間位置と平均ＲＧ
Ｂ値を計算して、動物体情報ルーティング装置１１０に
入力する。そして動物体情報ルーティング装置１１０で
は、各管理動物体の予測実空間位置を含む撮像エリアを
持つ映像入力装置を映像入力装置１００から１０２の中
から選択し、選択した映像入力装置に対応する対応付け
装置にのみ、管理動物体の情報を送信する。The operation of the wide area monitoring apparatus according to the present embodiment will be described below with reference to FIG. The color video input from each of the video input devices 100 to 102 is processed for each frame by the image processing devices 103 to 105 to extract the image moving object, calculate the real space position and the average RGB value of each image moving object, The information is input to the associating devices 106 to 108, respectively. In the moving object management apparatus, the real space position and the average RG of the currently managed managed object at the current time are also determined.
The B value is calculated and input to the moving object information routing device 110. The moving object information routing device 110 selects a video input device having an imaging area including the predicted real space position of each managed moving object from the video input devices 100 to 102, and associates the video input device with the selected video input device. Only the information of the managed moving object is transmitted to the device.
【００７３】対応付け装置１０６から１０８では、各画
像処理装置１０３から１０５から入力した画像動物体
と、動物体情報ルーティング装置１１０から送信されて
きた管理動物体とを、その実空間位置と平均ＲＧＢ値を
用いて対応付け、対応付けの結果と画像動物体の情報と
を動物体管理装置１０９に送信する。そして動物体管理
装置１０９では、対応付けられた画像動物体により管理
動物体の現在位置と平均ＲＧＢ値を計算して管理動物体
を更新するとともに、管理動物体に対応付けられなかっ
た画像動物体から新たに管理動物体を生成するものであ
る。In the associating devices 106 to 108, the image moving object input from each of the image processing devices 103 to 105 and the management moving object transmitted from the moving object information routing device 110 are compared with the real space position and the average RGB value. And transmits the result of the association and the information on the image moving object to the moving object management device 109. The moving object management device 109 updates the managed moving object by calculating the current position and the average RGB value of the managed moving object based on the image moving object associated with the moving object, and updates the image moving object not associated with the managed moving object. A new managed animal is generated from
【００７４】図６は本実施の形態における対応付け装置
１０６のブロック図である。なお、対応付け装置１０７
及び１０８は対応付け装置１０６と同様の動作を行うの
で説明は省略する。FIG. 6 is a block diagram of the associating device 106 according to the present embodiment. The associating device 107
And 108 perform the same operation as that of the associating device 106, and the description is omitted.
【００７５】図６において通信Ｉ／Ｆ部２６を介し、画
像処理装置１０３から画像動物体の実空間位置と平均Ｒ
ＧＢ値を類似度計算部１２１に入力する。また、通信ネ
ットワーク１２０からは第２の動物体（以降管理動物体
と呼ぶ）の現フレームにおける予測実空間位置と平均Ｒ
ＧＢ値を類似度計算部１２１に入力する。In FIG. 6, the real space position and the average R of the image moving object are transmitted from the image processing device 103 via the communication I / F unit 26.
The GB value is input to the similarity calculation unit 121. Further, from the communication network 120, the predicted real space position and the average R of the second moving object (hereinafter referred to as “managed moving object”) in the current frame are obtained.
The GB value is input to the similarity calculation unit 121.
【００７６】類似度計算部１２１では、各管理動物体と
各画像動物体との間の類似度Ｓを計算する。類似度Ｓの
計算は第１の実施の形態の画像動物体と管理動物体の類
似度と同様に（数１）により計算する。そして計算した
類似度と管理動物体、画像動物体の情報を対応付け決定
部１２２に入力する。The similarity calculating unit 121 calculates the similarity S between each managed moving object and each image moving object. The similarity S is calculated by (Equation 1) similarly to the similarity between the image moving object and the management moving object in the first embodiment. Then, the calculated similarity and information on the management moving object and the image moving object are input to the association determining unit 122.
【００７７】対応付け決定部１２２では、各管理動物体
毎に類似度Ｓが最大の画像動物体を最大一つ選択して対
応付け、対応付けの結果と画像動物体の情報とを通信ネ
ットワーク１２０を介して動物体管理装置１０９に送信
する。この時、類似度Ｓが負の管理動物体と画像動物体
は対応付けず、また、一つの画像動物体を複数の管理動
物体に対応付けてもよい。The association determining unit 122 selects and associates at most one image moving object having the maximum similarity S for each managed moving object, and associates the result of the association with information on the image moving object with the communication network 120. Is transmitted to the moving object management apparatus 109 via the. At this time, the management moving object having the negative similarity S is not associated with the image moving object, and one image moving object may be associated with a plurality of management moving objects.
【００７８】以上のようにして、本実施の形態における
対応付け装置１０６は各管理動物体に最大１つの画像動
物体をその特徴量により対応付け、その対応付け結果と
画像動物体の情報を動物体管理装置１０９に入力する。As described above, the associating device 106 according to the present embodiment associates at most one image object with each featured object by its characteristic amount, and compares the result of the association with the information of the image object. Input to the body management device 109.
【００７９】図７は本実施の形態における動物体管理装
置１０９のブロック図である。対応付け装置１０６から
１０８から入力した対応付け結果と管理動物体に対応付
けられた画像動物体の情報は、通信ネットワーク１２０
を介して動物体更新部１３１に入力する。また、管理動
物体の予測実空間位置と平均ＲＧＢ値を動物体情報予測
部１３０から動物体更新部１３１に入力する。また、管
理動物体と対応付けできなかった画像動物体は動物体生
成部１３２に入力する。FIG. 7 is a block diagram of the moving object management apparatus 109 according to the present embodiment. The association result input from the association devices 106 to 108 and the information on the image moving object associated with the management moving object are stored in the communication network 120.
Is input to the moving object updating unit 131 via the. Further, the predicted real space position and the average RGB value of the managed moving object are input from the moving object information predicting unit 130 to the moving object updating unit 131. The image moving object that could not be associated with the management moving object is input to the moving object generating unit 132.
【００８０】動物体更新部１３１では、各管理動物体に
対応付けられた画像動物体の実空間位置及び平均ＲＧＢ
値の平均を計算し、その平均値を用いて管理動物体の実
空間位置と平均ＲＧＢ値の現在値を計算する。例えば、
ある管理動物体の予測現在位置を（Ｘ、Ｙ）、平均ＲＧ
Ｂ値を（Ｒ、Ｇ、Ｂ）とし、その管理動物体には対応付
け装置１０６と１０７から一つずつ画像動物体が対応付
けられ、対応付け装置１０８では対応する画像動物体が
無く、そして、対応付けられた画像動物体の実空間位置
及び平均ＲＧＢ値をそれぞれ（ｘｉ、ｙｉ）、（ｒｉ、
ｇｉ、ｂｉ）（ｉは１および２。それぞれ、対応付け装
置１０６、１０７に対応する）とする時、管理動物体の
実空間位置の現在値Ｘnewは、In the moving object updating unit 131, the real space position and the average RGB of the image moving object associated with each management moving object
The average of the values is calculated, and the current value of the real space position and the average RGB value of the control moving object is calculated using the average value. For example,
The predicted current position of a certain managed object is (X, Y), and the average RG
The B value is (R, G, B), and the managed moving object is associated with one image moving object from the associating devices 106 and 107 one by one. The associating device 108 has no corresponding image moving object, and , The real space position and the average RGB value of the associated image moving object are (xi, yi), (ri,
gi, bi) (i is 1 and 2, corresponding to the association devices 106 and 107, respectively), the current value Xnew of the real space position of the managed moving object is
【００８１】[0081]
【数３】 (Equation 3)
【００８２】により計算する。ここでｗ1は、あらかじ
め定めた定数である。同様に、Ｙnew、Ｒnew、Ｇnew、
Ｂnewを計算する。なお、一つも画像動物体が対応付け
されなかった管理動物体の現在の実空間位置、平均ＲＧ
Ｂ値は、予測した実空間位置と平均ＲＧＢ値をそのまま
用いる。動物体更新部１３１は以上のようにして管理動
物体の現在の実空間位置と平均ＲＧＢ値を計算して動物
体情報管理部１３３に入力する。Is calculated by Here, w1 is a predetermined constant. Similarly, Ynew, Rnew, Gnew,
Calculate Bnew. Note that the current real space position and average RG of the managed moving object to which no image moving object is associated
As the B value, the predicted real space position and the average RGB value are used as they are. The moving object updating unit 131 calculates the current real space position and the average RGB value of the managed moving object as described above, and inputs them to the moving object information management unit 133.
【００８３】動物体生成部１３２では、管理動物体と対
応付けされなかった画像動物体から新たに管理動物体を
生成して動物体情報管理部１３３に入力する。まず、対
応付け装置１０６に画像動物体が管理動物体に対応せず
に残っている場合には、その画像動物体の位置と平均Ｒ
ＧＢ値を持つ管理動物体を新たに生成する。これを仮管
理動物体と呼ぶ。次に、対応付け装置１０７に画像動物
体が管理動物体に対応付けられずに残っている場合に
は、まず、その画像動物体と存在する仮管理動物体との
間の類似度Ｓを（数１）に準じて計算し、類似度Ｓがあ
らかじめ設定した閾値を超えている場合には、その画像
動物体と仮管理動物体との平均の実空間位置と平均ＲＧ
Ｂ値とを仮管理動物体に設定する。類似度Ｓが閾値を越
えていない場合には、その画像動物体から仮管理動物体
を新たに生成する。さらに、対応付け装置１０８の画像
動物体と仮管理動物体との対応付けを同様に調べ、対応
付けられた場合には仮管理動物体の実空間位置と平均Ｒ
ＧＢ値を修正し、対応付けられない場合には仮管理動物
体を新たに生成する。なお、対応付け装置１０８の画像
動物体と対応付けて修正する場合には、単に平均するの
ではなく、それまでに仮管理動物体に対応付けられた画
像動物体の数に応じて重みを付けて平均する。そして、
最終的に残った仮管理動物体を新たに生成した管理動物
体として動物体情報管理部１３３に入力する。The moving object generating unit 132 newly generates a managed moving object from the image moving object that is not associated with the managed moving object, and inputs the generated managed moving object to the moving object information managing unit 133. First, when the image moving object remains in the association device 106 without corresponding to the management moving object, the position of the image moving object and the average R
A management animal having a GB value is newly generated. This is called a temporary management animal. Next, when the image moving object remains in the associating device 107 without being associated with the management moving object, first, the similarity S between the image moving object and the existing temporary management moving object is determined by ( When the similarity S exceeds a predetermined threshold value, the average real space position and the average RG of the image moving object and the temporary management moving object are calculated according to Expression 1).
The B value is set in the temporary management moving object. If the similarity S does not exceed the threshold, a temporary management moving object is newly generated from the image moving object. Further, the association between the image moving object and the provisionally managed moving object by the associating device 108 is similarly examined, and when the association is made, the real space position and the average R of the provisionally managed moving object are determined.
The GB values are corrected, and if they are not associated, a temporary management moving object is newly generated. In the case of correcting the image moving object in association with the image moving object of the associating device 108, instead of simply averaging, the weight is assigned according to the number of the image moving object that has been associated with the temporary management moving object. Average. And
The finally managed temporary moving object is input to the moving object information management unit 133 as a newly generated managed moving object.
【００８４】動物体情報管理部１３３では、新たに生成
した管理動物体を動物体生成部１３２から受け取り、リ
ストに加えるとともに、動物体更新部１３１から入力し
た更新した管理動物体の情報で、既存の管理動物体を更
新する。なお、管理動物体は過去の一定時間の動物体の
位置を記憶し、動物体情報予測部１３０で位置を予測で
きるようにする。The moving object information managing unit 133 receives the newly generated managed moving object from the moving object generating unit 132, adds it to the list, and uses the updated managed moving object information input from the moving object updating unit 131 to store the existing managed moving object. Update the control animal body. The management moving object stores the position of the moving object at a certain time in the past so that the moving object information prediction unit 130 can predict the position.
【００８５】なお、動物体情報管理部１３３で管理して
いる動物体の情報は必要に応じて表示装置や自動警告装
置などの外部に出力する。The moving object information managed by the moving object information management unit 133 is output to an external device such as a display device or an automatic warning device as needed.
【００８６】動物体情報予測部１３０では、動物体情報
管理部１３３から現在の管理動物体のリストを読み出
し、それから次のフレームにおける動物体の実空間位置
を予測し、平均ＲＧＢ値とともに動物体情報ルーティン
グ装置１１０と動物体更新部１３１に入力する。The moving object information predicting section 130 reads the current list of managed moving objects from the moving object information managing section 133, predicts the real space position of the moving object in the next frame, and displays the moving object information together with the average RGB value. The data is input to the routing device 110 and the moving object updating unit 131.
【００８７】以上のようにして、動物体管理装置１０９
は、対応付け装置１０６から１０８から入力した管理動
物体と画像動物体との対応付け情報と画像動物体の情報
を用いて、広域の監視エリアに存在する動物体を検出し
た対応付け装置に関わらず同一のものは同一のものと認
識して、一元的に管理することができる。As described above, the moving object management device 109
Is based on the association information between the managed moving object and the image moving object input from the associating devices 106 to 108 and the information on the image moving object, and relates to the associating device that detects the moving object existing in the wide monitoring area. First, the same thing can be recognized as the same thing and can be managed centrally.
【００８８】以上、本実施の形態による広域監視装置で
は、管理動物体と画像動物体の対応付けの計算を対応付
け装置１０６から１０８に分散し、動物体管理装置１０
９では管理動物体の更新と新たな生成、及び管理動物体
の現在位置の予測のみを行うため、処理の負荷が分散さ
れる。さらに、動物体情報ルーティング装置により管理
動物体の予測現在位置に対応する対応付け装置にのみ管
理動物体の情報を送信して対応付けを行うため、無駄な
対応付け処理が行われないため処理の負荷が軽減される
とともに、通信量も削減される。As described above, in the wide area monitoring apparatus according to the present embodiment, the calculation of the correspondence between the managed moving object and the image moving object is distributed to the associating devices 106 to 108, and the moving object managing device 10
In 9, only the update and new generation of the management moving object and the prediction of the current position of the management moving object are performed, so that the processing load is dispersed. Further, since the moving object information routing device transmits the information of the managed moving object only to the associating device corresponding to the predicted current position of the managed moving object to perform the association, useless association processing is not performed. The load is reduced, and the traffic is reduced.
【００８９】（実施の形態３）図８は、本発明の実施の
形態３による広域監視システムの構成図である。図８に
おいて、１４０から１４２は中域監視装置、１４４は中
域監視装置１４０から１４２で検出した第１の動物体を
統合し、同一の動物体は同一の動物体として第２の動物
体として管理する動物体統合処理装置である。１４３
は、中域監視装置１４０から１４２と動物体統合処理装
置１４４の間の通信を仲介するローカルエリアネットワ
ーク（ＬＡＮ）である。１４５は広域監視装置１４０か
ら１４２と動物体統合処理装置１４４とからなる広域監
視装置である。また、１４６及び１４７は広域監視装置
１４５と同様の構成の広域監視装置である。１４９は広
域監視装置１４５から１４７で検出した第２の動物体を
統合し、同一の動物体は同一の動物体として第３の動物
体として管理する動物体統合管理装置である。１４８
は、広域監視装置１４５から１４７と動物体統合管理装
置１４９の間の通信を仲介するワイドエリアネットワー
ク（ＷＡＮ）である。(Embodiment 3) FIG. 8 is a configuration diagram of a wide area monitoring system according to Embodiment 3 of the present invention. In FIG. 8, reference numerals 140 to 142 denote the mid-range monitoring devices, and 144 denotes a case where the first moving objects detected by the mid-range monitoring devices 140 to 142 are integrated, and the same moving object is the same as the second moving object. It is a moving object integrated processing device to be managed. 143
Is a local area network (LAN) that mediates communication between the mid-range monitoring devices 140 to 142 and the moving object integrated processing device 144. Reference numeral 145 denotes a wide area monitoring device including the wide area monitoring devices 140 to 142 and the moving object integrated processing device 144. Reference numerals 146 and 147 denote wide area monitoring apparatuses having the same configuration as the wide area monitoring apparatus 145. Reference numeral 149 denotes a moving object integrated management device that integrates the second moving objects detected by the wide area monitoring devices 145 to 147, and manages the same moving object as the same moving object as a third moving object. 148
Is a wide area network (WAN) that mediates communication between the wide area monitoring devices 145 to 147 and the moving object integrated management device 149.
【００９０】以下、本実施の形態における広域監視シス
テムの動作を説明する。中域監視装置１４０から１４２
は、実施の形態２の広域監視装置と同様に動作し、多数
台の映像入力装置から入力された映像から第１の動物体
を抽出し、その第１の動物体の各フレーム時刻における
実空間位置と平均ＲＧＢ値をＬＡＮ１４３を介して出力
する。そして動物体統合処理装置１４４は、上記第１の
動物体の実空間位置と平均ＲＧＢ値をＬＡＮ１４３を介
して受け取り、実施の形態１の動物体統合処理装置１１
と同様な処理で、中域監視装置１４０から１４２の監視
エリアを含むより広域の監視エリアに存在する動物体
を、同一の動物体は同一の動物体として同定し第２の動
物体として管理する。さらに、動物体統合処理装置１４
４は、第２の動物体の各フレーム時刻における実空間位
置と平均ＲＧＢ値をＷＡＮ１４８を介して出力する。The operation of the wide area monitoring system according to the present embodiment will be described below. Mid-range monitoring devices 140 to 142
Operates in the same manner as the wide area monitoring device of the second embodiment, extracts a first moving object from images input from a large number of image input devices, and extracts a real space at each frame time of the first moving object. The position and the average RGB value are output via the LAN 143. Then, the moving object integrated processing device 144 receives the real space position and the average RGB value of the first moving object via the LAN 143, and receives the moving object integrated processing device 11 of the first embodiment.
In the same processing as described above, the moving object existing in the wider monitoring area including the monitoring area of the middle range monitoring devices 140 to 142 is identified as the same moving object with the same moving object, and is managed as the second moving object. . Furthermore, the moving object integrated processing device 14
4 outputs the real space position and the average RGB value at each frame time of the second moving object via the WAN 148.
【００９１】次に、動物体統合管理装置１４９は、広域
監視装置１４５から１４７からＷＡＮ１４８を介して第
２の動物体の実空間位置と平均ＲＧＢ値を受け取り、実
施の形態１の動物体統合処理装置１１と同様な処理で、
広域監視装置１４５から１４７の監視エリアを含むさら
に広域の監視エリアに存在する動物体を、同一の動物体
は同一の動物体として同定し第３の動物体として管理す
る。Next, the moving object integrated management device 149 receives the real space position and the average RGB value of the second moving object from the wide area monitoring devices 145 to 147 via the WAN 148, and performs the moving object integrated processing according to the first embodiment. In the same process as the device 11,
The moving object existing in the monitoring area of the wider area including the monitoring area of the wide area monitoring devices 145 to 147 is identified as the same moving object and managed as the third moving object.
【００９２】以上のようにして本実施の形態における広
域監視システムでは、各監視エリアにおける情報を各広
域監視装置の内部にとどめて処理の分散と通信量の削減
を行い、もって多数台の映像入力装置を用いても処理時
間と装置間の通信量が急激に増加しないようにしてい
る。また、広域監視装置を階層的に分けて管理すること
により、映像入力装置の追加や広域監視装置の追加等が
影響を与える範囲を最小限にし、もってシステムの把握
や修正に柔軟に対応できるようにしている。As described above, in the wide area monitoring system according to the present embodiment, the information in each monitoring area is kept inside each wide area monitoring device to distribute processing and reduce the amount of communication. Even if a device is used, the processing time and the traffic between the devices are prevented from increasing rapidly. Also, by managing the wide-area monitoring devices in a hierarchical manner, the range that the addition of video input devices and the addition of wide-area monitoring devices, etc., will have is minimized, so that it is possible to flexibly respond to system understanding and modification. I have to.
【００９３】なお、本実施の形態では、中域監視装置１
４０から１４２に第２の実施の形態における広域監視装
置を用いているが、第１の実施の形態の広域監視装置を
用いてもよいし、その他の形態の広域監視装置を混在し
て用いてもよい。In this embodiment, the mid-range monitoring device 1
Although the wide area monitoring device according to the second embodiment is used for 40 to 142, the wide area monitoring device according to the first embodiment may be used, or the wide area monitoring device according to another embodiment may be used in combination. Is also good.
【００９４】また、本実施の形態では、広域監視システ
ムを３層に分けて管理しているが、４層以上の構成とし
てもよい。Further, in this embodiment, the wide area monitoring system is managed in three layers, but may be configured in four or more layers.
【００９５】また、本実施の形態では、広域監視装置１
４６、１４７を広域監視装置１４５と同様の構成として
いるが、例えば広域監視装置１４６は第１の実施の形態
の広域監視装置にし、広域監視装置１４７は第２の実施
の形態の広域監視装置にするという構成としてもよい。In this embodiment, the wide area monitoring device 1
46 and 147 have the same configuration as the wide area monitoring device 145. For example, the wide area monitoring device 146 is the wide area monitoring device of the first embodiment, and the wide area monitoring device 147 is the same as the wide area monitoring device of the second embodiment. It may be configured to do so.
【００９６】[0096]
【発明の効果】以上のように本発明によれば第１に、多
数台のビデオカメラなどの映像入力装置を用いても処理
時間と装置間の通信量が急激に増加しないという有利な
効果が得られる。As described above, according to the present invention, first, there is an advantageous effect that the processing time and the communication volume between the devices do not increase sharply even when a plurality of video input devices such as video cameras are used. can get.
【００９７】第２に、多数台の映像入力装置を階層的に
管理し、システムの把握が容易でかつ修正に柔軟に対応
できるという有利な効果が得られる。Secondly, there is an advantageous effect that many video input devices are hierarchically managed, the system can be easily grasped, and the correction can be flexibly performed.
【図１】本発明の実施の形態１における広域監視装置の
構成図FIG. 1 is a configuration diagram of a wide-area monitoring device according to a first embodiment of the present invention.
【図２】本発明の実施の形態１における広域監視装置の
画像処理装置のブロック図FIG. 2 is a block diagram of an image processing device of the wide area monitoring device according to the first embodiment of the present invention.
【図３】本発明の実施の形態１における広域監視装置の
統合処理装置のブロック図FIG. 3 is a block diagram of an integrated processing device of the wide area monitoring device according to the first embodiment of the present invention;
【図４】本発明の実施の形態１における広域監視装置の
動物体統合処理装置のブロック図FIG. 4 is a block diagram of a moving object integrated processing device of the wide area monitoring device according to the first embodiment of the present invention;
【図５】本発明の実施の形態２における広域監視装置の
構成図FIG. 5 is a configuration diagram of a wide area monitoring device according to a second embodiment of the present invention.
【図６】本発明の実施の形態２における広域監視装置の
対応付け装置のブロック図FIG. 6 is a block diagram of an associating device of the wide area monitoring device according to the second embodiment of the present invention;
【図７】本発明の実施の形態２における広域監視装置の
動物体管理装置のブロック図FIG. 7 is a block diagram of a moving object management device of the wide area monitoring device according to the second embodiment of the present invention.
【図８】本発明の実施の形態３における広域監視システ
ムの構成図FIG. 8 is a configuration diagram of a wide area monitoring system according to a third embodiment of the present invention.
【図９】従来の移動物体追跡システムの構成図FIG. 9 is a configuration diagram of a conventional moving object tracking system.
【図１０】従来の移動物体物体監視装置の主要部分のブ
ロック図FIG. 10 is a block diagram of a main part of a conventional moving object monitoring apparatus.
【図１１】従来の分散型監視装置の構成図FIG. 11 is a configuration diagram of a conventional distributed monitoring device.
１ 動物体追跡装置 ２、３、４ 映像入力装置 ５、６、７ 画像処理装置 ８ 統合処理装置 ９ 動物体追跡装置 １０ 動物体追跡装置 １１ 動物体統合処理装置 ２０ Ａ／Ｄ変換器 ２１、２２ 画像メモリ ２３ 差分計算部 ２４ ラベリング部 ２５ 特徴量計算部 ２６ 通信Ｉ／Ｆ ３０、４０ 動物体情報管理部 ３１、４１ 動物体情報予測部 ３２、４２ 対応付け決定部 ３３、４３ 動物体生成部 ３４、４４ 動物体更新部 ３５ 通信ネットワーク １００、１０１、１０２ 映像入力装置 １０３、１０４、１０５ 画像処理装置 １０６、１０７、１０８ 対応付け装置 １０９ 動物体管理装置 １１０ 動物体情報ルーティング装置 １２０ 通信ネットワーク １２１ 類似度計算部 １２２ 対応付け決定部 １３０ 動物体情報予測部 １３１ 動物体更新部 １３２ 動物体生成部 １３３ 動物体情報管理部 １４０、１４１、１４２ 中域監視装置 １４３ ローカルエリアネットワーク １４４ 動物体統合処理装置 １４５、１４６、１４７ 広域監視装置 １４８ ワイドエリアネットワーク １４９ 動物体統合管理装置 Reference Signs List 1 moving object tracking device 2, 3, 4 video input device 5, 6, 7 image processing device 8 integrated processing device 9 moving object tracking device 10 moving object tracking device 11 moving object integrated processing device 20 A / D converter 21, 22 Image memory 23 Difference calculation unit 24 Labeling unit 25 Feature amount calculation unit 26 Communication I / F 30, 40 Moving object information management unit 31, 41 Moving object information prediction unit 32, 42 Correlation determination unit 33, 43 Moving object generation unit 34 , 44 moving object updating unit 35 communication network 100, 101, 102 video input device 103, 104, 105 image processing device 106, 107, 108 associating device 109 moving object management device 110 moving object information routing device 120 communication network 121 similarity Calculation unit 122 association determination unit 130 moving object information prediction unit 131 moving object update unit 132 Object generation unit 133 moving object information management unit 140, 141, 142 midrange monitoring device 143 local area network 144 animal body consolidated processing device 145, 146, 147 wide area monitoring device 148 wide area network 149 animal body integrated management apparatus
───────────────────────────────────────────────────── フロントページの続き (72)発明者 中 基孫 神奈川県川崎市多摩区東三田３丁目10番１ 号 松下技研株式会社内 ──────────────────────────────────────────────────続 き Continued on the front page (72) Inventor Chuo, Matsushita Giken Co., Ltd. 3-1-1 Higashi-Mita, Tama-ku, Kawasaki-shi, Kanagawa
Claims (5)
から動物体を検出及び追跡するＮ台の動物体追跡装置
と、前記Ｎ台の動物体追跡装置で検出した動物体を統合
し同一の動物体を同定するとともに動物体を管理する動
物体統合処理装置とを具備することを特徴とする広域監
視装置。At least one moving object tracking device that acquires one or more images and detects and tracks a moving object from the image is integrated with the moving objects detected by the N moving object tracking devices. And a moving object integrated processing device for identifying the moving object and managing the moving object.
Ｍ台の映像入力装置と、前記Ｍ台の映像入力装置で取得
した映像からそれぞれ動物体とその特徴量を検出するＭ
台の画像処理装置と、前記Ｍ台の画像処理装置で検出さ
れた動物体から各時刻における動物体の位置とその特徴
量を算出する統合処理装置とを有することを特徴とする
請求項１記載の広域監視装置。2. A part or all of a moving object tracking device,
M image input devices, and M for detecting a moving object and its characteristic amount from images acquired by the M image input devices, respectively.
2. The image processing apparatus according to claim 1, further comprising: an image processing apparatus; and an integrated processing apparatus that calculates a position of the moving object at each time from the moving objects detected by the M image processing apparatuses and a characteristic amount thereof. Wide area monitoring equipment.
入力装置で取得した映像から第１の動物体及びその特徴
量をそれぞれ計算するＬ台の画像処理装置と、前記Ｌ台
の画像処理装置の出力である第１の動物体及びその特徴
量と送信されてきた第２の動物体の情報とを対応付ける
Ｌ台の対応付け装置と、前記Ｌ台の映像入力手段で撮像
しているエリアを含む監視エリアに存在する動物体の情
報を管理し必要に応じて第２の動物体の情報として出力
する動物体管理装置と、前記動物体管理装置の出力であ
る第２の動物体の情報からその第２の動物体を撮像して
いる可能性のある前記映像入力装置に接続された前記対
応付け装置を選択しそこに第２の動物体の情報を送信す
る動物体情報ルーティング装置とからなり、動物体管理
装置が前記Ｌ台の対応付け装置からの対応付け結果と対
応付けられた第１の動物体及びその特徴量とから第２の
動物体の情報を更新することにより動物体の検出及び追
跡を行うことを特徴とする広域監視装置。3. An L image input device, an L image processing device that calculates a first moving object and a feature amount thereof from images acquired by the L image input devices, respectively, An L number of associating devices for associating the first moving object and its characteristic amount, which are outputs of the image processing device, with the transmitted information of the second moving object, and an image taken by the L image input means. A moving object management device that manages information on a moving object existing in a monitoring area including an area in which the moving object is located, and outputs the information as a second moving object as needed, and a second moving object that is an output of the moving object management device. A moving object information routing device that selects the associating device connected to the video input device which may be capturing the second moving object from the information of the moving object information and transmits information of the second moving object thereto And the moving object management device is a pair of the L units. Detecting and tracking the moving object by updating the information of the second moving object from the first moving object and the characteristic amount thereof associated with the association result from the associating device; Monitoring device.
装置である動物体追跡装置と、前記複数台の動物体追跡
装置で検出した動物体を統合し同一の動物体を同定する
とともに動物体を管理する動物体統合処理装置とを具備
することを特徴とする広域監視システム。4. A moving object tracking device, which is part or all of the wide area monitoring device according to claim 3, and the moving objects detected by the plurality of moving object tracking devices are integrated to identify the same moving object, and A wide-area monitoring system, comprising: an integrated animal processing apparatus for managing a body.
域監視装置である動物体追跡装置と、前記複数台の動物
体追跡装置で検出した動物体を統合し同一の動物体を同
定するとともに動物体を管理する動物体統合処理装置と
を具備することを特徴とする広域監視システム。5. A moving object tracking device which is a wide area monitoring device according to claim 1 or 4 and a moving object detected by said plurality of moving object tracking devices are integrated to identify the same moving object. A wide-area monitoring system comprising: a moving object integrated processing device for managing the moving object.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16223497A JP3577895B2 (en) | 1997-06-19 | 1997-06-19 | Wide area monitoring device and wide area monitoring system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16223497A JP3577895B2 (en) | 1997-06-19 | 1997-06-19 | Wide area monitoring device and wide area monitoring system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1115981A true JPH1115981A (en) | 1999-01-22 |
| JP3577895B2 JP3577895B2 (en) | 2004-10-20 |
Family
ID=15750529
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP16223497A Expired - Lifetime JP3577895B2 (en) | 1997-06-19 | 1997-06-19 | Wide area monitoring device and wide area monitoring system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3577895B2 (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11120363A (en) * | 1997-10-09 | 1999-04-30 | Matsushita Electric Ind Co Ltd | Moving object detection method |
| WO2001048724A1 (en) * | 1999-12-27 | 2001-07-05 | Sumitomo Electric Industries, Ltd. | Image processing apparatus, image processing method, and vehicle monitoring system |
| JP2001229479A (en) * | 2000-02-15 | 2001-08-24 | Victor Co Of Japan Ltd | Monitor camera system |
| US7340078B2 (en) | 2003-10-08 | 2008-03-04 | Hitachi, Ltd. | Multi-sensing devices cooperative recognition system |
| WO2011001514A1 (en) * | 2009-06-30 | 2011-01-06 | 株式会社 日立製作所 | Image analysis device and image analysis program |
| JP2012226583A (en) * | 2011-04-20 | 2012-11-15 | Canon Inc | Image processor, image processing system and image processing method |
| JP2013218384A (en) * | 2012-04-04 | 2013-10-24 | Canon Inc | Image processing apparatus, control method for image processing apparatus, and program |
| CN111507161A (en) * | 2019-01-31 | 2020-08-07 | 斯特拉德视觉公司 | Method and apparatus |
-
1997
- 1997-06-19 JP JP16223497A patent/JP3577895B2/en not_active Expired - Lifetime
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11120363A (en) * | 1997-10-09 | 1999-04-30 | Matsushita Electric Ind Co Ltd | Moving object detection method |
| WO2001048724A1 (en) * | 1999-12-27 | 2001-07-05 | Sumitomo Electric Industries, Ltd. | Image processing apparatus, image processing method, and vehicle monitoring system |
| JP2001229479A (en) * | 2000-02-15 | 2001-08-24 | Victor Co Of Japan Ltd | Monitor camera system |
| US7340078B2 (en) | 2003-10-08 | 2008-03-04 | Hitachi, Ltd. | Multi-sensing devices cooperative recognition system |
| WO2011001514A1 (en) * | 2009-06-30 | 2011-01-06 | 株式会社 日立製作所 | Image analysis device and image analysis program |
| JP5355691B2 (en) * | 2009-06-30 | 2013-11-27 | 株式会社日立製作所 | Image analysis apparatus and image analysis program |
| JP2012226583A (en) * | 2011-04-20 | 2012-11-15 | Canon Inc | Image processor, image processing system and image processing method |
| JP2013218384A (en) * | 2012-04-04 | 2013-10-24 | Canon Inc | Image processing apparatus, control method for image processing apparatus, and program |
| CN111507161A (en) * | 2019-01-31 | 2020-08-07 | 斯特拉德视觉公司 | Method and apparatus |
| JP2020126622A (en) * | 2019-01-31 | 2020-08-20 | 株式会社ストラドビジョンＳｔｒａｄｖｉｓｉｏｎ，Ｉｎｃ． | Learning method and learning device for heterogeneous sensor fusion by using merging network which learns non-maximum suppression |
| CN111507161B (en) * | 2019-01-31 | 2023-08-04 | 斯特拉德视觉公司 | Method and device for heterogeneous sensor fusion by utilizing merging network |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3577895B2 (en) | 2004-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI435279B (en) | Monitoring system, image capturing apparatus, analysis apparatus, and monitoring method | |
| US9936170B2 (en) | View handling in video surveillance systems | |
| US6940998B2 (en) | System for automated screening of security cameras | |
| US9129397B2 (en) | Human tracking method and apparatus using color histogram | |
| US10691969B2 (en) | Asynchronous object ROI detection in video mode | |
| US20170311013A1 (en) | Integrated intelligent server based system for unified multiple sensory data mapped imagery analysis | |
| CN105957110A (en) | Equipment and method used for detecting object | |
| KR101773127B1 (en) | Image analysis system and integrated control system capable of performing effective image searching/analyzing and operating method thereof | |
| CN111091584B (en) | Target tracking method, device, equipment and storage medium | |
| CN110557603B (en) | Method and device for monitoring moving target and readable storage medium | |
| CN111770306A (en) | Scene monitoring method and device, computer equipment and storage medium | |
| CN111553947A (en) | Target object positioning method and device | |
| JP3577895B2 (en) | Wide area monitoring device and wide area monitoring system | |
| WO2022095818A1 (en) | Methods and systems for crowd motion summarization via tracklet based human localization | |
| US11727580B2 (en) | Method and system for gathering information of an object moving in an area of interest | |
| JP7107596B2 (en) | Station monitoring system and station monitoring method | |
| JP2003109001A (en) | System and program for detecting person | |
| WO2020027511A1 (en) | Method for generating syntax-based heat-map for compressed image | |
| JP7146416B2 (en) | Information processing device, information processing system, information processing method, and program | |
| JP3758511B2 (en) | Object detection apparatus and object detection program | |
| KR20200013335A (en) | method of controlling object tracking of PTZ camera by use of syntax data in compressed video | |
| CN111708907B (en) | Target person query method, device, equipment and storage medium | |
| WO2022243337A9 (en) | System for detection and management of uncertainty in perception systems, for new object detection and for situation anticipation | |
| WO2020039898A1 (en) | Station monitoring device, station monitoring method and program | |
| US20230222692A1 (en) | Systems and methods for sharing analytical resources in a camera network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040206 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040316 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040422 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040622 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040705 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070723 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080723 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090723 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090723 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100723 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110723 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110723 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120723 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120723 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130723 Year of fee payment: 9 |
|
| EXPY | Cancellation because of completion of term |