JP2021119469A - Monitoring system - Google Patents
Monitoring system Download PDFInfo
- Publication number
- JP2021119469A JP2021119469A JP2021059552A JP2021059552A JP2021119469A JP 2021119469 A JP2021119469 A JP 2021119469A JP 2021059552 A JP2021059552 A JP 2021059552A JP 2021059552 A JP2021059552 A JP 2021059552A JP 2021119469 A JP2021119469 A JP 2021119469A
- Authority
- JP
- Japan
- Prior art keywords
- fire
- learning
- detector
- input
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Burglar Alarm Systems (AREA)
- Alarm Systems (AREA)
- Fire Alarms (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、火災感知器や人感センサ等のセンサやカメラで撮像した画像等のデータからニューラルネットワークにより異常を判断して警報させる監視システムに関する。 The present invention relates to a monitoring system that determines an abnormality by a neural network from data such as a sensor such as a fire detector or a motion sensor or an image captured by a camera and gives an alarm.
従来、煙感知器や熱感知器など、特定の物理量を監視するセンサを用いて、火災を検出するシステムが実用化されている。 Conventionally, a system for detecting a fire using a sensor that monitors a specific physical quantity such as a smoke detector or a heat detector has been put into practical use.
一方、監視カメラで撮像した監視領域の画像に対し画像処理を施すことにより、火災を検知するようにした様々な装置やシステムが提案されている。 On the other hand, various devices and systems have been proposed in which a fire is detected by performing image processing on an image of a surveillance area captured by a surveillance camera.
また、人感センサや監視カメラを用いて侵入や犯罪行為の監視を行うなど、防犯分野に於いても様々な装置やシステムが提案されている。 In addition, various devices and systems have been proposed in the field of crime prevention, such as monitoring intrusions and criminal acts using motion sensors and surveillance cameras.
このような防災、防犯に関するシステムにあっては、異常に対する初期対応の観点から異常の早期発見が重要である。 In such a system related to disaster prevention and crime prevention, early detection of anomalies is important from the viewpoint of initial response to anomalies.
このため従来装置(特許文献1)にあっては、画像から火災に伴う煙により起きる現象として、透過率又はコントラストの低下、輝度値の特定値への収束、輝度分布範囲が狭まって輝度の分散の低下、煙による輝度の平均値の変化、エッジの総和量の低下、低周波帯域の強度増加を導出し、これらを総合的に判断して煙の検出を可能としている。 For this reason, in the conventional device (Patent Document 1), as phenomena caused by smoke accompanying a fire from an image, a decrease in transmittance or contrast, a convergence of a brightness value to a specific value, and a narrowing of the brightness distribution range to disperse the brightness. The decrease in brightness, the change in the average brightness due to smoke, the decrease in the total amount of edges, and the increase in intensity in the low frequency band are derived, and these are comprehensively judged to enable smoke detection.
しかしながら、特定の物理量を監視するセンサを用いた防災、防犯に関するシステムは、火災でない事象により監視基準が満たされた場合でも火災とみなすことや、人感センサを回避することで侵入を見抜けないなど、正しく異常を判別できない問題があった。 However, disaster prevention and crime prevention systems that use sensors that monitor specific physical quantities can be regarded as a fire even if the monitoring standards are met due to a non-fire event, and intrusion cannot be detected by avoiding motion sensors. , There was a problem that the abnormality could not be determined correctly.
また、従来の火災に伴う煙の画像から火災を検知する火災監視システムにあっては、煙の画像における透過率、コントラスト、エッジ等の煙の特徴量を予め定め、監視カメラで撮像した画像を処理することで煙による特徴を生成しなければならず、火災による煙の発生状況は多種多様であり、その中に煙としてどのような特徴があるかを見出すことは極めて困難であり、決め手となる特徴がなかなか見いだせないため、監視画像から火災による煙を精度良く判断して火災警報を出力する火災監視システムは実用化の途上にある。 Further, in a conventional fire monitoring system that detects a fire from an image of smoke associated with a fire, the characteristics of smoke such as transmission rate, contrast, and edge in the smoke image are determined in advance, and the image captured by the surveillance camera is used. It is necessary to generate smoke characteristics by processing, and there are various situations of smoke generation due to fire, and it is extremely difficult to find out what characteristics smoke has in it, which is a decisive factor. Since it is difficult to find the characteristic, a fire monitoring system that accurately judges smoke caused by a fire from a monitoring image and outputs a fire alarm is in the process of being put into practical use.
また、監視カメラにより侵入や犯罪行為を監視するシステムにあっては、実用化はなされているものの、現場の明暗等の状況により監視精度が左右されるなど、改善の余地がある。 In addition, although a system for monitoring intrusions and criminal acts with a surveillance camera has been put into practical use, there is room for improvement such that the monitoring accuracy depends on the conditions such as the brightness of the site.
一方、近年にあっては、例えば多数の猫と犬の画像にラベル付けをし、それを畳み込みニューラルネットワークを備えた多層式のニューラルネットワークに学習させ、所謂ディープラーニングを行い、新たな画像を学習済みの多層式のニューラルネットワークに提示し、それが猫なのか犬なのかを判定する技術が開示されている。 On the other hand, in recent years, for example, a large number of images of cats and dogs are labeled, and they are trained by a multi-layer neural network equipped with a convolutional neural network, so-called deep learning is performed, and new images are learned. A technique for presenting to a pre-existing multi-layer neural network and determining whether it is a cat or a dog is disclosed.
また、ディープラーニングは画像解析のみにとどまらず、自然言語処理や行動解析等に用いることが検討されている。 Further, deep learning is being studied to be used not only for image analysis but also for natural language processing and behavior analysis.
このような多層式のニューラルネットワークを、火災感知器や人感センサに代表されるセンサから得られる物理量、検出結果や監視カメラで撮像した監視領域の画像を入力情報とし、入力情報から異常を判断する判定装置に設け、学習時においては多数の異常時及び非異常時の入力情報を準備して多層式のニューラルネットワークに学習させ、監視時においては入力情報を学習済みの多層式のニューラルネットワークに入力すれば、その出力から異常か否かを高い精度で推定して警報を出力させる異常監視システムが構築可能となる。 Using such a multi-layered neural network as input information, the physical quantity obtained from sensors such as fire detectors and human sensor, the detection result, and the image of the monitoring area captured by the surveillance camera are used as input information, and an abnormality is determined from the input information. A large number of input information at the time of abnormality and non-abnormality are prepared and trained by a multi-layered neural network at the time of learning, and the input information is made into a trained multi-layered neural network at the time of monitoring. If input, it is possible to construct an abnormality monitoring system that estimates whether or not there is an abnormality from the output with high accuracy and outputs an alarm.
この場合、異常監視システムの製造段階で予め準備された多数の異常時及び非異常時の入力情報を教師ありの学習情報として多層式のニューラルネットワークの学習を行い、学習の済んだ多層式のニューラルネットワークを備えた判定装置を、監視する施設に設置し、監視領域に設置している火災感知器や人感センサ等のセンサデータやカメラで撮像した画像を判定装置に入力して異常を監視することになる。 In this case, the multi-layer neural network is trained by using a large number of input information at the time of abnormality and non-abnormality prepared in advance at the manufacturing stage of the abnormality monitoring system as learning information with a teacher, and the trained multi-layer neural network is used. A judgment device equipped with a network is installed in the monitoring facility, and sensor data such as fire detectors and human sensor installed in the monitoring area and images captured by the camera are input to the judgment device to monitor abnormalities. It will be.
しかしながら、製造段階で行われる多層式のニューラルネットワークの学習は実際の監視領域で取得したデータではなく、標準的に準備された入力情報を使用した学習となり、現地のセンサや監視カメラで入力される実際の物理量や監視画像を入力した場合に十分に高い精度で異常を推定することができない可能性が残る。 However, the learning of the multi-layer neural network performed at the manufacturing stage is not the data acquired in the actual monitoring area, but the learning using the input information prepared as standard, and is input by the local sensor or surveillance camera. When the actual physical quantity or surveillance image is input, there is a possibility that the abnormality cannot be estimated with sufficiently high accuracy.
また、現場環境に応じて通常時、異常時の状況は異なる。単一の現場環境で学習を行った場合、現場環境が変化することで異常の検出精度が低下してしまう恐れがある。現場環境の変化にも対応可能な異常検出器とするため、様々な現場環境で学習を行うことにより、異常の共通要素を検出する学習が必要とされている。 In addition, the situation during normal times and abnormal times differs depending on the site environment. When learning is performed in a single field environment, the accuracy of abnormality detection may decrease due to changes in the field environment. In order to make it an anomaly detector that can respond to changes in the on-site environment, it is necessary to learn to detect common elements of anomalies by learning in various on-site environments.
本発明は、監視領域に適合した異常時及びまたは非異常時の入力情報により多層式のニューラルネットワークを効率良く学習させ、環境の変化にも対応可能であり、異常の判定精度を向上可能とする監視システムを提供することを目的とする。 INDUSTRIAL APPLICABILITY According to the present invention, a multi-layer neural network can be efficiently learned by input information at an abnormal time and / or a non-abnormal time suitable for a monitoring area, and it is possible to respond to changes in the environment, and it is possible to improve the abnormality determination accuracy. The purpose is to provide a monitoring system.
(学習データの収集と異常検出器外での学習)
本発明は、多層式ニューラルネットワークによって構成される異常検出器を用いて、入力情報に基づき監視領域の異常を検出する監視システムに於いて、
各異常検出器の入力情報を学習情報として収集する学習情報蓄積部と、
学習情報蓄積部に収集された学習情報を用いて、異常検出器とは別に設けられ異常検出器の多層式ニューラルネットワークと同じ構成の多層式ニューラルネットワークを学習させ、当該学習済みの多層式ニューラルネットワーク又は当該学習により変更された多層式ニューラルネットワークのパラメータに異常検出器の多層式ニューラルネットワーク又は多層式ニューラルネットワークのパラメータを更新させる学習制御部と、
が設けられ、
多層式ニューラルネットワークの学習は、類似環境の異常検出器の入力情報に基づく学習情報毎に行われることを特徴とする。
(Collecting training data and learning outside the anomaly detector)
The present invention is a monitoring system that detects anomalies in a monitoring area based on input information using an anomaly detector configured by a multi-layer neural network.
A learning information storage unit that collects input information from each anomaly detector as learning information,
Using the learning information collected in the learning information storage unit, a multi-layer neural network provided separately from the anomaly detector and having the same configuration as the multi-layer neural network of the anomaly detector is trained, and the learned multi-layer neural network is trained. Alternatively, a learning control unit that updates the parameters of the multi-layer neural network or the multi-layer neural network of the anomaly detector to the parameters of the multi-layer neural network changed by the learning.
Is provided,
The learning of the multi-layer neural network is characterized in that it is performed for each learning information based on the input information of the anomaly detector in a similar environment.
(学習データの収集と異常検出器での学習)
各異常検出器の入力情報を学習情報として収集する学習情報蓄積部と、
学習情報蓄積部に収集された他の異常検出器の入力情報に基づく学習情報を含んだ学習情報を用いて、各異常検出器の多層式ニューラルネットワークをディープラーニングにより学習させる学習制御部と、
が設けられたことを特徴とする。
(Collecting training data and learning with anomaly detector)
A learning information storage unit that collects input information from each anomaly detector as learning information,
A learning control unit that learns a multi-layer neural network of each abnormality detector by deep learning using learning information including learning information based on input information of other abnormality detectors collected in the learning information storage unit.
Is provided.
(類似環境での学習)
多層式ニューラルネットワークの学習は、類似環境の他の異常検出器の入力情報に基づく学習情報を含んだ学習情報を用いて行われることを特徴とする。
(Learning in a similar environment)
Learning of a multi-layer neural network is characterized by using learning information including learning information based on input information of other anomaly detectors in a similar environment.
(入力情報)
センサにより検出された物理量及び又は、撮像部により撮像された監視領域の画像を入力情報とする。
(Input information)
The physical quantity detected by the sensor and / or the image of the monitoring area captured by the imaging unit are used as input information.
(学習情報)
学習情報蓄積部は、異常を監視している受信機による監視結果に対応した各異常検出器の入力情報を学習情報として収集する。
(Learning information)
The learning information storage unit collects the input information of each abnormality detector corresponding to the monitoring result by the receiver monitoring the abnormality as learning information.
(火災監視)
学習情報蓄積部は、火災感知器により火災を監視している火災受信機による監視結果に対応した各火災検出器の入力情報を学習情報として収集する。
(Fire monitoring)
The learning information storage unit collects input information of each fire detector corresponding to the monitoring result by the fire receiver that monitors the fire by the fire detector as learning information.
(火災発報の所定時間前からの火災学習情報の収集)
学習情報蓄積部は、火災受信機により火災感知器の火災発報に基づく火災移報信号が入力された後に火災断定操作に基づく火災断定移報信号が入力された場合、所定時間前から火災移報信号の入力時までの各火災検出器の入力情報を火災の学習情報として収集する。
(Collection of fire learning information from a predetermined time before the fire is announced)
If the fire receiver inputs the fire transfer signal based on the fire alarm of the fire detector and then the fire determination signal based on the fire assertion operation is input, the learning information storage unit transfers the fire from a predetermined time before. The input information of each fire detector up to the time of input of the alarm signal is collected as fire learning information.
(火災予兆レベル超えからの火災学習情報の収集)
火災感知器は温度又は煙濃度を検出して検出アナログ値を火災受信機に送って火災を判断させ、
学習情報蓄積部は、検出アナログ値が所定の火災判断レベルに達し、火災受信機により火災感知器の火災発報に基づく火災移報信号が入力された後に火災断定操作に基づく火災断定移報信号が入力された場合、検出アナログ値が火災判断レベルより低い所定の火災予兆レベルを超えたときから火災移報信号の入力時までの各火災検出器の入力情報を火災の学習情報として収集する。
(Collecting fire learning information from exceeding the fire sign level)
The fire detector detects the temperature or smoke concentration and sends the detected analog value to the fire receiver to judge the fire.
In the learning information storage unit, after the detection analog value reaches a predetermined fire judgment level and a fire transfer signal based on the fire alarm of the fire detector is input by the fire receiver, the fire determination transfer signal based on the fire determination operation is input. When is input, the input information of each fire detector from the time when the detection analog value exceeds a predetermined fire sign level lower than the fire judgment level to the time when the fire transfer signal is input is collected as fire learning information.
(火災発報の所定時間前からの非火災学習情報の収集)
学習情報蓄積部は、火災受信機により火災感知器の火災発報に基づく火災移報信号が入力された後に復旧操作に基づく復旧移報信号が入力された場合、所定時間前から火災移報信号の入力時までの各火災検出器の入力情報を非火災の学習情報として収集する。
(Collection of non-fire learning information from a predetermined time before the fire is announced)
When the recovery transfer signal based on the recovery operation is input after the fire transfer signal based on the fire alarm of the fire detector is input by the fire receiver, the learning information storage unit starts the fire transfer signal from a predetermined time before. The input information of each fire detector up to the time of input of is collected as non-fire learning information.
(火災予兆レベル超えからの非火災学習情報の収集)
火災感知器は温度又は煙濃度を検出して検出アナログ値を受信機に送って火災を判断させ、
学習情報蓄積部は、検出アナログ値が所定の火災判断レベルに達し、火災受信機により火災感知器の火災発報に基づく火災移報信号が入力された後に復旧操作に基づく復旧移報信号が入力された場合、検出アナログ値が火災判断レベルより低い所定の火災予兆レベルを超えたときから火災移報信号の入力時までの各火災検出器の入力情報を非火災の学習情報として収集する。
(Collection of non-fire learning information from exceeding the fire sign level)
The fire detector detects the temperature or smoke concentration and sends the detected analog value to the receiver to judge the fire.
In the learning information storage unit, the detection analog value reaches a predetermined fire judgment level, and after the fire receiver inputs the fire transfer signal based on the fire alarm of the fire detector, the recovery transfer signal based on the restoration operation is input. If so, the input information of each fire detector from the time when the detection analog value exceeds a predetermined fire sign level lower than the fire judgment level to the time when the fire transfer signal is input is collected as non-fire learning information.
(監視領域の通常監視画像による初期化学習)
学習情報蓄積部は、火災受信機の通常監視状態の各火災検出器の入力情報を非火災の学習情報として収集する。
(Initialization learning using normal monitoring images in the monitoring area)
The learning information storage unit collects the input information of each fire detector in the normal monitoring state of the fire receiver as non-fire learning information.
(盗難監視)
学習情報蓄積部は、盗難検出器により盗難を監視している盗難受信機による監視結果に対応した各盗難検出器の入力情報を学習情報として収集する。
(Theft monitoring)
The learning information storage unit collects the input information of each theft detector corresponding to the monitoring result by the theft receiver that monitors the theft by the theft detector as learning information.
(基本的な効果)
本発明は、多層式ニューラルネットワークによって構成される異常検出器を用いて、入力情報に基づき監視領域の異常を検出する異常監視システムに於いて、ディープラーニングにより異常検出器を学習させる学習制御部を有するようにしたため、人為的な解析では異常か非異常かが判断できないセンサの出力や監視領域の画像から高い精度で異常を推定して警報可能とする。
(Basic effect)
The present invention provides a learning control unit that learns anomaly detectors by deep learning in an anomaly monitoring system that detects anomalies in the monitoring area based on input information using anomaly detectors composed of a multi-layer neural network. Since it is provided, the abnormality can be estimated with high accuracy from the output of the sensor and the image of the monitoring area, which cannot be determined by artificial analysis as abnormal or non-abnormal, and an alarm can be made.
(学習データの収集と異常検出器外での学習による効果)
また、各異常検出器の入力情報を学習情報として収集する学習情報蓄積部と、学習情報蓄積部に収集された学習情報を用いて、異常検出器とは別に設けられ異常検出器の多層式ニューラルネットワークと同じ構成の多層式ニューラルネットワークを学習させ、当該学習済みの多層式ニューラルネットワーク又は当該学習により変更された多層式ニューラルネットワークのパラメータに異常検出器の多層式ニューラルネットワーク又は多層式ニューラルネットワークのパラメータを更新させる学習制御部と、が設けられ、多層式ニューラルネットワークの学習は、類似環境の異常検出器の入力情報に基づく学習情報毎に行われるため、センサにより検出された物理量又は撮像部により撮像された画像が学習情報として学習情報蓄積部に多数の学習情報が自動的に収集され、収集された多数の学習情報により異常検出器とは別に設けられた多層式ニューラルネットワークの学習が行われ、学習の済んだ多層式ニューラルネットワーク又は当該学習により変更された多層式ニューラルネットワークのパラメータに異常検出器の多層式ニューラルネットワーク又は多層式ニューラルネットワークのパラメータが更新されることで、センサで検出した物理量やカメラで撮像した画像を入力して所定の異常を高い精度で判定可能とする。
(Effects of learning data collection and learning outside the anomaly detector)
In addition, a learning information storage unit that collects input information of each abnormality detector as learning information and a multi-layer neural network of the abnormality detector provided separately from the abnormality detector using the learning information collected in the learning information storage unit. Train a multi-layer neural network with the same configuration as the network, and add the parameters of the trained multi-layer neural network or the multi-layer neural network changed by the training to the parameters of the multi-layer neural network or multi-layer neural network of the anomaly detector. A learning control unit is provided, and learning of the multi-layer neural network is performed for each learning information based on the input information of the abnormality detector in a similar environment. Therefore, the physical quantity detected by the sensor or the imaging unit is used for imaging. A large amount of learning information is automatically collected in the learning information storage unit using the collected images as learning information, and the multi-layer neural network provided separately from the abnormality detector is trained by the collected large number of learning information. By updating the parameters of the multi-layer neural network or multi-layer neural network of the anomaly detector to the parameters of the multi-layer neural network that has been trained or the multi-layer neural network changed by the learning, the physical quantity detected by the sensor and An image captured by the camera is input so that a predetermined abnormality can be determined with high accuracy.
また、学習情報蓄積部に必要な学習画像が自動的に収集され、効率良く多層式ニューラルネットワークを学習できる。 In addition, the learning images required for the learning information storage unit are automatically collected, and the multi-layer neural network can be efficiently learned.
また、異常検出器とは別に設けられた多層式ニューラルネットワークでのディープラーニングにより異常検出器で使用する多層式ニューラルネットワーク又は多層式ニューラルネットワークのパラメータが学習されて更新されるため、人為的な解析では判断できないセンサの出力や監視領域の画像から高い精度で所定の異常を推定して警報可能とする。 In addition, since the parameters of the multi-layer neural network or multi-layer neural network used in the anomaly detector are learned and updated by deep learning in the multi-layer neural network provided separately from the anomaly detector, artificial analysis is performed. It is possible to estimate a predetermined abnormality with high accuracy from the output of the sensor and the image of the monitoring area, which cannot be judged by.
また、個別の異常検出器それぞれで学習を行わず、異常検出器とは別に設けられた多層式ニューラルネットワークで学習するため、学習に必要な計算量を削減することができる。また、学習に必要な計算能力を持つ機器を限定できるため、異常検出器側に高い計算能力を持つ機器を採用しないことを可能にする。 Further, since learning is not performed by each individual abnormality detector and learning is performed by a multi-layer neural network provided separately from the abnormality detector, the amount of calculation required for learning can be reduced. In addition, since the equipment having the computing power required for learning can be limited, it is possible not to adopt the equipment having a high computing power on the anomaly detector side.
(学習データの収集と異常検出器での学習による効果)
また、各異常検出器の入力情報を学習情報として収集する学習情報蓄積部と、学習情報蓄積部に収集された他の異常検出器の入力情報に基づく学習情報を含んだ学習情報を用いて、各異常検出器の多層式ニューラルネットワークをディープラーニングにより学習させる学習制御部と、が設けられたため、センサにより検出された物理量又は撮像部により撮像された画像が学習情報として学習情報蓄積部に多数の学習情報が自動的に収集され、収集された多数の学習情報が各異常検出器で学習に用いられるため、センサで検出した物理量やカメラで撮像した画像を入力して所定の異常を高い精度で判定可能とする。
(Effects of collecting training data and learning with anomaly detectors)
Further, using the learning information storage unit that collects the input information of each abnormality detector as learning information and the learning information including the learning information based on the input information of other abnormality detectors collected in the learning information storage unit, the learning information is used. Since a learning control unit that learns the multi-layered neural network of each abnormality detector by deep learning is provided, a large number of physical quantities detected by the sensor or images captured by the imaging unit are used as learning information in the learning information storage unit. Since the learning information is automatically collected and a large amount of collected learning information is used for learning by each abnormality detector, the physical quantity detected by the sensor and the image captured by the camera are input to detect a predetermined abnormality with high accuracy. Judgment is possible.
また、後述する類似環境毎に異常検出器の学習を行うような場合、環境の種類が増加したときに一箇所で学習しようとすると計算量が膨大になるため、個別で学習を行うことで、負荷を分散することができる。 In addition, when learning anomaly detectors for each similar environment, which will be described later, if you try to learn at one location when the types of environments increase, the amount of calculation will be enormous. The load can be distributed.
(類似環境での学習)
また、多層式ニューラルネットワークの学習は、類似環境の他の異常検出器の入力情報に基づく学習情報を含んだ学習情報を用いて行われるため、環境の特徴を考慮した異常検出器となるように学習可能となる。監視領域の環境に応じて、異常の種類や異常の拡大の仕方が異なり、例えば倉庫、事務所、店舗、工場に環境が分けられるとき、倉庫は侵入等、事務所は火事、店舗は窃盗、工場は事故等、環境に応じた異常の検出が必要となる。また、火災等について、環境によってどのような種類の火災が発生するかが異なる。環境の特徴を考慮した異常検出器とすることで、それぞれの環境で発生しやすい異常について検出精度の高い異常検出を行うことが可能となる。
(Learning in a similar environment)
In addition, since the learning of the multi-layer neural network is performed using the learning information including the learning information based on the input information of other anomaly detectors in a similar environment, the anomaly detector should be an anomaly detector considering the characteristics of the environment. It becomes possible to learn. Depending on the environment of the monitoring area, the type of anomaly and the method of spreading the anomaly differ. Factories need to detect abnormalities such as accidents according to the environment. In addition, regarding fires, the type of fire that occurs differs depending on the environment. By using an anomaly detector that takes into consideration the characteristics of the environment, it is possible to detect anomalies that are likely to occur in each environment with high detection accuracy.
(入力情報による効果)
また、センサにより検出された物理量及び又は、撮像部により撮像された監視領域の画像を入力情報としたため、センサで検出された物理量や撮像部で撮像された監視領域の画像等の入力情報から多数の学習情報を取得して異常検出器の多層式のニューラルネットワークを効率良く学習させることができ、その後、入力情報を学習済みの異常検出器に入力することで、高い精度で異常を推定して警報可能とする。
(Effect of input information)
In addition, since the physical quantity detected by the sensor and / or the image of the monitoring area captured by the imaging unit are used as input information, a large number of input information such as the physical quantity detected by the sensor and the image of the monitoring area captured by the imaging unit are used. It is possible to efficiently learn the multi-layered neural network of the anomaly detector by acquiring the learning information of the above, and then by inputting the input information to the learned anomaly detector, the anomaly is estimated with high accuracy. Allows alarm.
(学習情報による効果)
また、学習情報蓄積部は、異常を監視している受信機による監視結果に対応した各異常検出器の入力情報を学習情報として収集するようにしたため、センサで検出された物理量や撮像部で撮像された監視領域の画像等の入力情報から多数の学習情報を取得して異常検出器に使用する多層式ニューラルネットワークを効率良く学習させることができ、高い精度で異常を推定して警報可能とする。
(Effect of learning information)
In addition, since the learning information storage unit collects the input information of each abnormality detector corresponding to the monitoring result by the receiver monitoring the abnormality as learning information, the physical quantity detected by the sensor and the imaging unit capture the image. It is possible to efficiently learn the multi-layered neural network used for the anomaly detector by acquiring a large amount of learning information from the input information such as the image of the monitored monitoring area, and it is possible to estimate the anomaly with high accuracy and make an alarm. ..
(火災監視による効果)
また、学習情報蓄積部は、火災感知器により火災を監視している火災受信機による監視結果に対応した各異常検出器の入力情報を学習情報として収集するようにしたため、人為的な解析では火災か非火災かが判断できないセンサの出力や監視領域の画像から高い精度で火災を推定して警報可能とする。
(Effect of fire monitoring)
In addition, since the learning information storage unit collects the input information of each abnormality detector corresponding to the monitoring result by the fire receiver that monitors the fire with the fire detector as learning information, the fire is detected by artificial analysis. It is possible to estimate a fire with high accuracy from the output of a sensor that cannot determine whether it is a non-fire or an image of the monitoring area and make an alarm possible.
(火災発報の所定時間前からの火災学習情報の収集による効果)
また、学習情報蓄積部は、火災受信機により火災感知器の火災発報に基づく火災移報信号が入力された後に火災断定操作に基づく火災断定移報信号が入力された場合、所定時間前から火災移報信号の入力時までの各異常検出器の入力情報を火災の学習情報として収集するようにしたため、例えば、火災発報の5分前からの画像を録画装置から読み出して火災の学習情報として学習情報蓄積部に収集した後に学習させる場合、録画画像が30フレーム/秒で録画されていたとすると、5分の録画画像から9000枚の画像が得られ、多数の火災の学習情報による学習が簡単に実現可能となり、監視カメラにより撮像している監視画像からより高い精度で火災を推定して警報可能とする。
(Effect of collecting fire learning information from a predetermined time before the fire is announced)
In addition, when the fire signal is input based on the fire alarm of the fire detector by the fire receiver and then the fire signal is input based on the fire assertion operation, the learning information storage unit starts from a predetermined time before. Since the input information of each abnormality detector up to the time of inputting the fire transfer signal is collected as fire learning information, for example, the image from 5 minutes before the fire alarm is read from the recording device and the fire learning information. Assuming that the recorded image was recorded at 30 frames / second, 9000 images can be obtained from the recorded image of 5 minutes, and learning by learning information of a large number of fires can be performed. It will be easy to realize, and it will be possible to estimate a fire with higher accuracy from the surveillance image captured by the surveillance camera and make an alarm.
この点はセンサにより検出される温度や煙濃度等の物理量についても同様であり、センサの検出信号から高い精度で火災を推定して警報可能とする。 This point also applies to physical quantities such as temperature and smoke concentration detected by the sensor, and it is possible to estimate a fire with high accuracy from the detection signal of the sensor and make an alarm.
(火災予兆レベル超えからの火災学習情報の収集による効果)
また、火災感知器は温度又は煙濃度を検出して検出アナログ値を火災受信機に送って火災を判断させ、学習情報蓄積部は、検出アナログ値が所定の火災判断レベルに達し、火災受信機により火災感知器の火災発報に基づく火災移報信号が入力された後に火災断定操作に基づく火災断定移報信号が入力された場合、検出アナログ値が火災判断レベルより低い所定の火災予兆レベルを超えたときから火災移報信号の入力時までの各異常検出器の入力情報を火災の学習情報として収集するようにしたため、アナログ型の火災感知器により検知している監視領域の温度や煙濃度が、火災判断レベルより低い火災の予兆となる所定の火災予兆レベルに達したときからの火災の学習情報を学習情報蓄積部にアップロードした後に学習することから、火災の初期段階からの火災と判断されるまでの多数の火災による学習情報を収集して学習することができ、火災感知器等のセンサデータや監視カメラにより撮像している監視画像からより高い精度で火災を推定して警報可能とする。
(Effect of collecting fire learning information from exceeding the fire sign level)
In addition, the fire detector detects the temperature or smoke concentration and sends the detected analog value to the fire receiver to judge the fire, and the learning information storage unit reaches the predetermined fire judgment level and the fire receiver. If a fire signal is input based on the fire alarm of the fire detector and then a fire signal is input based on the fire assertion operation, the detection analog value is lower than the fire judgment level. Since the input information of each abnormality detector from the time when the value is exceeded to the time when the fire transfer signal is input is collected as fire learning information, the temperature and smoke concentration in the monitoring area detected by the analog fire detector are collected. However, it is judged to be a fire from the initial stage of the fire because it learns after uploading the learning information of the fire from the time when the predetermined fire sign level, which is a sign of a fire lower than the fire judgment level, is reached to the learning information storage unit. It is possible to collect and learn a large number of learning information from fires until it is fired, and it is possible to estimate a fire with higher accuracy and give an alarm from sensor data such as a fire detector and surveillance images captured by a surveillance camera. do.
(火災発報の所定時間前からの非火災学習情報の収集による効果)
また、学習情報蓄積部は、火災受信機により火災感知器の火災発報に基づく火災移報信号が入力された後に復旧操作に基づく復旧移報信号が入力された場合、所定時間前から火災移報信号の入力時までの各異常検出器の入力情報を非火災の学習情報として収集するようにしたため、例えば、火災発報の5分前からの画像を録画装置から読み出し、学習情報蓄積部に収集して非火災の学習画像として学習させる場合、録画画像が30フレーム/秒で録画されていたとすると、5分の録画画像から9000枚の画像が得られ、多数の非火災の学習画像を収集して学習することができ、監視カメラにより撮像している監視画像からより高い精度で非火災を認識して誤報を確実に防止可能とする。
(Effect of collecting non-fire learning information from a predetermined time before the fire is announced)
In addition, when the recovery signal based on the recovery operation is input after the fire transfer signal based on the fire alarm of the fire detector is input by the fire receiver, the learning information storage unit starts the fire transfer from a predetermined time before. Since the input information of each abnormality detector up to the time of input of the alarm signal is collected as non-fire learning information, for example, the image from 5 minutes before the fire alarm is read from the recording device and stored in the learning information storage unit. When collecting and training as a non-fire learning image, if the recorded image is recorded at 30 frames / second, 9000 images can be obtained from the 5 minute recorded image, and a large number of non-fire learning images are collected. It is possible to recognize non-fire with higher accuracy from the surveillance image captured by the surveillance camera and reliably prevent false reports.
この点はセンサにより検出される温度や煙濃度等の物理量についても同様であり、センサの検出信号から高い精度で非火災を推定して誤報を確実に防止可能とする。 This point also applies to physical quantities such as temperature and smoke concentration detected by the sensor, and it is possible to estimate non-fire with high accuracy from the detection signal of the sensor and reliably prevent false alarms.
(火災予兆レベル超えからの非火災学習情報の収集の効果)
また、火災感知器は温度又は煙濃度を検出して検出アナログ値を受信機に送って火災を判断させ、学習情報蓄積部は、検出アナログ値が所定の火災判断レベルに達し、火災受信機により火災感知器の火災発報に基づく火災移報信号が入力された後に復旧操作に基づく復旧移報信号が入力された場合、検出アナログ値が火災判断レベルより低い所定の火災予兆レベルを超えたときから火災移報信号の入力時までの各異常検出器の入力情報を非火災の学習情報として収集するようにしたため、アナログ型の火災感知器により検知している監視領域の温度や煙濃度が、火災判断レベルより低い火災の予兆となる所定の火災予兆レベルに達したときからの非火災の学習情報を学習情報蓄積部に収集した後に学習することから、火災の初期段階からの非火災と判断されるまでの多数の非火災による学習情報を収集して学習することができ、火災感知器等のセンサデータや監視カメラにより撮像している監視画像からより高い精度で非火災を推定して誤報を確実に防止可能とする。
(Effect of collecting non-fire learning information from exceeding the fire sign level)
In addition, the fire detector detects the temperature or smoke concentration and sends the detected analog value to the receiver to judge the fire, and the learning information storage unit reaches the predetermined fire judgment level when the detected analog value reaches the predetermined fire judgment level. When the recovery transfer signal based on the recovery operation is input after the fire transfer signal based on the fire alarm of the fire detector is input, when the detected analog value exceeds the predetermined fire sign level lower than the fire judgment level. Since the input information of each anomaly detector from to the time of inputting the fire transfer signal is collected as non-fire learning information, the temperature and smoke concentration of the monitoring area detected by the analog fire detector can be changed. It is judged as non-fire from the initial stage of fire because it learns after collecting the learning information of non-fire from the time when the predetermined fire sign level, which is a sign of fire lower than the fire judgment level, is reached in the learning information storage unit. It is possible to collect and learn a large amount of non-fire learning information until it is fired, and it is possible to estimate non-fire with higher accuracy from sensor data such as fire detectors and surveillance images captured by surveillance cameras, and misreport. Can be reliably prevented.
(監視領域の通常監視画像による初期化学習の効果)
また、学習情報蓄積部は、火災受信機の通常監視状態の各異常検出器の入力情報を非火災の学習情報として収集するようにしたため、通常監視状態での監視領域の入力情報に対する非火災の推定精度が向上し、その後に、火災受信機の火災監視に連動した火災の入力情報又は非火災の入力情報による学習が行われ、多層式ニューラルネットワークの火災及び非火災に対する推定の精度が更に向上される。
(Effect of initialization learning by normal monitoring image of monitoring area)
In addition, the learning information storage unit collects the input information of each abnormality detector in the normal monitoring state of the fire receiver as non-fire learning information, so that the input information in the monitoring area in the normal monitoring state is non-fire. The estimation accuracy is improved, and then learning is performed by the fire input information or non-fire input information linked to the fire monitoring of the fire receiver, and the estimation accuracy of the multi-layer neural network for fire and non-fire is further improved. Will be done.
(監視領域の通常監視画像による初期化学習の効果)
また、学習情報蓄積部は、火災受信機の通常監視状態の各異常検出器の入力情報を非火災の学習情報として収集するようにしたため、通常監視状態での監視領域の入力情報に対する非火災の推定精度が向上し、その後に、火災受信機の火災監視に連動した火災の入力情報又は非火災の入力情報による学習が行われ、多層式ニューラルネットワークの火災及び非火災に対する推定の精度が更に向上される。
(Effect of initialization learning by normal monitoring image of monitoring area)
In addition, the learning information storage unit collects the input information of each abnormality detector in the normal monitoring state of the fire receiver as non-fire learning information, so that the input information in the monitoring area in the normal monitoring state is non-fire. The estimation accuracy is improved, and then learning is performed by the fire input information or non-fire input information linked to the fire monitoring of the fire receiver, and the estimation accuracy of the multi-layer neural network for fire and non-fire is further improved. Will be done.
[火災監視システムの概要]
図1はサーバにより学習された火災検出器を配置して監視カメラと火災感知器により火災を監視する火災監視システムの概略を示した説明図である。
[Overview of fire monitoring system]
FIG. 1 is an explanatory diagram showing an outline of a fire monitoring system in which a fire detector learned by a server is arranged and a fire is monitored by a surveillance camera and a fire detector.
図1に示すように、ビル等の複数の監視対象施設には、火災報知設備10が設置されており、複数の火災報知設備10はインターネット11を介してサーバ12に接続されている。
As shown in FIG. 1,
(火災報知設備の概要)
火災報知設備10は、その一つを代表して示すように、ビル等の施設の監視領域18には撮像手段として機能する監視カメラ20が設置され、監視領域18を監視カメラ20により動画撮像している。監視カメラ20はRGBのカラー画像を例えば30フレーム/秒で撮像して動画として出力する。また、1フレームは例えば縦横4056×4056ピクセルの画素配置となる。
(Overview of fire alarm system)
As a representative of the
また、監視区域18にはオンオフ型の火災感知器22が設置されており、火災による温度又は煙濃度を検出し、所定の閾値レベルを超えた場合に発報し、火災発報信号を出力するようにしている。
In addition, an on / off
監視領域18に対し施設の防災監視センターや管理人室等には、火災検出器14と受信機16が設置されている。なお、火災検出器14と受信機16は一体としても良い。火災検出器14には監視領域18に設置された監視カメラ20が信号ケーブル24により接続されており、監視カメラ20で撮像された動画画像を入力している。監視カメラ20からの動画は火災検出器14に設けられた録画装置により継続的に録画されている。
A
火災検出器14は多層式ニューラルネットワークを備え、監視カメラ20から送られてきた動画画像をフレーム単位に入力し、火災が判定された場合は火災判定信号を受信機16に出力し、例えば、火災予兆を示す火災予兆警報等を出力させる。受信機16からは監視領域18に感知器回線26が引き出され、感知器回線26単位に火災感知器22が接続されている。受信機16は火災感知器22の発報による火災発報信号を受信すると火災警報を出力し、また火災検出器14に火災移報信号を出力する。
The
受信機16から火災警報が出力された場合、管理責任者又は防災担当者は、発報した火災感知器22の設置現場に出向いて火災の有無を確認し、火災を確認した場合には、受信機16で火災断定操作を行う。受信機16で火災断定操作が行われると、一時停止されていた地区音響警報が解除され、火災断定移報信号が火災検出器14に出力される。
When a fire alarm is output from the
また、火災警報に対する現場確認で非火災であった場合には、非火災の要因を取り除いた後に、受信機16で復旧操作を行い、火災警報状態を解除して通常監視状態に戻す。このように受信機16で火災警報が出力された後に、火災断定操作が行われることなく火災復旧操作が行われた場合、受信機16から火災検出器14に復旧移報信号が出力される。
If there is no fire in the on-site confirmation of the fire alarm, after removing the cause of the non-fire, the
火災検出器14は受信機16から出力される火災移報信号、火災断定移報信号及び復旧移報信号による火災監視結果に基づき、録画装置に録画されている火災警報の出力に至るまでの監視領域18を監視カメラ20で撮像した動画を録画装置から読み出し、これを火災の学習画像又は非火災の学習画像としてサーバ12にアップロードさせ、サーバ12側に設けられている多層式ニュートラルネットワークを学習させ、学習済みの多層式ニューラルネットワークをサーバ12からダウンロードして火災検出器14に設けられた多層式ニューラルネットワークを更新させている。
The
(サーバの機能構成)
図1に示すように、サーバ12は、サーバ制御部28、通信部30、表示部32、操作部34、記憶装置36を備える。サーバ制御部28は例えばプログラムの実行により実現される機能であり、ハードウェアとしてはCPU、メモリ、AD変換ポートを含む各種の入出力ポート等を備えたコンピュータ回路等を使用する。
(Functional configuration of server)
As shown in FIG. 1, the
通信部30はTCP/IPプロトコルによりサーバ制御部28と火災報知設備10側との間でインターネットを経由して各種の情報や信号の送受信を行う。
The communication unit 30 transmits and receives various information and signals between the server control unit 28 and the
表示部32は液晶ディスプレイ等であり、また、操作部34はキーボード、マウス、液晶ディスプレイに設けられたタッチパネル等を含む。記憶装置36はメモリやハードディスク等で構成される。
The
サーバ制御部28にはプログラムの実行により実現される機能として学習制御部38が設けられている。また、記憶装置36には、学習制御部38の学習対象となる多層式ニューラルネットワークを備えた火災検出器14aの機能が記憶されている。記憶装置36に記憶された火災検出器14aの多層式ニューラルネットワークは、火災報知設備10の火災検出器14に設けられている多層式ニューラルネットワークと同じ構成となっており、この多層式ニューラルネットワークを学習して火災報知設備10にダウンロードさせて火災検出器14の多層式ニューラルネットワークとして動作させている。
The server control unit 28 is provided with a learning control unit 38 as a function realized by executing a program. Further, the storage device 36 stores the function of the fire detector 14a provided with the multi-layer neural network to be learned by the learning control unit 38. The multi-layer neural network of the fire detector 14a stored in the storage device 36 has the same configuration as the multi-layer neural network provided in the
また、記憶装置36には火災検出器14aの多層式ニューラルネットワークの学習に使用される学習画像が記憶された学習画像蓄積部40が設けられ、複数の火災報知設備10の火災検出器14からアップロードされた学習画像が記憶されている。
Further, the storage device 36 is provided with a learning
サーバ制御部28は、火災報知設備10の火災検出器14に設けられた学習画像収集機能によりアップロードされた学習画像を記憶装置36の学習画像蓄積部40に記憶させる制御を行っている。
The server control unit 28 controls the learning
また、サーバ制御部28は、所定の操作、所定の周期の経過、又は、火災報知設備10側から学習画像がアップロードされた場合等の適宜のタイミングに、記憶装置36に記憶されている学習画像を読み出し、火災報知設備10の火災検出器14と同じ構成の多層式ニューラルネットワークをもつ火災検出器14aをメモリ上に展開し、この多層式ニューラルネットワークに教師ありの画像として、多数の火災の学習画像及び多数の非火災の学習画像を入力して例えばバックプロパゲーション等の学習法により繰り返し学習させて重みとバイアスを変更させ、学習済みの多層式ニューラルネットワークをインターネット11を介して全ての火災報知設備10の火災検出器14にダウンロードし、火災検出器14に設けられている多層式ニューラルネットワークを更新させる制御を行う。
Further, the server control unit 28 stores the learning image stored in the storage device 36 at an appropriate timing such as a predetermined operation, the passage of a predetermined cycle, or the case where the learning image is uploaded from the
[火災検出器]
(火災検出器の機能構成)
図2は監視カメラで撮像した画像から火災を推定する多層式ニューラルネットワークを用いた火災検出器の機能構成を示した説明図である。
[Fire detector]
(Functional configuration of fire detector)
FIG. 2 is an explanatory diagram showing a functional configuration of a fire detector using a multi-layer neural network that estimates a fire from an image captured by a surveillance camera.
図2に示すように、火災検出器14は、判定制御部42、受信バッファ44、火災認識部として機能する多層式ニューラルネットワーク46、記憶部として機能する録画装置48、学習情報収集部50、送信バッファ52及び通信部54を備える。ここで、判定制御部42、多層式ニューラルネットワーク46、学習情報収集部50の機能は、ニューラルネットワークの処理に対応したコンピュータ回路のCPUによるプログラムの実行により実現される。
As shown in FIG. 2, the
録画装置48は監視カメラ20により撮像された監視領域の動画を録画しており、外部からの再生指示により録画している動画を部分的に読み出すことができる。
The
(学習情報収集部)
学習情報収集部50は、受信機16により火災感知器22の火災発報に基づく火災移報信号E1が入力されて火災警報が出力され、管理責任者等による現場確認で火災が確認され、これに基づき受信機16の火災断定操作に基づく火災断定移報信号E2が入力された場合、例えば5分前となる所定時間前から火災移報信号E1が入力されるまでの監視領域の画像を録画装置48から読出して送信バッファ52に格納し、通信部54に指示して送信バッファ52に格納された画像を、火災の学習画像として読出してインターネット11を介してサーバ12にアップロードさせる制御を行う。
(Learning Information Collection Department)
The learning information collecting unit 50 receives a fire transfer signal E1 based on the fire alarm of the
ここで、録画画像が録画装置48に30フレーム/秒の動画画像として録画されていたとすると、5分の録画画像から9000枚といった多数の火災の学習画像が得られる。また、5分間の動画から火災画像を生成した場合、1/30秒周期となる各フレーム画像間の変化はごく僅かであることから、例えば1秒周期の間引きされたフレーム画像を学習画像としても良い。この場合、5分間の動画から300枚といった多数の火災の学習画像が得られる。
Here, assuming that the recorded image is recorded on the
また、学習情報収集部50は、受信機16により火災感知器22の火災発報に基づく火災移報信号E1が入力された後に、管理責任者等のよる現場確認で非火災であった場合には、受信機16で復旧操作が行われ、復旧操作に基づく復旧移報信号E3が入力されることから、この場合に、例えば5分前といった所定時間前から火災移報信号E1が入力するまでの監視領域の画像を録画装置48から読出して送信バッファ52に格納し、通信部54に指示して送信バッファ52に格納された画像を、非火災の学習画像として読出してインターネット11を介してサーバ12にアップロードさせる制御を行う。
Further, when the learning information collecting unit 50 is non-fired by the site confirmation by the manager or the like after the fire transfer signal E1 based on the fire alarm of the
この場合にも、録画画像が録画装置48に30フレーム/秒の動画画像として録画されていたとすると、5分の録画画像から9000枚といった多数の非火災の学習画像が得られる。また、5分間の動画から非火災画像を生成した場合、1/30秒周期となる各フレーム画像間の変化はごく僅かであることから、例えば1秒周期の間引きされたフレーム画像を学習画像としても良い。この場合、5分間の動画から300枚といった多数の非火災の学習画像が得られる。
Also in this case, assuming that the recorded image is recorded on the
(判定制御部)
判定制御部42は、通信部54を介してサーバ12から学習済みの多層式ニューラルネットワークが受信バッファ44にダウンロードされた場合、多層式ニューラルネットワーク46を受信バッファ44にダウンロードされた学習済みの多層式ニューラルネットワークに更新する制御を行う。
(Judgment control unit)
When the learned multi-layer neural network is downloaded from the
また、判定制御部42は、監視カメラ20により撮像された監視領域の画像を多層式ニューラルネットワーク46に入力して火災か非火災かを推定しており、火災の推定結果が得られると火災判定信号を受信機16に出力し、例えば、火災の予兆を示す火災予兆警報を出力させる制御を行う。
Further, the
なお、火災検出器14にモニタ装置を設け、火災を判定した場合に監視カメラ20により撮像している火災が判定された監視領域の画像を画面表示し、火災予兆警報を知った管理責任者や防災担当者による火災確認ができるようにしても良い。この場合、火災検出器14の操作部に火災断定スイッチを設け、モニタ画像から火災を確認した場合に火災断定スイッチを操作すると、火災報知設備の受信機16を操作した場合と同様に、火災移報信号を出力し、受信機16から火災警報を出力させるようにしても良い。
In addition, a monitor device is provided in the
[多層式ニューラルネットワーク]
図3は図2に示した多層式ニューラルネットワークの機能構成を示した説明図であり、図3(A)に概略を示し、図3(B)に詳細を模式的に示している。なお、図1のサーバ12側に配置された火災検出器14aに設けられたニューラルネットワークも同じ機能構成となる。
[Multi-layer neural network]
FIG. 3 is an explanatory diagram showing the functional configuration of the multi-layer neural network shown in FIG. 2, the outline is shown in FIG. 3 (A), and the details are schematically shown in FIG. 3 (B). The neural network provided in the fire detector 14a arranged on the
図3(A)に示すように、本実施形態の多層式ニューラルネットワーク46は、特徴抽出部56と認識部58で構成される。特徴抽出部56は畳み込みニューラルネットワークであり、認識部58は全結合ニューラルネットワークである。
As shown in FIG. 3A, the multi-layer
多層式ニューラルネットワーク46は、深層学習(ディープラーニング)を行うニューラルネットワークであり、中間層を複数つなぎ合わせた深い階層をもつニューラルネットワークであり、特徴抽出となる表現学習を行う。
The multi-layer
通常のニューラルネットワークは、画像から火災を推定するための特徴抽出には人為的な試行錯誤による作業を必要とするが、多層式ニューラルネットワーク46では、特徴抽出部56として畳み込みニューラルネットワークを用いることで、画像の画素値を入力とし、学習により最適な特徴を抽出し、認識部58の全結合ニューラルネットワークに入力して火災か非火災かを推定する。
In a normal neural network, feature extraction for estimating a fire from an image requires work by artificial trial and error, but in a multi-layer
認識部58の全結合ニューラルネットワークは、図3(B)に模式的に示すように、入力層68、結合層70、中間層72と結合層70の繰り返し、及び出力層74で構成されている。
As schematically shown in FIG. 3B, the fully connected neural network of the
(畳み込みニューラルネットワーク)
図3(B)は特徴抽出部56を構成する畳み込みニューラルネットワークの構造を模式的に示している。
(Convolutional neural network)
FIG. 3B schematically shows the structure of the convolutional neural network constituting the
畳み込みニューラルネットワークは、通常のニューラルネットワークとは少し特徴が異なり、視覚野から生物学的な構造を取り入れている。視覚野には、視野の小区域に対し敏感な小さな細胞の集まりとなる受容野が含まれており、受容野の挙動は、行列の形で重み付けを学習することで模倣できる。この行列は重みフィルタ(カーネル)と呼ばれ、生物学的に受容野が果たす役割と同様に、ある画像の類似した小区域に対して敏感になる。 Convolutional neural networks have slightly different characteristics from ordinary neural networks and incorporate biological structures from the visual cortex. The visual cortex contains a receptive field, which is a collection of small cells that are sensitive to a small area of the visual field, and the behavior of the receptive field can be imitated by learning weighting in the form of a matrix. This matrix is called the weight filter (kernel) and is sensitive to similar subregions of an image, similar to the biological role played by receptive fields.
畳み込みニューラルネットワークは、畳み込み演算により、重みフィルタと小区域との間の類似性を表すことでき、この演算を通して、画像の適切な特徴を抽出することができる。 The convolutional neural network can express the similarity between the weight filter and the subarea by the convolution operation, and through this operation, the appropriate feature of the image can be extracted.
畳み込みニューラルネットワークは、図3(B)に示すように、まず、入力画像60に対し重みフィルタ62により畳み込み処理を行う。例えば、重みフィルタ62は縦横3×3の所定の重み付けがなされた行列フィルタであり、入力画像60の各画素にフィルタ中心を位置合わせしながら畳み込み演算を行うことで、入力画像60の9画素を小区域となる特徴マップ64aの1画素に畳み込み、複数の特徴マップ64aが生成される。
As shown in FIG. 3B, the convolutional neural network first performs convolution processing on the
続いて、畳み込み演算により得られた特徴マップ64aに対しプーリングの演算を行う。プーリングの演算は、識別に不必要な特徴量を除去し、識別に必要な特徴量を抽出する処理である。
Subsequently, the pooling calculation is performed on the
続いて、重みフィルタ66a,66bを使用した畳み込み演算とプーリングの演算を多段に繰り返して特徴マップ64b,64cが得られ、最後の層の特徴マップ64cを認識部58に入力し、通常の全結合ニューラルネットワークを用いた認識部58により火災か非火災かを推定する。
Subsequently, the convolution calculation and the pooling calculation using the weight filters 66a and 66b are repeated in multiple stages to obtain the feature maps 64b and 64c, and the
なお、畳み込みニューラルネットワークにおけるプーリングの演算は、火災か非火災かの識別に不必要な特徴量が必ずしも明確でなく、必要な特徴量を削除する可能性があることから、プーリングの演算は行わないようにしても良い。 Note that the pooling calculation in the convolutional neural network does not perform the pooling calculation because the features unnecessary for distinguishing between fire and non-fire are not always clear and the necessary features may be deleted. You may do so.
[多層式ニューラルネットワークの学習]
図1に示したサーバ12のサーバ制御部28に設けられた学習制御部38は、所定のタイミングで記憶装置36の学習画像蓄積部40から火災の学習画像と非火災の学習画像を多数読出し、火災検出器14aに設けられた図3に示したと同じ機能構成の多層式ニューラルネットワーク46の学習をバックプロパゲーションにより繰り返し行い、その重みとバイアスを変更させる学習制御を行う。
[Learning of multi-layer neural network]
The learning control unit 38 provided in the server control unit 28 of the
(バックプロパゲーション)
入力層、複数の中間層及び出力層で構成されるニューラルネットワークは、各層に複数のユニットを設けて他の層の複数のユニットと結合し、各ユニットには重みとバイアス値が設定され、複数の入力値と重みとのベクトル積を求めてバイアス値を加算して総和を求め、これを所定の活性化関数に通して次の層のユニットに出力するようにしており、最終層に到達するまで値が伝搬するフォワードプロパゲーションが行われる。
(Backpropagation)
A neural network composed of an input layer, a plurality of intermediate layers, and an output layer is provided with a plurality of units in each layer and connected to a plurality of units in other layers, and weights and bias values are set for each unit, and a plurality of units are set. The vector product of the input value and the weight of is obtained, the bias value is added to obtain the sum, and this is passed through a predetermined activation function and output to the unit of the next layer to reach the final layer. Forward propagation is performed in which the value propagates to.
このようなニューラルネットワークの重みやバイアスを変更するには、バックプロパゲーションとして知られている学習アルゴリズムを使用する。バックプロパゲーションでは、入力値xと期待される出力値(期待値)yというデータセットをネットワークに与えた場合の教師ありの学習と、入力値xのみをネットワークに与えた場合の教師なしの学習があり、本実施形態は、教師ありの学習を行う。 To change the weights and biases of such neural networks, a learning algorithm known as backpropagation is used. In backpropagation, supervised learning when a data set of input value x and expected output value (expected value) y is given to the network, and unsupervised learning when only input value x is given to the network. In this embodiment, supervised learning is performed.
教師ありの学習でバックプロパゲーションを行う場合は、ネットワークを通ってきたフォワードプロパゲーションの結果である推定値y*と期待値yの値を比較する誤差として、例えば、平均二乗誤差の関数を使用する。 When performing backpropagation in supervised learning, for example, a function of mean squared error is used as an error to compare the estimated value y * and the expected value y, which are the results of forward propagation that has passed through the network. do.
バックプロパゲーションでは、推定値y*と期待値yの誤差の大きさを使い、ネットワークの後方から前方まで重みとバイアスを補正しながら値を伝播させる。各重みとバイアスについて補正した量は、誤差への寄与として扱われ、最急降下法で計算され、重みとバイアスの値を変更することにより、誤差関数の値を最小化する。 In backpropagation, the magnitude of the error between the estimated value y * and the expected value y is used to propagate the value from the rear to the front of the network while correcting the weight and bias. The corrected amount for each weight and bias is treated as a contribution to the error, calculated by the steepest descent method, and the value of the error function is minimized by changing the weight and bias values.
ニューラルネットワークに対するバックプロパゲーションによる学習の手順は次にようになる。
(1) 入力値xをニューラルネットワークに入力して、フォワードプロパゲーションを行い推定値y*を求める。
(2) 推定値y*と期待値yに基づき誤差関数で誤差を計算する。
(3) 重みとバイアスを更新しながら、ネットワークにて、バックプロパゲーションを行う。
The procedure for learning by backpropagation for a neural network is as follows.
(1) The input value x is input to the neural network, forward propagation is performed, and the estimated value y * is obtained.
(2) Calculate the error with an error function based on the estimated value y * and the expected value y.
(3) Backpropagation is performed on the network while updating the weight and bias.
この手順は、ニューラルネットワークの重みとバイアスの誤差が可能な限り最小になるまで、異なる入力値xと期待値yの組み合わせを使って繰り返し、誤差関数の値を最小化する。 This procedure is repeated using different combinations of input values x and expected values y to minimize the value of the error function until the neural network weight and bias errors are minimized as much as possible.
(サーバにおける火災・非火災画像による学習)
図1に示したサーバ12の学習制御部38は、所定のタイミングで学習画像蓄積部40に蓄積されている火災報知設備10から収集された火災の学習画像を図3に示したと同じ多層式ニューラルネットワーク46に入力して推定値y*を求め、火災の期待値y=1との誤差関数の値を最小とするようにバックプロパゲーションを、火災の学習画像を変えながら繰り返し行って誤差関数を最小化することで重みとバイアスを変更する学習を行う。
(Learning by fire / non-fire images on the server)
The learning control unit 38 of the
また、学習制御部38は、火災の学習画像による学習に続いて、学習画像蓄積部40に蓄積されている火災報知設備10から収集された非火災の学習画像を図3に示したと同じ多層式ニューラルネットワーク46に入力して推定値y*を求め、非火災の期待値y=0との誤差関数の値を最小とするようにバックプロパゲーションを、非火災の学習画像を変えながら繰り返し行って誤差関数を最小化することで重みとバイアスを変更する学習を行う。
Further, the learning control unit 38 is the same multi-layer type as shown in FIG. 3 in which the non-fire learning image collected from the
このようにサーバ12で学習の済んだ火災検出器14aの多層式ニューラルネットワークは、インターネット11を介して火災報知設備10の火災検出器14にダウンロードされ、図2に示した火災検出器14の多層式ニューラルネットワーク46を更新することで、サーバ12による学習の済んだ多層式ニューラルネットワーク46により監視カメラ20により撮像した監視領域の画像を入力して、火災か非火災かを高精度で判定可能とする。
The multi-layer neural network of the fire detector 14a that has been learned by the
[学習画像の収集制御動作]
図4は図2の学習情報収集部による受信機の火災監視に連動して学習画像を収集してサーバにアップロードする学習画像収集制御を示したフローチャートである。
[Learning image collection control operation]
FIG. 4 is a flowchart showing a learning image collection control that collects learning images and uploads them to a server in conjunction with fire monitoring of a receiver by the learning information collecting unit of FIG.
図4に示すように、学習情報収集部50はステップS1で監視領域に設置された監視カメラ20からの動画を録画装置48に録画させており、ステップS1で受信機16からの火災移報信号の入力を判別するとステップS3に進み、所定時間前からの録画画像を録画装置48から読み出して送信バッファ52に保持させる。
As shown in FIG. 4, the learning information collecting unit 50 has the
続いてステップS4に進み、学習情報収集部50は受信機16からの火災断定移報信号の入力を判別するとステップS5に進み、その後、受信機16からの復旧移報信号の入力を判別するとステップS6に進み、送信バッファ52に保持している所定時間分の録画画像を読み出し、火災の学習画像としてインターネット11を介してサーバ12にアップロードする。
Subsequently, the process proceeds to step S4, and when the learning information collecting unit 50 determines the input of the fire determination transfer signal from the
一方、学習情報収集部50は、ステップS4で火災断定移報信号の入力を判別することなくステップS7で復旧移報信号の入力の有無を判別している間に、火災断定移報信号の入力を判別することなくステップS7で復旧移報信号の入力を判別した場合は、ステップS8に進み、送信バッファ52に保持している所定時間分の録画画像を読み出し、非火災の学習画像としてインターネット11を介してサーバ12にアップロードする。
On the other hand, the learning information collecting unit 50 inputs the fire determination signal while determining whether or not the recovery signal is input in step S7 without determining the input of the fire determination signal in step S4. If the input of the recovery transfer signal is determined in step S7 without determining, the process proceeds to step S8, the recorded image for a predetermined time held in the
[火災予兆レベル超えからの監視画像による学習画像の収集]
(火災画像学習の収集)
図2に示した火災検出器の学習情報収集部50による他の学習制御の実施形態として、監視区域にアナログ火災感知器が設置され、アナログ火災感知器により温度又は煙濃度を検出して検出アナログ値を受信機16に送って火災を判断させている場合、火災予兆が判断された時から火災が判断されるまでの画像を録画装置48から読み出して送信バッファ52に格納し、火災の学習画像としてインターネット11を介してサーバ12にアップロードする。
[Collecting learning images from surveillance images from exceeding the fire sign level]
(Collection of fire image learning)
As another embodiment of learning control by the learning information collecting unit 50 of the fire detector shown in FIG. 2, an analog fire detector is installed in the monitoring area, and the temperature or smoke concentration is detected and detected by the analog fire detector. When the value is sent to the
火災予兆レベルは、図5に示すように、時刻t0で発生した火災により時間の経過ともなって火災感知器で検出している温度が上昇した場合、火災判断レベルTH2より低い火災予兆レベルTH1に時刻t1で達したときから火災判断レベルTH2に時刻t2に達するまでの時間Tの間に録画された画像を火災の学習画像として送信バッファ52に格納し、火災の学習画像としてインターネット11を介してサーバ12にアップロードすることになる。
As shown in FIG. 5, the fire sign level is set to the fire sign level TH1 which is lower than the fire judgment level TH2 when the temperature detected by the fire detector rises with the passage of time due to the fire that occurred at time t0. The image recorded during the time T from the time when the fire is reached at t1 to the time when the time t2 is reached at the fire judgment level TH2 is stored in the
この時間Tの間に録画された画像は、全て火災による画像であり、非火災の画像は含まれていないことから、火災の学習画像としてインターネット11を介してサーバ12にアップロードし、火災検出器14aの多層式ニューラルネットワークに入力してバックプロパゲーションにより学習を行わせ、入力画像から火災を識別する精度を確実に高めることができる。
Since all the images recorded during this time T are images due to fire and do not include non-fire images, they are uploaded to the
具体的に説明すると、図2に示した火災検出器14の学習情報収集部50は、受信機16からアナログ火災感知器からの温度又は煙濃度の検出アナログ値が所定の火災予兆レベルTH1に達して予兆警報が出力され、続いて、検出アナログ値が火災判断レベルTH2に達して火災発報に基づく火災移報信号が入力されて火災警報が出力され、管理責任者等による現場確認で火災が確認され、これに基づき受信機16の火災断定操作に基づく火災断定移報信号E2が入力された場合、火災予兆が検出された時から火災移報信号が入力するまでの監視領域の画像を録画装置48から読出して送信バッファ52に格納し、火災の学習画像としてインターネット11を介してサーバ12にアップロードし、火災検出器14aの多層式ニューラルネットワークに入力してバックプロパゲーションにより学習を行わせる。
Specifically, in the learning information collecting unit 50 of the
(非火災画像学習の収集)
また、学習情報収集部50は、受信機16からアナログ火災感知器からの温度又は煙濃度の検出アナログ値が所定の火災予兆レベルTH1に達して予兆警報が出力され、続いて、検出アナログ値が火災判断レベルTH2に達して火災発報に基づく火災移報信号が入力されて火災警報が出力され、管理責任者等のよる現場確認で非火災であった場合には、受信機16で復旧操作が行われ、復旧操作に基づく復旧移報信号が入力されることから、火災予兆が検出された時から火災移報信号が入力するまでの監視領域の画像を録画装置48から読出して送信バッファ52に格納し、非火災の学習画像としてインターネット11を介してサーバ12にアップロードし、火災検出器14aの多層式ニューラルネットワークに入力してバックプロパゲーションにより学習を行わせる。
(Collection of non-fire image learning)
Further, the learning information collecting unit 50 outputs a predictive alarm when the detected analog value of the temperature or smoke concentration from the analog fire detector reaches a predetermined fire sign level TH1 from the
[センサにより火災を監視する火災監視システム]
(火災監視システムの概要)
図6はサーバにより学習された火災検出器を配置してセンサとして機能するアナログ火災感知器により火災を監視する火災監視システムの概略を示した説明図である。
[Fire monitoring system that monitors fires with sensors]
(Overview of fire monitoring system)
FIG. 6 is an explanatory diagram showing an outline of a fire monitoring system in which a fire detector learned by a server is arranged and a fire is monitored by an analog fire detector that functions as a sensor.
図6に示すように、ビル等の複数の監視対象施設には、火災報知設備10が設置されており、複数の火災報知設備10はインターネット11を介してサーバ12に接続されている。
As shown in FIG. 6,
火災報知設備10の監視領域18にはセンサとして機能するアナログ火災感知器80が設置され、受信機16から引き出された伝送路82に接続され、シリアルデータ伝送を可能としている。
An
アナログ火災感知器80は検煙部により煙濃度を検出して煙濃度検出信号を出力し、受信機16からの一括AD変換コマンドの送信により周期的にA/D変換してメモリに煙濃度データとして記憶すると共に感知器アドレスを指定した受信機16からのポーリングに対し煙濃度データを送信しており、煙濃度が所定の閾値レベルを超えた場合に火災と判断し、火災割込み信号を受信機16に送信して火災警報を出力させている。なお、アナログ火災感知器80は、煙濃度以外に、温度やCO濃度等を検出するものであっても良い。
The
火災検出器14は多層式ニューラルネットワークを備え、アナログ火災感知器80で検出された煙濃度データを、受信機16を介して入力して記憶部にセンサからの入力情報として記憶している。
The
受信機16はアナログ火災感知器80の火災割込み信号を受信すると火災警報を出力し、また火災検出器14に火災移報信号を出力する。受信機16から火災警報が出力されると、管理責任者又は防災担当者は、発報したアナログ火災感知器80の設置現場に出向いて火災の有無を確認し、火災を確認した場合には、受信機16で火災断定操作を行う。受信機16で火災断定操作が行われると、一時停止されていた地区音響警報が解除され、火災断定移報信号が火災検出器14に出力される。
When the
また、火災警報に対する現場確認で非火災であった場合には、非火災の要因を取り除いた後に、受信機16で復旧操作を行い、火災警報状態を解除して通常監視状態に戻す。このように受信機16で火災警報が出力された後に、火災断定操作が行われることなく火災復旧操作が行われた場合、受信機16から火災検出器14に復旧移報信号が出力される。
If there is no fire in the on-site confirmation of the fire alarm, after removing the cause of the non-fire, the
火災検出器14は受信機16から出力される火災移報信号、火災断定移報信号及び復旧移報信号による火災監視結果に基づき、記憶部に記憶されている火災警報の出力に至るまでの監視領域18のアナログ火災感知器80により検出された煙濃度データから時系列データを生成し、これを学習情報としてインターネット11を介してサーバ12にアップロードさせ、サーバ12側に設けられている多層式ニュートラルネットワークを学習させ、学習済みの多層式ニューラルネットワークをサーバ12からダウンロードして火災検出器14に設けられた多層式ニューラルネットワークを更新させている。
The
(火災検出器)
火災検出器14は図2と同じ機能構成であるが、多層式ニューラルネットワーク46は、図3(A)に示す認識部58を構成する全結合ニューラルネットワークのみとし、特徴抽出部56となる畳み込みニューラルネットワークは除いている。
(Fire detector)
The
学習情報収集部50は、受信機16を介してアナログ火災感知器80で検出された煙濃度データを記憶部に記憶している。学習情報収集部50の記憶部に記憶される煙濃度データは、例えば、図7に示すような時間の経過に伴う煙濃度の変化を示したデータとなる。
The learning information collecting unit 50 stores the smoke concentration data detected by the
図7の煙濃度データは、火災による煙濃度の時間変化の一例であり、時刻t0で煙濃度の上昇が始まり、時刻t1で所定の火災予兆レベルTH1に達し、その後、時刻t2で火災判断レベルTH2に達して火災警報が出力され、火災断定操作が行われた場合を示している。 The smoke concentration data of FIG. 7 is an example of a time change of the smoke concentration due to a fire. The smoke concentration starts to increase at time t0, reaches a predetermined fire sign level TH1 at time t1, and then reaches a fire judgment level at time t2. It shows the case where the fire alarm is output when TH2 is reached and the fire assertion operation is performed.
学習情報収集部50は、受信機16からの火災移報信号E1、火災断定移報信号E2及び復旧移報信号E3に基づき、受信機16で火災警報が出力された場合に、記憶部に記憶されている図7に示した煙濃度のセンサデータに基づき、時系列データを生成して送信バッファ52に格納し、通信部54に指示して送信バッファ52に格納された時系列データを、火災の学習情報として読出してインターネット11を介してサーバ12にアップロードさせ、サーバ12側に設けられている多層式ニュートラルネットワークを学習させ、学習済みの多層式ニューラルネットワークをサーバ12からダウンロードして火災検出器14に設けられた多層式ニューラルネットワーク46を更新させる。
The learning information collecting unit 50 stores in the storage unit when a fire alarm is output by the
学習情報収集部50による時系列データの生成は、例えば図7の時刻t0から時刻t1でプリアラームレベルTH1に達するまでの所定単位時間Δtごとの煙濃度データをS1〜S18とすると、所定の単位時間Δtずつシフトしながら所定時間分の周期T1,T2,・・・・T9毎の時系列データ(S1〜S10)、(S2〜S11)、・・・(S9〜S18)を生成し、記憶部に記憶させる。 The time-series data is generated by the learning information collecting unit 50, for example, assuming that the smoke concentration data for each predetermined unit time Δt from the time t0 to the time t1 in FIG. 7 to reach the pre-alarm level TH1 is S1 to S18, a predetermined unit. Time series data (S1 to S10), (S2 to S11), ... (S9 to S18) for each period T1, T2, ... T9 for a predetermined time are generated and stored while shifting by time Δt. Make it memorize in the department.
また、サーバ12にアップロードされた時系列データ(S1〜S10)、(S2〜S11)、・・・(S9〜S18)による多層式ニューラルネットワークの学習は、例えば時系列データ(S1〜S10)による学習を例にとると、濃度値S1〜S10を多層式ニューラルネットワークの入力層に並列入力して行う。以下同様に残りの時系列データ(S2〜S11)、・・・(S9〜S18)についても、入力層に順次並列入力することで学習を行う。
Further, the learning of the multi-layer neural network by the time series data (S1 to S10), (S2 to S11), ... (S9 to S18) uploaded to the
また、学習情報収集部50は、受信機16によりアナログ火災感知器80の火災発報に基づく火災移報信号E1が入力された後に、管理責任者等のよる現場確認で非火災であった場合には、受信機16で復旧操作が行われ、復旧操作に基づく復旧移報信号E3が入力されることから、図7に示した火災の時系列データの場合と同様に、非火災の時系列データを生成し、インターネット11を介してサーバ12にアップロードさせ、サーバ12側に設けられている多層式ニュートラルネットワークを学習させ、学習済みの多層式ニューラルネットワークをサーバ12からダウンロードして火災検出器14に設けられた多層式ニューラルネットワーク46を更新させる。
Further, when the learning information collecting unit 50 is non-fired by the site confirmation by the manager or the like after the fire transfer signal E1 based on the fire alarm of the
火災検出器14の多層式ニューラルネットワーク46の更新が済んだ後は、所定の単位時間Δt毎に、センサデータ生成部により所定時間分の時系列データを生成し、時系列データ入力部を介して多層式ニューラルネットワーク46に入力して火災を監視することになる。
After updating the multi-layer
〔本発明の変形例〕
(火災報知設備毎にカスタマイズされた学習)
上記の実施形態におけるサーバに複数の火災報知設備から収集された学習画像による多層式ニューラルネットワークの学習は、収集された学習画像を火災報知設備毎に分類して蓄積するか、又は、警戒区域が類似している複数の火災報知設備にグループ化して蓄積し、分類された火災報知設備又は火災報知設備グループに対応して多層式ニューラルネットワークをサーバ側に準備し、それぞれに対応する学習画像を使用して学習し、学習済みの多層式ニューラルネットワークを対応する火災報知設備の火災検出器にダウンロードするようにしても良い。
[Modification of the present invention]
(Learning customized for each fire alarm system)
In the learning of the multi-layer neural network using the learning images collected from a plurality of fire alarm systems on the server in the above embodiment, the collected learning images are classified and accumulated for each fire alarm system, or the warning area is set. Group and accumulate in multiple similar fire alarm systems, prepare a multi-layered neural network on the server side corresponding to the classified fire alarm system or fire alarm system group, and use the learning image corresponding to each. The trained multi-layer neural network may be downloaded to the fire detector of the corresponding fire alarm system.
(サーバによる学習データの収集と配信)
上記の実施形態は、サーバで学習を行う構成としているが、サーバは入力情報を格納するものであり、各異常検出器がサーバ内に格納された入力情報をダウンロードして学習するようにしても良い。
(Collection and distribution of learning data by the server)
In the above embodiment, the learning is performed by the server, but the server stores the input information, and even if each abnormality detector downloads the input information stored in the server and learns. good.
(類似環境での学習)
サーバでの学習、異常検出器での学習いずれの場合においても、監視対象の環境が類似している異常検出器の入力情報を用いて多層式ニューラルネットワークの学習を行うようにしても良い。監視対象の環境は、サーバに保存され、どの異常検出器の入力情報がどの異常検出器の学習情報に用いられるか管理される。監視対象の環境は、ユーザによって登録されるものでも良いが、異常検出器の初期化学習によって環境を特定し、特定した環境に応じてカテゴライズされることが、登録の手間を防ぐ点で有利である。
(Learning in a similar environment)
In both cases of learning on the server and learning on the anomaly detector, learning of the multi-layer neural network may be performed using the input information of the anomaly detectors having similar monitoring target environments. The environment to be monitored is stored in the server, and it is managed which abnormality detector input information is used for learning information of which abnormality detector. The environment to be monitored may be registered by the user, but it is advantageous to identify the environment by the initialization learning of the anomaly detector and categorize it according to the specified environment in order to prevent the trouble of registration. be.
また、類似環境で発生した異常の事例から、監視領域のうち、異常発生の要因となるものを報知できるようにしても良い。例えば、通常状態において監視カメラの映像を警備員室のモニタで表示しているような場合、類似環境で火災が発生した場合、当該火災の発生源となったものを強調表示する。これにより、真に火災が発生したとき、火災の原因推定を容易にすることが可能となり、またあらかじめ火災が拡大しないような手段を講じることができるようになる。 Further, it may be possible to notify the monitoring area that causes the abnormality from the case of the abnormality that occurred in the similar environment. For example, when the image of the surveillance camera is displayed on the monitor in the guard room in the normal state, or when a fire breaks out in a similar environment, the source of the fire is highlighted. As a result, when a fire really occurs, it is possible to easily estimate the cause of the fire, and it is possible to take measures to prevent the fire from spreading in advance.
(盗難監視)
上記の実施形態は、火災監視を例にとっているが、盗難監視にも適用できる。盗難監視の場合には、図1の監視カメラを用いた監視システムについては、受信機16を盗難受信機とし、火災感知器22を盗難検出器とすれば良い。また、図6の監視システムでは、受信機16を盗難受信機とし、アナログ火災感知器80を盗難検出器とすれば良い。
(Theft monitoring)
Although the above embodiment takes fire monitoring as an example, it can also be applied to theft monitoring. In the case of theft monitoring, in the monitoring system using the surveillance camera of FIG. 1, the
(不法行為の監視)
また、不法行為の事前検出にも適用できる。盗難、放火等の不法行為を行おうとする人物の動き、例えば周りを頻繁に見渡すなどの動きを学習し、不法行為を行うより先に異常検出し、警報を出力する。警報出力の方法としては、例えば監視カメラを監視する警備室のモニタ等に監視カメラの画像を表示し、当該人物を赤枠などで囲う様に表示すればよい。
(Tort monitoring)
It can also be applied to pre-detection of illegal activities. It learns the movements of a person who is trying to commit an illegal act such as theft or arson, for example, the movement of looking around frequently, detects anomalies before committing an illegal act, and outputs an alarm. As a method of alarm output, for example, an image of the surveillance camera may be displayed on a monitor in a security room that monitors the surveillance camera, and the person may be displayed so as to be surrounded by a red frame or the like.
不法行為に伴う動きについては、当該現場特有ではなく、類似環境毎、あるいは世界的に共通の動きであることから、サーバに格納される複数の環境の入力情報を元に学習を行う本願において、効果的に学習することができる。また、不法行為に伴う動作について明らかになっていない共通動作を発見できる効果も期待できる。 Since the movements associated with illegal acts are not unique to the site but are common to similar environments or worldwide, in the present application, learning is performed based on the input information of multiple environments stored in the server. You can learn effectively. In addition, it can be expected to have the effect of discovering common movements for which the movements associated with illegal acts have not been clarified.
(入退室システムとの連携)
また、入退室システムとの連携により、異常な侵入等の監視についても適用できる。入退室システムは、例えばカードや指紋等で対象人物が特定の領域へ入退室可能か判定している。しかし、入退室システムでは、入室可能な人物と一緒に入室不可能なはずの人間が入室するという共連れ等の問題が発生している。上記の共連れのような不法行為について、カメラ画像と入退室システムの情報を入力として異常を学習、検出することにも適用できる。本願は、サーバで学習した異常検出器をダウンロードさせて現場の異常検出器に利用できるため、別の場所で新しく発生した不法行為についても学習し、対応可能となる。
(Cooperation with the entry / exit system)
In addition, by linking with the entry / exit system, it can also be applied to monitoring abnormal intrusions. The entry / exit system determines whether the target person can enter / exit a specific area by using, for example, a card or a fingerprint. However, in the entry / exit system, there is a problem such as tailgating that a person who should not be able to enter the room enters the room together with a person who can enter the room. It can also be applied to learning and detecting abnormalities by inputting camera images and information on the entry / exit system for illegal acts such as the above-mentioned tailgating. In the present application, since the anomaly detector learned on the server can be downloaded and used for the anomaly detector in the field, it is possible to learn and deal with newly occurring illegal acts in another place.
(学習済み多層式ニューラルネットワークのダウンロードによる更新)
上記の実施形態における学習済みの多層式ニューラルネットワークのダウンロードによる更新は、学習済みの多層式ニューラルネットワークのアプリケーションプログラムをダウンロードするものであるが、学習により変更されるのはネットワークの重みとバイアスであることから、学習済みの重みとバイアス値を抽出し、これを火災報知設備側にダウンロードし、火災報知設備側に設けている多層式ニューラルネットワークの重みとバイアス値を更新するようにしても良い。
(Updated by downloading the trained multi-layer neural network)
The update by downloading the trained multi-layer neural network in the above embodiment downloads the application program of the trained multi-layer neural network, but it is the weight and bias of the network that are changed by the training. Therefore, the learned weights and bias values may be extracted, downloaded to the fire alarm system side, and the weights and bias values of the multi-layer neural network provided on the fire alarm system side may be updated.
また、学習前の旧プログラムと学習済みの新プログラムとの差分をとってダウンロードし、差分により旧プログラムを更新することで、実質的に、学習済みの重みとバイアス値を抽出し、これを火災報知設備側にダウンロードし、火災報知設備側に設けている多層式ニューラルネットワークの重みとバイアス値を更新することができる。 In addition, by downloading the difference between the old program before learning and the new program that has been learned and updating the old program by the difference, the learned weight and bias value are practically extracted and fired. It can be downloaded to the alarm system side and the weight and bias value of the multi-layer neural network provided on the fire alarm system side can be updated.
(特徴抽出)
上記の実施形態は、畳み込みニューラルネットワークに画像を入力して火災による特徴を抽出しているが、畳み込みニューラルネットワークを使用せず、入力した画像から輪郭、濃淡等の特徴を抽出する前処理を行って所定の特徴を抽出し、特徴が抽出された画像を認識部として機能する全結合ニューラルネットワークに入力して火災か非火災かを推定させるようにしても良い。これにより画像の特徴抽出の処理負担を低減可能とする。
(Feature extraction)
In the above embodiment, an image is input to the convolutional neural network to extract the features due to the fire, but the preprocessing for extracting the features such as contour and shading from the input image is performed without using the convolutional neural network. A predetermined feature may be extracted, and the image from which the feature is extracted may be input to a fully connected neural network functioning as a recognition unit to estimate whether it is a fire or a non-fire. This makes it possible to reduce the processing load of image feature extraction.
(赤外線照明と赤外線画像の撮像)
上記の実施形態は、監視カメラにより監視領域の照明を使用した状態及び又は自然光の状態で監視領域を撮像しているが、赤外線照明装置からの赤外線光を監視領域に照射し、赤外線領域に感度のある監視カメラにより赤外線画像を撮像し、受信機の火災監視に連動して赤外線画像の学習画像を収集してサーバにアップロードし、サーバで赤外線学習画像を使用して多層式ニューラルネットワークを学習し、学習済みの多層式ニューラルネットワークを火災報知設備側にダウロードして、赤外線画像から火災か非火災かを判定するようにしても良い。
(Infrared lighting and infrared image imaging)
In the above embodiment, the surveillance area is imaged by the surveillance camera in the state of using the illumination of the surveillance area and / or in the state of natural light. Infrared image is captured by a surveillance camera, and the learning image of the infrared image is collected and uploaded to the server in conjunction with the fire monitoring of the receiver, and the server learns the multi-layer neural network using the infrared learning image. , The trained multi-layer neural network may be downloaded to the fire alarm equipment side to determine whether it is a fire or a non-fire from the infrared image.
このように監視領域の赤外線画像を収集して学習された多層式ニューラルネットワークを使用することで、監視領域の照明状態や昼夜の明るさ変化等に影響されることなく、監視画像を用いた火災監視が可能となる。 By using the multi-layer neural network learned by collecting infrared images of the surveillance area in this way, a fire using the surveillance image is not affected by the lighting condition of the surveillance area or the change in brightness during the day and night. Monitoring becomes possible.
(放火監視)
上記の実施形態は、警戒区域の火災監視を例にとっているが、これ以外に、屋外に監視カメラや炎検知器などのセンサを設置して行う放火監視に多層式ニューラルネットワークによって構成される火災検出器を設け、火災検出器をディープラーニングより学習させ、放火を監視するようにしても良い。
(Arson monitoring)
The above embodiment takes fire monitoring in a caution area as an example, but in addition to this, fire detection configured by a multi-layer neural network for arson monitoring performed by installing sensors such as a surveillance camera and a flame detector outdoors. A device may be provided to train the fire detector from deep learning to monitor arson.
(学習方法について)
上記の実施形態は、バックプロパゲーションによる学習を行っているが、多層ニューラルネットワークの学習方法はこれに限らない。
(About learning method)
In the above embodiment, learning by backpropagation is performed, but the learning method of the multi-layer neural network is not limited to this.
(画像とセンサの複合)
上記の実施形態は、画像による異常監視とセンサによる異常監視をそれぞれ別形態としているが、入力情報として、画像データとセンサデータを並列的に取り扱っても良い。画像データは例えば、1ピクセルあたりの白黒値が入力項として取り扱われ、センサデータは例えば、センサごとの検出値が入力項として取り扱われる。この場合、中間層に於いて画像の特徴抽出がなされた中間層の項と、センサデータによる影響を受ける中間層の項が、異常検出を判定する次段以降の中間層の項に対して影響を与えるようになることが学習結果として望ましいが、異常の監視を有効にできるならこれに限らない。
(Composite of image and sensor)
In the above embodiment, the abnormality monitoring by the image and the abnormality monitoring by the sensor are different forms, but the image data and the sensor data may be handled in parallel as the input information. For image data, for example, a black-and-white value per pixel is treated as an input term, and for sensor data, for example, a detection value for each sensor is treated as an input term. In this case, the term of the intermediate layer in which the feature of the image is extracted in the intermediate layer and the term of the intermediate layer affected by the sensor data affect the term of the intermediate layer in the next and subsequent stages for determining the abnormality detection. It is desirable as a learning result to be able to give, but it is not limited to this if abnormality monitoring can be enabled.
(その他)
また、本発明は上記の実施形態に限定されず、その目的と利点を損なうことのない適宜の変形を含み、更に上記の実施形態に示した数値による限定は受けない。
(others)
Further, the present invention is not limited to the above-described embodiment, includes appropriate modifications that do not impair its purpose and advantages, and is not further limited by the numerical values shown in the above-described embodiment.
10:火災報知設備
11:インターネット
12:サーバ
14,14a:火災検出器
16:受信機
18:監視領域
20:監視カメラ
22:火災感知器
24:信号ケーブル
26:感知器回線
28:サーバ制御部
30,54:通信部
32:表示部
34:操作部
36:記憶装置
38:学習制御部
40:学習画像蓄積部
42:判定制御部
44:受信バッファ
46:多層式ニューラルネットワーク
48:録画装置
50:学習情報収集部
52:送信バッファ
56:特徴抽出部
58:認識部
60:入力画像
62,66a,66b:重みフィルタ
64a〜64c:特徴マップ
68:入力層
70:結合層
72:中間層
74:出力層
80:アナログ火災感知器
82:伝送路
10: Fire notification equipment 11: Internet 12:
Claims (12)
各異常検出器の前記入力情報を学習情報として収集する学習情報蓄積部と、
前記学習情報蓄積部に収集された前記学習情報を用いて、前記異常検出器とは別に設けられ前記異常検出器の多層式ニューラルネットワークと同じ構成の多層式ニューラルネットワークをディープラーニングにより学習させ、当該学習済みの多層式ニューラルネットワーク又は当該学習により変更された多層式ニューラルネットワークのパラメータに前記異常検出器の多層式ニューラルネットワーク又は多層式ニューラルネットワークのパラメータを更新させる学習制御部と、
が設けられ、
前記多層式ニューラルネットワークの学習は、類似環境の異常検出器の入力情報に基づく学習情報毎に行われることを特徴とする監視システム。
In a monitoring system that detects anomalies in the monitoring area based on input information using an anomaly detector composed of a multi-layer neural network.
A learning information storage unit that collects the input information of each abnormality detector as learning information,
Using the learning information collected in the learning information storage unit, a multi-layer neural network provided separately from the anomaly detector and having the same configuration as the multi-layer neural network of the anomaly detector is learned by deep learning. A learning control unit that updates the parameters of the multi-layer neural network or the multi-layer neural network of the anomaly detector to the parameters of the learned multi-layer neural network or the multi-layer neural network changed by the learning.
Is provided,
A monitoring system characterized in that learning of the multi-layer neural network is performed for each learning information based on input information of an abnormality detector in a similar environment.
各異常検出器の前記入力情報を学習情報として収集する学習情報蓄積部と、
前記学習情報蓄積部に収集された他の異常検出器の入力情報に基づく学習情報を含んだ学習情報を用いて、各異常検出器の多層式ニューラルネットワークをディープラーニングにより学習させる学習制御部と、
が設けられたことを特徴とする監視システム。
In a monitoring system that detects anomalies in the monitoring area based on input information using an anomaly detector composed of a multi-layer neural network.
A learning information storage unit that collects the input information of each abnormality detector as learning information,
A learning control unit that learns a multi-layer neural network of each abnormality detector by deep learning using learning information including learning information based on input information of other abnormality detectors collected in the learning information storage unit.
A monitoring system characterized by the provision of.
前記多層式ニューラルネットワークの学習は、類似環境の他の異常検出器の入力情報に基づく学習情報を含んだ学習情報を用いて行われることを特徴とする監視システム。
In the monitoring system according to claim 2,
A monitoring system characterized in that learning of the multi-layer neural network is performed using learning information including learning information based on input information of other anomaly detectors in a similar environment.
センサにより検出された物理量及び又は、撮像部により撮像された前記監視領域の画像を前記入力情報とすることを特徴とする監視システム。
In the monitoring system according to any one of claims 1 to 3.
A monitoring system characterized in that the physical quantity detected by the sensor and / or the image of the monitoring area captured by the imaging unit is used as the input information.
前記学習蓄積収集部は、異常を監視している受信機による監視結果に対応した各異常検出器の入力情報を学習情報として収集することを特徴とする監視システム。
In the monitoring system according to any one of claims 1 to 4.
The learning accumulation / collection unit is a monitoring system characterized in that it collects input information of each abnormality detector corresponding to a monitoring result by a receiver that monitors an abnormality as learning information.
前記学習情報蓄積部は、火災感知器により火災を監視している火災受信機による監視結果に対応した各火災検出器の入力情報を学習情報として収集することを特徴とする監視システム。
In the monitoring system according to any one of claims 1 to 4.
The learning information storage unit is a monitoring system characterized in that it collects input information of each fire detector corresponding to the monitoring result by a fire receiver that monitors a fire by a fire detector as learning information.
前記学習情報蓄積部は、前記火災受信機により前記火災感知器の火災発報に基づく火災移報信号が入力された後に火災断定操作に基づく火災断定移報信号が入力された場合の所定時間前から前記火災移報信号の入力時までの各火災検出器の前記入力情報を火災の学習情報として収集することを特徴とする監視システム。
In the monitoring system according to claim 6,
The learning information storage unit receives a predetermined time before the fire determination signal based on the fire determination operation is input after the fire transfer signal based on the fire alarm of the fire detector is input by the fire receiver. A monitoring system characterized in that the input information of each fire detector from the time when the fire transfer signal is input is collected as fire learning information.
前記火災感知器は温度又は煙濃度を検出して検出アナログ値を前記火災受信機に送って火災を判断させ、
前記学習情報蓄積部は、前記検出アナログ値が所定の火災判断レベルに達し、前記火災受信機により前記火災感知器の火災発報に基づく火災移報信号が入力された後に火災断定操作に基づく火災断定移報信号が入力された場合の前記検出アナログ値が前記火災判断レベルより低い所定の火災予兆レベルを超えたときから前記火災移報信号の入力時までの各火災検出器の前記入力情報を火災の学習情報として収集することを特徴とする監視システム。
In the monitoring system according to claim 6,
The fire detector detects the temperature or smoke concentration and sends the detected analog value to the fire receiver to judge the fire.
In the learning information storage unit, after the detection analog value reaches a predetermined fire judgment level and a fire transfer signal based on the fire alarm of the fire detector is input by the fire receiver, a fire based on a fire determination operation is performed. The input information of each fire detector from the time when the detection analog value when the assertive transfer signal is input exceeds a predetermined fire sign level lower than the fire judgment level to the time when the fire transfer signal is input. A monitoring system characterized by collecting fire learning information.
前記学習情報蓄積部は、前記火災受信機により前記火災感知器の火災発報に基づく火災移報信号が入力された後に復旧操作に基づく復旧移報信号が入力された場合の所定時間前から前記火災移報信号の入力時までの各火災検出器の前記入力情報を非火災の学習情報として収集することを特徴とする監視システム。
In the monitoring system according to claim 6 or 7.
The learning information storage unit is said to start from a predetermined time before a predetermined time when a recovery transfer signal based on a recovery operation is input after a fire transfer signal based on a fire alarm of the fire detector is input by the fire receiver. A monitoring system characterized in that the input information of each fire detector up to the time of input of a fire transfer signal is collected as non-fire learning information.
前記火災感知器は温度又は煙濃度を検出して検出アナログ値を前記火災受信機に送って火災を判断させ、
前記学習情報蓄積部は、前記検出アナログ値が所定の火災判断レベルに達し、前記火災受信機により前記火災感知器の火災発報に基づく火災移報信号が入力された後に復旧操作に基づく復旧移報信号が入力された場合の前記検出アナログ値が前記火災判断レベルより低い所定の火災予兆レベルを超えたときから前記火災移報信号の入力時までの各火災検出器の前記入力情報を非火災の学習情報として収集することを特徴とする監視システム。
In the monitoring system according to claim 6 or 8.
The fire detector detects the temperature or smoke concentration and sends the detected analog value to the fire receiver to judge the fire.
In the learning information storage unit, after the detection analog value reaches a predetermined fire judgment level and a fire transfer signal based on the fire alarm of the fire detector is input by the fire receiver, the recovery transfer based on the restoration operation is performed. The input information of each fire detector from the time when the detection analog value when the alarm signal is input exceeds a predetermined fire sign level lower than the fire judgment level to the time when the fire transfer signal is input is non-fire. A monitoring system characterized by collecting as learning information of.
前記学習情報蓄積部は、前記火災受信機の通常監視状態の各火災検出器の入力情報を非火災の学習情報として収集することを特徴とする監視システム。
In the monitoring system according to any one of claims 6 to 10.
The learning information storage unit is a monitoring system characterized by collecting input information of each fire detector in a normal monitoring state of the fire receiver as non-fire learning information.
前記学習情報蓄積部は、盗難検出器により盗難を監視している盗難受信機による監視結果に対応した各盗難検出器の入力情報を学習情報として収集することを特徴とする監視システム。 In the monitoring system according to any one of claims 1 to 4.
The learning information storage unit is a monitoring system characterized in that the input information of each theft detector corresponding to the monitoring result by the theft receiver that monitors the theft by the theft detector is collected as learning information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021059552A JP7072700B2 (en) | 2016-10-27 | 2021-03-31 | Monitoring system |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016210241A JP6862144B2 (en) | 2016-10-27 | 2016-10-27 | Monitoring system |
JP2021059552A JP7072700B2 (en) | 2016-10-27 | 2021-03-31 | Monitoring system |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016210241A Division JP6862144B2 (en) | 2016-10-24 | 2016-10-27 | Monitoring system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021119469A true JP2021119469A (en) | 2021-08-12 |
JP7072700B2 JP7072700B2 (en) | 2022-05-20 |
Family
ID=62115469
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016210241A Active JP6862144B2 (en) | 2016-10-24 | 2016-10-27 | Monitoring system |
JP2021059552A Active JP7072700B2 (en) | 2016-10-27 | 2021-03-31 | Monitoring system |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016210241A Active JP6862144B2 (en) | 2016-10-24 | 2016-10-27 | Monitoring system |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP6862144B2 (en) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7106997B2 (en) * | 2018-06-04 | 2022-07-27 | 日本電信電話株式会社 | Data analysis system and data analysis method |
JP7262735B2 (en) * | 2018-10-29 | 2023-04-24 | 日本ケーブル株式会社 | Safety device for multi-storey parking system |
JP7161920B2 (en) * | 2018-11-09 | 2022-10-27 | セコム株式会社 | store equipment |
KR102162844B1 (en) * | 2018-12-14 | 2020-10-07 | 곽만석 | Large-capacity Automatic Fire extinguisher with improver usability |
JP7286311B2 (en) * | 2018-12-19 | 2023-06-05 | 清水建設株式会社 | Fire detection device, fire detection method, and program |
KR102245006B1 (en) * | 2019-02-27 | 2021-04-28 | 주식회사 유니콤넷 | L2 switch and video management system including the same |
JP7343290B2 (en) * | 2019-03-29 | 2023-09-12 | 太陽誘電株式会社 | Judgment system, information processing device, server, program and judgment method |
JP6742623B1 (en) * | 2019-11-13 | 2020-08-19 | 尚範 伊達 | Monitoring device, monitoring method, and program |
JP7505730B2 (en) * | 2019-11-14 | 2024-06-25 | 株式会社アクセル | Inference system, information processing device, and information processing program |
JP7375934B2 (en) * | 2020-06-24 | 2023-11-08 | 日本電気株式会社 | Learning device, estimation device, learning method and program |
JP6783492B1 (en) * | 2020-06-30 | 2020-11-11 | 株式会社鈴康 | Telephones, notification systems and computer programs |
KR102275989B1 (en) * | 2021-01-18 | 2021-07-13 | (주)전원테크 | Fire prediction system that can predict the fire and the expected direction of fire |
TW202240475A (en) | 2021-03-10 | 2022-10-16 | 日商索尼半導體解決方案公司 | Information processing device, information processing system, information processing method, and recording medium |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04365194A (en) * | 1991-06-12 | 1992-12-17 | Toyoe Moriizumi | Fire alarm device |
JPH06325270A (en) * | 1993-05-18 | 1994-11-25 | Hochiki Corp | Fire judging device and learning method for neural network |
JPH10207734A (en) * | 1997-01-17 | 1998-08-07 | Hitachi Ltd | Failure diagnostic device |
JP2004199391A (en) * | 2002-12-18 | 2004-07-15 | Manabu Tanaka | Method and device for deciding threshold in image analysis, binarizing device and image analyzing device and information processing method with learning function and image analyzing device with learning function and, recording medium for these methods |
US20060017578A1 (en) * | 2004-07-20 | 2006-01-26 | Shubinsky Gary D | Flame detection system |
CN101162545A (en) * | 2007-11-20 | 2008-04-16 | 华南理工大学 | Tall building fire light-temperature composite intelligent monitoring prediction device |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09196825A (en) * | 1996-01-18 | 1997-07-31 | Fuji Facom Corp | Abnormality detecting device for plant |
JP2016139176A (en) * | 2015-01-26 | 2016-08-04 | シャープ株式会社 | Image processing device, image processing system, image processing method, and image processing program therefor |
-
2016
- 2016-10-27 JP JP2016210241A patent/JP6862144B2/en active Active
-
2021
- 2021-03-31 JP JP2021059552A patent/JP7072700B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04365194A (en) * | 1991-06-12 | 1992-12-17 | Toyoe Moriizumi | Fire alarm device |
JPH06325270A (en) * | 1993-05-18 | 1994-11-25 | Hochiki Corp | Fire judging device and learning method for neural network |
JPH10207734A (en) * | 1997-01-17 | 1998-08-07 | Hitachi Ltd | Failure diagnostic device |
JP2004199391A (en) * | 2002-12-18 | 2004-07-15 | Manabu Tanaka | Method and device for deciding threshold in image analysis, binarizing device and image analyzing device and information processing method with learning function and image analyzing device with learning function and, recording medium for these methods |
US20060017578A1 (en) * | 2004-07-20 | 2006-01-26 | Shubinsky Gary D | Flame detection system |
CN101162545A (en) * | 2007-11-20 | 2008-04-16 | 华南理工大学 | Tall building fire light-temperature composite intelligent monitoring prediction device |
Also Published As
Publication number | Publication date |
---|---|
JP7072700B2 (en) | 2022-05-20 |
JP2018073024A (en) | 2018-05-10 |
JP6862144B2 (en) | 2021-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7072700B2 (en) | Monitoring system | |
JP6849411B2 (en) | Monitoring system | |
WO2018079400A1 (en) | Fire monitoring system | |
JP6857007B2 (en) | Fire monitoring system | |
JP6867153B2 (en) | Abnormality monitoring system | |
JP6942029B2 (en) | Fire monitoring system | |
WO2018116966A1 (en) | Fire monitoring system | |
JP6943401B2 (en) | Fire monitoring system | |
US11626008B2 (en) | System and method providing early prediction and forecasting of false alarms by applying statistical inference models | |
US20210075669A1 (en) | Cooperative monitoring networks | |
Tzeng et al. | Design of fall detection system with floor pressure and infrared image | |
JP6968530B2 (en) | Fire monitoring system | |
US11729597B2 (en) | Digital twin disaster management system customized for underground public areas | |
US20220028230A1 (en) | Methods And System For Monitoring An Environment | |
JP5042177B2 (en) | Image sensor | |
KR20210030791A (en) | Server, method and computer program for detecting abnormal state of monitoring target video | |
KR102299704B1 (en) | System for smart deep learning video surveillance by linking disaster environment metadata | |
Soman et al. | A Novel Fall Detection System using Mediapipe | |
JP2020066970A (en) | Break-in detection system, detection device and break-in detection management system | |
JP2005166054A (en) | Moving video processing system, and video monitoring system | |
US20200394902A1 (en) | Comprehensive video/sensor based artwork protection system | |
Minor et al. | Data fusion with a multisensor system for damage control and situational awareness | |
Alagarsamy et al. | Smart System Using Back Propagation Networks for Detection of Fire and Alert to the Users | |
KR20240072456A (en) | federated learning method of fall-down recognition | |
KR20240076471A (en) | Fall Monitoring System Based on Images And Method Thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210419 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220318 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220420 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220510 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7072700 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |