JP2018088105A - Monitoring system - Google Patents
Monitoring system Download PDFInfo
- Publication number
- JP2018088105A JP2018088105A JP2016230748A JP2016230748A JP2018088105A JP 2018088105 A JP2018088105 A JP 2018088105A JP 2016230748 A JP2016230748 A JP 2016230748A JP 2016230748 A JP2016230748 A JP 2016230748A JP 2018088105 A JP2018088105 A JP 2018088105A
- Authority
- JP
- Japan
- Prior art keywords
- fire
- detector
- learning
- input
- abnormality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Emergency Alarm Devices (AREA)
- Alarm Systems (AREA)
- Fire Alarms (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
- Fire-Detection Mechanisms (AREA)
Abstract
Description
本発明は、火災感知器や人感センサ等のセンサやカメラで撮像した画像等のデータからニューラルネットワークにより異常を判断して警報させる監視システムに関する。 The present invention relates to a monitoring system in which an abnormality is determined by a neural network from a sensor such as a fire sensor or a human sensor, or data such as an image captured by a camera, and an alarm is issued.
従来、煙感知器や熱感知器など、特定の物理量を監視するセンサを用いて、火災を検出するシステムが実用化されている。 Conventionally, a system for detecting a fire using a sensor for monitoring a specific physical quantity such as a smoke sensor or a heat sensor has been put into practical use.
一方、監視カメラで撮像した監視領域の画像に対し画像処理を施すことにより、火災を検知するようにした様々な装置やシステムが提案されている。 On the other hand, various devices and systems have been proposed in which a fire is detected by performing image processing on an image of a monitoring area captured by a monitoring camera.
また、人感センサや監視カメラを用いて侵入や犯罪行為の監視を行うなど、防犯分野に於いても様々な装置やシステムが提案されている。 Various devices and systems have also been proposed in the crime prevention field, such as monitoring intrusions and criminal acts using human sensors and surveillance cameras.
このような防災、防犯に関するシステムにあっては、異常に対する初期対応の観点から異常の早期発見が重要である。 In such disaster prevention and crime prevention systems, early detection of abnormalities is important from the viewpoint of initial response to abnormalities.
このため従来装置（特許文献１）にあっては、画像から火災に伴う煙により起きる現象として、透過率又はコントラストの低下、輝度値の特定値への収束、輝度分布範囲が狭まって輝度の分散の低下、煙による輝度の平均値の変化、エッジの総和量の低下、低周波帯域の強度増加を導出し、これらを総合的に判断して煙の検出を可能としている。 For this reason, in the conventional device (Patent Document 1), as a phenomenon caused by smoke from a fire from an image, a decrease in transmittance or contrast, a convergence of a luminance value to a specific value, a luminance distribution range is narrowed and a luminance distribution is reduced. , A change in average value of brightness due to smoke, a decrease in the total amount of edges, and an increase in intensity in the low frequency band are derived, and these can be comprehensively judged to detect smoke.
しかしながら、特定の物理量を監視するセンサを用いた防災、防犯に関するシステムは、火災でない事象により監視基準が満たされた場合でも火災とみなすことや、人感センサを回避することで侵入を見抜けないなど、正しく異常を判別できない問題があった。 However, disaster prevention and crime prevention systems that use sensors that monitor specific physical quantities can be regarded as a fire even if the monitoring criteria are met by an event that is not a fire, or the intrusion cannot be detected by avoiding human sensors, etc. There was a problem that the abnormality could not be correctly identified.
また、従来の火災に伴う煙の画像から火災を検知する火災監視システムにあっては、煙の画像における透過率、コントラスト、エッジ等の煙の特徴量を予め定め、監視カメラで撮像した画像を処理することで煙による特徴を生成しなければならず、火災による煙の発生状況は多種多様であり、その中に煙としてどのような特徴があるかを見出すことは極めて困難であり、決め手となる特徴がなかなか見いだせないため、監視画像から火災による煙を精度良く判断して火災警報を出力する火災監視システムは実用化の途上にある。 In addition, in a conventional fire monitoring system that detects a fire from a smoke image associated with a fire, smoke features such as transmittance, contrast, and edge in the smoke image are determined in advance, and an image captured by the monitoring camera is captured. The characteristics of smoke must be generated by processing, and there are a wide variety of smoke generation situations due to fire, and it is extremely difficult to find out what the characteristics of smoke are in it. Therefore, a fire monitoring system that accurately determines smoke from a fire from a monitoring image and outputs a fire alarm is on the way to practical use.
また、監視カメラにより侵入や犯罪行為を監視するシステムにあっては、実用化はなされているものの、現場の明暗等の状況により監視精度が左右されるなど、改善の余地がある。 In addition, a system for monitoring intrusions and criminal activities with a monitoring camera has been put into practical use, but there is room for improvement in that the monitoring accuracy depends on the conditions of light and darkness in the field.
一方、近年にあっては、例えば多数の猫と犬の画像にラベル付けをし、それを畳み込みニューラルネットワークを備えた多層式のニューラルネットワークに学習させ、所謂ディープラーニングを行い、新たな画像を学習済みの多層式のニューラルネットワークに提示し、それが猫なのか犬なのかを判定する技術が開示されている。 On the other hand, in recent years, for example, images of many cats and dogs are labeled and learned by a multilayer neural network equipped with a convolutional neural network, so-called deep learning is performed, and new images are learned. A technique for presenting an already-described multi-layered neural network and determining whether it is a cat or a dog is disclosed.
また、ディープラーニングは画像解析のみにとどまらず、自然言語処理や行動解析等に用いることが検討されている。 In addition, deep learning is not only used for image analysis but also for use in natural language processing and behavior analysis.
このような多層式のニューラルネットワークを、火災感知器や人感センサに代表されるセンサから得られる物理量、検出結果や監視カメラで撮像した監視領域の画像を入力情報とし、入力情報から異常を判断する判定装置に設け、学習時においては多数の異常時及び非異常時の入力情報を準備して多層式のニューラルネットワークに学習させ、監視時においては入力情報を学習済みの多層式のニューラルネットワークに入力すれば、その出力から異常か否かを高い精度で推定して警報を出力させる異常監視システムが構築可能となる。 Using such a multilayer neural network as input information, physical quantities obtained from sensors such as fire detectors and human sensors, detection results, and images of the monitoring area captured by a monitoring camera are used as input information, and abnormalities are determined from the input information. In the determination device, a large number of abnormal and non-abnormal input information is prepared at the time of learning and learned in a multilayer neural network, and the input information is learned into a learned multilayer neural network at the time of monitoring If an input is made, it is possible to construct an abnormality monitoring system that estimates an abnormality from the output with high accuracy and outputs an alarm.
この場合、異常監視システムの製造段階で予め準備された多数の異常時及び非異常時の入力情報を教師ありの学習情報として多層式のニューラルネットワークの学習を行い、学習の済んだ多層式のニューラルネットワークを備えた判定装置を、監視する施設に設置し、監視領域に設置している火災感知器や人感センサ等のセンサデータやカメラで撮像した画像を判定装置に入力して異常を監視することになる。 In this case, a multi-layer neural network is trained by using a large number of abnormal and non-abnormal input information prepared in the manufacturing stage of the abnormality monitoring system as supervised learning information. A judgment device equipped with a network is installed in the facility to be monitored, and sensor data such as fire detectors and human sensors installed in the surveillance area and images taken by the camera are input to the judgment device and monitored for abnormalities. It will be.
しかしながら、製造段階で行われる多層式のニューラルネットワークの学習は実際の監視領域で取得したデータではなく、標準的に準備された入力情報を使用した学習となり、現地のセンサや監視カメラで入力される実際の物理量や監視画像を入力した場合に十分に高い精度で異常を推定することができない可能性が残る。 However, the learning of the multilayer neural network performed at the manufacturing stage is not the data acquired in the actual monitoring area but the learning using the input information prepared as standard, and is input by a local sensor or monitoring camera When an actual physical quantity or monitoring image is input, there is a possibility that an abnormality cannot be estimated with sufficiently high accuracy.
また、現場環境に応じて通常時、異常時の状況は異なり、標準的に準備された入力情報で学習を行っただけでは、現場環境が変化することで異常の検出精度が低下してしまう恐れがある。 In addition, the situation during normal times and abnormalities varies depending on the site environment, and learning with standard input information may reduce the detection accuracy of abnormalities due to changes in the site environment. There is.
また、設置環境下で学習した異常検出器のみで異常検出すると、過去に現場で発生した異常に対しては検出できるが、過去に発生していない異常について検出精度が落ちてしまう等の過学習を行ってしまう恐れがあり、検出性能の保証が出来ない問題がある。 In addition, if anomaly is detected only with an anomaly detector that has been learned in the installation environment, it can detect anomalies that have occurred in the field in the past, but overlearning such as a decrease in detection accuracy for anomalies that have not occurred in the past There is a problem that the detection performance cannot be guaranteed.
本発明は、予め準備された入力情報により学習した多層式のニューラルネットワークと、これに加えて設置場所で入力された入力情報により学習した多層式のニューラルネットワークとの組み合わせにより、環境の変化にも対応可能であり、異常の検出精度を保証しつつ異常の判定精度を向上可能とする監視システムを提供することを目的とする。 The present invention combines a multilayer neural network learned from input information prepared in advance with a multilayer neural network learned from input information input at the installation location, thereby allowing for changes in the environment. An object of the present invention is to provide a monitoring system that can cope with and can improve the accuracy of abnormality determination while guaranteeing the accuracy of abnormality detection.
（監視システム）
本発明は、監視システムに於いて、
予め準備された学習情報により学習された多層式のニューラルネットワークによって構成され、監視領域からの入力情報の入力により異常か非異常かを検出する第１異常検出器と、
予め準備された学習情報及び監視領域で収集された学習情報により学習された多層式のニューラルネットワークによって構成され、入力情報の入力により異常か非異常かを検出する第２異常検出器と、
第１異常検出器と第２異常検出器の検出結果に基づき監視領域の異常を判定して警報する警報制御部と、
が設けられたことを特徴とする。
(Monitoring system)
The present invention provides a monitoring system comprising:
A first abnormality detector configured by a multilayer neural network learned by learning information prepared in advance, and detecting abnormality or non-abnormality by input of input information from a monitoring area;
A second abnormality detector configured by a multilayer neural network learned from learning information prepared in advance and learning information collected in the monitoring region, and detecting whether the input information is abnormal or non-abnormal;
An alarm control unit for determining and alarming an abnormality in the monitoring area based on the detection results of the first abnormality detector and the second abnormality detector;
Is provided.
（２つの検出結果の重み付け加算による異常判定）
警報制御部は、第１異常検出器と第２異常検出器の各検出結果に所定の重みを設定して加算した値から異常を判定して異常を警報する。
(Abnormality judgment by weighted addition of two detection results)
The alarm control unit determines an abnormality from a value obtained by setting and adding a predetermined weight to each detection result of the first abnormality detector and the second abnormality detector and alarms the abnormality.
（学習量に応じて変化する重み）
所定の重みは前記学習情報の量により変化する。
(Weight that changes according to learning amount)
The predetermined weight varies depending on the amount of learning information.
（入力情報）
第１異常検出器及び第２異常検出器は、センサにより検出された物理量及び又は、撮像部により撮像された監視領域の画像を入力情報として入力して異常か非異常かを検出する。
(Input information)
The first abnormality detector and the second abnormality detector detect whether the physical quantity detected by the sensor and / or the image of the monitoring area imaged by the imaging unit are input information as abnormal or non-abnormal.
（異常予兆警報と異常警報）
警報制御部は、第１異常検出器又は第２異常検出器のうちいずれかで異常の検出が判定された場合に異常予兆警報を出力させ、第１異常検出器及び第２異常検出器で異常の検出が判定された場合に異常警報を出力させる。
(Abnormal warning warning and abnormal warning)
The alarm control unit outputs an abnormality predictor alarm when abnormality detection is determined by either the first abnormality detector or the second abnormality detector, and an abnormality is detected by the first abnormality detector and the second abnormality detector. An abnormality alarm is output when it is determined that the detection is detected.
（第２異常検出器の監視領域の入力情報による学習）
第２異常検出器は、
ディープラーニングにより学習させる学習制御部と、
センサにより検出された物理量及び又は、撮像部により撮像された監視領域の画像を入力情報として記憶する記憶部と、
が設けられ、
学習制御部は、記憶部に記憶されている入力情報を読出し、第２異常検出器の多層式のニューラルネットワークに学習情報として入力して学習させる。
(Learning by input information of monitoring area of second abnormality detector)
The second anomaly detector is
A learning control unit for learning by deep learning;
A storage unit that stores, as input information, a physical quantity detected by a sensor and / or an image of a monitoring area imaged by an imaging unit;
Is provided,
The learning control unit reads the input information stored in the storage unit and inputs it as learning information to the multilayer neural network of the second abnormality detector for learning.
（火災監視）
第１異常検出器及び第２異常検出器は、入力情報を入力して火災か非火災かを検出し、
警報制御部は、第１異常検出器と第２異常検出器の検出結果に基づき監視領域の火災を判定して警報し、
学習制御部は、火災感知器により火災を監視している火災受信機による監視結果に基づき、記憶部の記憶されている入力情報を読出し、第２異常検出器の多層式のニューラルネットワークに学習情報として入力して学習させる。
(Fire monitoring)
The first abnormality detector and the second abnormality detector detect the fire or non-fire by inputting the input information,
The alarm control unit determines and alarms a fire in the monitoring area based on the detection results of the first abnormality detector and the second abnormality detector,
The learning control unit reads the input information stored in the storage unit based on the monitoring result of the fire receiver monitoring the fire with the fire detector, and learns the learning information to the multilayer neural network of the second abnormality detector. To learn as input.
（火災発報の感知器に対応する入力情報による火災学習）
学習制御部は、火災受信機により火災感知器の火災発報による信号が入力された場合、所定時間前から火災発報による信号の入力時までの入力情報のうち、火災発報した火災感知器に対応する入力情報を記憶部から読出し、第２異常検出器の多層式のニューラルネットワークに火災の学習情報として入力して学習させる。
(Fire learning by input information corresponding to the fire alarm detector)
When the fire control signal is input by the fire receiver, the learning control unit detects the fire detector that has fired out of the input information from the predetermined time until the signal input by the fire alarm. Is read from the storage unit and input to the multilayer neural network of the second anomaly detector as learning information for fire.
（火災移報の所定時間前からの入力情報による火災断定時の火災学習）
学習制御部は、火災受信機により火災感知器の火災発報に基づく火災移報信号が入力された後に火災断定操作に基づく火災断定移報信号が入力された場合、所定時間前から火災移報信号の入力時までの入力情報を記憶部から読出し、第２異常検出器の多層式のニューラルネットワークに火災の学習情報として入力して学習させる。
(Fire learning at the time of fire determination based on input information from a predetermined time before the fire bulletin)
If the fire control signal based on the fire determination operation is input after the fire receiver inputs the fire signal based on the fire alarm of the fire detector by the fire receiver, the learning control unit will fire The input information up to the time of signal input is read from the storage unit, and is input to the multilayer neural network of the second anomaly detector as learning information for fire for learning.
（火災予兆レベル超えからの入力情報による火災学習）
火災感知器は温度又は煙濃度を検出して検出アナログ値を火災受信機に送って火災を判断させており、
学習制御部は、火災感知器により火災が検出された場合、検出アナログ値が火災判断レベルより低い所定の火災予兆レベルを超えたときから火災感知器により火災が検出された時までの入力情報を記憶部から読出し、第２異常検出器の多層式のニューラルネットワークに火災の学習情報として入力して学習させる。
(Fire learning based on input information from the fire warning level)
The fire detector detects the temperature or smoke concentration and sends the detected analog value to the fire receiver to determine the fire.
When a fire is detected by the fire detector, the learning control unit receives input information from when the detected analog value exceeds a predetermined fire predictive level lower than the fire judgment level to when the fire is detected by the fire detector. The data is read out from the storage unit and input to the multilayer neural network of the second anomaly detector as learning information for fire for learning.
（火災移報の所定時間前からの入力情報による復旧時の非火災学習）
学習制御部は、火災受信機により火災感知器の火災発報に基づく火災移報信号が入力された後に復旧操作に基づく復旧移報信号が入力された場合、所定時間前から火災移報信号の入力時までの入力情報を記憶部から読出し、第２異常検出器の多層式のニューラルネットワークに非火災の学習情報として入力して学習させる。
(Non-fire learning at the time of restoration by input information from a predetermined time before the fire transfer)
If a fire alarm signal based on a fire alarm from a fire detector is input by the fire receiver and then a recovery alarm signal based on a recovery operation is input, the learning control unit The input information up to the time of input is read from the storage unit, and is input to the multilayer neural network of the second anomaly detector as non-fire learning information for learning.
（火災予兆レベル超えからの入力情報による非火災学習）
火災感知器は温度又は煙濃度を検出して検出アナログ値を火災受信機に送って火災を判断させており、
学習制御部は、火災受信機により火災感知器の火災発報に基づく火災移報信号が入力された後に復旧操作に基づく復旧移報信号が入力された場合、検出アナログ値が火災判断レベルより低い所定の火災予兆レベルを超えたときから火災移報信号の入力時までの入力情報を記憶部から読出し、第２異常検出器の多層式のニューラルネットワークに非火災の学習情報として入力して学習させる。
(Non-fire learning based on input information from the level of fire warning)
The fire detector detects the temperature or smoke concentration and sends the detected analog value to the fire receiver to determine the fire.
The learning control unit detects that the detection analog value is lower than the fire judgment level when a fire alarm signal based on the fire alarm of the fire detector is input by the fire receiver and then a recovery alarm signal based on the recovery operation is input. The input information from when the predetermined fire predictive level is exceeded to when the fire signal is input is read from the storage unit, and is input to the multi-layer neural network of the second anomaly detector as non-fire learning information for learning. .
（監視領域の通常入力情報による初期化学習）
学習制御部は、通常監視状態で記憶部に記憶された入力情報を読み出して、第２異常検出器の多層式のニューラルネットワークに非火災の学習情報として入力して初期化学習させる。
(Initialization learning based on normal input information in the monitoring area)
The learning control unit reads the input information stored in the storage unit in the normal monitoring state, and inputs it as non-fire learning information to the multilayer neural network of the second anomaly detector for initialization learning.
（初期化学習のタイミング）
初期化学習のタイミングは、装置立ち上げ時、所定の操作が行われたとき、入力情報に変化が略ないとき、所定時間間隔毎に行われその初回の時刻が変化する、のうちいずれか一つ以上を含む。
(Timing of initialization learning)
The initialization learning timing is any one of the following: when the apparatus is started up, when a predetermined operation is performed, when there is almost no change in the input information, and when the initial time is changed every predetermined time interval. Including one or more.
（基本的な効果）
本発明は、監視システムに於いて、予め準備された学習情報により学習された多層式のニューラルネットワークによって構成され、監視領域からの入力情報の入力により異常か非異常かを検出する第１異常検出器と、予め準備された学習情報及び監視領域で収集された学習情報により学習された多層式のニューラルネットワークによって構成され、入力情報の入力により異常か非異常かを検出する第２異常検出器と、第１異常検出器と第２異常検出器の検出結果に基づき監視領域の異常を判定して警報する警報制御部とが設けられたため、製造段階で準備された標準的な学習情報により第１異常検出器と第２異常検出器の多層式ニューラルネットワークを学習させることで、人為的な解析では異常か非異常かが判断できない入力情報から高い精度で異常を推定する機能を実現し、これに加えて第２異常検出器の多層式ニューラルネットワークは監視領域の実際の入力情報により学習することで、設置場所により異なる環境の変化に対応して入力情報から高い精度で異常を推定する機能が実現され、第１異常検出器と第２異常検出器の検出結果から異常を判定して警報することで、単独の異常検出器の場合に比べ、異常の判定精度を向上可能とする。
(Basic effect)
The present invention is a first abnormality detection which is constituted by a multilayer neural network learned by learning information prepared in advance in a monitoring system and detects abnormality or non-abnormality by inputting input information from a monitoring area. And a second anomaly detector configured to detect abnormality or non-abnormality according to input of input information, and a multilayer neural network learned from learning information prepared in advance and learning information collected in a monitoring area Since the alarm control unit for determining and alarming the abnormality of the monitoring area based on the detection results of the first abnormality detector and the second abnormality detector is provided, the first learning information prepared in the manufacturing stage is used for the first. By learning multi-layer neural network of anomaly detector and 2nd anomaly detector, it is high from input information that cannot be judged abnormal or non-abnormal by artificial analysis In addition to this, the multi-layer neural network of the second anomaly detector can learn from actual input information in the monitoring area to cope with changes in the environment that vary depending on the installation location. The function to estimate the abnormality with high accuracy from the input information is realized, and by judging the abnormality from the detection result of the first abnormality detector and the second abnormality detector and alarming, compared to the case of a single abnormality detector, It is possible to improve abnormality determination accuracy.
（２つの検出結果の重み付け加算による異常判定の効果）
また、警報制御部は、第１異常検出器と第２異常検出器の各検出結果に所定の重みを設定して加算した値から異常を判定して異常を警報するようにしたため、設置場所に対応した異常の推定精度の低い第１異常検出器の検出結果に例えば０．３の重みを設定し、設置場所に対応した異常の推定精度の高い第２異常検出器の検出結果には例えば０．７の重みを設定して加算し、所定の判定閾値と比較して異常の有無を判定することで、設置場所の環境の変化に対応して高い精度で異常を判定可能とする。
(Effect of abnormality determination by weighted addition of two detection results)
In addition, the alarm control unit determines an abnormality from a value obtained by setting and adding a predetermined weight to each detection result of the first abnormality detector and the second abnormality detector and warns the abnormality. For example, a weight of 0.3 is set to the detection result of the first abnormality detector having a low abnormality estimation accuracy, and the detection result of the second abnormality detector having a high abnormality estimation accuracy corresponding to the installation location is, for example, 0. A weight of .7 is set and added, and the presence or absence of an abnormality is determined by comparing with a predetermined determination threshold value, so that an abnormality can be determined with high accuracy in response to a change in the environment of the installation location.
（学習量に応じて変化する重み）
また、所定の重みは学習情報の量により変化するようにしたため、例えば設置後間もなく学習情報の量が少ない場合、例えば第１異常検出器の重みを０．７、第２異常検出器の重みを０．３といったように、第２異常検出器の重みを軽くすることで、学習量の少ない第２異常検出器への依存を小さくすることができる。また、設置後十分に時間が経過し学習情報が多い場合、例えば第１異常検出器の重みを０．３、第２異常検出器の重みを０．７といったように、第２異常検出器の重みを重くすることで、十分に学習した異常検出器への依存を大きくすることができる。
(Weight that changes according to learning amount)
In addition, since the predetermined weight changes depending on the amount of learning information, for example, when the amount of learning information is small soon after installation, for example, the weight of the first abnormality detector is 0.7 and the weight of the second abnormality detector is By reducing the weight of the second abnormality detector such as 0.3, the dependence on the second abnormality detector with a small learning amount can be reduced. In addition, when the time has elapsed sufficiently after installation and there is a lot of learning information, for example, the weight of the first abnormality detector is 0.3, the weight of the second abnormality detector is 0.7, and so on. By increasing the weight, it is possible to increase the dependence on the fully-detected abnormality detector.
（入力情報による効果）
また、第１異常検出器及び第２異常検出器は、センサにより検出された物理量及び又は、撮像部により撮像された監視領域の画像を入力情報として入力して異常か非異常かを検出するようにしたため、センサで検出された物理量や撮像部で撮像された監視領域の画像等を学習済みの第１及び第２異常検出器に入力することで、高い精度で異常を推定して警報可能とする。
(Effects of input information)
In addition, the first abnormality detector and the second abnormality detector detect whether the abnormality is normal or non-abnormal by inputting the physical quantity detected by the sensor or the image of the monitoring area captured by the imaging unit as input information. Therefore, by inputting the physical quantity detected by the sensor or the image of the monitoring area imaged by the imaging unit to the learned first and second abnormality detectors, the abnormality can be estimated and alarmed with high accuracy. To do.
（異常予兆警報と異常警報による効果）
また、警報制御部は、第１異常検出器又は第２異常検出器のうちいずれかで異常の検出が判定された場合に異常予兆警報を出力させ、第１異常検出器及び第２異常検出器で異常の検出が判定された場合に異常警報を出力させるようにしたため、異常検出器のいずれかで異常を検出して予兆警報を出すことで、いずれかの異常検出器でのみ異常検出できるような異常についても漏れなく報知ことが可能となり、異常検出器が共に異常を検出した際は異常の可能性が高いことから異常を警報することで異常警報（本警報）を出力して、異常を確実に報知可能とする。
(Effect of abnormal warning and abnormal warning)
The alarm control unit outputs an abnormality predictor alarm when abnormality detection is determined by either the first abnormality detector or the second abnormality detector, and the first abnormality detector and the second abnormality detector are output. An abnormality alarm is output when an abnormality is detected in, so that an abnormality can be detected only by one of the abnormality detectors by detecting an abnormality with one of the abnormality detectors and issuing a predictive alarm. It is possible to report any abnormalities without omission, and when both abnormality detectors detect an abnormality, the possibility of abnormality is high, so an abnormality alarm (this alarm) is output by alarming the abnormality. It is possible to reliably notify.
（火災監視による効果）
また、第１異常検出器及び第２異常検出器は、入力情報を入力して火災か非火災かを検出し、警報制御部は、第１異常検出器と第２異常検出器の検出結果に基づき監視領域の火災を判定して警報し、学習制御部は、火災感知器により火災を監視している火災受信機による監視結果に基づき、記憶部の記憶されている入力情報を読出し、第２異常検出器の多層式のニューラルネットワークに学習情報として入力して学習させるようにしたため、第１異常検出器と第２異常検出器の多層式のニューラルネットネットワークは、製造段階での標準的な火災及び非火災の画像により学習されているが、第２異常検出器の多層式のニューラルネットワークについては、更に、火災報知設備の受信機の火災監視結果に基づき、火災警報が出力された場合は、例えば、そのとき録画装置に録画されている画像を火災の画像として読出して多層式のニューラルネットワークを学習し、また、火災警報が出力されたが非火災であった場合には、そのとき録画装置に録画されている画像を非火災の画像として読出して第２異常検出器の多層式のニューラルネットワークを学習することで、実際に撮像部としての監視カメラにより監視している監視領域に対応した火災及び非火災の画像による学習が効率的に行われ、第２異常検出器は、監視カメラにより撮像している監視画像から高い精度で火災を推定して警報可能とする。
(Effects of fire monitoring)
In addition, the first abnormality detector and the second abnormality detector input the input information to detect whether it is a fire or a non-fire, and the alarm control unit displays the detection results of the first abnormality detector and the second abnormality detector. Based on the monitoring result by the fire receiver monitoring the fire by the fire detector, the learning control unit reads the input information stored in the storage unit, Since learning information is input to the multilayer neural network of the abnormality detector and learned, the multilayer neural network of the first abnormality detector and the second abnormality detector is a standard fire at the manufacturing stage. If the fire alarm is output based on the fire monitoring result of the receiver of the fire alarm equipment, the multi-layer neural network of the second anomaly detector has been learned from the non-fire images. For example, an image recorded in the recording device at that time is read as a fire image to learn a multilayer neural network, and if a fire alarm is output but a non-fire is detected, then the recording device A fire corresponding to a monitoring area that is actually monitored by a monitoring camera as an image pickup unit by reading a multi-layer neural network of the second anomaly detector by reading out the image recorded in the image as a non-fire image And the learning by the non-fire image is efficiently performed, and the second anomaly detector makes it possible to alarm by estimating the fire with high accuracy from the monitoring image captured by the monitoring camera.
この点はセンサにより検出される温度や煙濃度等の物理量についても同様であり、第２異常検出器はセンサの検出信号から高い精度で火災を推定して警報可能とする。 The same applies to physical quantities such as temperature and smoke density detected by the sensor, and the second abnormality detector can make a warning by estimating fire with high accuracy from the detection signal of the sensor.
（火災発報した感知器に対応する入力情報による火災学習）
また、学習制御部は、火災受信機により火災感知器の火災発報による信号が入力された場合、所定時間前から火災発報による信号の入力時までの入力情報のうち、火災発報した火災感知器に対応する入力情報を記憶部から読出し、第２異常検出器の多層式のニューラルネットワークに火災の学習情報として入力して学習させるようにしたため、火災の発生箇所における入力情報が第２異常検出器に使用する火災の学習情報として得られ、自動的に学習情報を得ることが可能となる。
(Fire learning by input information corresponding to the sensor that fires)
In addition, if the fire control unit receives a fire alarm signal from the fire receiver, the learning control unit will detect the fire that has been fired out of the input information from the specified time before the fire alarm signal is input. Since the input information corresponding to the sensor is read from the storage unit and input to the multilayer neural network of the second anomaly detector as learning information for fire, the input information at the location of the fire is the second anomaly. It is obtained as fire learning information used for the detector, and learning information can be automatically obtained.
火災感知器等のセンサデータを入力情報とする場合、例えば火災発報の５分前からのセンサデータを記憶部から読み出して火災のセンサデータとして第２異常検出器を学習させる場合、所定の時間間隔毎、例えば５秒ごとにセンサデータが検出されていたとすると、６０セットのセンサデータが得られる。また、監視カメラの画像を入力情報とする場合、例えば、火災発報の５分前からの画像を録画装置から読み出して火災の画像として第２異常検出器を学習させる場合、録画画像が３０フレーム／秒で録画されていたとすると、５分の録画画像から９０００枚の画像が得られる。上記のように、1度の火災感知器の発報により、当該火災感知器に応じた複数の入力情報による学習が簡単に実現できることで、第２異常検出器は入力情報からより高い精度で火災を推定して警報可能とする。 When sensor data of a fire detector or the like is used as input information, for example, when sensor data from 5 minutes before the fire alarm is read from the storage unit and the second abnormality detector is learned as fire sensor data, a predetermined time If sensor data is detected at intervals, for example, every 5 seconds, 60 sets of sensor data are obtained. Further, when the image of the monitoring camera is used as input information, for example, when the image from 5 minutes before the fire alarm is read from the recording device and the second abnormality detector is learned as a fire image, the recorded image is 30 frames. Assuming that recording is performed at a rate of 9000 seconds, 9000 images are obtained from a recorded image of 5 minutes. As mentioned above, the second anomaly detector fires from the input information with higher accuracy by easily realizing learning with a plurality of input information corresponding to the fire detector by issuing a fire detector once. Can be estimated and alarmed.
（火災発報の所定時間前からの入力情報による火災断定時の火災学習）
また、学習制御部は、火災感知器の火災発報による信号が入力された後に火災断定操作に基づく火災断定移報信号が入力された場合、所定時間前から火災移報信号の入力時までの入力情報を記憶部から読出し、第２異常検出器の多層式のニューラルネットワークに火災の学習情報として入力して学習させるようにしたため、火災が確実に発生している状態での入力情報を火災時の入力情報として学習できるため、学習データに火災のラベリングをする手間なく、誤りのない学習データにより第２異常検出器の学習ができるようになる。
(Fire learning at the time of fire determination based on input information from a predetermined time before fire alarm)
In addition, when the fire control signal based on the fire determination operation is input after the fire detection signal from the fire detector is input, the learning control unit will start from the predetermined time before the fire transfer signal is input. The input information is read from the storage unit and input to the multi-layered neural network of the second anomaly detector as learning information for fire so that it can be learned. Therefore, it is possible to learn the second anomaly detector using learning data without errors without having to label the learning data with fire.
（火災予兆レベル超えからの入力情報による火災学習）
また、火災感知器は温度又は煙濃度を検出して検出アナログ値を送って火災を判断させており、学習制御部は、火災感知器の信号により火災が検出された場合、検出アナログ値が火災判断レベルより低い所定の火災予兆レベルを超えたときから火災検出時までの入力情報を記憶部から読出し、第２異常検出器の多層式のニューラルネットワークに火災の学習情報として入力して学習させるようにしたため、アナログ型の火災感知器により検知している監視領域の温度や煙濃度が、火災判断レベルより低い火災の予兆となる所定の火災予兆レベルに達したときからの入力情報を記憶部から読出して第２異常検出器を学習することから、火災の初期段階からの火災と判断されるまでの多数の入力情報を火災の入力情報として読み出して第２異常検出器を学習することができ、火災の予兆検出を可能とする。
(Fire learning based on input information from the fire warning level)
In addition, the fire detector detects the temperature or smoke concentration and sends a detection analog value to judge the fire, and the learning control unit detects the fire when the fire detector signal detects a fire. The input information from when the predetermined fire predictive level lower than the judgment level is exceeded to when the fire is detected is read from the storage unit, and is input to the multi-layer neural network of the second abnormality detector as learning information for fire. Therefore, input information from the storage unit when the temperature and smoke density of the monitoring area detected by the analog fire detector reaches a predetermined fire sign level that is a sign of fire lower than the fire judgment level is read from the storage unit. From reading and learning the second anomaly detector to reading out a lot of input information from the initial stage of the fire until it is judged as a fire, the second anomaly detection Vessel can learn, allowing sign detection of a fire.
（火災発報の所定時間前からの入力情報による復旧時の非火災学習）
学習制御部は、受信機により火災感知器の火災発報に基づく火災移報信号が入力された後に復旧操作に基づく復旧移報信号が入力された場合、所定時間前から火災移報信号の入力時までの入力情報を記憶部から読出し、第２異常検出器の多層式のニューラルネットワークに火災の学習情報として入力して学習させるようにしたため、例えば、火災発報の５分前からの入力情報を記憶部から読出して非火災の入力情報として第２異常検出器を学習させる場合、火災が確実に発生していない状態での入力情報を非火災時の入力情報として第２異常検出器を学習できるため、学習データに非火災のラベリングをする手間なく、誤りのない学習データにより学習ができるようになる。
(Non-fire learning at the time of restoration based on input information from a predetermined time before fire alarm)
The learning control unit inputs the fire alarm signal from a predetermined time before the recovery alarm signal based on the recovery operation is input after the fire alarm signal based on the fire alarm of the fire detector is input by the receiver. Since the input information up to the time is read from the storage unit and input to the multi-layer neural network of the second anomaly detector as learning information for fire, for example, input information from 5 minutes before the fire is triggered When the second anomaly detector is learned as non-fire input information by reading from the storage unit, the second anomaly detector is learned as input information at the time of non-fire when the fire does not occur reliably As a result, learning can be performed with learning data without errors without having to label learning data with non-fire.
（火災予兆レベル超えからの入力情報による復旧時の非火災学習）
また、火災感知器は温度又は煙濃度を検出して検出アナログ値を送って火災を判断させており、学習制御部は、受信機により火災感知器の火災発報に基づく火災移報信号が入力された後に復旧操作に基づく復旧移報信号が入力された場合、検出アナログ値が火災判断レベルより低い所定の火災予兆レベルを超えたときから火災移報信号の入力時までの入力情報を記憶部から読出し、第２異常検出器の多層式のニューラルネットワークに非火災の学習情報として入力して学習させるようにしたため、アナログ型の火災感知器により検知している監視領域の温度や煙濃度が、火災判断レベルより低い火災の予兆を示す所定の火災予兆レベルに達したが、火災以外の原因による温度や煙濃度の増加による非火災であった場合に、火災予兆レベルに達したときからの入力情報を非火災の入力情報として第２異常検出器を学習することから、初期段階から非火災と判断されるまでの多数の入力情報を非火災の入力情報を記憶部から読出して学習することができ、火災の予兆と捉えられかねない非火災の状態に対して、より高い精度で非火災を推定して誤報を確実に防止可能とする。
(Non-fire learning at the time of restoration based on input information from the fire warning level exceeded)
In addition, the fire detector detects the temperature or smoke concentration and sends a detection analog value to judge the fire, and the learning control unit inputs a fire alarm signal based on the fire alarm of the fire detector by the receiver. Storage unit that stores input information from when the detected analog value exceeds a predetermined fire warning level that is lower than the fire judgment level to when the fire warning signal is input. Because the non-fire learning information is input to the multilayer neural network of the second anomaly detector and learned, the temperature and smoke concentration in the monitoring area detected by the analog fire detector are Reached the fire predictive level when a predetermined fire predictive level that indicates a fire predictor lower than the fire judgment level has been reached, but the non-fire is due to an increase in temperature or smoke concentration due to a cause other than fire From the learning of the second anomaly detector using non-fire input information as the non-fire input information, a large amount of input information from the initial stage until it is determined non-fire is read from the storage unit. For non-fire conditions that can be learned and can be regarded as a sign of fire, non-fire can be estimated with higher accuracy and false alarms can be reliably prevented.
（監視領域の通常監視入力情報による初期化学習の効果）
また、学習制御部は、通常監視状態で記憶部に記憶された入力情報を読み出して、第２異常検出器の多層式のニューラルネットワークに非異常の学習情報として入力して初期化学習させるようにしたため、通常監視状態での監視領域の入力情報に対する第２異常検出器による非異常の推定精度が向上し、その結果、異常に対する推定の精度が更に向上される。
(Effect of initialization learning using normal monitoring input information in the monitoring area)
Further, the learning control unit reads the input information stored in the storage unit in the normal monitoring state, and inputs it as non-abnormal learning information into the multilayer neural network of the second abnormality detector so as to perform initialization learning. Therefore, the non-abnormality estimation accuracy by the second abnormality detector for the input information in the monitoring area in the normal monitoring state is improved, and as a result, the estimation accuracy for the abnormality is further improved.
（初期化学習のタイミングによる効果）
また、初期化学習のタイミングは、装置立ち上げ時、所定の操作が行われたとき、入力情報に変化が略ないとき、所定時間間隔毎に行われその初回の時刻が変化する、のうちいずれか一つ以上を含むようにしたため、第２異常検出器について、装置立ち上げ時に初期化学習を行うことにより設置環境における非異常の状態を学習させることが可能となり、所定の操作が行われたときに初期化学習を行うことにより任意のタイミングで非異常の状態を教育することができ、例えば内装が変化したときなどにすぐ非異常の状態を教育することが可能となる。
(Effects of initialization learning timing)
The initialization learning timing is any of the following: when the device is started up, when a predetermined operation is performed, when there is almost no change in the input information, and when the initial time changes every predetermined time interval As a result, the non-abnormal state in the installation environment can be learned by performing initialization learning at the time of starting up the device for the second abnormality detector, and a predetermined operation has been performed. Occasionally, by performing initialization learning, a non-abnormal state can be educated at an arbitrary timing. For example, a non-abnormal state can be educated immediately when the interior changes.
また、第２異常検出器について、センサ出力・カメラの撮影画像に変化が略ないときに初期化学習を行うことにより確実に監視領域が安定した状態で自動的に非異常の状態を教育することができ、更に、所定時間間隔毎に行われその初回の時刻が変化するように初期化学習を行うことにより、例えば、初期化学習のタイミングを所定の時刻ごとにずらして行うことにより、ばらばらな時刻で非異常の学習データを得て非異常を学習することができる。 In addition, for the second abnormality detector, by performing initialization learning when there is almost no change in the sensor output / camera image, the non-abnormal state is automatically educated in a state in which the monitoring area is stable. Furthermore, by performing initialization learning so that the initial time is changed every predetermined time interval, for example, the initialization learning timing is shifted every predetermined time. It is possible to learn non-abnormality by obtaining non-abnormal learning data at time.
［火災監視システムの概要］
図１は監視カメラと火災感知器により火災を監視する火災監視システムの概略を示した説明図である。
[Outline of fire monitoring system]
FIG. 1 is an explanatory diagram showing an outline of a fire monitoring system for monitoring a fire with a monitoring camera and a fire detector.
図１に示すように、ビル等の施設の監視領域１４−１、１４−２にはそれぞれ撮像手段として機能する監視カメラ１６−１、１６−２が設置され、監視領域１４−１を監視カメラ１６−１により、監視領域１４−２を監視カメラ１６−２により動画撮像している。 As shown in FIG. 1, monitoring cameras 16-1 and 16-2 functioning as imaging means are installed in monitoring areas 14-1 and 14-2 of facilities such as buildings, respectively. 16-1, the monitoring area 14-2 is captured by the monitoring camera 16-2.
監視領域１４−１、１４−２は特に区別の必要がないときは監視領域１４として、監視カメラ１６−１、１６−２は特に区別の必要がないときは監視カメラ１６として記述する。 The monitoring areas 14-1 and 14-2 are described as the monitoring area 14 when there is no need for distinction, and the monitoring cameras 16-1 and 16-2 are described as the monitoring camera 16 when there is no need for distinction.
監視カメラ１６はＲＧＢのカラー画像を例えば３０フレーム／秒で撮像して動画として出力する。また、１フレームは例えば縦横４０５６×４０５６ピクセルの画素配置となる。 The surveillance camera 16 captures an RGB color image at, for example, 30 frames / second and outputs it as a moving image. One frame has a pixel arrangement of, for example, vertical and horizontal 4056 × 4056 pixels.
また、監視領域１４−１、１４−２にはそれぞれオンオフ型の火災感知器１８−１、１８−２が設置されており、火災による温度又は煙濃度を検出し、所定の閾値レベルを超えた場合に発報し、火災発報信号を出力するようにしている。火災感知器１８−１、１８−２は特に区別の必要がないときは火災感知器１８として記述する。 In addition, on-off type fire detectors 18-1 and 18-2 are installed in the monitoring areas 14-1 and 14-2, respectively, and the temperature or smoke density due to the fire is detected and exceeds a predetermined threshold level. In this case, a fire alarm signal is output. The fire detectors 18-1 and 18-2 are described as the fire detectors 18 when there is no need to distinguish them.
監視領域１４に対し施設の防災監視センターや管理人室等には、判定装置１０と火災報知設備の火災受信機１２が設置されている。なお、判定装置１０と火災受信機１２は一体としても良い。判定装置１０には監視領域１４に設置された監視カメラ１６が信号ケーブル２０により接続されており、監視カメラ１６で撮像された動画画像を入力している。
A
火災受信機１２からは監視領域１４に感知器回線２２が引き出され、感知器回線２２単位に火災感知器１８が接続されている。
From the
判定装置１０は多層式ニューラルネットワークを備えた第１火災検出器と第２火災検出器を備える。第１火災検出器及び第２火災検出器の多層式ニューラルネットワークは、製造段階で標準的に予め準備された入力情報により学習されており、更に、第２火災検出器の多層式ニューラルネットワークは、火災受信機１２により火災感知器１８の火災発報による信号が入力された場合、火災発報した火災感知器に対応する入力情報としての動画画像を録画装置から読出し、第２火災検出器の多層式のニューラルネットワークに火災の学習情報として入力して学習させている。
The
監視カメラ１６から送られてきた動画画像は判定装置２６内の第１火災検出器と第２火災検出器にフレーム単位に並列的に入力され、第１火災検出器と第２火災検出器の検出結果の組み合わせに基づき火災を判定して火災判定信号を火災受信機１２に出力し、火災予兆を示す火災予兆警報や火災を示す火災警報を出力させる。また、監視カメラ１６からの動画は判定装置１０に設けられた録画装置により継続的に録画されている。
The moving image sent from the monitoring camera 16 is input in parallel to the first fire detector and the second fire detector in the determination device 26 in units of frames, and detection by the first fire detector and the second fire detector is performed. Based on the combination of results, a fire is determined and a fire determination signal is output to the
火災受信機１２は火災感知器１８の発報による火災発報信号を受信すると火災警報を出力し、また判定装置１０にどの火災感知器が発報したか識別する信号も含めた火災移報信号を出力する。火災受信機１２から火災警報が出力された場合、管理責任者又は防災担当者は、発報した火災感知器１８の設置現場に出向いて火災の有無を確認し、火災を確認した場合には、火災受信機１２で火災断定操作を行う。火災受信機１２で火災断定操作が行われると、一時停止されていた地区音響警報が解除され、火災断定移報信号が判定装置１０に出力される。
When the
また、火災警報に対する現場確認で非火災であった場合には、非火災の要因を取り除いた後に、火災受信機１２で復旧操作を行い、火災警報状態を解除して通常監視状態に戻す。このように火災受信機１２で火災警報が出力された後に、火災断定操作が行われることなく火災復旧操作が行われた場合、火災受信機１２から判定装置１０に復旧移報信号が出力される。
If the fire alarm is non-fired in the on-site confirmation, after removing the non-fire factor, the
判定装置１０は火災受信機１２から出力される火災移報信号、火災断定移報信号及び復旧移報信号による火災監視結果に基づき、火災感知器の発報場所に対応する録画装置に録画されている火災警報の出力に至るまでの監視領域１４を監視カメラ１６で撮像した動画を録画装置から読み出し、これを火災画像又は非火災画像として判定装置１０に設けられた第２火災検出器の多層式ニューラルネットワークを学習させる制御を行う。例えば、火災感知器１８−１が発報した場合、監視カメラ１６−１で撮像した動画を録画装置から読み出すこととなる。
The
［判定装置］
（判定装置の機能構成）
図２は監視カメラで撮像した画像から火災を推定する多層式ニューラルネットワークを用いた判定装置の機能構成を示した説明図である。
[Judgment device]
(Functional configuration of judgment device)
FIG. 2 is an explanatory diagram showing a functional configuration of a determination apparatus using a multilayer neural network that estimates a fire from an image captured by a monitoring camera.
図２に示すように、判定装置１０には、第１異常検出器として機能する第１火災検出器２４−１、第２火災検出器として機能する第２火災検出器２４−２が設けられる。第１火災検出器２４−１は画像入力部３２−１と多層式ニューラルネットワーク３４−１で構成され、第２火災検出器２４−２は画像入力部３２−２と多層式ニューラルネットワーク３４−２で構成され、多層式ニューラルネットワーク３４−１，３４−２の出力は警報制御部３６に入力されている。
As shown in FIG. 2, the
多層式ニューラルネットワーク３４−１，３４−２は特に区別の必要がないときは多層式ニューラルネットワーク３４として記述し、第１火災検出器２４−１と第２火災検出器２４−２は特に区別の必要がないときは火災検出器２４として記述する。
The multilayer neural networks 34-1 and 34-2 are described as the multilayer
第２火災検出器２４−２に対しては多層式ニューラルネットワーク３４−２を学習させるため、記憶部として機能する録画装置２６、学習画像保持部２８、学習制御部３０が設けられている。ここで、第１火災検出器２４−１、第２火災検出器２４−２、学習画像保持部２８、学習制御部３０及び警報制御部３６の機能は、ニューラルネットワークの処理に対応したコンピュータ回路のＣＰＵによるプログラムの実行により実現される。
In order to learn the multilayer neural network 34-2 for the second fire detector 24-2, a recording device 26, a learning
第１火災検出器２４−１及び第２火災検出器２４−２の多層式ニューラルネットワーク３４−１，３４−２は、製造段階で標準的に予め準備された多数の火災画像となる入力情報により学習されている。更に、第２火災検出器２４−２の多層式ニューラルネットワーク３４−２は、火災受信機１２により火災感知器１８の火災発報による信号が学習制御部３０に入力された場合、火災発報した火災感知器１８に対応する入力情報としての動画画像を録画装置２６から読出し、第２火災検出器２４−２の多層式のニューラルネットワーク３４−２に火災の学習情報として入力して学習させている。
The multilayer neural networks 34-1 and 34-2 of the first fire detector 24-1 and the second fire detector 24-2 are based on input information that becomes a large number of fire images prepared in advance as standard in the manufacturing stage. Have been learning. Furthermore, the multilayer neural network 34-2 of the second fire detector 24-2 issues a fire when a signal from the fire alarm of the fire detector 18 is input to the
通常監視状態において、第１火災検出器２４−１及び第２火災検出器２４−２は監視カメラ１６で撮像された監視領域の画像を、画像入力部３２−１，３２−２を介して多層式ニューラルネットワーク３４−１，３４−２に並列的に入力し、その出力値から火災か非火災かを検出して警報制御部３６に出力している。 In the normal monitoring state, the first fire detector 24-1 and the second fire detector 24-2 are multi-layered images of the monitoring area captured by the monitoring camera 16 via the image input units 32-1 and 32-2. It inputs to the neural networks 34-1 and 34-2 in parallel, detects whether it is fire or non-fire from the output value, and outputs it to the alarm control unit 36.
警報制御部３６は、第１火災検出器２４−１と第２火災検出器２４−２の検出結果に基づき監視領域１４の火災を判定して火災受信機１２に火災判定信号を出力し、警報を出力させる。
The alarm control unit 36 determines a fire in the monitoring area 14 based on the detection results of the first fire detector 24-1 and the second fire detector 24-2, outputs a fire determination signal to the
本実施形態において、警報制御部３６は、第１火災検出器２４−１により火災が検出された場合に火災予兆信号を火災受信機１２に出力して火災予兆警報を出力させ、第２火災検出器２４−２により火災が検出された場合に火災判定信号を火災受信機１２に出力して火災警報を出力させる。
In the present embodiment, when the first fire detector 24-1 detects a fire, the alarm control unit 36 outputs a fire predictor signal to the
第１火災検出器２４−１は標準的に準備された入力情報を使用して学習しており、監視領域１４の監視カメラ１６で入力される実際の監視画像を入力した場合に十分に高い精度で火災を推定することができない可能性が残り、第２火災検出器は標準的に準備された入力情報を使用した学習に加え、監視カメラ１６から入力された実際の火災画像により学習していることから、過学習により現場で過去に発生していない火災を推定することができない可能性が残ることから、第１火災検出器２４−１又は第２火災検出器２４−２いずれかで火災検出した場合については火災予兆警報を出力して注意を促すようにしている。 The first fire detector 24-1 learns using input information prepared as standard, and has sufficiently high accuracy when an actual monitoring image input by the monitoring camera 16 in the monitoring area 14 is input. The second fire detector is learning from the actual fire image input from the surveillance camera 16 in addition to learning using the input information prepared as standard. Therefore, there is a possibility that it is impossible to estimate a fire that has not occurred in the past due to over-learning. Therefore, either the first fire detector 24-1 or the second fire detector 24-2 detects a fire. If this happens, a fire warning warning is output to call attention.
これに対し第１火災検出器２４−１及び第２火災検出器２４−２両方で火災検出した場合については十分に高い精度で火災を推定可能であり、火災警報（本警報）を出力して、火災を確実に報知可能としている。 On the other hand, when the fire is detected by both the first fire detector 24-1 and the second fire detector 24-2, the fire can be estimated with sufficiently high accuracy, and a fire alarm (this alarm) is output. The fire can be reported reliably.
録画装置２６は監視カメラ１６により撮像された監視領域の動画を録画しており、外部からの再生指示により録画している動画を部分的に読み出すことができる。 The recording device 26 records a moving image in the monitoring area imaged by the monitoring camera 16, and can partially read the recorded moving image in response to an external reproduction instruction.
学習制御部３０は、火災受信機１２からの火災移報信号Ｅ１、火災断定移報信号Ｅ２及び復旧移報信号Ｅ３に基づき、火災受信機１２で火災警報が出力された場合に、録画装置２６から必要とする部分の動画を読み出して学習画像保持部２８に一時的に記憶保持させ、学習画像保持部２８に保持された動画からフレーム単位に画像を順次読み出し、第２火災検出器２４−２の画像入力部３２−２を介して多層式ニューラルネットワーク３４−２に教師ありの火災画像として入力し、例えばバックプロパゲーション法（誤差逆伝播法）等の学習法により多層式ニューラルネットワーク３４−２の重みとバイアスを学習させる。
The
ここで、標準的に予め準備された入力情報により学習された第１火災検出器２４−１の多層式ニューラルネットワーク３４−１、及び標準的に予め準備された入力情報及び録画装置２６から読み出された火災時の火災画像により学習された第２火災検出器２４−２の多層式ニューラルネットワーク３４−２に、監視カメラ１６で撮像された監視領域の画像を入力すると火災画像に対応した推定値が出力される。 Here, the multi-layer neural network 34-1 of the first fire detector 24-1 learned by the standard input information prepared in advance and the standard input information and the recording device 26 are read out. When an image of the monitoring area captured by the monitoring camera 16 is input to the multilayer neural network 34-2 of the second fire detector 24-2 learned from the fire image at the time of fire, the estimated value corresponding to the fire image Is output.
この推定値は学習に用いる火災画像の場合に期待値が１となり、非火災画像の場合に期待値が０となり、実際の画像を入力した場合は、０〜１の範囲の値をもつことから、期待値を所定の閾値、例えば０．５と比較し、閾値以上の場合に火災検出信号を警報制御部３６に出力させ、警報制御部３６は第１火災検出器２４−１から火災検出信号を入力した場合は火災予兆信号を火災受信機１２に出力して火災予兆警報を出力させ、第２火災検出器２４−２から火災検出信号を入力した場合は火災判定信号を火災受信機１２に出力して火災警報を出力させる。
This estimated value has an expected value of 1 for a fire image used for learning, 0 for a non-fire image, and has a value in the range of 0 to 1 when an actual image is input. The expected value is compared with a predetermined threshold value, for example, 0.5, and if it is equal to or greater than the threshold value, a fire detection signal is output to the alarm control unit 36. Is input to the
なお、判定装置１０にモニタ装置を設け、警報制御部３６で火災予兆又は火災を判定した場合に監視カメラ１６により撮像している火災が判定された監視領域の画像を画面表示し、火災受信機１２からの火災予兆警報を知った管理責任者や防災担当者による火災確認ができるようにしても良い。この場合、判定装置１０の操作部に火災断定スイッチを設け、モニタ画像から火災を確認した場合に火災断定スイッチを操作すると、火災受信機１２に発信機を操作した場合と同様に火災通報信号を出力し、火災受信機１２から火災警報を出力させるようにしても良い。
The
［多層式ニューラルネットワーク］
図３は図２に示した多層式ニューラルネットワークの機能構成を示した説明図であり、図３（Ａ）に概略を示し、図３（Ｂ）に詳細を模式的に示している。
[Multilayer neural network]
FIG. 3 is an explanatory diagram showing a functional configuration of the multilayer neural network shown in FIG. 2, schematically showing in FIG. 3 (A) and schematically showing details in FIG. 3 (B).
図３（Ａ）に示すように、本実施形態の多層式ニューラルネットワーク３４は、特徴抽出部３８と認識部４０で構成される。特徴抽出部３８は畳み込みニューラルネットワークであり、認識部４０は全結合ニューラルネットワークである。
As shown in FIG. 3A, the multi-layer
多層式ニューラルネットワーク３４は、深層学習（ディープラーニング）を行うニューラルネットワークであり、中間層を複数つなぎ合わせた深い階層をもつニューラルネットワークであり、特徴抽出となる表現学習を行う。
The multilayer
通常のニューラルネットワークは、画像から火災を推定するための特徴抽出には、人為的な試行錯誤による作業を必要とするが、多層式ニューラルネットワーク３４では、特徴抽出部３８として畳み込みニューラルネットワークを用いることで、画像の画素値を入力とし、学習により最適な特徴を抽出し、認識部４０の全結合ニューラルネットワークに入力して火災か非火災かを識別する。
An ordinary neural network requires an artificial trial-and-error operation to extract features for estimating a fire from an image. In the multilayer
認識部４０の全結合ニューラルネットワークは、図３（Ｂ）に模式的に示すように、入力層４６、結合層４８、中間層５０と結合層４８の繰り返し、及び出力層５２で構成されている。
As shown schematically in FIG. 3B, the fully connected neural network of the
（畳み込みニューラルネットワーク）
図３（Ｂ）は特徴抽出部３８を構成する畳み込みニューラルネットワークの構造を模式的に示している。
(Convolutional neural network)
FIG. 3B schematically shows the structure of a convolutional neural network constituting the
畳み込みニューラルネットワークは、通常のニューラルネットワークとは少し特徴が異なり、視覚野から生物学的な構造を取り入れている。視覚野には、視野の小区域に対し敏感な小さな細胞の集まりとなる受容野が含まれており、受容野の挙動は、行列の形で重み付けを学習することで模倣できる。この行列は重みフィルタ（カーネル）呼ばれ、生物学的に受容野が果たす役割と同様に、ある画像の類似した小区域に対して敏感になる。 Convolutional neural networks are slightly different from normal neural networks and incorporate biological structures from the visual cortex. The visual cortex contains a receptive field that is a collection of small cells that are sensitive to a small area of the field of view, and the behavior of the receptive field can be imitated by learning weights in the form of a matrix. This matrix is called a weight filter (kernel) and becomes sensitive to similar subregions of an image, as well as the role biologically receptive fields play.
畳み込みニューラルネットワークは、畳み込み演算により、重みフィルタと小区域との間の類似性を表すことでき、この演算を通して、画像の適切な特徴を抽出することができる。 The convolutional neural network can represent the similarity between the weighting filter and the small area by a convolution operation, and through this operation, an appropriate feature of the image can be extracted.
畳み込みニューラルネットワークは、図３（Ｂ）に示すように、まず、入力画像４２に対し重みフィルタ４３により畳み込み処理を行う。例えば、重みフィルタ４３は縦横３×３の所定の重み付けがなされた行列フィルタであり、入力画像４２の各画素にフィルタ中心を位置合わせしながら畳み込み演算を行うことで、入力画像４２の９画素を小区域となる特長マップ４４ａの１画素に畳み込み、複数の特徴マップ４４ａが生成される。
As shown in FIG. 3B, the convolution neural network first performs a convolution process on the
続いて、畳み込み演算により得られた特徴マップ４４ａに対しプーリングの演算を行う。プーリングの演算は、識別に不必要な特徴量を除去し、識別に必要な特徴量を抽出する処理である。
Subsequently, a pooling operation is performed on the
続いて、重みフィルタ４５ａ，４５ｂを使用した畳み込み演算とプーリングの演算を多段に繰り返して特徴マップ４４ｂ，４４ｃが得られ、最後の層の特徴マップ４４ｃを認識部４０に入力し、通常の全結合ニューラルネットワークを用いた認識部４０により火災か非火災かを推定する。
Subsequently, the feature maps 44b and 44c are obtained by repeating the convolution operation and the pooling operation using the weight filters 45a and 45b in multiple stages, and the
なお、畳み込みニューラルネットワークにおけるプーリングの演算は、火災か非火災かの識別に不必要な特徴量が必ずしも明確でなく、必要な特徴量を削除する可能性があることから、プーリングの演算は行わないようにしても良い。 Note that the pooling calculation in the convolutional neural network does not perform the pooling calculation because the feature quantity unnecessary for distinguishing between fire and non-fire is not always clear and the necessary feature quantity may be deleted. You may do it.
［多層式ニューラルネットワークの学習］
（バックプロパゲーション）
入力層、複数の中間層及び出力層で構成されるニューラルネットワークは、各層に複数のユニットを設けて他の層の複数のユニットと結合し、各ユニットには重みとバイアス値が設定され、複数の入力値と重みとのベクトル積を求めてバイアス値を加算して総和を求め、これを所定の活性化関数に通して次の層のユニットに出力するようにしており、最終層に到達するまで値が伝播するフォワードプロパゲーションが行われる。
[Learning multi-layer neural networks]
(Backpropagation)
A neural network composed of an input layer, a plurality of intermediate layers, and an output layer is provided with a plurality of units in each layer and combined with a plurality of units in other layers, and a weight and a bias value are set for each unit. The vector product of the input value and the weight is calculated and the bias value is added to find the sum, which is output to the next layer unit through a predetermined activation function, and reaches the final layer Forward propagation in which the value is propagated is performed.
このようなニューラルネットワークのウエイトやバイアスを変更するには、バックプロパゲーションとして知られている学習アルゴリズムを使用する。バックプロパゲーションでは、入力値ｘと期待される出力値（期待値）ｙというデータセットをネットワークに与えた場合の教師ありの学習と、入力値ｘのみをネットワークに与えた場合の教師なしの学習があり、本実施形態は、教師ありの学習を行う。 In order to change the weight and bias of such a neural network, a learning algorithm known as backpropagation is used. In backpropagation, supervised learning when a data set of an input value x and an expected output value (expected value) y is given to the network, and unsupervised learning when only the input value x is given to the network. In this embodiment, supervised learning is performed.
教師ありの学習でバックプロパゲーションを行う場合は、ネットワークを通ってきたフォワードプロパゲーションの結果である推定値ｙ＊と期待値yの値を比較する誤差として、例えば、平均二乗誤差の関数を使用する。 When backpropagation is performed with supervised learning, for example, a function of the mean square error is used as an error for comparing the estimated value y * and the expected value y as a result of forward propagation through the network. To do.
バックプロパゲーションでは、推定値ｙ＊と期待値ｙの誤差の大きさを使い、ネットワークの後方から前方までウエイトとバイアスを補正しながら値を伝播させる。各ウエイトとバイアスについて補正した量は、誤差への寄与として扱われ、最急降下法で計算され、ウエイトとバイアスの値を変更することにより、誤差関数の値を最小化する。 In backpropagation, the magnitude of error between the estimated value y * and the expected value y is used to propagate the value while correcting the weight and bias from the back to the front of the network. The amount corrected for each weight and bias is treated as a contribution to the error, calculated by the steepest descent method, and the error function value is minimized by changing the weight and bias values.
ニューラルネットワークに対するバックプロパゲーションによる学習の手順は次にようになる。
（１） 入力値ｘをニューラルネットワークに入力して、フォワードプロパゲーションを行い推定値ｙ＊を求める。
（２） 推定値ｙ＊と期待値ｙに基づき誤差関数で誤差を計算する。
（３） ウエイトとバイアスを更新しながら、ネットワークにて、バックプロパゲーションを行う。
The learning procedure by backpropagation for the neural network is as follows.
(1) An input value x is input to a neural network and forward propagation is performed to obtain an estimated value y *.
(2) Calculate an error with an error function based on the estimated value y * and the expected value y.
(3) Backpropagation is performed on the network while updating the weight and bias.
この手順は、ニューラルネットワークのウエイトとバイアスの誤差が可能な限り最小になるまで、異なる入力値ｘと期待値ｙの組み合わせを使って繰り返し、誤差関数の値を最小化する。 This procedure is repeated using different combinations of input value x and expected value y until the weight and bias error of the neural network is minimized as much as possible to minimize the value of the error function.
［受信機の火災監視に連動した学習制御］
（火災画像による学習）
図２に示した判定装置１０の第２火災検出器２４−２に対応して設けられた学習制御部３０は、火災受信機１２により火災感知器１８の火災発報に基づく火災移報信号Ｅ１が入力されて火災警報が出力され、管理責任者等による現場確認で火災が確認され、これに基づき火災受信機１２の火災断定操作に基づく火災断定移報信号Ｅ２が入力された場合、例えば５分前となる所定時間前から火災移報信号Ｅ１が入力するまでの監視領域の画像を録画装置２６から読出し、第２火災検出器２４−２の多層式ニューラルネットワーク３４−２に画像入力部３２−２を介して火災画像として入力して推定値ｙ＊を求め、火災の期待値ｙ＝１との誤差関数の値を最小とするようにバックプロパゲーションを、教師ありの画像を変えながら繰り返し行って誤差関数を最小化することで重みとバイアスを変更する学習を行う。
[Learning control linked to receiver fire monitoring]
(Learning with fire images)
The
この場合、録画画像が録画装置２６に３０フレーム／秒の動画画像として録画されていたとすると、５分の録画画像から９０００枚の火災画像が得られ、９０００枚といった多数の火災画像による学習が簡単に実現できることで、カメラにより撮像している監視画像からより高い精度で火災を推定して警報可能とする。 In this case, if the recorded image is recorded as a moving image of 30 frames / second on the recording device 26, 9000 fire images are obtained from the recorded image of 5 minutes, and learning with a large number of fire images such as 9000 is easy. This makes it possible to estimate a fire with higher accuracy from a monitoring image captured by a camera and enable an alarm.
なお、５分間の動画から火災画像を生成した場合、１／３０秒周期となる各フレーム画像間の変化はごく僅かであることから、例えば１秒周期の間引きされたフレーム画像を教師ありの画像としても良い。この場合、５分間の動画から３００枚の火災画像が得られ、バックプロパゲーションによる多層式ニューラルネットワーク３４−２の学習に十分な枚数の画像が得られる。 Note that when a fire image is generated from a 5-minute video, the change between each frame image having a 1/30 second period is very small. For example, a frame image thinned out with a 1 second period is used as a supervised image. It is also good. In this case, 300 fire images are obtained from a 5-minute moving image, and a sufficient number of images are obtained for learning of the multilayer neural network 34-2 by back propagation.
（非火災画像による学習）
また、学習制御部３０は、火災受信機１２により火災感知器１８の火災発報に基づく火災移報信号Ｅ１が入力された後に、管理責任者等のよる現場確認で非火災であった場合には、火災受信機１２で復旧操作が行われ、復旧操作に基づく復旧移報信号Ｅ３が入力されることから、この場合に、例えば５分前といった所定時間前から火災移報信号Ｅ１が入力するまでの監視領域の画像を録画装置２６から読出し、第２火災検出器２４−２の多層式ニューラルネットワーク３４−２に画像入力部３２−２を介して非火災画像として入力して推定値ｙ＊を求め、非火災の期待値ｙ＝０との誤差関数の値を最小とするようにバックプロパゲーションを、教師ありの画像を変えながら繰り返し行って重み付けとバイアスを変更する学習を行う。
(Learning with non-fire images)
In addition, the
この場合にも、録画画像が録画装置２６に３０フレーム／秒の動画画像として録画されていたとすると、５分の録画画像から９０００枚の火災画像が得られ、９０００枚といった多数の非火災画像による学習が簡単に実現できることで、カメラにより撮像している監視画像からより高い精度で非火災を推定して誤報を防止可能とする。 Also in this case, if the recorded image is recorded as a 30-frame / second moving image on the recording device 26, 9000 fire images are obtained from the 5-minute recorded image, and there are a large number of non-fire images such as 9000 images. Since learning can be easily realized, non-fire can be estimated with higher accuracy from a monitoring image captured by a camera, and false alarms can be prevented.
また、５分間の動画から非火災画像を生成した場合、１／３０秒周期となる各フレーム画像間の変化はごく僅かであることから、例えば１秒周期の間引きされたフレーム画像を非火災画像としても良い。 In addition, when a non-fire image is generated from a 5-minute video, there is very little change between each frame image having a 1/30 second period. It is also good.
（判定装置の初期化学習）
図２に示した判定装置１０の第１火災検出器２４−１及び第２火災検出器２４−２に設けられた多層式ニューラルネットワーク３４−１，３４−２は、工場等における製造段階で重みとバイアスがランダムに初期化されており、予め準備された標準的な火災画像と非火災画像を用いたバックプロパゲーションによる学習で初期化され、この状態で図１に示すように監視対象となる施設に設置される。
(Judgment device initialization learning)
The multilayer neural networks 34-1 and 34-2 provided in the first fire detector 24-1 and the second fire detector 24-2 of the
この場合、監視カメラ１６で撮像されている監視領域１４の画像は、監視領域１４により様々であり、初期化学習で使用した標準的な教師ありの画像とは異なる画像であることから、第２火災検出器２４−２の多層式ニューラルネットワーク３４−２については、施設に設置した後の立ち上げ時に、監視カメラ１６により撮像して録画装置２６に録画している通常監視状態での動画、即ち非火災の動画を録画装置２６に録画し、その中から再生操作により所定時間分、例えば５分間の録画を読出して学習画像保持部２８に非火災画像として保持し、この非火災画像を画像入力部３２−２を介して多層式ニューラルネットワーク３４−２に入力して推定値ｙ＊を求め、非火災の期待値ｙ＝０との誤差を最小とするようにバックプロパゲーションを、教師画像を変えながら繰り返し行って誤差関数を最小化することで重みとバイアスを変更する学習を行う事が望ましい。
In this case, the image of the monitoring area 14 captured by the monitoring camera 16 varies depending on the monitoring area 14, and is different from the standard supervised image used in the initialization learning. The multi-layer neural network 34-2 of the fire detector 24-2 is a moving image in a normal monitoring state that is captured by the monitoring camera 16 and recorded in the recording device 26 at the time of start-up after installation in the facility, that is, A non-fire movie is recorded on the recording device 26, and a recording for a predetermined time, for example, 5 minutes is read out from the non-fire video and is stored as a non-fire image in the learning
この学習に使用する教師ありの画像としては、監視領域の一日の動画の中から、朝、昼、夜といった時間帯により異なる動画を録画装置２６から読み出して非火災画像として学習させることが望ましい。 As the supervised image used for this learning, it is desirable to read out from the recording device 26 different videos depending on the time zone such as morning, noon, and night, and learn them as non-fire images. .
初期化学習のタイミングとしては、更に装置立ち上げ時に行うようにしても良い。これにより、まず設置環境における非火災の状態を教育することが可能となる。 Initialization learning may be performed at the time of starting the apparatus. This makes it possible to first educate the non-fire state in the installation environment.
また初期化学習のタイミングとしては、所定の操作が行われたときに行うようにしても良い。これにより、任意のタイミングで非火災の状態を教育することができ、例えば内装が変化したときなどにすぐ非火災の状態を教育することが可能となる。 The initialization learning may be performed when a predetermined operation is performed. Thereby, it is possible to educate the non-fire state at an arbitrary timing. For example, it is possible to educate the non-fire state immediately when the interior changes.
また初期化学習のタイミングとしては、センサ出力・カメラの撮影画像の変化がないまたはほぼないときに行うようにしても良い。これにより、確実に監視領域が安定した状態で自動的に非火災の状態を教育することができる。 The initialization learning may be performed when there is no or almost no change in sensor output / camera image. As a result, it is possible to automatically educate the non-fire state in a state where the monitoring area is stable.
また初期化学習のタイミングを所定の時刻ごとにずらして行うようにしても良い。例えば、１度目は６時・１２時・１８時・２４時に初期化学習を行い、２度目は７時・１３時・１９時・１時に初期化学習を行うようにする。これにより、ばらばらな時刻で非火災の学習データを得ることができ、調理時や朝焼けや夕焼けといった特殊な状態を含めて非火災を学習することができるようになる。 Further, the initialization learning timing may be shifted every predetermined time. For example, initialization learning is performed at 6:00, 12:00, 18:00, and 24:00 at the first time, and initialization learning is performed at 7:00, 13:00, 19:00, and 1 at the second time. Thereby, non-fire learning data can be obtained at various times, and non-fire can be learned including special states such as cooking, sunrise and sunset.
この監視領域１４の監視画像を非火災画像とした第２火災検出器２４−２の多層式ニューラルネットワーク３４−２の学習により、通常監視状態での監視領域の画像に対する非火災の推定精度が向上する。その後、前述した火災受信機１２による火災監視に連動した火災画像又は非火災画像による第２火災検出器２４−２の多層式ニューラルネットワーク３４−２の学習が行われ、多層式ニューラルネットワーク３４−２の火災及び非火災に対する推定の精度が更に向上される。
The multi-layer neural network 34-2 of the second fire detector 24-2 that uses the monitoring image of the monitoring area 14 as a non-fire image improves the non-fire estimation accuracy for the monitoring area image in the normal monitoring state. To do. Thereafter, learning of the multilayer neural network 34-2 of the second fire detector 24-2 is performed by using a fire image or a non-fire image linked to the fire monitoring by the
（学習制御部による制御動作）
図４は図１の学習制御部による火災受信機の火災監視に連動した第２火災検出器の多層式ニューラルネットワークの学習制御を示したフローチャートである。
(Control action by learning control unit)
FIG. 4 is a flowchart showing learning control of the multilayer neural network of the second fire detector in conjunction with the fire monitoring of the fire receiver by the learning control unit of FIG.
図４に示すように、学習制御部３０はステップＳ１で監視領域に設置された監視カメラ１６からの動画を録画装置２６に録画させており、ステップＳ２で火災受信機１２からの火災移報信号の入力を判別するとステップＳ３に進み、所定時間前からの録画画像を録画装置２６から読み出して学習画像保持部２８に保持させる。
As shown in FIG. 4, the
続いてステップＳ４に進み、学習制御部３０は火災受信機１２からの火災断定移報信号の入力を判別するとステップＳ５に進み、その後、火災受信機１２からの復旧移報信号の入力を判別するとステップＳ６に進み、学習画像保持部２８に保持している所定時間分の録画画像を読み出し、第２火災検出器２４−２の画像入力部３２−２を介して多層式ニューラルネットワーク３４−２に火災画像として入力してバックプロパゲーションにより重みとバイアスを変更する学習を行う。
Then, it progresses to step S4, and if the
一方、学習制御部３０は、ステップＳ４で火災断定移報信号の入力を判別することなくステップＳ７で復旧移報信号の入力の有無を判別している間に、火災断定移報信号の入力を判別することなくステップＳ７で復旧移報信号の入力を判別した場合は、ステップＳ８に進み、学習画像保持部２８に保持している所定時間分の録画画像を読み出し、第２火災検出器２４−２の画像入力部３２−２を介して多層式ニューラルネットワーク３４に非火災画像として入力してバックプロパゲーションにより重みとバイアスを変更する学習を行う。
On the other hand, the
［火災予兆レベル超えからの監視画像による火災学習］
（火災画像による学習）
図２に示した判定装置の学習制御部３０による他の学習制御の実施形態として、警戒区域にアナログ火災感知器が設置され、アナログ火災感知器により温度又は煙濃度を検出して検出アナログ値を火災受信機１２に送って火災を判断させている場合、火災予兆が判断された時から火災が判断されるまでの画像を録画装置２６から読み出し、第２火災検出器２４−２の多層式ニューラルネットワーク３４−２の学習をバックプロパゲーションにより行う。
[Fire learning by monitoring images from the fire warning level]
(Learning with fire images)
As another embodiment of the learning control by the
火災予兆レベルは図５に示すように、時刻ｔ０で発生した火災により時間の経過ともなって火災感知器で検出している温度が上昇した場合、火災判断レベルＴＨ２より低い火災予兆レベルＴＨ１に時刻ｔ１で達したときから火災レベルＴＨ２に時刻ｔ２に達するまでの時間Ｔの間に録画された画像を火災画像としてバックプロパゲーションを行うことになる。 As shown in FIG. 5, when the temperature detected by the fire detector rises with time due to the fire that occurred at time t0, the fire predictor level is set to the fire predictor level TH1 lower than the fire judgment level TH2 at time t1. The backpropagation is performed with the image recorded during the time T from reaching the time t2 to reaching the time t2 at the fire level TH2.
このＴ時間の間に録画された画像は、全て火災による画像であり、非火災画像は含まれていないことから、第２火災検出器２４−２の多層式ニューラルネットワーク３４−２に火災画像として入力してバックプロパゲーションにより重みとバイアスを変更する学習を行ことで、入力画像から火災を識別する精度を確実に高めることができる。 The images recorded during this time T are all fire images and do not include non-fire images. Therefore, the fire images are stored in the multilayer neural network 34-2 of the second fire detector 24-2. Learning to change the weight and bias by back-propagation can be performed to reliably improve the accuracy of identifying a fire from the input image.
具体的に説明すると、図２に示した判定装置１０の学習制御部３０は、火災受信機１２からアナログ火災感知器からの温度又は煙濃度の検出アナログ値が所定の火災予兆レベルＴＨ１に達して予兆警報が出力され、続いて、検出アナログ値が火災レベルＴＨ２に達して火災発報に基づく火災移報信号が入力されて火災警報が出力され、管理責任者等による現場確認で火災が確認され、これに基づき火災受信機１２の火災断定操作に基づく火災断定移報信号Ｅ２が入力された場合、火災予兆が検出された時から火災移報信号が入力するまでの監視領域の画像を録画装置２６から読出し、第２火災検出器２４−２の多層式ニューラルネットワーク３４−２に画像入力部３２−２を介して火災画像として入力してバックプロパゲーションにより重みとバイアスを変更する学習を行う。
More specifically, the
（非火災画像による学習）
また、学習制御部３０は、火災受信機１２からアナログ火災感知器からの温度又は煙濃度の検出アナログ値が所定の火災予兆レベルＴＨ１に達して予兆警報が出力され、続いて、検出アナログ値が火災レベルＴＨ２に達して火災発報に基づく火災移報信号が入力されて火災警報が出力され、管理責任者等による現場確認で非火災であった場合には、火災受信機１２で復旧操作が行われ、復旧操作に基づく復旧移報信号が入力されることから、火災予兆が検出された時から火災移報信号が入力するまでの監視領域の画像を録画装置２６から読出し、第２火災検出器２４−２の多層式ニューラルネットワーク３４−２に画像入力部３２−２を介して非火災画像として入力してバックプロパゲーションにより重みとバイアスを変更する学習を行う。
(Learning with non-fire images)
In addition, the
［第１及び第２火災検出器の検出結果の重み付け加算による火災判定］
図６は監視カメラで撮像した画像から火災を推定する多層式ニューラルネットワークを用いた判定装置の他の機能構成を示した説明図であり、第１及び第２火災検出器の検出結果を重み付け加算して火災を判定するようにしたことを特徴とする。
[Fire judgment by weighted addition of detection results of the first and second fire detectors]
FIG. 6 is an explanatory diagram showing another functional configuration of a determination apparatus using a multi-layer neural network that estimates a fire from an image captured by a monitoring camera, and weights and adds detection results of the first and second fire detectors. The feature is that a fire is judged.
図６に示すように、判定装置１０には、第１火災検出器２４−１と第２火災検出器２４−２が設けられ、第１火災検出器２４−１は画像入力部３２−１と多層式ニューラルネットワーク３４−１で構成され、第２火災検出器２４−２は画像入力部３２−２と多層式ニューラルネットワーク３４−２で構成されている。
As shown in FIG. 6, the
また、第２火災検出器２４−２に対しては多層式ニューラルネットワーク３４−２を学習させるため、記憶部として機能する録画装置２６、学習画像保持部２８、学習制御部３０が設けられている。
The second fire detector 24-2 is provided with a recording device 26 that functions as a storage unit, a learning
このような構成は図２の実施形態と同じであるが、第１火災検出器２４−１と第２火災検出器２４−２の検出信号を入力した警報制御部３６が図２の実施形態と相違する。 Such a configuration is the same as that of the embodiment of FIG. 2, but the alarm control unit 36 to which detection signals of the first fire detector 24-1 and the second fire detector 24-2 are input is different from that of the embodiment of FIG. Is different.
本実施形態の警報制御部３６は、重み乗算器７０−１、重み乗算器７０−２、加算器７２、比較器７４及び閾値設定器７６で構成される。重み乗算器７０−１は第１火災検出器２４−１の検出信号に重みＷ１を乗算し、重み乗算器７０−２は第２火災検出器２４−２の検出信号に重みＷ２を乗算する。
The alarm control unit 36 of the present embodiment includes a weight multiplier 70-1, a weight multiplier 70-2, an
ここで、第１火災検出器２４−１の多層式ニューラルネットワーク３４−１は、製造段階で標準的に予め準備された入力情報により学習され、設置場所に対応した火災の推定精度の低いことが想定されることから、例えばＷ１＝０．３といった低い重みを設定している。 Here, the multilayer neural network 34-1 of the first fire detector 24-1 is learned from input information prepared in advance as a standard in the manufacturing stage, and the fire estimation accuracy corresponding to the installation location is low. Since it is assumed, for example, a low weight such as W1 = 0.3 is set.
これに対し第２火災検出器２４−２の多層式ニューラルネットワーク３４−２は、製造段階で標準的に予め準備された入力情報による学習に加え、火災感知器により火災を監視している火災受信機１２による監視結果に基づき、録画装置２６の記憶されている火災や非火災の録画画像を読出し、第２火災検出器２４−２の多層式ニューラルネットワーク３４−２に学習情報として入力して学習させていることから、設置場所に対応した火災の推定精度が高いことが想定され、例えば０．７といった高い重みを設定している。
On the other hand, the multi-layer neural network 34-2 of the second fire detector 24-2 not only learns based on input information prepared in advance as standard in the manufacturing stage, but also receives a fire by monitoring the fire with a fire detector. Based on the monitoring result by the
また、火災検出器２４の重みについては学習の量に応じて変化させるようにしても良い。学習量が少ないときは、第1火災検出器２４−１の重みを例えば１/１と大きくし、学習量が多くなったときは、第1異常検出器２４−１の重みを０．１とし、第２火災検出器２４−２の重みを０．９とし、第２火災検出器２４−２の重みを大きくする。このように学習量に応じて第２火災検出器２４−２の重みを大きくすることで、検出精度に応じて第２火災検出器２４−２への依存度を高めることができる。
Further, the weight of the
学習量としては、単純な入力情報の総和を基準としても良いが、異常の種類つまり火災検出においては火災の種類・発生箇所等を学習量の基準としても良い。種類・発生箇所の異なる火災を学習することにより、網羅的な火災検出が可能となり、より重みを持たせることが好適な火災検出器となる。 The learning amount may be based on the sum of simple input information, but in the case of abnormality type, that is, fire detection, the type and location of fire may be used as the learning amount reference. By learning fires of different types and locations, comprehensive fire detection is possible, and a more appropriate fire detector is preferable.
加算器７２は重み乗算器７０−１，７０−２で重みＷ１，Ｗ２が乗算された第１火災検出器２４−１と第２火災検出器２４−２の値を加算して比較器７４に出力する。加算器７２の出力は例えば０〜１の範囲に正規化されており、閾値設定器７６は例えば閾値として０．５を設定しており、加算器７２の出力が閾値０．５以上となった場合に火災判定信号を火災受信機１２に出力して火災警報を出力させる。
The
なお、加算器７２の出力から火災を判定する機能として、所定の予兆閾値とそれより大きい所定の火災閾値を設定し、加算器７２の出力が予兆閾値を超えた場合に火災予兆信号を火災受信機１２に出力して火災予兆警報を出力させ、加算器７２の出力が火災閾値を超えた場合に火災判定信号を火災受信機１２に出力して火災警報を出力させるようにしても良い。
As a function for judging fire from the output of the
［センサにより火災を監視する火災監視システム］
（火災監視システムの概要）
図７はセンサとして機能するアナログ火災感知器により火災を監視する火災監視システムの概略を示した説明図である。
[Fire monitoring system that monitors fire with sensors]
(Outline of fire monitoring system)
FIG. 7 is an explanatory diagram showing an outline of a fire monitoring system for monitoring a fire with an analog fire detector functioning as a sensor.
図７に示すように、ビル等の施設の監視領域１４−１，１４−２にはセンサとして機能するアナログ火災感知器６０−１、６０−２が設置され、火災受信機１２から引き出された伝送路６２に接続され、シリアルデータ伝送を可能としている。アナログ火災感知器６０−１、６０−２は特に区別の必要がないときはアナログ火災感知器６０として記述する。
As shown in FIG. 7, analog fire detectors 60-1 and 60-2 that function as sensors are installed in the monitoring areas 14-1 and 14-2 of facilities such as buildings, and are pulled out from the
アナログ火災感知器６０は検煙部により煙濃度を検出して煙濃度検出信号を出力し、火災受信機１２からの一括ＡＤ変換コマンドの送信により周期的にＡ／Ｄ変換してメモリに煙濃度データとして記憶すると共に感知器アドレスを指定した火災受信機１２からのポーリングに対し煙濃度データを送信しており、煙濃度が所定の閾値レベルを超えた場合に火災と判断し、火災割込み信号を火災受信機１２に送信して火災警報を出力させている。なお、アナログ火災感知器６０は、煙濃度以外に、温度やＣＯ濃度等を検出するものであっても良い。
The analog fire detector 60 detects the smoke density by the smoke detector and outputs a smoke density detection signal, periodically A / D-converts by sending a batch AD conversion command from the
判定装置１０は多層式ニューラルネットワークを備えた第１火災検出器と第２火災検出器を備える。第１火災検出器及び第２火災検出器の多層式ニューラルネットワークは、製造段階で標準的に予め準備された入力情報としてのセンサデータにより学習されており、更に、第２火災検出器の多層式ニューラルネットワークは、火災受信機１２によりアナログ火災感知器６０から火災割込信号が受信された場合、火災発報したアナログ火災感知器６０に対応するセンサからの入力情報を記憶部から読出し、第２火災検出器の多層式のニューラルネットワークに火災の学習情報として入力して学習させている。
The
また、判定装置１０は、アナログ火災感知器６０で検出された煙濃度データを、受信機１２を介して入力して記憶部にセンサからの入力情報として記憶している。
Moreover, the
火災受信機１２はアナログ火災感知器６０の火災割込信号を受信すると火災警報を出力し、また判定装置１０に火災移報信号を出力する。火災受信機１２から火災警報が出力されると、管理責任者又は防災担当者は、発報したアナログ火災感知器６０の設置現場に出向いて火災の有無を確認し、火災を確認した場合には、火災受信機１２で火災断定操作を行う。火災受信機１２で火災断定操作が行われると、一時停止されていた地区音響警報が解除され、火災断定移報信号が判定装置１０に出力される。
When the
また、火災警報に対する現場確認で非火災であった場合には、非火災の要因を取り除いた後に、火災受信機１２で復旧操作を行い、火災警報状態を解除して通常監視状態に戻す。このように火災受信機１２で火災警報が出力された後に、火災断定操作が行われることなく火災復旧操作が行われた場合、火災受信機１２から判定装置１０に復旧移報信号が出力される。
If the fire alarm is non-fired in the on-site confirmation, after removing the non-fire factor, the
判定装置１０は火災受信機１２から出力される火災移報信号、火災断定移報信号及び復旧移報信号による火災監視結果に基づき、火災割込み信号を送信したアナログ火災感知器６０の場所に対応する記憶部に記憶されている火災警報の出力に至るまでの監視領域１４のアナログ火災感知器６０により検出された煙濃度データから例えば、時系列データを生成し、これを学習情報として判定装置１０に設けられた第２火災検出器の多層式ニューラルネットワークに入力して学習させる制御を行う。
The
例えば、アナログ火災感知器６０−１が火災割込み信号を送信した場合、アナログ火災感知器６０−１の時系列データを記憶部から読み出すこととなる。また、アナログ火災感知器以外のセンサをさらに備える場合には、監視領域に配置されるセンサデータが記憶部から読み出されることとなる。 For example, when the analog fire sensor 60-1 transmits a fire interrupt signal, the time series data of the analog fire sensor 60-1 is read from the storage unit. Further, when a sensor other than the analog fire detector is further provided, sensor data arranged in the monitoring area is read from the storage unit.
センサにより火災を監視する火災監視の入力情報については、時系列データのほかに、複数のセンサによる多項データを採用しても良いし、その組み合わせである複数のセンサの時系列データを採用するようにしても良い。 For fire monitoring input information to monitor fires with sensors, in addition to time-series data, multiple data from multiple sensors may be used, or time-series data of multiple sensors that are a combination of them may be used. Anyway.
（判定装置）
図８はアナログ火災感知器からの検出信号により火災を推定する多層式のニューラルネットワークを用いた判定装置の機能構成を示した説明図である。
(Judgment device)
FIG. 8 is an explanatory diagram showing a functional configuration of a determination device using a multilayer neural network that estimates a fire based on a detection signal from an analog fire sensor.
図８に示すように、判定装置１０には、第１火災検出器２４−１と第２火災検出器２４−２が設けられ、第１火災検出器２４−１は時系列データ入力部６６−１と多層式ニューラルネットワーク３４−１で構成され、第２火災検出器２４−２は時系列データ入力部６６−２と多層式ニューラルネットワーク３４−２で構成され、多層式ニューラルネットワーク３４−１，３４−２の出力は警報制御部３６に入力されている。
As shown in FIG. 8, the
第１火災検出器２４−１及び第２火災検出器２４−２の多層式ニューラルネットワーク３４−１，３４−２は、製造段階で標準的に予め準備された入力情報としての時系列データにより学習されている。 The multi-layer neural networks 34-1 and 34-2 of the first fire detector 24-1 and the second fire detector 24-2 learn from time series data as input information prepared in advance as standard in the manufacturing stage. Has been.
更に、第２火災検出器２４−２の多層式ニューラルネットワーク３４−２は、火災受信機１２により火災感知器１８の火災発報による信号が学習制御部３０に入力された場合、火災発報した火災感知器１８に対応する入力情報として時系列データを時系列データ生成部６４の記憶部から読出し、第２火災検出器２４−２の多層式のニューラルネットワーク３４−２に火災の学習情報として入力して学習させている。
Furthermore, the multilayer neural network 34-2 of the second fire detector 24-2 issues a fire when a signal from the fire alarm of the fire detector 18 is input to the
第１火災検出器２４−１と第２火災検出器２４−２に対しては時系列データ生成部６４が設けられ、また、多層式ニューラルネットワーク３４−２を学習させるため、学習データ保持部６８と学習制御部３０が設けられている。
A time series
本実施形態の多層式ニューラルネットワーク３４は、図３（Ａ）に示す認識部４０を構成する全結合ニューラルネットワークのみとし、特徴抽出部３８となる畳み込みニューラルネットワークは除いている。
The multilayer
時系列データ生成部６４は、火災受信機１２を介してアナログ火災感知器６０で検出された煙濃度データを記憶部に記憶している。時系列データ生成部６４の記憶部に記憶される煙濃度データは、例えば、図９に示すような時間の経過に伴う煙濃度の変化を示したデータとなる。
The time-series
図９の煙濃度データは、火災による煙濃度の時間変化の一例であり、時刻ｔ０で煙濃度の上昇が始まり、時刻ｔ１で所定のプリアラームレベルＴＨ１に達し、その後、時刻ｔ２で火災レベルＴＨ２に達して火災警報が出力され、火災断定操作が行われた場合を示している。 The smoke density data in FIG. 9 is an example of a temporal change in smoke density due to a fire. The smoke density starts increasing at time t0, reaches a predetermined pre-alarm level TH1 at time t1, and then fire level TH2 at time t2. This shows the case where the fire alarm is output and the fire determination operation is performed.
学習制御部３０は、火災受信機１２からの火災移報信号Ｅ１、火災断定移報信号Ｅ２及び復旧移報信号Ｅ３に基づき、火災受信機１２で火災警報が出力され場合に、時系列データ生成部６４に指示し、記憶部に記憶されている図９に示した煙濃度のセンサデータに基づき、時系列データを生成させ、第２火災検出器２４−２の時系列データ入力部６６を介して多層式ニューラルネットワーク３４−２に火災の時系列データとして入力し、バックプロパゲーション法により多層式ニューラルネットワーク３４−２の重みとバイアスを学習させる。
The
時系列データ生成部６４による時系列データの生成は、例えば図９の時刻ｔ０から時刻ｔ１でプリアラームレベルＴＨ１に達するまでの所定単位時間Δｔごとの煙濃度データをＳ１〜Ｓ１８とすると、所定の単位時間Δｔずつシフトしながら所定時間分の周期Ｔ１，Ｔ２，・・・・Ｔ９毎の時系列データ（Ｓ１〜Ｓ１０）、（Ｓ２〜Ｓ１１）、・・・（Ｓ９〜Ｓ１８）を生成し、学習データ保持部６８に記憶させる。
The time-series data generation by the time-series
時系列データ（Ｓ１〜Ｓ１０）、（Ｓ２〜Ｓ１１）、・・・（Ｓ９〜Ｓ１８）による多層式ニューラルネットワーク３４−２の学習は、例えば時系列データ（Ｓ１〜Ｓ１０）による学習を例にとると、濃度値Ｓ１〜Ｓ１０を多層式ニューラルネットワーク３４−２の入力層に並列入力して行う。以下同様に残りの時系列データ（Ｓ２〜Ｓ１１）、・・・（Ｓ９〜Ｓ１８）についても、入力層に順次並列入力することで学習を行う。 The learning of the multilayer neural network 34-2 using the time series data (S1 to S10), (S2 to S11),... (S9 to S18) is, for example, learning using the time series data (S1 to S10). Then, the density values S1 to S10 are input in parallel to the input layer of the multilayer neural network 34-2. Similarly, the remaining time series data (S2 to S11),... (S9 to S18) are learned by sequentially inputting them in parallel to the input layer.
また、学習制御部３０は、火災受信機１２により火災感知器１８の火災発報に基づく火災移報信号Ｅ１が入力された後に、管理責任者等のよる現場確認で非火災であった場合には、火災受信機１２で復旧操作が行われ、復旧操作に基づく復旧移報信号Ｅ３が入力されることから、図９に示した火災の時系列データの場合と同様に、非火災の時系列データを生成し、第２火災検出器２４−２の多層式ニューラルネットワーク３４−２に時系列データ入力部６６−２を介して非火災の時系列データとして入力し、バックプロパゲーション法により多層式ニューラルネットワーク３４−２の重みとバイアスを学習させる。
In addition, the
ここで、標準的に予め準備された入力情報により学習された第１火災検出器２４−１の多層式ニューラルネットワーク３４−１、及び標準的に予め準備された入力情報及び時系列データ生成部６４から読み出された火災時の時系列データにより学習された第２火災検出器２４−２の多層式ニューラルネットワーク３４−２に対しては、所定の単位時間Δｔ毎に、時系列データ生成部６４により所定時間分の時系列データが生成され、時系列データ入力部６６−１，６６−２を介して並列的に入力されることで、火災が監視されることになる。
Here, the multilayer neural network 34-1 of the first fire detector 24-1 learned from the input information prepared in advance as standard, and the input information and time-series
判定装置１０は火災割込み信号を送信したアナログ火災感知器６０に対応する時系列データを入力情報とするが、第１火災検出器２４−１と第２火災検出器２４−２の組をそれぞれ感知器ごとに独立したものとする方が好適である。つまり、学習方法についてはいずれの第１火災検出器２４−１と第２火災検出器２４−２の組も同様であるが、それぞれの第１火災検出器２４−１と第２火災検出器２４−２の組には異なる入力情報を与えられ、火災の判定もそれぞれ異なる判定により行われる。これにより、設置環境に特化した学習が行われる。
The
なお、図８の警報制御部３６としては、図６の警報制御部３６と同様に、第１火災検出器２４−１と第２火災検出器２４−２の検出結果の重み付け加算により火災を判定するようにしても良い。 As with the alarm control unit 36 in FIG. 6, the alarm control unit 36 in FIG. 8 determines fire by weighted addition of the detection results of the first fire detector 24-1 and the second fire detector 24-2. You may make it do.
〔本発明の変形例〕
（警報制御部）
警報制御部３０による第１火災検出器２４−１と第２火災検出器２４−２の検出結果に基づく監視領域の火災判定として、上記の実施形態以外に、第１火災検出器２４−１と第２火災検出器２４−２の火災検出信号のオア（ＯＲ）をとることで火災警報を出力させても良いし、また第１火災検出器２４−１と第２火災検出器２４−２の検出信号のアンド（ＡＮＤ）をとることで火災警報を出力させても良い。
[Modification of the present invention]
(Alarm control unit)
As a fire determination of the monitoring area based on the detection results of the first fire detector 24-1 and the second fire detector 24-2 by the
また、第１火災検出器２４−１と第２火災検出器２４−２の火災検出信号のオア（ＯＲ）出力で火災予兆警報を出力させ、第１火災検出器２４−１と第２火災検出器２４−２の検出信号のアンド（ＡＮＤ）出力で火災警報（本警報）を出力させるようにしても良い。 Further, a fire warning alarm is output by an OR output of the fire detection signals of the first fire detector 24-1 and the second fire detector 24-2, and the first fire detector 24-1 and the second fire detection are output. A fire alarm (this alarm) may be output by an AND output of the detection signal of the detector 24-2.
（盗難監視）
上記の実施形態は、火災監視を例にとっているが、盗難監視にも適用できる。盗難監視の場合には、図１の監視カメラを用いた監視システムについては、火災受信機１２を盗難受信機とし、火災感知器１８を盗難検出器とすれば良い。また、図７の監視システムでは、火災受信機１２を盗難受信機とし、アナログ火災感知器６０を盗難検出器とすれば良い。
(Theft monitoring)
The above embodiment takes fire monitoring as an example, but can also be applied to theft monitoring. In the case of theft monitoring, in the monitoring system using the monitoring camera of FIG. 1, the
（不法行為の監視）
また、不法行為の事前検出にも適用できる。盗難、放火等の不法行為を行おうとする人物の動き、例えば周りを頻繁に見渡すなどの動きを学習し、不法行為を行うより先に異常検出し、警報を出力する。警報出力の方法としては、例えば監視カメラを監視する警備室のモニタ等に監視カメラの画像を表示し、当該人物を赤枠などで囲う様に表示すればよい。
(Monitoring illegal activities)
It can also be applied to tort detection in advance. It learns the movement of a person who attempts illegal activities such as theft and arson, such as frequently looking around, and detects anomalies before performing illegal activities and outputs an alarm. As an alarm output method, for example, an image of a monitoring camera may be displayed on a monitor in a security room that monitors the monitoring camera, and the person may be displayed in a red frame or the like.
（入退室システムとの連携）
また、入退室システムとの連携により、異常な侵入等の監視についても適用できる。入退室システムは、例えばカードや指紋等で対象人物が特定の領域へ入退室可能か判定している。しかし、入退室システムでは、入室可能な人物と一緒に入室不可能なはずの人間が入室するという共連れ等の問題が発生している。上記の共連れのような不法行為について、カメラ画像と入退室システムの情報を入力として異常を学習、検出することにも適用できる。
(Cooperation with entry / exit system)
It can also be applied to monitoring for abnormal intrusions, etc., in cooperation with the entrance / exit system. The entry / exit system determines, for example, whether a target person can enter or leave a specific area using a card or a fingerprint. However, in the entrance / exit system, there is a problem such as a companion where a person who should not enter the room enters along with a person who can enter the room. For illegal activities such as the above-mentioned companionship, the present invention can also be applied to learning and detecting abnormalities using camera images and information on the entrance / exit system as inputs.
（火災判断根拠の明示）
上記の実施形態は、火災の有無の判定結果を報知しているが、これに加え火災と判定した要因について表示するようにしても良い。例えばカメラ画像の監視においては、火災と判定した画像を表示し、更に火災判定の寄与率が高かった領域について強調表示する。これにより、火災検出器が火災と判断した領域について目視確認が容易となり、真に火災が発生したかどうかを容易に判定できるようになり、また状況に応じた対応判断の助けとすることができる。
(Clarification of fire judgment grounds)
In the above embodiment, the determination result of the presence / absence of a fire is reported, but in addition to this, a factor determined to be a fire may be displayed. For example, in monitoring a camera image, an image determined to be a fire is displayed, and an area where the contribution rate of the fire determination is high is highlighted. This makes it easy to visually check the area that the fire detector has determined to be a fire, makes it possible to easily determine whether or not a true fire has occurred, and can help determine the response according to the situation. .
（放火監視）
上記の実施形態は、警戒区域の火災監視を例にとっているが、これ以外に、屋外に監視カメラや炎検知器などのセンサを設置して行う放火監視に多層式のニューラルネットワークによって構成される火災検出器を設け、火災検出器をディープラーニングより学習させ、放火を監視するようにしても良い。
(Arson monitoring)
In the above embodiment, the fire monitoring in the warning area is taken as an example, but in addition to this, a fire constituted by a multilayer neural network for the arson monitoring performed by installing a sensor such as a surveillance camera or a flame detector outdoors. A detector may be provided, the fire detector may be learned from deep learning, and arson may be monitored.
（特徴抽出）
上記の実施形態は、畳み込みニューラルネットワークに画像を入力して火災による特徴を抽出しているが、畳み込みニューラルネットワークを使用せず、入力した画像から輪郭、濃淡等の特徴を抽出する前処理を行って所定の特徴を抽出し、特徴が抽出された画像を認識部として機能する全結合ニューラルネットワークに入力して火災か非火災かを推定させるようにしても良い。これにより画像の特徴抽出の処理負担を低減可能とする。
(Feature extraction)
In the above embodiment, an image is input to a convolutional neural network and features due to fire are extracted. However, preprocessing is performed to extract features such as contour and shading from the input image without using the convolutional neural network. Alternatively, a predetermined feature may be extracted, and an image from which the feature has been extracted may be input to a fully connected neural network that functions as a recognition unit to estimate whether a fire or non-fire occurs. As a result, the processing load for image feature extraction can be reduced.
（学習方法について）
上記の実施形態は、バックプロパゲーションによる学習を行っているが、多層ニューラルネットワークの学習方法はこれに限らない。
(About the learning method)
In the above embodiment, learning is performed by backpropagation, but the learning method of the multilayer neural network is not limited to this.
（画像とセンサの複合）
上記の実施形態は、画像による火災監視とセンサによる火災監視をそれぞれ別形態としているが、入力情報として、画像データとセンサデータを並列的に取り扱っても良い。画像データは例えば、１ピクセルあたりの白黒値が入力項として取り扱われ、センサデータは例えば、センサごとの検出値が入力項として取り扱われる。この場合、中間層に於いて画像の特徴抽出がなされた中間層の項と、センサデータによる影響を受ける中間層の項が、火災検出を判定する次段以降の中間層の項に対して影響を与えるようになることが教育結果として望ましいが、火災の監視を有効にできるならこれに限らない。
(Composite image and sensor)
In the embodiment described above, fire monitoring using images and fire monitoring using sensors are different forms, but image data and sensor data may be handled in parallel as input information. For example, monochrome values per pixel are treated as input terms for image data, and detection values for each sensor are treated as input terms for sensor data, for example. In this case, the term of the intermediate layer from which the image features have been extracted in the intermediate layer and the term of the intermediate layer that is affected by the sensor data have an effect on the terms of the subsequent intermediate layer that determines fire detection. It is desirable as a result of education, but it is not limited to this if fire monitoring can be effective.
（赤外線照明と赤外線画像の撮像）
上記の実施形態は、監視カメラにより監視領域の照明を使用した状態及び又は自然光の状態で監視領域を撮像しているが、赤外線照明装置からの赤外線光を監視領域に照射し、赤外線領域に感度のある監視カメラにより赤外線画像を撮像して判定装置の多層式ニューラルネットワークをバックプロパゲーションにより学習し、学習が多層式ニューラルネットワークに監視領域の赤外線画像を入力して火災か非火災かを判定するようにしても良い。
(Infrared illumination and imaging of infrared images)
In the above embodiment, the monitoring area is imaged in a state where the monitoring area is illuminated by the monitoring camera and / or in a natural light state. However, the infrared light from the infrared illumination device is irradiated to the monitoring area, and the sensitivity to the infrared area A multi-layered neural network of a judgment device is learned by back-propagation by capturing an infrared image with a surveillance camera with an image, and it is judged whether the learning is a fire or non-fire by inputting the infrared image of the monitoring area into the multi-layer neural network You may do it.
このように監視領域の赤外線画像を判定装置に入力することで、監視領域の照明状態や昼夜の明るさ変化等に影響されることなく、監視画像を用いた火災監視が可能となる。 By inputting the infrared image of the monitoring area to the determination device in this way, it is possible to perform fire monitoring using the monitoring image without being affected by the illumination state of the monitoring area or the change in brightness of day and night.
（異常予兆警報からの異常警報）
上記の実施形態は、いずれかの異常検出器で異常検出すると異常予兆警報を出力するが、異常予兆警報が継続することにより異常を断定し、異常警報を行うようにしても良い。例えば、異常検出器２のみで異常を検出し続けた場合、所定の時間後に異常警報を行う。また、異常予兆警報時、監視カメラの映像等を判定装置等から管理者に表示するようにしても良い。管理者は当該表示を元に異常かどうかを判断し、異常断定または非異常断定を行うようにしても良い。
(Abnormal alarm from abnormal warning warning)
In the above-described embodiment, when an abnormality is detected by any one of the abnormality detectors, an abnormality sign alarm is output. However, the abnormality sign may be determined and the abnormality alarm may be performed by continuing the abnormality sign alarm. For example, when an abnormality is continuously detected only by the abnormality detector 2, an abnormality alarm is given after a predetermined time. Further, at the time of an abnormal sign warning, the video of the monitoring camera or the like may be displayed to the administrator from the determination device or the like. The administrator may determine whether there is an abnormality based on the display, and may make an abnormal determination or non-abnormal determination.
（火災検出器の性能確認）
上記の実施形態に加え、異常検出器の異常検出精度を試験できるようにしても良い。火災等の異常をコンピュータグラフィックス等や画像合成、実際に発生させる等の方法により作成した異常状態の画像を用いて、異常検出精度の確認を行う。
(Fire detector performance check)
In addition to the above embodiment, the abnormality detection accuracy of the abnormality detector may be tested. The abnormality detection accuracy is confirmed using an abnormal image created by a method such as computer graphics, image composition, or actual generation of an abnormality such as a fire.
（異常検出器の選択）
上記の実施形態は、異常検出器を併用しているが、異常検出器について選択的に実行できるようにしても良い。例えば、学習した第２異常検出器が十分に火災及び非火災を検出できる状態にあるとき、学習を行わない第１異常検出器で非火災を火災と検出してしまうと管理者を煩わせることとなる。異常検出器を選択的に実行可能とすることにより、検出精度の低い異常検出器の誤報による煩わしさを防止することが可能となる。
(Selection of abnormality detector)
In the above-described embodiment, the abnormality detector is used together. However, the abnormality detector may be selectively executed. For example, when the learned second abnormality detector is in a state that can sufficiently detect a fire and a non-fire, the administrator is bothered if the first abnormality detector that does not learn detects a non-fire as a fire. It becomes. By making it possible to selectively execute the abnormality detector, it is possible to prevent annoyance due to a false report of the abnormality detector having a low detection accuracy.
（入力情報の共有）
上記の実施形態は、異常検出器はそれぞれの入力情報に基づき学習を行っているが、同一システム内の別の入力情報取得端末による入力情報を元に学習を行っても良い。例えば、第１異常検出器に対応する監視カメラの撮像画像を第２異常検出器の入力情報として学習を行うようにしても良い。
(Share input information)
In the above embodiment, the abnormality detector performs learning based on each input information. However, the abnormality detector may perform learning based on input information from another input information acquisition terminal in the same system. For example, the captured image of the monitoring camera corresponding to the first abnormality detector may be learned as input information of the second abnormality detector.
（その他）
また、本発明は上記の実施形態に限定されず、その目的と利点を損なうことのない適宜の変形を含み、更に上記の実施形態に示した数値による限定は受けない。
(Other)
The present invention is not limited to the above-described embodiment, includes appropriate modifications without impairing the object and advantages thereof, and is not limited by the numerical values shown in the above-described embodiment.
１０：判定装置
１２：火災受信機
１４−１，１４−２：監視領域
１６−1，１６−２：監視カメラ
１８−１，１８−２：火災感知器
２０：信号ケーブル
２２：感知器回線
２４−１：第１火災検出器
２４−２：第２火災検出器
２６：録画装置
２８：学習画像保持部
３０：学習制御部
３２−１，３２−２：画像入力部
３４−１，３４−２：多層式ニューラルネットワーク
３６：警報制御部
３８：特徴抽出部
４０：認識部
４２：入力画像
４３，４５ａ，４５ｂ：重みフィルタ
４４ａ，４４ｂ，４４ｃ：特徴マップ
４６：入力層
４８：結合層
５０：中間層
５２：出力層
６０−１，６０−２：アナログ火災感知器
６２：伝送路
６４：時系列データ生成部
６６−１，６６−２：時系列データ入力部
６８：学習データ保持部
７０−１，７０−２：重み乗算器
７２：加算器
７４：比較器
７６：閾値設定器
10: determination device 12: fire receivers 14-1, 14-2: monitoring areas 16-1, 16-2: monitoring cameras 18-1, 18-2: fire detector 20: signal cable 22: sensor line 24 -1: 1st fire detector 24-2: 2nd fire detector 26: Recording device 28: Learning image holding part 30: Learning control part 32-1, 32-2: Image input part 34-1 and 34-2 : Multilayer neural network 36: alarm control unit 38: feature extraction unit 40: recognition unit 42:
Claims (14)
前記予め準備された学習情報及び監視領域で収集された学習情報により学習された多層式のニューラルネットワークによって構成され、前記入力情報の入力により異常か非異常かを検出する第２異常検出器と、
前記第１異常検出器と前記第２異常検出器の検出結果に基づき前記監視領域の異常を判定して警報する警報制御部と、
が設けられたことを特徴とする監視システム。
A first abnormality detector configured by a multilayer neural network learned by learning information prepared in advance, and detecting abnormality or non-abnormality by input of input information from a monitoring area;
A second abnormality detector configured by a multilayer neural network learned from the learning information prepared in advance and the learning information collected in the monitoring area, and detecting whether the input information is abnormal or non-abnormal;
An alarm control unit for determining and alarming an abnormality in the monitoring region based on detection results of the first abnormality detector and the second abnormality detector;
A monitoring system characterized by that.
2. The monitoring system according to claim 1, wherein the alarm control unit determines an abnormality from a value obtained by setting and adding a predetermined weight to each detection result of the first abnormality detector and the second abnormality detector. Monitoring system characterized by alarming abnormalities.
The monitoring system according to claim 2, wherein the predetermined weight varies depending on the amount of the learning information.
2. The monitoring system according to claim 1, wherein the first abnormality detector and the second abnormality detector are configured to input a physical quantity detected by a sensor and / or an image of the monitoring area captured by an imaging unit as the input information. A monitoring system characterized by detecting whether it is abnormal or non-abnormal.
2. The monitoring system according to claim 1, wherein the alarm control unit outputs an abnormality predictive alarm when abnormality detection is determined by either the first abnormality detector or the second abnormality detector. 3. An abnormality alarm is output when abnormality detection is determined by the first abnormality detector and the second abnormality detector.
前記第２異常検出器は、
ディープラーニングにより学習させる学習制御部と、
センサにより検出された物理量及び又は、撮像部により撮像された監視領域の画像を入力情報として記憶する記憶部と、
が設けられ、
前記学習制御部は、前記記憶部に記憶されている入力情報を読出し、前記第２異常検出器の前記多層式のニューラルネットワークに学習情報として入力して学習させることを特徴とする火災監視システム。
The monitoring system according to claim 1,
The second abnormality detector is
A learning control unit for learning by deep learning;
A storage unit that stores, as input information, a physical quantity detected by a sensor and / or an image of a monitoring area imaged by an imaging unit;
Is provided,
The fire control system, wherein the learning control unit reads input information stored in the storage unit, and inputs the learning information into the multilayer neural network of the second abnormality detector as learning information.
前記第１異常検出器及び前記第２異常検出器は、前記入力情報を入力して火災か非火災かを検出し、
前記警報制御部は、前記第１異常検出器と前記第２異常検出器の検出結果に基づき前記監視領域の火災を判定して警報し、
前記学習制御部は、火災感知器により火災を監視している火災受信機による監視結果に基づき、前記記憶部の記憶されている前記入力情報を読出し、前記第２異常検出器の前記多層式のニューラルネットワークに学習情報として入力して学習させることを特徴とする監視システム。
The monitoring system according to claim 6, wherein
The first abnormality detector and the second abnormality detector detect the fire or non-fire by inputting the input information,
The alarm control unit determines and alarms a fire in the monitoring area based on detection results of the first abnormality detector and the second abnormality detector,
The learning control unit reads the input information stored in the storage unit based on a monitoring result by a fire receiver that monitors a fire with a fire detector, and the multi-layer type of the second abnormality detector. A monitoring system characterized by being input to a neural network as learning information for learning.
8. The monitoring system according to claim 7, wherein when the fire receiver receives a fire alarm signal from the fire detector, the learning control unit receives a signal from the fire alarm signal from a predetermined time before. Of the input information up to the time of input, the input information corresponding to the fire detector that has fired is read out from the storage unit and input to the multi-layer neural network of the second anomaly detector as fire learning information A monitoring system characterized by learning.
8. The monitoring system according to claim 7, wherein the learning control unit receives a fire determination signal based on a fire determination operation after a fire transmission signal based on a fire alarm of the fire detector is input by the fire receiver. When a signal is input, the input information from a predetermined time before the fire transfer signal is input is read from the storage unit, and fire learning information is stored in the multilayer neural network of the second abnormality detector. A monitoring system characterized by input and learning.
前記学習制御部は、前記火災感知器により火災が検出された場合、前記検出アナログ値が火災判断レベルより低い所定の火災予兆レベルを超えたときから前記火災感知器により火災が検出された時までの前記入力情報を前記記憶部から読出し、前記第２異常検出器の前記多層式のニューラルネットワークに火災の学習情報として入力して学習させることを特徴とする監視システム。
The monitoring system according to claim 7, wherein the fire detector detects a temperature or smoke concentration and sends a detected analog value to the fire receiver to determine a fire.
The learning control unit, when a fire is detected by the fire sensor, from when the detected analog value exceeds a predetermined fire predictive level lower than a fire judgment level to when a fire is detected by the fire sensor The monitoring system is characterized in that the input information is read from the storage unit, and is input to the multilayer neural network of the second anomaly detector as learning information for fire to learn.
8. The monitoring system according to claim 7, wherein the learning control unit receives a restoration message based on a restoration operation after a fire announcement signal based on a fire alarm of the fire detector is input by the fire receiver. When input, the input information from a predetermined time before the fire transfer signal is input is read from the storage unit and input as non-fire learning information to the multilayer neural network of the second anomaly detector A monitoring system characterized by learning.
前記火災感知器は温度又は煙濃度を検出して検出アナログ値を前記火災受信機に送って火災を判断させており、
前記学習制御部は、前記火災受信機により前記火災感知器の火災発報に基づく火災移報信号が入力された後に復旧定操作に基づく復旧移報信号が入力された場合、前記検出アナログ値が火災判断レベルより低い所定の火災予兆レベルを超えたときから前記火災移報信号の入力時までの前記入力情報を前記記憶部から読出し、前記第２異常検出器の前記多層式のニューラルネットワークに非火災の学習情報として入力して学習させることを特徴とする監視システム。
The monitoring system according to claim 7, wherein
The fire detector detects temperature or smoke concentration and sends a detected analog value to the fire receiver to determine fire,
The learning control unit, when a recovery signal based on a recovery operation is input after a fire notification signal based on a fire alarm of the fire detector is input by the fire receiver, the detected analog value is The input information from when the predetermined fire predictive level lower than the fire judgment level is exceeded to when the fire signal is input is read from the storage unit, and is not stored in the multilayer neural network of the second anomaly detector. A monitoring system characterized by inputting and learning as fire learning information.
The monitoring system according to claim 6, wherein the learning control unit reads input information stored in the storage unit in a normal monitoring state, and the non-abnormality is detected in the multilayer neural network of the second abnormality detector. A monitoring system characterized in that it is input as learning information and is subjected to initialization learning.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016230748A JP6849411B2 (en) | 2016-11-29 | 2016-11-29 | Monitoring system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016230748A JP6849411B2 (en) | 2016-11-29 | 2016-11-29 | Monitoring system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018088105A true JP2018088105A (en) | 2018-06-07 |
| JP6849411B2 JP6849411B2 (en) | 2021-03-24 |
Family
ID=62493553
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016230748A Active JP6849411B2 (en) | 2016-11-29 | 2016-11-29 | Monitoring system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6849411B2 (en) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109215281A (en) * | 2018-10-15 | 2019-01-15 | 合肥鸿坤通信工程有限公司 | A kind of communication base station fire alarm installation |
| CN109815863A (en) * | 2019-01-11 | 2019-05-28 | 北京邮电大学 | Firework detecting method and system based on deep learning and image recognition |
| CN110220554A (en) * | 2019-06-05 | 2019-09-10 | 北京百度网讯科技有限公司 | Method and apparatus for output information |
| CN110473379A (en) * | 2019-07-10 | 2019-11-19 | 上海电机学院 | A kind of power equipment security against fire real-time monitoring system and method |
| CN110500138A (en) * | 2019-09-25 | 2019-11-26 | 中国矿业大学(北京) | A kind of underground coal mine belt fire early-warning system |
| JP2020088432A (en) * | 2018-11-16 | 2020-06-04 | キヤノン株式会社 | Monitoring device, monitoring method, and program |
| CN112419650A (en) * | 2020-11-11 | 2021-02-26 | 国网福建省电力有限公司电力科学研究院 | Fire detection method and system based on neural network and image recognition technology |
| CN113008460A (en) * | 2021-02-26 | 2021-06-22 | 浙江南盾科技发展有限公司 | Be used for automatic fire prevention to prevent gas leakage alarm system |
| WO2022009614A1 (en) * | 2020-07-06 | 2022-01-13 | パナソニックＩｐマネジメント株式会社 | Sign determination system, integrated system, sign determination method, and program |
| CN114495410A (en) * | 2022-01-04 | 2022-05-13 | 北京金山云网络技术有限公司 | Smoke alarm method and device, electronic equipment and storage medium |
| WO2022203127A1 (en) * | 2021-03-26 | 2022-09-29 | 에스케이플래닛 주식회사 | Method for continuously learning object abnormality detection and state classification model, and apparatus therefor |
| KR20230016826A (en) * | 2021-07-27 | 2023-02-03 | 연세대학교 산학협력단 | Fire detection system and method based on vision |
| JP7432325B2 (en) | 2019-08-31 | 2024-02-16 | ホーチキ株式会社 | Disaster prevention support system and fire detector |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06325270A (en) * | 1993-05-18 | 1994-11-25 | Hochiki Corp | Fire judging device and learning method for neural network |
| JP2016173682A (en) * | 2015-03-16 | 2016-09-29 | シャープ株式会社 | Abnormality determination device and abnormality determination method |
-
2016
- 2016-11-29 JP JP2016230748A patent/JP6849411B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06325270A (en) * | 1993-05-18 | 1994-11-25 | Hochiki Corp | Fire judging device and learning method for neural network |
| JP2016173682A (en) * | 2015-03-16 | 2016-09-29 | シャープ株式会社 | Abnormality determination device and abnormality determination method |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109215281A (en) * | 2018-10-15 | 2019-01-15 | 合肥鸿坤通信工程有限公司 | A kind of communication base station fire alarm installation |
| JP2020088432A (en) * | 2018-11-16 | 2020-06-04 | キヤノン株式会社 | Monitoring device, monitoring method, and program |
| JP7301526B2 (en) | 2018-11-16 | 2023-07-03 | キヤノン株式会社 | Monitoring device, monitoring method and program |
| CN109815863B (en) * | 2019-01-11 | 2021-10-12 | 北京邮电大学 | Smoke and fire detection method and system based on deep learning and image recognition |
| CN109815863A (en) * | 2019-01-11 | 2019-05-28 | 北京邮电大学 | Firework detecting method and system based on deep learning and image recognition |
| CN110220554A (en) * | 2019-06-05 | 2019-09-10 | 北京百度网讯科技有限公司 | Method and apparatus for output information |
| CN110473379A (en) * | 2019-07-10 | 2019-11-19 | 上海电机学院 | A kind of power equipment security against fire real-time monitoring system and method |
| JP7432325B2 (en) | 2019-08-31 | 2024-02-16 | ホーチキ株式会社 | Disaster prevention support system and fire detector |
| CN110500138A (en) * | 2019-09-25 | 2019-11-26 | 中国矿业大学(北京) | A kind of underground coal mine belt fire early-warning system |
| CN110500138B (en) * | 2019-09-25 | 2024-05-24 | 中国矿业大学(北京) | Colliery belt conflagration early warning system in pit |
| WO2022009614A1 (en) * | 2020-07-06 | 2022-01-13 | パナソニックＩｐマネジメント株式会社 | Sign determination system, integrated system, sign determination method, and program |
| CN112419650A (en) * | 2020-11-11 | 2021-02-26 | 国网福建省电力有限公司电力科学研究院 | Fire detection method and system based on neural network and image recognition technology |
| CN113008460B (en) * | 2021-02-26 | 2022-05-17 | 浙江南盾科技发展有限公司 | Be used for automatic fire prevention to prevent gas leakage alarm system |
| CN113008460A (en) * | 2021-02-26 | 2021-06-22 | 浙江南盾科技发展有限公司 | Be used for automatic fire prevention to prevent gas leakage alarm system |
| WO2022203127A1 (en) * | 2021-03-26 | 2022-09-29 | 에스케이플래닛 주식회사 | Method for continuously learning object abnormality detection and state classification model, and apparatus therefor |
| KR20230016826A (en) * | 2021-07-27 | 2023-02-03 | 연세대학교 산학협력단 | Fire detection system and method based on vision |
| KR102549809B1 (en) * | 2021-07-27 | 2023-06-30 | 연세대학교 산학협력단 | Fire detection system and method based on vision |
| CN114495410A (en) * | 2022-01-04 | 2022-05-13 | 北京金山云网络技术有限公司 | Smoke alarm method and device, electronic equipment and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6849411B2 (en) | 2021-03-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2018088105A (en) | Monitoring system | |
| WO2018079400A1 (en) | Fire monitoring system | |
| JP7072700B2 (en) | Monitoring system | |
| JP2018072881A (en) | Fire disaster monitoring system | |
| JP6867153B2 (en) | Abnormality monitoring system | |
| WO2018116966A1 (en) | Fire monitoring system | |
| JP7168052B2 (en) | Monitoring system and monitoring method | |
| US11626008B2 (en) | System and method providing early prediction and forecasting of false alarms by applying statistical inference models | |
| JP6942029B2 (en) | Fire monitoring system | |
| JP6943401B2 (en) | Fire monitoring system | |
| EP3026904B1 (en) | System and method of contextual adjustment of video fidelity to protect privacy | |
| JP2018088630A (en) | Fire monitoring system | |
| Khawandi et al. | Implementation of a monitoring system for fall detection in elderly healthcare | |
| JP5042177B2 (en) | Image sensor | |
| JPWO2016147789A1 (en) | Image monitoring apparatus and image monitoring method | |
| KR102233679B1 (en) | Apparatus and method for detecting invader and fire for energy storage system | |
| KR101046819B1 (en) | Method and system for watching an intrusion by software fence | |
| KR20210013865A (en) | Abnormal behavior detection system and method using generative adversarial network | |
| CN113891050B (en) | Monitoring equipment management system based on video networking sharing | |
| JP5580686B2 (en) | Reporting device | |
| US11087615B2 (en) | Video/sensor based system for protecting artwork against touch incidents | |
| JP5580679B2 (en) | Reporting device | |
| JP5580673B2 (en) | Reporting device | |
| JP5730099B2 (en) | Anomaly detection device | |
| JP2021087031A (en) | Information processing device, information processing method, monitoring system, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191016 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200826 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200902 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201021 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210210 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210304 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6849411 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |