JP2018072881A - 火災監視システム - Google Patents

火災監視システム Download PDF

Info

Publication number
JP2018072881A
JP2018072881A JP2016207848A JP2016207848A JP2018072881A JP 2018072881 A JP2018072881 A JP 2018072881A JP 2016207848 A JP2016207848 A JP 2016207848A JP 2016207848 A JP2016207848 A JP 2016207848A JP 2018072881 A JP2018072881 A JP 2018072881A
Authority
JP
Japan
Prior art keywords
fire
input
learning
neural network
monitoring system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016207848A
Other languages
English (en)
Other versions
JP6857007B2 (ja
Inventor
弘道 江幡
Hiromichi Ehata
弘道 江幡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hochiki Corp
Original Assignee
Hochiki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hochiki Corp filed Critical Hochiki Corp
Priority to JP2016207848A priority Critical patent/JP6857007B2/ja
Priority to EP17863744.3A priority patent/EP3531386B1/en
Priority to PCT/JP2017/037830 priority patent/WO2018079400A1/ja
Publication of JP2018072881A publication Critical patent/JP2018072881A/ja
Priority to US16/376,117 priority patent/US20220292944A9/en
Application granted granted Critical
Publication of JP6857007B2 publication Critical patent/JP6857007B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Fire Alarms (AREA)
  • Image Analysis (AREA)
  • Fire-Detection Mechanisms (AREA)
  • Alarm Systems (AREA)

Abstract

【課題】監視領域に適合した火災入力情報又は非火災画像により多層式のニューラルネットワークを効率良く学習させて火災の判定精度を向上する。【解決手段】監視カメラ16−1、16−2により撮像された監視領域14−1、14−2の画像を判定装置に設けられた多層式ニューラルネットワークに入力して火災か非火災かを判定させ、火災が判定された場合には、火災報知設備の受信機から火災警報を出力させる。判定装置には録画装置が設けられ、監視カメラで撮像された監視領域の動画が録画されている。判定装置には学習制御部が設けられ、受信機から火災警報信号を受信すると、受信機で火災断定操作が行われれば、そのときの録画画像を録画装置から読み出し、火災画像として多層式ニューラルネットワークに入力して、誤差逆伝搬法により学習させる。受信機で復旧操作が行われた場合は、非火災画像として多層式のニューラルネットワークに入力して学習させる。【選択図】図1

Description

本発明は、火災感知器等のセンサや監視カメラで撮像した監視領域の画像からニューラルネットワークにより火災を判断して警報させる火災監視システムに関する。
従来、煙感知器や熱感知器など、特定の物理量を監視するセンサを用いて、火災を検出するシステムが実用化されている。
一方、従来、監視カメラで撮像した監視領域の画像に対し画像処理を施すことにより、火災を検知するようにした様々な装置やシステムが提案されている。
このような火災監視システムにあっては、火災発生に対する初期消火や避難誘導の観点から火災の早期発見が重要である。
このため従来装置(特許文献1)にあっては、画像から火災に伴う煙により起きる現象として、透過率又はコントラストの低下、輝度値の特定値への収束、輝度分布範囲が狭まって輝度の分散の低下、煙による輝度の平均値の変化、エッジの総和量の低下、低周波帯域の強度増加を導出し、これらを総合的に判断して煙の検出を可能としている。
特開2008−046916号公報 特開平7−245757号公報 特開2010−238028号公報 特開平6−325270号公報
しかしながら、特定の物理量を監視するセンサを用いた火災検出システムは、火災でない事象により監視基準が満たされた場合でも火災とみなし、正しく火災を判別できない問題があった。
また、従来の火災に伴う煙の画像から火災を検知する火災監視システムにあっては、煙の画像における透過率、コントラスト、エッジ等の煙の特徴量を予め定め、監視カメラで撮像した画像を処理することで煙による特徴を生成しなければならず、火災による煙の発生状況は多種多様であり、その中に煙としてどのような特徴があるかを見出すことは極めて困難であり、決め手となる特徴がなかなか見いだせないため、監視画像から火災による煙を精度良く判断して火災警報を出力する火災監視システムは実用化の途上にある。
一方、近年にあっては、例えば多数の猫と犬の画像にラベル付けをし、それを畳み込みニューラルネットワークを備えた多層式のニューラルネットワークに学習させ、所謂ディープラーニングを行い、新たな画像を学習済みの多層式のニューラルネットワークに提示し、それが猫なのか犬なのかを判定する技術が開示されている。
また、ディープラーニングは画像解析のみにとどまらず、自然言語処理や行動解析等に用いることが検討されている。
このような多層式のニューラルネットワークを、火災感知器に代表されるセンサから得られる物理量や監視カメラで撮像した監視領域の画像を入力情報とし、入力情報から火災を判断する判定装置に設け、学習時においては多数の火災時及び非火災時の入力情報を準備して多層式のニューラルネットワークに学習させ、監視時においては入力情報を学習済みの多層式のニューラルネットワークに入力すれば、その出力から火災か否かを高い精度で推定して警報を出力させる火災監視システムが構築可能となる。
この場合、火災監視システムの製造段階で予め準備された多数の火災時及び非火災時の入力情報を教師ありの学習情報として多層式のニューラルネットワークの学習を行い、学習の済んだ多層式のニューラルネットワークを備えた判定装置を、監視する施設に設置し、監視領域に設置している火災感知器等のセンサデータやカメラで撮像した画像を判定装置に入力して火災を監視することになる。
しかしながら、製造段階で行われる多層式のニューラルネットワークの学習は実際の監視領域で取得したデータではなく、標準的に準備された入力情報を使用した学習となり、現地のセンサや監視カメラで入力される実際の物理量や監視画像を入力した場合に十分に高い精度で火災を推定することができない可能性が残る。
本発明は、火災感知器を備えた火災報知設備との連携により、監視領域に適合した火災時及びまたは非火災時の入力情報により多層式のニューラルネットワークを効率良く学習させて火災の判定精度を向上可能とする火災監視システムを提供することを目的とする。
(ディープラーニングによる火災検出)
本発明は、多層式のニューラルネットワークによって構成される火災検出器を用いて、入力情報に基づき火災を検出する火災監視システムに於いて、
ディープラーニングより火災検出器を学習させる学習制御部を有することを特徴とする。
(入力情報)
センサにより検出された物理量及び又は、撮像部により撮像された監視領域の画像を入力情報として記憶する記憶部を設け、
学習制御部は、記憶部に記憶されている入力情報を火災検出器の学習情報として学習させ、当該学習後に入力情報を火災検出器に入力することで火災を検出する。
(受信機との連携)
学習制御部は、監視領域に設置された火災感知器が接続された受信機による火災監視結果に基づき、記憶部に記憶されている入力情報を学習情報として取り込む。
(火災発報した感知器に対応する入力情報による火災学習)
学習制御部は、火災感知器の火災発報による信号が入力された場合、所定時間前から火災発報による信号の入力時までの入力情報のうち、火災発報した火災感知器に対応する入力情報を記憶部から読出し、火災検出器に学習情報として入力してニューラルネットワークを学習させる。
(火災発報の所定時間前からの入力情報による火災断定時の火災学習)
学習制御部は、火災感知器の火災発報による信号が入力された後に火災断定操作に基づく火災断定移報信号が入力された場合、所定時間前から火災移報信号の入力時までの入力情報を記憶部から読出し、火災検出器に学習情報として入力してニューラルネットワークを学習させる。
(火災予兆レベル超えからの入力情報による火災学習)
火災感知器は温度又は煙濃度を検出して検出アナログ値を送って火災を判断させており、
学習制御部は、火災感知器の信号により火災が検出された場合、検出アナログ値が火災判断レベルより低い所定の火災予兆レベルを超えたときから火災検出時までの入力情報を記憶部から読出し、火災検出器に学習情報として入力してニューラルネットワークを学習させる。
(火災発報の所定時間前からの入力情報による復旧時の非火災学習)
学習制御部は、受信機により火災感知器の火災発報に基づく火災移報信号が入力された後に復旧操作に基づく復旧移報信号が入力された場合、所定時間前から火災移報信号の入力時までの入力情報を記憶部から読出し、火災検出器に非火災学習情報として入力してニューラルネットワークを学習させる。
(火災予兆レベル超えからの入力情報による復旧時の非火災学習)
火災感知器は温度又は煙濃度を検出して検出アナログ値を送って火災を判断させており、
学習制御部は、受信機により火災感知器の火災発報に基づく火災移報信号が入力された後に復旧定操作に基づく復旧移報信号が入力された場合、検出アナログ値が火災判断レベルより低い所定の火災予兆レベルを超えたときから火災移報信号の入力時までの入力情報を記憶部から読出し、火災検出器に非火災学習情報として入力してニューラルネットワークを学習させる。
(多層式のニューラルネットワークの機能構成)
多層式のニューラルネットワークは、
特徴抽出部と認識部で構成され、
特徴抽出部は、入力情報を入力して入力情報の特徴が抽出された特徴情報を生成する複数の畳込み層を備えた畳込みニューラルネットワークとし、
認識部は、畳込みニューラルネットワークから出力される特徴情報を入力し、火災特徴値を出力する複数の全結合層を備えたニューラルネットワークとする。
(バックプロパゲーションによる学習)
学習制御部は、火災検出器の多層式のニューラルネットワークに火災学習情報又は非火災学習情報を入力した場合に出力される値と所定値の期待値との誤差に基づくバックプロパゲーション(誤差逆伝搬)により多層式のニューラルネットワークを学習させる。
(監視領域の通常監視入力情報による初期化学習)
学習制御部は、火災報知設備の通常監視状態で記憶装置に記憶された入力情報を読み出して、多層式のニューラルネットワークに非火災学習情報として入力して初期化学習させる。
(初期化学習のタイミング)
初期化学習のタイミングは、装置立ち上げ時、所定の操作が行われたとき、入力情報に変化が略ないとき、所定時間間隔毎に行われその初回の時刻が変化する、のうちいずれかいずれか一つ以上を含む。
(火災判断根拠の明示)
火災検出器は、火災の検出に加え火災と判定した要因について表示する。
(基本的な効果)
本発明は、多層式のニューラルネットワークによって構成される火災検出器を用いて入力情報に基づき火災を検出する火災監視システムに於いて、ディープラーニングより火災検出器を学習させる学習制御部を有するようにしたため、人為的な解析では火災か非火災かが判断できないセンサの出力や監視領域の画像から高い精度で火災を推定して警報可能とする。
(入力情報による効果)
また、センサにより検出された物理量及び又は、撮像部により撮像された監視領域の画像を入力情報として記憶する記憶部を設け、学習制御部は、記憶部に記憶されている入力情報を火災検出器の学習情報として学習させ、当該学習後に入力情報を火災検出器に入力することで火災を検出するようにしたため、記憶部に記憶されたセンサで検出された物理量や撮像部で撮像された監視領域の画像等の入力情報から多数の学習情報を取得して火災検出器の多層式のニューラルネットワークを効率良く学習させることができ、その後、入力情報を学習済みの火災検出器に入力することで、高い精度で火災を推定して警報可能とする。
(受信機との連携による効果)
また、学習制御部は、監視領域に設置された火災感知器が接続された受信機による火災監視結果に基づき、記憶部に記憶されている入力情報を学習情報として取り込むようにしたため、製造段階での標準的な火災及び非火災の画像により学習された火災検出器の多層式のニューラルネットワークは、火災報知設備の受信機の火災監視結果に基づき、例えは火災警報が出力された場合は、そのとき録画装置に録画されている画像を火災の画像として読出して多層式のニューラルネットワークを学習し、また、火災警報が出力されたが非火災であった場合には、そのとき録画装置に録画されている画像を非火災の画像といて読出して多層式のニューラルネットワークを学習することで、実際に撮像部としての監視カメラにより監視している監視領域に対応した火災及び非火災の画像による学習が効率的に行われ、監視カメラにより撮像している監視画像から高い精度で火災を推定して警報可能とする。
この点はセンサにより検出される温度や煙濃度等の物理量についても同様であり、センサの検出信号から高い精度で火災を推定して警報可能とする。
(火災発報した感知器に対応する入力情報による火災学習)
また、学習制御部は、火災感知器の火災発報による信号が入力された場合、所定時間前から火災発報による信号の入力時までの入力情報のうち、火災発報した火災感知器に対応する入力情報を記憶部から読出し、火災検出器に学習情報として入力してニューラルネットワークを学習させるようにしたため、火災の発生箇所における入力情報を学習データとして得られ、自動的に学習データを得ることが可能となる。
火災感知器等のセンサデータを入力情報とする場合、例えば火災発報の5分前からのセンサデータを記憶部から読み出して火災のセンサデータとして学習させる場合、所定の時間間隔毎、例えば5秒ごとにセンサデータが検出されていたとすると、60セットのセンサデータが得られる。また、監視カメラの画像を入力情報とする場合、例えば、火災発報の5分前からの画像を録画装置から読み出して火災の画像として学習させる場合、録画画像が30フレーム/秒で録画されていたとすると、5分の録画画像から9000枚の画像が得られる。上記のように、1度の火災感知器の発報により、当該火災感知器に応じた複数の入力情報による学習が簡単に実現できることで、入力情報からより高い精度で火災を推定して警報可能とする。
(火災発報の所定時間前からの入力情報による火災断定時の火災学習)
また、学習制御部は、火災感知器の火災発報による信号が入力された後に火災断定操作に基づく火災断定移報信号が入力された場合、所定時間前から火災移報信号の入力時までの入力情報を記憶部から読出し、火災検出器に学習情報として入力してニューラルネットワークを学習させるようにしたため、火災が確実に発生している状態での入力情報を火災時の入力情報として学習できるため、学習データに火災か非火災かのラベリングをする手間なく、誤りのない学習データにより学習できるようになる。
(火災予兆レベル超えからの入力情報による火災学習)
また、火災感知器は温度又は煙濃度を検出して検出アナログ値を送って火災を判断させており、学習制御部は、火災感知器の信号により火災が検出された場合、検出アナログ値が火災判断レベルより低い所定の火災予兆レベルを超えたときから火災検出時までの入力情報を記憶部から読出し、火災検出器に学習情報として入力してニューラルネットワークを学習させるようにしたため、アナログ型の火災感知器により検知している監視領域の温度や煙濃度が、火災判断レベルより低い火災の予兆となる所定の火災予兆レベルに達したときからの入力情報を記憶部から読出して学習することから、火災の初期段階からの火災と判断されるまでの多数の入力情報を火災の入力情報として読み出して学習することができ、火災の予兆検出を可能とする。
(火災発報の所定時間前からの入力情報による復旧時の非火災学習)
学習制御部は、受信機により火災感知器の火災発報に基づく火災移報信号が入力された後に復旧操作に基づく復旧移報信号が入力された場合、所定時間前から火災移報信号の入力時までの入力情報を記憶部から読出し、火災検出器に非火災学習情報として入力してニューラルネットワークを学習させるようにしたため、例えば、火災発報の5分前からの入力情報を記憶部から読出して非火災の入力情報として学習させる場合、火災が確実に発生していない状態での入力情報を非火災時の入力情報として学習できるため、学習データに火災か非火災かのラベリングをする手間なく、誤りのない学習データにより学習できるようになる。
(火災予兆レベル超えからの入力情報による復旧時の非火災学習)
また、火災感知器は温度又は煙濃度を検出して検出アナログ値を送って火災を判断させており、
学習制御部は、受信機により火災感知器の火災発報に基づく火災移報信号が入力された後に復旧定操作に基づく復旧移報信号が入力された場合、検出アナログ値が火災判断レベルより低い所定の火災予兆レベルを超えたときから火災移報信号の入力時までの入力情報を記憶部から読出し、火災検出器に非火災学習情報として入力してニューラルネットワークを学習させるようにしたため、アナログ型の火災感知器により検知している監視領域の温度や煙濃度が、火災判断レベルより低い火災の予兆を示す所定の火災予兆レベルに達したが、火災以外の原因による温度や煙濃度の増加による非火災であった場合に、火災予兆レベルに達したときからの非火災の入力情報を非火災時の入力情報として学習することから、初期段階から非火災と判断されるまでの多数の入力情報を非火災の入力情報を記憶部から読出して学習することができ、火災の予兆と捉えられかねない非火災の状態に対して、より高い精度で非火災を推定して誤報を確実に防止可能とする。
(多層式のニューラルネットワークの機能構成による効果)
また、多層式のニューラルネットワークは、特徴抽出部と認識部で構成され、特徴抽出部は、監視領域の入力情報を入力して入力情報の特徴が抽出された特徴情報を生成する複数の畳み込み層を備えた畳み込みニューラルネットワークとし、認識部は、畳み込みニューラルネットワークから出力される特徴情報を入力し、火災特徴値を出力する複数の全結合層を備えたニューラルネットワークとするようにしたため、畳み込みニューラルネットワークにより特徴が自動的に抽出されることで、監視領域の入力情報から前処理により火災入力情報の特徴、例えば、画像に於いては輪郭等を抽出するような前処理を必要とすることなく入力情報の特徴が抽出され、引き続いて行う認識部により高い精度で火災を推定可能とする。
(バックプロパゲーションによる学習の効果)
学習制御部は、火災検出器の多層式のニューラルネットワークに火災入力情報又は非火災入力情報を入力した場合に出力される値と所定値の期待値との誤差に基づくバックプロパゲーション(誤差逆伝搬)により多層式のニューラルネットワークを学習させるようにしたため、火災警報に対応して記憶部から読み出した多数の入力情報を火災入力情報として入力し、出力の期待値として火災の推定値を与えてバックプロパゲーション処理により出力値と期待値の誤差を最小とするように多層式のニューラルネットワークにおける重みとバイアスが学習され、入力情報からより高い精度で火災を推定して警報可能とする。
同様に、火災警報に対し非火災であった場合に記憶部から読み出した多数の入力情報を非火災入力情報として入力し、出力の期待値として非火災の推定値を与えてバックプロパゲーション処理により出力値と期待値の誤差を最小とするように多層式のニューラルネットワークにおける重みとバイアスが学習され、入力情報からより高い精度で非火災を推定して誤報を確実に防止可能とする。
(監視領域の通常監視入力情報による初期化学習の効果)
また、学習制御部は、火災報知設備の通常監視状態で記憶部に記憶された監視領域の入力情報を読み出して、多層式のニューラルネットワークに非火災の入力情報として入力して初期化学習させるようにしたため、通常監視状態での監視領域の入力情報に対する非火災の推定精度が向上し、受信機の火災監視に連動した火災の入力情報又は非火災の入力情報による学習が行われ、多層式のニューラルネットワークの火災及び非火災に対する推定の精度が更に向上される。
(初期化学習のタイミングによる効果)
また、初期化学習のタイミングは、装置立ち上げ時、所定の操作が行われたとき、入力情報に変化が略ないとき、所定時間間隔毎に行われその初回の時刻が変化する、のうちいずれかいずれか一つ以上を含むようにしたため、装置立ち上げ時に初期化学習を行うことにより設置環境における非火災の状態を教育することが可能なり、所定の操作が行われたときに初期化学習を行うことにより任意のタイミングで非火災の状態を教育することができ、例えば内装が変化したときなどにすぐ非火災の状態を教育することが可能となる。また、センサ出力・カメラの撮影画像に変化が略ないときに初期化学習行うことにより確実に監視領域が安定した状態で自動的に非火災の状態を教育することができ、更に、所定時間間隔毎に行われその初回の時刻が変化するように初期化学習が行うことにより、例えば、初期化学習のタイミングを所定の時刻ごとにずらして行うことにより、ばらばらな時刻で非火災の学習データを得て非火災を学習することができる。
(火災判断根拠の明示による効果)
また、火災検出器は、火災の検出に加え火災と判定した要因について表示するようにしたため、例えばカメラ画像の監視においては、火災と判定した画像を表示し、更に火災判定の寄与率が高かった領域について強調表示することにより、火災検出器が火災と判断した領域について目視確認が容易となり、真に火災が発生したかどうかを容易に判定できるようになり、また状況に応じた対応判断の助けとすることができる。
監視カメラと火災感知器により火災を監視する火災監視システムの概略を示した説明図 監視カメラで撮像した画像から火災を推定する多層式ニューラルネットワークを用いた判定装置の機能構成を示した説明図 図2に示した多層式ニューラルネットワークの機能構成を示した説明図 図1の学習制御部による火災受信機の火災監視に連動した多層式ニューラルネットワークの学習制御を示したフローチャート アナログ火災感知器により検出された検出アナログ値の時間変化を示した説明図 センサとして機能するアナログ火災感知器により火災を監視する火災監視システムの概略を示した説明図 アナログ火災感知器からの検出信号により火災を推定する多層式のニューラルネットワークを用いた判定装置の機能構成を示した説明図 図7の時系列データ生成部に記憶されるアナログ火災感知器で検出される煙濃度の時間変化を示したタイムチャート
[火災監視システムの概要]
図1は監視カメラと火災感知器により火災を監視する火災監視システムの概略を示した説明図である。
図1に示すように、ビル等の施設の監視領域14−1、14−2にはそれぞれ撮像手段として機能する監視カメラ16−1、16−2が設置され、監視領域14−1を監視カメラ16−1により、監視領域14−2を監視カメラ16−2により動画撮像している。
監視領域14−1、14−2は特に区別の必要がないときは監視領域14として、監視カメラ16−1、16−2は特に区別の必要がないときは監視カメラ16として記述する。
監視カメラ16はRGBのカラー画像を例えば30フレーム/秒で撮像して動画として出力する。また、1フレームは例えば縦横4056×4056ピクセルの画素配置となる。
また、監視領域14−1、14−2にはそれぞれオンオフ型の火災感知器18−1、18−2が設置されており、火災による温度又は煙濃度を検出し、所定の閾値レベルを超えた場合に発報し、火災発報信号を出力するようにしている。
火災感知器18−1、18−2は特に区別の必要がないときは火災感知器18として記述する。
監視領域14に対し施設の防災監視センターや管理人室等には、判定装置10と火災報知設備の受信機12が設置されている。なお、判定装置10と受信機12は一体としても良い。判定装置10には監視領域14に設置された監視カメラ16が信号ケーブル20により接続されており、監視カメラ16で撮像された動画画像を入力している。
受信機12からは監視領域14に感知器回線22が引き出され、感知器回線22単位に火災感知器18が接続されている。
判定装置166は多層式ニューラルネットワークを備え、監視カメラ16から送られてきた動画画像をフレーム単位に入力し、火災画像が入力された場合は火災判定信号を受信機12に出力し、例えば、火災予兆を示す火災予兆警報等を出力させる。また、監視カメラ16からの動画は判定装置10に設けられた録画装置により継続的に録画されている。
受信機12は火災感知器18の発報による火災発報信号を受信すると火災警報を出力し、また判定装置10にどの火災感知器が発報したか識別する信号も含めた火災移報信号を出力する。受信機12から火災警報が出力された場合、管理責任者又は防災担当者は、発報した火災感知器18の設置現場に出向いて火災の有無を確認し、火災を確認した場合には、受信機12で火災断定操作を行う。受信機12で火災断定操作が行われると、一時停止されていた地区音響警報が解除され、火災断定移報信号が判定装置10に出力される。
また、火災警報に対する現場確認で非火災であった場合には、非火災の要因を取り除いた後に、受信機12で復旧操作を行い、火災警報状態を解除して通常監視状態に戻す。このように受信機12で火災警報が出力された後に、火災断定操作が行われることなく火災復旧操作が行われた場合、受信機12から判定装置10に復旧移報信号が出力される。
判定装置10は受信機12から出力される火災移報信号、火災断定移報信号及び復旧移報信号による火災監視結果に基づき、火災感知器の発報場所に対応する録画装置に録画されている火災警報の出力に至るまでの監視領域14を監視カメラ16で撮像した動画を録画装置から読み出し、これを火災画像又は非火災画像として判定装置10の多層式ニューラルネットワークを学習させる制御を行う。例えば、火災感知器18−1が発報した場合、監視カメラ16−1で撮像した動画を録画装置から読み出すこととなる。
[判定装置]
(判定装置の機能構成)
図2は監視カメラで撮像した画像から火災を推定する多層式ニューラルネットワークを用いた判定装置の機能構成を示した説明図である。
図2に示すように、判定装置10は、火災検出器24、記憶部として機能する録画装置26、学習画像保持部28、学習制御部30を備え、また、火災検出器24は画像入力部32、多層式ニューラルネットワーク34および判定部36で構成される。ここで、火災検出器24、学習画像保持部28、学習制御部30の機能は、ニューラルネットワークの処理に対応したコンピュータ回路のCPUによるプログラムの実行により実現される。
火災検出器24は監視カメラ16撮像された監視領域の画像を、画像入力部32を介して多層式ニューラルネットワーク34に入力し、その出力値から判定部36が火災か非火災かを判定し、火災を判定した場合に受信機12に火災判定信号を出力する。
録画装置26は監視カメラ16により撮像された監視領域の動画を録画しており、外部からの再生指示により録画している動画を部分的に読み出すことができる。
学習制御部30は、受信機12からの火災移報信号E1、火災断定移報信号E2及び復旧移報信号E3に基づき、受信機12で火災警報が出力され場合に、録画装置26から必要とする部分の動画を読み出して学習画像保持部28に一時的に記憶保持させ、学習画像保持部28に保持された動画からフレーム単位に画像を順次読み出し、画像入力部32を介して多層式ニューラルネットワーク34に教師ありの画像として入力し、例えばバックプロパゲーション法(誤差逆伝搬法)等の学習法により多層式ニューラルネットワーク34の重みとバイアスを学習させる。
この教師ありの画像を用いて学習の済んだ多層式ニューラルネットワーク34に、監視カメラ16で撮像された監視領域の画像を入力すると火災画像に対応した推定値が出力される。この推定値は学習に用いる火災画像の場合に期待値が1となり、非火災画像の場合に期待値が0となり、実際の画像を入力した場合は、0〜1の範囲の値をもつことから、判定部36に入力して所定の閾値、例えば0.5と比較し、閾値以上の場合に火災判定信号を受信機12に出力し、受信機12から例えば火災予兆警報を出力させる。
なお、判定装置10にモニタ装置を設け、火災を判定した場合に監視カメラ16により撮像している火災が判定された監視領域の画像を画面表示し、受信機12からの火災予兆警報を知った管理責任者や防災担当者による火災確認ができるようにしても良い。この場合、判定装置10の操作部に火災断定スイッチを設け、モニタ画像から火災を確認した場合に火災断定スイッチを操作すると、受信機12に発信機を操作した場合と同様に、火災通報信号を出力し、受信機16から火災警報を出力させるようにしても良い。
また、判定装置10は火災感知器の発報場所に対応する録画情報を入力情報とするが、火災検出器24もそれぞれ感知器ごとに独立したものとする方が好適である。つまり、学習方法についてはいずれの火災検出器24も同様であるが、それぞれの火災検出器24は異なる入力情報を与えられ、火災の判定もそれぞれ異なる判定により行われる。これにより、設置環境に特化した学習が行われる。
[多層式ニューラルネットワーク]
図3は図2に示した多層式ニューラルネットワークの機能構成を示した説明図であり、図3(A)に概略を示し、図3(B)に詳細を模式的に示している。
図3(A)に示すように、本実施形態の多層式ニューラルネットワーク34は、特徴抽出部38と認識部40で構成される。特徴抽出部38は畳み込みニューラルネットワークであり、認識部40は全結合ニューラルネットワークである。
多層式ニューラルネットワーク34は、深層学習(ディープラーニング)を行うニューラルネットワークであり、中間層を複数つなぎ合わせた深い階層をもつニューラルネットワークであり、特徴抽出となる表現学習を行う。
通常のニューラルネットワークは、画像から火災を推定するための特徴抽出には、人為的な試行錯誤による作業を必要とするが、多層式ニューラルネットワーク34では、特徴抽出部38として畳み込みニューラルネットワークを用いることで、画像の画素値を入力とし、学習により最適な特徴を抽出し、認識部40の全結合ニューラルネットワークに入力して火災か非火災かを識別する。
認識部40の全結合ニューラルネットワークは、図3(B)に模式的に示すように、入力層46、結合層48、中間層50と結合層48の繰り返し、及び出力層52で構成されている。
(畳み込みニューラルネットワーク)
図3(B)は特徴抽出部38を構成する畳み込みニューラルネットワークの構造を模式的に示している。
畳み込みニューラルネットワークは、通常のニューラルネットワークとは少し特徴が異なり、視覚野から生物学的な構造を取り入れている。視覚野には、視野の小区域に対し敏感な小さな細胞の集まりとなる受容野が含まれており、受容野の挙動は、行列の形で重み付けを学習することで模倣できる。この行列は重みフィルタ(カーネル)呼ばれ、生物学的に受容野が果たす役割と同様に、ある画像の類似した小区域に対して敏感になる。
畳み込みニューラルネットワークは、畳み込み演算により、重みフィルタと小区域との間の類似性を表すことでき、この演算を通して、画像の適切な特徴を抽出することができる。
畳み込みニューラルネットワークは、図3(B)に示すように、まず、入力画像42に対し重みフィルタ43により畳み込み処理を行う。例えば、重みフィルタ43は縦横3×3の所定の重み付けがなされた行列フィルタであり、入力画像42の各画素にフィルタ中心を位置合わせしながら畳み込み演算を行うことで、入力画像42の9画素を小区域となる特長マップ44aの1画素に畳み込み、複数の特徴マップ44aが生成される。
続いて、畳み込み演算により得られた特徴マップ44aに対しプーリングの演算を行う。プーリングの演算は、識別に不必要な特徴量を除去し、識別に必要な特徴量を抽出する処理である。
続いて、重みフィルタ45a,45bを使用した畳み込み演算とプーリングの演算を多段に繰り返して特徴マップ44b,44cが得られ、最後の層の特徴マップ44cを認識部40に入力し、通常の全結合ニューラルネットワークを用いた認識部40により火災か非火災かを推定する。
なお、畳み込みニューラルネットワークにおけるプーリングの演算は、火災か非火災かの識別に不必要な特徴量が必ずしも明確でなく、必要な特徴量を削除する可能性があることから、プーリングの演算は行わないようにしても良い。
[多層式ニューラルネットワークの学習]
(バックプロパゲーション)
入力層、複数の中間層及び出力層で構成されるニューラルネットワークは、各層に複数のユニットを設けて他の層の複数のユニットと結合し、各ユニットには重みとバイアス値が設定され、複数の入力値と重みとのベクトル積を求めてバイアス値を加算して総和を求め、これを所定の活性化関数に通して次の層のユニットに出力するようにしており、最終層に到達するまで値が伝搬するフォワードプロパゲーションが行われる。
このようなニューラルネットワークのウエイトやバイアスを変更するには、バックプロパゲーションとして知られている学習アルゴリズムを使用する。バックプロパゲーションでは、入力値xと期待される出力値(期待値)yというデータセットをネットワークに与えた場合の教師ありの学習と、入力値xのみをネットワークに与えた場合の教師なしの学習があり、本実施形態は、教師ありの学習を行う。
教師ありの学習でバックプロパゲーションを行う場合は、ネットワークを通ってきたフォワードプロパゲーションの結果である推定値y*と期待値yの値を比較する誤差として、例えば、平均二乗誤差の関数を使用する。
バックプロパゲーションでは、推定値y*と期待値yの誤差の大きさを使い、ネットワークの後方から前方までウエイトとバイアスを補正しながら値を伝播させる。各ウエイトとバイアスについて補正した量は、誤差への寄与として扱われ、最急降下法で計算され、ウエイトとバイアスの値を変更することにより、誤差関数の値を最小化する。
ニューラルネットワークに対するバックプロパゲーションによる学習の手順は次にようになる。
(1) 入力値xをニューラルネットワークに入力して、フォワードプロパゲーションを行い推定値y*を求める。
(2) 推定値y*と期待値yに基づき誤差関数で誤差を計算する。
(3) ウエイトとバイアスを更新しながら、ネットワークにて、バックプロパゲーションを行う。
この手順は、ニュウーラルネットワークのウエイトとバイアスの誤差が可能な限り最小になるまで、異なる入力値xと期待値yの組み合わせを使って繰り返し、誤差関数の値を最小化する。
[受信機の火災監視に連動した学習制御]
(火災画像による学習)
図2に示した判定装置10の学習制御部30は、受信機12により火災感知器18の火災発報に基づく火災移報信号E1が入力されて火災警報が出力され、管理責任者等による現場確認で火災が確認され、これに基づき受信機12の火災断定操作に基づく火災断定移報信号E2が入力された場合、例えば5分前となる所定時間前から火災移報信号E1が入力するまでの監視領域の画像を録画装置26から読出し、火災検出器24の多層式ニューラルネットワーク34に画像入力部32を介して火災画像として入力して推定値y*を求め、火災の期待値y=1との誤差関数の値を最小とするようにバックプロパゲーションを、教師ありの画像を変えながら繰り返し行って誤差関数を最小化することで重みとバイアスを変更する学習を行う。
この場合、録画画像が録画装置26に30フレーム/秒の動画画像として録画されていたとすると、5分の録画画像から9000枚の火災画像が得られ、9000枚といった多数の火災画像による学習が簡単に実現できることで、カメラにより撮像している監視画像からより高い精度で火災を推定して警報可能とする。
なお、5分間の動画から火災画像を生成した場合、1/30秒周期となる各フレーム画像間の変化はごく僅かであることから、例えば1秒周期の間引きされたフレーム画像を教師ありの画像としても良い。この場合、5分間の動画から300枚の火災画像が得られ、バックプロパゲーションによる多層式ニューラルネットワーク34の学習に十分な枚数の画像が得られる。
(非火災画像による学習)
また、学習制御部30は、受信機12により火災感知器18の火災発報に基づく火災移報信号E1が入力された後に、管理責任者等のよる現場確認で非火災であった場合には、受信機12で復旧操作が行われ、復旧操作に基づく復旧移報信号E3が入力されることから、この場合に、例えば5分前といった所定時間前から火災移報信号E1が入力するまでの監視領域の画像を録画装置26から読出し、火災検出器24のニューラルネットワーク34に画像入力部32を介して非火災画像として入力して推定値y*を求め、非火災の期待値y=0との誤差関数の値を最小とするようにバックプロパゲーションを、教師ありの画像を変えながら繰り返し行って重み付けとバイアスを変更する学習を行う。
この場合にも、録画画像が録画装置26に30フレーム/秒の動画画像として録画されていたとすると、5分の録画画像から9000枚の火災画像が得られ、9000枚といった多数の非火災画像による学習が簡単に実現できることで、カメラにより撮像している監視画像からより高い精度で非火災を推定して誤報を防止可能とする。
また、5分間の動画から非火災画像を生成した場合、1/30秒周期となる各フレーム画像間の変化はごく僅かであることから、例えば1秒周期の間引きされたフレーム画像を非火災画像としても良い。
(判定装置の初期化学習)
図2に示した判定装置10の多層式ニューラルネットワーク34は、工場等における製造段階で重みとバイアスがランダムに初期化されており、予め準備された標準的な火災画像と非火災画像を用いたバックプロパゲーションによる学習で初期化され、この状態で図1に示すように監視対象となる施設に設置される。
この場合、監視カメラ16で撮像されている監視領域14の画像は、監視領域14により様々であり、初期化学習で使用した標準的な教師ありの画像とは異なる画像であることから、施設に設置した後の立ち上げ時に、監視カメラ16により撮像して録画装置26に録画している通常監視状態での動画、即ち非火災の動画を録画装置26に録画し、その中から再生操作により所定時間分、例えば5分間の録画を読出して学習画像保持部28に非火災画像として保持し、この非火災画像を多層式ニューラルネットワーク34に入力して推定値y*を求め、非火災の期待値y=0との誤差を最小とするようにバックプロパゲーションを、教師画像を変えながら繰り返し行って誤差関数を最小化することで重みとバイアスを変更する学習を行う事が望ましい。
この学習に使用する教師ありの画像としては、監視領域の一日の動画の中から、朝、昼、夜といった時間帯により異なる動画を録画装置26から読み出して非火災画像として学習させることが望ましい。
初期化学習のタイミングとしては、更に装置立ち上げ時に行うようにしても良い。これにより、まず設置環境における非火災の状態を教育することが可能となる。
また初期化学習のタイミングとしては、所定の操作が行われたときに行うようにしても良い。これにより、任意のタイミングで非火災の状態を教育することができ、例えば内装が変化したときなどにすぐ非火災の状態を教育することが可能となる。
また初期化学習のタイミングとしては、センサ出力・カメラの撮影画像がないまたはほぼないときに行うようにしても良い。これにより、確実に監視領域が安定した状態で自動的に非火災の状態を教育することができる。
また初期化学習のタイミングを所定の時刻ごとにずらして行うようにしても良い。例えば、1度目は6時・12時・18時・24時に初期化学習を行い、2度目は7時・13時・19時・1時に初期化学習を行うようにする。これにより、ばらばらな時刻で非火災の学習データを得ることができ、調理時や朝焼けや夕焼けといった特殊な状態を含めて非火災を学習することができるようになる。
この監視領域14の監視画像を非火災画像とした学習により、通常監視状態での監視領域の画像に対する非火災の推定精度が向上する。その後、前述した受信機12による火災監視に連動した火災画像又は非火災画像による学習が行われ、多層式ニューラルネットワーク34の火災及び非火災に対する推定の精度が更に向上される。
(学習制御部による制御動作)
図4は図1の学習制御部による火災受信機の火災監視に連動した多層式ニューラルネットワークの学習制御を示したフローチャートである。
図4に示すように、学習制御部30はステップS1で監視領域に設置された監視カメラ16からの動画を録画装置26に録画させており、ステップS2で受信機12からの火災移報信号の入力を判別するとステップS3に進み、所定時間前からの録画画像を録画装置26から読み出して学習画像保持部28に保持させる。
続いてステップS4に進み、学習制御部30は受信機12からの火災断定移報信号の入力を判別するとステップS5に進み、その後、受信機12からの復旧移報信号の入力を判別するとステップS6に進み、学習画像保持部28に保持している所定時間分の録画画像を読み出し、火災画像として多層式ニューラルネットワーク34に入力してバックプロパゲーションにより重みとバイアスを変更する学習を行う。
一方、学習制御部30は、ステップS4で火災断定移報信号の入力を判別することなくステップS7で復旧移報信号の入力の有無を判別している間に、火災断定移報信号の入力を判別することなくステップS7で復旧移報信号の入力を判別した場合は、ステップS8に進み、学習画像保持部28に保持している所定時間分の録画画像を読み出し、非火災画像として多層式ニューラルネットワーク34に入力してバックプロパゲーションにより重みとバイアスを変更する学習を行う。
[火災予兆レベル超えからの監視画像による火災学習]
(火災画像による学習)
図2に示した判定装置の学習制御部30による他の学習制御の実施形態として、警戒区域にアナログ火災感知器が設置され、アナログ火災感知器により温度又は煙濃度を検出して検出アナログ値を受信機13に送って火災を判断させている場合、火災予兆が判断された時から火災が判断されるまでの画像を録画装置26から読み出し、多層式ニューラルネットワーク34の学習をバックプロパゲーションにより行う。
火災予兆レベルは図5に示すように、時刻t0で発生した火災により時間の経過ともなって火災感知器で検出している温度が上昇した場合、火災判断レベルTH2より低い火災予兆レベルTH1に時刻t1で達したときから火災レベルTH2に時刻t2に達するまでの時間Tの間に録画された画像を火災画像としてバックプロパゲーションを行うことになる。
このT時間の間に録画された画像は、全て火災による画像であり、非火災画像は含まれていないことから、火災画像として多層式ニューラルネットワーク34に入力してバックプロパゲーションにより重みとバイアスを変更する学習を行ことで、入力画像から火災を識別する精度を確実に高めることができる。
具体的に説明すると、図2に示した判定装置10の学習制御部30は、受信機12からアナログ火災感知器からの温度又は煙濃度の検出アナログ値が所定の火災予兆レベルTH1に達して予兆警報が出力され、続いて、検出アナログ値が火災レベルTH2に達して火災発報に基づく火災移報信号が入力されて火災警報が出力され、管理責任者等による現場確認で火災が確認され、これに基づき受信機12の災断定操作に基づく火災断定移報信号E2が入力された場合、火災予兆が検出された時から火災移報信号が入力するまでの監視領域の画像を録画装置26から読出し、火災検出器24のニューラルネットワーク34に画像入力部32を介して火災画像として入力してバックプロパゲーションにより重みとバイアスを変更する学習を行う。
(非火災画像による学習)
また、学習制御部30は、受信機12からアナログ火災感知器からの温度又は煙濃度の検出アナログ値が所定の火災予兆レベルTH1に達して予兆警報が出力され、続いて、検出アナログ値が火災レベルTH2に達して火災発報に基づく火災移報信号が入力されて火災警報が出力され、管理責任者等のよる現場確認で非火災であった場合には、受信機12で復旧操作が行われ、復旧操作に基づく復旧移報信号が入力されることから、火災予兆が検出された時から火災移報信号が入力するまでの監視領域の画像を録画装置26から読出し、火災検出器24の多層式ニューラルネットワーク34に画像入力部32を介して非火災画像として火災画像として多層式ニューラルネットワーク34に入力してバックプロパゲーションにより重みとバイアスを変更する学習を行う。
[センサにより火災を監視する火災監視システム]
(火災監視システムの概要)
図6はセンサとして機能するアナログ火災感知器により火災を監視する火災監視システムの概略を示した説明図である。
図6に示すように、ビル等の施設の監視領域14にはセンサとして機能するアナログ火災感知器60−1、火災感知器60−2が設置され、受信機12から引き出された伝送路62に接続され、シリアルデータ伝送を可能としている。アナログ火災感知器60−1、火災感知器60−2は特に区別の必要がないときはアナログ火災感知器60として記述する。
アナログ火災感知器60は検煙部により煙濃度を検出して煙濃度検出信号を出力し、受信機12からの一括AD変換コマンドの送信により周期的にA/D変換してメモリに煙濃度データとして記憶すると共に感知器アドレスを指定した受信機12からのポーリングに対し煙濃度データを送信しており、煙濃度が所定の閾値レベルを超えた場合に火災と判断し、火災割込み信号を受信機12に送信して火災警報を出力させている。なお、アナログ火災感知器60は、煙濃度以外に、温度やCO濃度等を検出するものであっても良い。
判定装置10は多層式ニューラルネットワークを備え、アナログ火災感知器60で検出された煙濃度データを、受信機12を介して入力して記憶部にセンサからの入力情報として記憶している。
受信機12はアナログ火災感知器60の火災割込信号を受信すると火災警報を出力し、また判定装置10に火災移報信号を出力する。受信機12から火災警報が出力されると、管理責任者又は防災担当者は、発報した火災感知器18の設置現場に出向いて火災の有無を確認し、火災を確認した場合には、受信機12で火災断定操作を行う。受信機12で火災断定操作が行われると、一時停止されていた地区音響警報が解除され、火災断定移報信号が判定装置10に出力される。
また、火災警報に対する現場確認で非火災であった場合には、非火災の要因を取り除いた後に、受信機12で復旧操作を行い、火災警報状態を解除して通常監視状態に戻す。このように受信機12で火災警報が出力された後に、火災断定操作が行われることなく火災復旧操作が行われた場合、受信機12から判定装置10に復旧移報信号が出力される。
判定装置10は受信機12から出力される火災移報信号、火災断定移報信号及び復旧移報信号による火災監視結果に基づき、火災割込み信号を送信した火災感知器の場所に対応する記憶部に記憶されている火災警報の出力に至るまでの監視領域14のアナログ火災感知器60により検出された煙濃度データから例えば、時系列データを生成し、これを学習情報として判定装置10の多層式ニューラルネットワークに入力して学習させる制御を行う。
例えば、アナログ火災感知器60−1が火災割込み信号を送信した場合、アナログ火災感知器60−1の時系列データを記憶部から読み出すこととなる。また、アナログ火災感知器以外のセンサをさらに備える場合には、監視領域に配置されるセンサデータが記憶部から読み出されることとなる。
センサにより火災を監視する火災監視の入力情報については、時系列データのほかに、複数のセンサによる多項データを採用しても良いし、その組み合わせである複数のセンサの時系列データを採用するようにしても良い。
(判定装置)
図7はアナログ火災感知器からの検出信号により火災を推定する多層式のニューラルネットワークを用いた判定装置の機能構成を示した説明図である。
図7に示すように、判定装置10は、火災検出器24、記憶部を備えた時系列データ生成部64、学習データ保持部68、学習制御部30を備え、また、火災検出器24は時系列データ入力部66、多層式ニューラルネットワーク34および判定部36で構成される。
本実施形態の多層式ニューラルネットワーク34は、図3(A)に示す認識部40を構成する全結合ニューラルネットワークのみとし、特徴抽出部38となる畳み込みニューラルネットワークは除いている。
時系列データ生成部64は、受信機12を介してアナログ火災感知器60で検出された煙濃度データを記憶部に記憶している。時系列データ生成部64の記憶部に記憶される煙濃度データは、例えば、図8に示すような時間の経過に伴う煙濃度の変化を示したデータとなる。
図8の煙濃度データは、火災による煙濃度の時間変化の一例であり、時刻t0で煙濃度の上昇が始まり、時刻t1で所定のプリアラームレベルTH1に達し、その後、時刻t2で火災レベルTH2に達して火災警報が出力され、火災断定操作が行われた場合を示している。
学習制御部30は、受信機12からの火災移報信号E1、火災断定移報信号E2及び復旧移報信号E3に基づき、受信機12で火災警報が出力され場合に、時系列データ生成部64に指示し、記憶部に記憶されている図8に示した煙濃度のセンサデータに基づき、時系列データを生成させ、時系列データ入力部66を介して多層式ニューラルネットワーク34に火災の時系列データとして入力し、バックプロパゲーション法により多層式ニューラルネットワーク34の重みとバイアスを学習させる。
時系列データ生成部64による時系列データの生成は、例えば図8の時刻t0から時刻t1でプリアラームレベルTH1に達するまでの所定単位時間Δtごとの煙濃度データをS1〜S18とすると、所定の単位時間Δtずつシフトしながら所定時間分の周期T1,T2,・・・・T9毎の時系列データ(S1〜S10)、(S2〜S11)、・・・(S9〜S18)を生成し、学習データ保持部68に記憶させる。
時系列データ(S1〜S10)、(S2〜S11)、・・・(S9〜S18)による多層式ニューラルネットワークの学習は、例えば時系列データ(S1〜S10)による学習を例にとると、濃度値S1〜S8を多層式ニューラルネットワーク34の入力層に並列入力して行う。以下同様に残りの時系列データ(S2〜S11)、・・・(S9〜S18)についても、入力層に順次並列入力することで学習を行う。
また、学習制御部30は、受信機12により火災感知器18の火災発報に基づく火災移報信号E1が入力された後に、管理責任者等のよる現場確認で非火災であった場合には、受信機12で復旧操作が行われ、復旧操作に基づく復旧移報信号E3が入力されることから、図8に示した火災の時系列データの場合と同様に、非火災の時系列データを生成し、火災検出器24の多層式ニューラルネットワーク34に時系列データ入力部66を介して非火災の時系列データとして入力し、バックプロパゲーション法により多層式ニューラルネットワーク34の重みとバイアスを学習させる。
火災検出器24のニューラルネットワーク34の学習が済んだ後は、所定の単位時間Δt毎に、時系列データ生成部64により所定時間分の時系列データを生成し、時系列データ入力部66を介して多層式ニューラルネットワーク34に入力して火災を監視することになる。
判定装置10は火災割込み信号を送信したアナログ火災感知器に対応する時系列データを入力情報とするが、火災検出器24もそれぞれ感知器ごとに独立したものとする方が好適である。つまり、学習方法についてはいずれの火災検出器24も同様であるが、それぞれの火災検出器24は異なる入力情報を与えられ、火災の判定もそれぞれ異なる判定により行われる。これにより、設置環境に特化した学習が行われる。
〔本発明の変形例〕
(火災判断根拠の明示)
上記の実施形態は、火災の有無の判定結果を報知しているが、これに加え火災と判定した要因について表示するようにしても良い。例えばカメラ画像の監視においては、火災と判定した画像を表示し、更に火災判定の寄与率が高かった領域について強調表示する。これにより、火災検出器が火災と判断した領域について目視確認が容易となり、真に火災が発生したかどうかを容易に判定できるようになり、また状況に応じた対応判断の助けとすることができる。
(放火監視)
上記の実施形態は、警戒区域の火災監視を例にとっているが、これ以外に、屋外に監視カメラや炎検知器などのセンサを設置して行う放火監視に多層式のニューラルネットワークによって構成される火災検出器を設け、火災検出器をディープラーニングより学習させ、放火を監視するようにしても良い。
(特徴抽出)
上記の実施形態は、畳み込みニューラルネットワークに画像を入力して火災による特徴を抽出しているが、畳み込みニューラルネットワークを使用せず、入力した画像から輪郭、濃淡等の特徴を抽出する前処理を行って所定の特徴を抽出し、特徴が抽出された画像を認識部として機能する全結合ニューラルネットワークに入力して火災か非火災かを推定させるようにしても良い。これにより画像の特徴抽出の処理負担を低減可能とする。
(学習方法について)
上記の実施形態は、バックプロパゲーションによる学習を行っているが、多層ニューラルネットワークの学習方法はこれに限らない。
(画像とセンサの複合)
上記の実施形態は、画像による火災監視とセンサによる火災監視をそれぞれ別形態としているが、入力情報として、画像データとセンサデータを並列的に取り扱っても良い。画像データは例えば、1ピクセルあたりの白黒値が入力項として取り扱われ、センサデータは例えば、センサごとの検出値が入力項として取り扱われる。この場合、中間層に於いて画像の特徴抽出がなされた中間層の項と、センサデータによる影響を受ける中間層の項が、火災検出を判定する次段以降の中間層の項に対して影響を与えるようになることが教育結果として望ましいが、火災の監視を有効にできるならこれに限らない。
(赤外線照明と赤外線画像の撮像)
上記の実施形態は、監視カメラにより監視領域の照明を使用した状態及び又は自然光の状態で監視領域を撮像しているが、赤外線照明装置からの赤外線光を監視領域に照射し、赤外線領域に感度のある監視カメラにより赤外線画像を撮像して判定装置の多層式ニューラルネットワークをバックプログラムパーションにより学習し、学習が多層式ニューラルネットワークに監視領域の赤外線画像を入力して火災か非火災かを判定するようにしても良い。
このように監視領域の赤外線画像を判定装置に入力することで、監視領域の照明状態や昼夜の明るさ変化等に影響されることなく、監視画像を用いた火災監視が可能となる。
(その他)
また、本発明は上記の実施形態に限定されず、その目的と利点を損なうことのない適宜の変形を含み、更に上記の実施形態に示した数値による限定は受けない。
10:判定装置
12:受信機
14:監視領域
16:監視カメラ
18:火災感知器
20:信号ケーブル
22:感知器回線
24:火災検出器
26:録画装置
28:学習画像保持部
30:学習制御部
32:画像入力部
34:多層式ニューラルネットワーク
36:判定部
38:特徴抽出部
40:認識部
42:入力画像
43,45a,45b:重みフィルタ
44a,44b,44c:特徴マップ
46:入力層
48:結合層
50:中間層
52:出力層
60:アナログ火災感知器
62:伝送路
64:時系列データ生成部
66:時系列データ入力部
68:学習データ保持部

Claims (13)

  1. 多層式のニューラルネットワークによって構成される火災検出器を用いて、入力情報に基づき火災を検出する火災監視システムに於いて、
    ディープラーニングより前記火災検出器を学習させる学習制御部を有することを特徴とする火災監視システム。
  2. 請求項1記載の火災監視システムに於いて、
    センサにより検出された物理量及び又は、撮像部により撮像された監視領域の画像を前記入力情報として記憶する記憶部を設け、
    前記学習制御部は、前記記憶部に記憶されている入力情報を前記火災検出器の学習情報として学習させ、当該学習後に前記入力情報を前記火災検出器に入力することで火災を検出することを特徴とする火災監視システム。
  3. 請求項1記載の火災監視システムに於いて、前記学習制御部は、監視領域に設置された火災感知器が接続された受信機による火災監視結果に基づき、前記記憶部に記憶されている入力情報を学習情報として取り込むことを特徴とする火災監視システム。
  4. 請求項1記載の火災監視システムに於いて、前記学習制御部は、前記火災感知器の火災発報による信号が入力された場合、所定時間前から前記火火災発報による信号の入力時までの前記入力情報のうち、火災発報した火災感知器に対応する入力情報を前記記憶部から読出し、前記火災検出器に学習情報として入力して前記多層式のニューラルネットワークを学習させることを特徴とする火災監視システム。
  5. 請求項1記載の火災監視システムに於いて、前記学習制御部は、前記受信機により前記火災感知器の火災発報に基づく火災移報信号が入力された後に火災断定操作に基づく火災断定移報信号が入力された場合、所定時間前から前記火災移報信号の入力時までの前記入力情報を前記記憶部から読出し、前記火災検出器に学習情報として入力して前記多層式のニューラルネットワークを学習させることを特徴とする火災監視システム。
  6. 請求項1記載の火災監視システムに於いて、
    前記火災感知器は温度又は煙濃度を検出して検出アナログ値を受信機に送って火災を判断させており、
    前記学習制御部は、前記火災感知器により火災が検出された場合、前記検出アナログ値が火災判断レベルより低い所定の火災予兆レベルを超えたときから前記火災感知器により火災が検出された時までの前記入力情報を前記記憶部から読出し、前記火災検出器に学習情報として入力して前記多層式のニューラルネットワークを学習させることを特徴とする火災監視システム。
  7. 請求項1記載の火災監視システムに於いて、前記学習制御部は、前記受信機により前記火災感知器の火災発報に基づく火災移報信号が入力された後に復旧操作に基づく復旧移報信号が入力された場合、所定時間前から前記火災移報信号の入力時までの前記入力情報を前記記憶部から読出し、前記火災検出器に非火災学習情報として入力して前記多層式のニューラルネットワークを学習させることを特徴とする火災監視システム。
  8. 請求項1記載の火災監視システムに於いて、
    前記火災感知器は温度又は煙濃度を検出して検出アナログ値を受信機に送って火災を判断させており、
    前記学習制御部は、前記受信機により前記火災感知器の火災発報に基づく火災移報信号が入力された後に復旧定操作に基づく復旧移報信号が入力された場合、前記検出アナログ値が火災判断レベルより低い所定の火災予兆レベルを超えたときから前記火災移報信号の入力時までの前記入力情報を前記記憶部から読出し、前記火災検出器に非火災学習情報として入力して前記多層式のニューラルネットワークを学習させることを特徴とする火災監視システム。
  9. 請求項1記載の火災監視システムに於いて、
    前記多層式のニューラルネットワークは、
    特徴抽出部と認識部で構成され、
    前記特徴抽出部は、前記入力情報を入力して前記入力情報の特徴が抽出された特徴情報を生成する複数の畳込み層を備えた畳込みニューラルネットワークとし、
    前記認識部は、前記畳込みニューラルネットワークから出力される前記特徴情報を入力し、前記火災特徴値を出力する複数の全結合層を備えたニューラルネットワークとしたことを特徴とする火災監視システム。
  10. 請求項1記載の火災監視システムに於いて、前記学習制御部は、前記火災検出器の前記多層式のニューラルネットワークに火災学習情報又は非火災学習情報を入力した場合に出力される値と所定値の期待値との誤差に基づくバックプロパゲーションにより前記多層式のニューラルネットワークを学習させることを特徴とする火災監視システム。
  11. 請求項1記載の火災監視システムに於いて、前記学習制御部は、前記火災報知設備の通常監視状態で前記記憶装置に記憶された入力情報を読み出して、前記多層式のニューラルネットワークに非火災の学習情報として入力して初期化学習させることを特徴とする火災監視システム。
  12. 請求項11記載の火災監視システムに於いて、前記初期化学習のタイミングは、装置立ち上げ時、所定の操作が行われたとき、前記入力情報に変化が略ないとき、所定時間間隔毎に行われその初回の時刻が変化する、のうちいずれかいずれか一つ以上を含むことを特徴とする火災監視システム。
  13. 請求項1記載の火災監視システムに於いて、前記火災検出器は、火災の検出に加え火災と判定した要因について表示することを特徴とする火災監視システム。
JP2016207848A 2016-10-24 2016-10-24 火災監視システム Active JP6857007B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016207848A JP6857007B2 (ja) 2016-10-24 2016-10-24 火災監視システム
EP17863744.3A EP3531386B1 (en) 2016-10-24 2017-10-19 Fire monitoring system
PCT/JP2017/037830 WO2018079400A1 (ja) 2016-10-24 2017-10-19 火災監視システム
US16/376,117 US20220292944A9 (en) 2016-10-24 2019-04-05 Fire monitoring system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016207848A JP6857007B2 (ja) 2016-10-24 2016-10-24 火災監視システム

Publications (2)

Publication Number Publication Date
JP2018072881A true JP2018072881A (ja) 2018-05-10
JP6857007B2 JP6857007B2 (ja) 2021-04-14

Family

ID=62115458

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016207848A Active JP6857007B2 (ja) 2016-10-24 2016-10-24 火災監視システム

Country Status (1)

Country Link
JP (1) JP6857007B2 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109815863A (zh) * 2019-01-11 2019-05-28 北京邮电大学 基于深度学习和图像识别的烟火检测方法和***
CN110500138A (zh) * 2019-09-25 2019-11-26 中国矿业大学(北京) 一种煤矿井下皮带火灾预警***
CN110633675A (zh) * 2019-09-18 2019-12-31 东北大学 一种基于卷积神经网络的视频中火灾识别***及方法
JP2020077328A (ja) * 2018-11-09 2020-05-21 セコム株式会社 店舗装置
JP2020134284A (ja) * 2019-02-19 2020-08-31 学校法人 中央大学 情報処理装置、情報処理方法、及びプログラム
JP2020140277A (ja) * 2019-02-27 2020-09-03 ホーチキ株式会社 火災検知器及び火災検知方法
CN111624925A (zh) * 2020-06-15 2020-09-04 沈阳煤炭科学研究所有限公司 一种物联网型区域灭火安防监控***
CN112424789A (zh) * 2018-07-05 2021-02-26 莫维迪乌斯有限公司 利用神经网络的视频监视
CN113420803A (zh) * 2021-06-16 2021-09-21 杭州申弘智能科技有限公司 一种适用于变电站的多探测器联合火警判定方法
CN114022850A (zh) * 2022-01-07 2022-02-08 深圳市安软慧视科技有限公司 变电站火灾监控方法、***及相关设备
CN117010532A (zh) * 2023-10-07 2023-11-07 电子科技大学 基于多模态深度学习的综合管廊火灾趋势预测方法
JP7473886B2 (ja) 2020-04-13 2024-04-24 株式会社イーアイアイ 学習データ作成システム、学習データ作成方法、および学習済みモデル

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06325270A (ja) * 1993-05-18 1994-11-25 Hochiki Corp 火災判定装置及びニューラルネットワークの学習方法
JP2000132763A (ja) * 1998-10-22 2000-05-12 Mitsubishi Electric Corp 火気検知装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06325270A (ja) * 1993-05-18 1994-11-25 Hochiki Corp 火災判定装置及びニューラルネットワークの学習方法
JP2000132763A (ja) * 1998-10-22 2000-05-12 Mitsubishi Electric Corp 火気検知装置

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112424789A (zh) * 2018-07-05 2021-02-26 莫维迪乌斯有限公司 利用神经网络的视频监视
JP7161920B2 (ja) 2018-11-09 2022-10-27 セコム株式会社 店舗装置
JP2020077328A (ja) * 2018-11-09 2020-05-21 セコム株式会社 店舗装置
CN109815863B (zh) * 2019-01-11 2021-10-12 北京邮电大学 基于深度学习和图像识别的烟火检测方法和***
CN109815863A (zh) * 2019-01-11 2019-05-28 北京邮电大学 基于深度学习和图像识别的烟火检测方法和***
JP2020134284A (ja) * 2019-02-19 2020-08-31 学校法人 中央大学 情報処理装置、情報処理方法、及びプログラム
JP7289670B2 (ja) 2019-02-19 2023-06-12 学校法人 中央大学 情報処理装置、情報処理方法、及びプログラム
JP2020140277A (ja) * 2019-02-27 2020-09-03 ホーチキ株式会社 火災検知器及び火災検知方法
CN110633675A (zh) * 2019-09-18 2019-12-31 东北大学 一种基于卷积神经网络的视频中火灾识别***及方法
CN110500138A (zh) * 2019-09-25 2019-11-26 中国矿业大学(北京) 一种煤矿井下皮带火灾预警***
CN110500138B (zh) * 2019-09-25 2024-05-24 中国矿业大学(北京) 一种煤矿井下皮带火灾预警***
JP7473886B2 (ja) 2020-04-13 2024-04-24 株式会社イーアイアイ 学習データ作成システム、学習データ作成方法、および学習済みモデル
CN111624925A (zh) * 2020-06-15 2020-09-04 沈阳煤炭科学研究所有限公司 一种物联网型区域灭火安防监控***
CN113420803A (zh) * 2021-06-16 2021-09-21 杭州申弘智能科技有限公司 一种适用于变电站的多探测器联合火警判定方法
CN114022850A (zh) * 2022-01-07 2022-02-08 深圳市安软慧视科技有限公司 变电站火灾监控方法、***及相关设备
CN114022850B (zh) * 2022-01-07 2022-05-03 深圳市安软慧视科技有限公司 变电站火灾监控方法、***及相关设备
CN117010532A (zh) * 2023-10-07 2023-11-07 电子科技大学 基于多模态深度学习的综合管廊火灾趋势预测方法
CN117010532B (zh) * 2023-10-07 2024-02-02 电子科技大学 基于多模态深度学习的综合管廊火灾趋势预测方法

Also Published As

Publication number Publication date
JP6857007B2 (ja) 2021-04-14

Similar Documents

Publication Publication Date Title
JP2018072881A (ja) 火災監視システム
JP6849411B2 (ja) 監視システム
WO2018079400A1 (ja) 火災監視システム
JP7072700B2 (ja) 監視システム
JP6867153B2 (ja) 異常監視システム
WO2018116966A1 (ja) 火災監視システム
JP6942029B2 (ja) 火災監視システム
JP7168052B2 (ja) 監視システム及び監視方法
US11626008B2 (en) System and method providing early prediction and forecasting of false alarms by applying statistical inference models
JP6943401B2 (ja) 火災監視システム
JP2018088630A (ja) 火災監視システム
KR101980551B1 (ko) 기계학습 객체검출을 이용한 실시간 지능형 cctv 영상 분석 행위 탐지 시스템 및 기계학습 객체검출을 이용한 실시간 지능형 cctv 영상 분석 행위 탐지 방법
JP6631618B2 (ja) 画像監視装置及び画像監視方法
Khawandi et al. Implementation of a monitoring system for fall detection in elderly healthcare
KR20200052418A (ko) 딥러닝 기반의 자동 폭력 감지 시스템
JP5042177B2 (ja) 画像センサ
KR102233679B1 (ko) Ess 침입자 및 화재 감지 장치 및 방법
CN114360194B (zh) 一种多点监控可视化相阵式火灾报警***
JP2006277639A (ja) 画像センサ及び監視装置
CN115376268A (zh) 一种基于图像识别的监控报警消防联动***
KR20020082476A (ko) 감시 방법, 시스템 및 묘듈
CN115049988A (zh) 一种用于配电网监测及预判的边缘计算方法及装置
CN112507925A (zh) 一种基于慢特征分析的火灾检测方法
US11087615B2 (en) Video/sensor based system for protecting artwork against touch incidents
JP2012212248A (ja) 異常検知装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190917

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210319

R150 Certificate of patent or registration of utility model

Ref document number: 6857007

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150