JP2018088630A - 火災監視システム - Google Patents

Abstract

【課題】監視領域に対応した火災及び非火災の学習画像を簡単且つ適切に多数生成して多層式のニューラルネットワークを効率良く学習させて火災の検出精度を向上可能とする火災監視システムを提供する。【解決手段】通常監視画像記憶部３６に監視カメラ１６により通常監視状態で撮像された監視領域の通常監視画像が記憶され、火災煙画像記憶部３８に予め生成された火災煙画像が記憶され、非火災煙画像記憶部４０に予め生成された非火災煙画像が記憶される。学習画像生成制御部３４は、通常監視画像に火災煙画像を合成して火災学習画像を生成すると共に通常監視画像に非火災煙画像を合成して非火災学習画像を生成し、学習画像記憶部４２に記憶する。学習制御部２６は、学習画像記憶部４２に記憶された火災学習画像及び非火災学習画像を、多層式のニューラルネットワーク３０によって構成される火災検出器２４に入力してディープラーニングより学習させる。【選択図】図２

Description

本発明は、監視カメラで撮像した監視領域の画像からニューラルネットワークにより火災を判断して警報させる火災監視システムに関する。

従来、煙感知器や熱感知器など、特定の物理量を監視するセンサを用いて、火災を検出するシステムが実用化されている。

一方、従来、監視カメラで撮像した監視領域の画像に対し画像処理を施すことにより、火災を検知するようにした様々な装置やシステムが提案されている。

このような火災監視システムにあっては、火災発生に対する初期消火や避難誘導の観点から火災の早期発見が重要である。

このため従来装置（特許文献１）にあっては、画像から火災に伴う煙により起きる現象として、透過率又はコントラストの低下、輝度値の特定値への収束、輝度分布範囲が狭まって輝度の分散の低下、煙による輝度の平均値の変化、エッジの総和量の低下、低周波帯域の強度増加を導出し、これらを総合的に判断して煙の検出を可能としている。

特開２００８−０４６９１６号公報 特開平７−２４５７５７号公報 特開２０１０−２３８０２８号公報 特開平６−３２５２７０号公報

しかしながら、特定の物理量を監視するセンサを用いた火災検出システムは、火災でない事象により監視基準が満たされた場合でも火災とみなし、正しく火災を検出できない問題があった。

また、従来の火災に伴う煙の画像から火災を検知する火災監視システムにあっては、煙の画像における透過率、コントラスト、エッジ等の煙の特徴量を予め定め、監視カメラで撮像した画像を処理することで煙による特徴を生成しなければならず、火災による煙の発生状況は多種多様であり、その中に煙としてどのような特徴があるかを見出すことは極めて困難であり、決め手となる特徴がなかなか見いだせないため、監視画像から火災による煙を精度良く判断して火災警報を出力する火災監視システムは実用化の途上にある。

一方、近年にあっては、例えば多数の猫と犬の画像にラベル付けをし、それを畳み込みニューラルネットワークを備えた多層式のニューラルネットワークに学習させ、所謂ディープラーニングを行い、新たな画像を学習済みの多層式のニューラルネットワークに提示し、それが猫なのか犬なのかを判定する技術が開示されている。

また、ディープラーニングは画像解析のみにとどまらず、自然言語処理や行動解析等に用いることが検討されている。

このような多層式のニューラルネットワークを、監視カメラで撮像した監視領域の画像を入力して火災を判断する判定装置に設け、学習時においては多数の火災時及び非火災時の画像を準備して多層式のニューラルネットワークに学習させ、監視時においては監視カメラで撮像した監視領域の画像を学習済みの多層式のニューラルネットワークに入力すれば、その出力から火災か否かを高い精度で推定して警報を出力させる火災監視システムが構築可能となる。

この場合、火災監視システムの製造段階で予め準備された多数の火災時及び非火災時の画像を教師ありの学習画像として多層式のニューラルネットワークの学習を行い、学習の済んだ多層式のニューラルネットワークを備えた判定装置を、監視する施設に設置し、監視領域に設置している監視カメラで撮像した画像を判定装置に入力して火災を監視することになる。

しかしながら、製造段階で行われる多層式のニューラルネットワークの学習は実際の監視領域で取得した画像ではなく、標準的に準備された画像を使用した学習となり、現地の監視カメラで入力される実際の監視画像を入力した場合に十分に高い精度で火災を推定することができない可能性が残る。

この問題を解決するためには、製造段階で標準的に準備された画像を使用して判定装置の多層式のニューラルネットワークを学習して監視領域に設置した後に、監視領域で取得した火災の画像や非火災の画像を使用して多層式のニューラルネットワークを学習すればよいが、設置現場での火災の発生頻度は極めて低いことから、学習に必要な火災の画像を取得することが困難であり、また、誤報の原因となった非火災の画像の取得にも時間がかかり、多層式のニューラルネットワークによる火災の検出精度を高めるために必要な多数の火災及び非火災の学習画像を取得することが解決課題として残されている。

本発明は、監視領域に対応した火災及び非火災の学習画像を簡単且つ適切に多数生成して多層式のニューラルネットワークを効率良く学習させて火災の検出精度を向上可能とする火災監視システムを提供することを目的とする。

（火災監視システム）
本発明は、多層式のニューラルネットワークによって構成される火災検出器に、撮像部により撮像された監視領域の画像を入力して火災を検出する火災監視システムに於いて、
監視領域の通常状態の画像を記憶する通常画像記憶部と、
通常監視画像を元に監視領域における火災発生時の画像を火災学習画像として生成する学習画像生成制御部と、
学習画像生成制御部で生成された火災学習画像を火災検出器に入力してディープラーニングにより学習させる学習制御部と、
が設けられたことを特徴とする。

（通常監視画像と火災煙画像の合成）
更に、予め生成された火災煙画像を記憶する火災煙画像記憶部が設けられ、
学習画像生成制御部は、通常監視画像に火災煙画像を合成して火災学習画像を生成する。

（時系列火災学習画像の生成）
火災煙画像記憶部は、時系列に変化する複数の火災煙画像を記憶しており、
学習画像生成制御部は、通常監視画像と時系列に変化する複数の火災煙画像の各々を合成して、時系列に変化する複数の火災学習画像を生成する。

（火源対象物の手動選択による火災学習画像の生成）
学習画像生成制御部は、通常監視画像の中の手動操作により選択された火源対象物に、火災煙画像の煙発生点が位置するように合成した火災学習画像を生成する。

（火源対象物の材質に対応した煙種別による火災学習画像の生成）
火災煙画像記憶部は、火源対象物の材質に対応して煙種別が異なる複数種類の火災煙画像を記憶しており、
学習画像生成制御部は、火源対象物の材質の選択操作に基づき、選択された材質に対応した煙種別の火災煙画像を通常監視画像と合成して火災学習画像を生成する。

（火源対象物の自動検出による火災学習画像の生成）
学習画像生成制御部は、通常監視画像に含まれる１又は複数の火源対象物を検出し、検出された火源対象物に、火災煙画像の煙発生点が位置するように合成した火災学習画像を生成する。

（火源対象物の材質の自動検出に対応した煙種別による火災学習画像の生成）
火災煙画像記憶部は、火源対象物の材質に対応して煙種別が異なる複数種類の火災煙画像を記憶しており、
学習画像生成制御部は、火源対象物の材質を検出し、検出された材質に対応した煙種別の火災煙画像を通常監視画像と合成して学習画像を生成する。

（火源対象物の位置に対応した火災学習画像の生成）
学習画像生成制御部は、火源対象物の位置に応じて合成する火災煙画像の大きさ及び又は角度を制御して火災学習画像を生成する。

（非火災の学習と検出）
学習画像生成制御部はさらに通常監視画像を元に監視領域における非火災時の画像を非火災学習画像として生成し、
学習制御部は学習画像生成制御部で生成された非火災学習画像を火災検出器に入力してディープラーニングにより学習させる。

（非火災学習画像の生成）
更に、予め生成された非火災煙画像を記憶する非火災煙画像記憶部が設けられ、
学習画像生成制御部は、通常監視画像に非火災煙画像を合成して非火災学習画像を生成する。

（特定の非火災学習画像の生成）
非火災煙画像記憶部は、調理に伴う調理スチーム画像、調理に伴う調理煙画像、喫煙に伴う喫煙画像、照明器具の点灯に伴う照明点灯画像の少なくとも何れかを記憶しており、
学習画像生成制御部は、通常監視画像と、調理スチーム画像、調理煙画像、喫煙画像及び又は照明点灯画像を合成して非火災学習画像を生成する。

（時系列非火災学習画像の生成）
非火災煙画像記憶部は、時系列に変化する複数の調理スチーム画像、調理煙画像及び喫煙画像の少なくとも何れかを記憶しており、
学習画像生成制御部は、通常監視画像と時系列に変化する調理スチーム画像、調理煙画像及び又は喫煙画像を合成して非火災学習画像を生成する。

（煙発生点の位置に対応した非火災学習画像の生成）
学習画像生成制御部は、非火災煙画像の合成先の位置に応じて合成する非火災煙画像の大きさ及び又は角度を制御して非火災学習画像を生成する。

（多層式のニューラルネットワークの機能構成）
多層式のニューラルネットワークは、
特徴抽出部と認識部で構成され、
特徴抽出部は、監視領域の画像を入力して画像の特徴が抽出された特徴情報を生成する複数の畳み込み層を備えた畳み込みニューラルネットワークとし、
認識部は、畳み込みニューラルネットワークから出力される特徴情報を入力し、画像の特徴値を出力する複数の全結合層を備えたニューラルネットワークとする。

（異常監視システム）
多層式のニューラルネットワークによって構成される異常検出器に、撮像部により撮像された監視領域の画像を入力して異常を検出する火災監視システムに於いて、
監視領域の通常状態の画像を記憶する通常画像記憶部と、
通常監視画像を元に監視領域における異常発生時の画像を異常学習画像として生成する学習画像生成制御部と、
学習画像生成制御部で生成された異常学習画像を異常検出器に入力してディープラーニングにより学習させる学習制御部と、
が設けられたことを特徴とする。

（火災監視システムによる効果）
本発明は、多層式のニューラルネットワークによって構成される火災検出器に、撮像部により撮像された監視領域の画像を入力して火災を検出する火災監視システムに於いて、監視領域の通常状態の画像を記憶する通常画像記憶部と、通常監視画像を元に監視領域における火災発生時の画像を火災学習画像として生成する学習画像生成制御部と、学習画像生成制御部で生成された火災学習画像を火災検出器に入力してディープラーニングにより学習させる学習制御部とが設けられたため、監視現場で火災が発生した場合と同等な火災学習画像により火災検出器の多層式のニューラルネットワークを学習させることで、監視画像を入力した場合の火災の検出精度を向上させることができる。

（通常監視画像と火災煙画像の合成による効果）
また、予め生成された火災煙画像を記憶する火災煙画像記憶部が設けられ、学習画像生成制御部は、通常監視画像に火災煙画像を合成して火災学習画像を生成するようにしたため、予め準備された背景を持たない火災による煙を示した多数の火災煙画像を合成することで、監視現場で火災が発生した場合と同等な火災学習画像を簡単且つ適切に多数生成することが可能となり、火災の検出精度を向上させることができる。

（時系列火災学習画像の生成による効果）
また、火災煙画像記憶部は、時系列に変化する複数の火災煙画像を記憶しており、学習画像生成制御部は、通常監視画像と時系列に変化する複数の火災煙画像の各々を合成して、時系列に変化する複数の火災学習画像を生成するようにしたため、時間の経過に伴って煙が拡大していく複数の火災煙画像を、通常監視画像に合成することで、簡単に時系列的に変化する火災煙画像が生成できる。

例えば、火災試験等による煙の時間的な変化を、監視カメラにより３０フレーム／秒で撮像して録画し、火災実験開始から例えば５分の録画画像を読み出して背景を除去することで９０００枚の火災煙画像が得られ、これを監視カメラで撮像した監視現場の通常監視画像と合成することで、９０００枚といった十分な数の火災学習画像が簡単に生成でき、火災検出器の多層式のニューラルネットワークを学習することで、監視画像を入力した場合の火災の検出精度を向上させることができる。

（火源対象物の手動選択による火災学習画像の生成による効果）
また、学習画像生成制御部は、通常監視画像の中の手動操作により選択された火源対象物に、火災煙画像の煙発生点が位置するように合成した火災学習画像を生成するようにしたため、監視カメラで撮像された監視現場の通常監視画像をモニタ画面等に表示し、通常監視画面の中の火源となることが想定されるごみ入れ、灰皿、暖房機器、コンセント等を手動操作により火源対象物として選択することで、選択された火源対象物に火災煙画像の煙発生点が位置するように合成した火災学習画像を生成され、監視現場で実際に火災が発生した場合に相当する火災学習画像を擬似的に生成して火災検出器の多層式のニューラルネットワークを学習することで、監視画像を入力した場合の火災の検出精度を向上させることができる。

（火源対象物の材質に対応した煙種別による火災学習画像の生成による効果）
また、火災煙画像記憶部は、火源対象物の材質に対応して煙種別が異なる複数種類の火災煙画像を記憶しており、学習画像生成制御部は、火源対象物の材質の選択操作に基づき、選択された材質に対応した煙種別の火災煙画像を通常監視画像と合成して学習画像を生成するようにしたため、火災による煙は火源対象物の材質により例えば色が異なり、木材、布、紙等は白い煙になるが、合成樹脂の場合には黒い煙となり、燃える対象物の材質により発生する煙の種別が異なることから、燃焼対象物の材質に対応して異なる煙種別の火災煙画像を予め準備して記憶しておき、通常監視画像の中の火源対象物を手動操作により選択する際に、その材質も選択することで、選択した材質に対応した煙種別、例えば木材であれば白い煙の火災煙画像が選択されて通常監視画像との合成により火災学習画像が生成され、また、材質が合成樹脂であれば黒い煙の火災煙画像が選択されて通常監視画像との合成により火災学習画像が生成され、このようにして生成された火災学習画像により火災検出器の多層式のニューラルネットワークを学習することで、火源対象物の材質により異なった種別の煙が発生した場合にも、入力する監視画像から高い精度で火災を検出可能とする。

（火源対象物の自動検出による火災学習画像の生成による効果）
また、学習画像生成制御部は、通常監視画像に含まれる１又は複数の火源対象物を検出し、検出された火源対象物に、火災煙画像の煙発生点が位置するように合成した火災学習画像を生成するようにしたため、通常監視画面の中から火源となる可能性のある火源対象物が自動的に検出され、検出された火源対象物に、火災煙画像の煙発生点が位置するように合成した火災学習画像を簡単に生成することができる。

このような通常監視画像からの火源対象物の自動検出は、例えばニューラルネットワークを使用した対象物（オブジェクト）の検出手法として知られたＲ−ＣＮＮ（Ｒｅｇｉｏｎｓ ｗｉｔｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を利用して実現することができる。

（火源対象物の材質の自動検出に対応した煙種別による火災学習画像の生成による効果）
また、火災煙画像記憶部は、火源対象物の材質に対応して煙種別が異なる複数種類の火災煙画像を記憶しており、学習画像生成制御部は、火源対象物の材質を検出し、検出された材質に対応した煙種別の火災煙画像を通常監視画像と合成して火災学習画像を生成するようにしたため、通常監視画面の中から火源となる可能性のある火源対象物の自動的な検出に加え、検出した火源対象物の材質を自動的に検出して材質に対応した煙種別、例えば木材であれば白い煙の火災煙画像が、また、材質が合成樹脂であれば黒い煙の火災煙画像が選択されて通常監視画像との合成により火災学習画像が簡単に生成され、このようにして生成された火災学習画像により火災検出器の多層式のニューラルネットワークを学習することで、火源対象物の材質により異なった種別の煙が発生した場合にも、入力する監視画像から高い精度で火災を検出可能とする。

（火源対象物の位置に対応した火災学習画像の生成による効果）
また、学習画像生成制御部は、火源対象物の位置に応じて合成する火災煙画像の大きさ及び又は角度を制御して火災学習画像を生成するようにしたため、火源対象物が監視カメラから遠くなれば火災煙画像を小さく、近くなれば火災煙画像を大きくすることにより、監視カメラの位置に対応した適切なサイズの火災学習画像が生成できる。

（非火災の学習と検出による効果）
また、学習画像生成制御部はさらに通常監視画像を元に監視領域における非火災時の画像を非火災学習画像として生成し、学習制御部は学習画像生成制御部で生成された非火災学習画像を火災検出器に入力してディープラーニングにより学習させるようにし、更に、具体的には、予め生成された非火災煙画像を記憶する非火災煙画像記憶部が設けられ、学習画像生成制御部は、通常監視画像に非火災煙画像を合成して非火災学習画像を生成するようにしたため、監視領域の監視カメラで撮像した通常監視画像に、予め準備された背景を持たない非火災による火災に類似した煙を示した多数の非火災煙画像を合成することで、監視現場で非火災により火災に類似した煙に相当する状況が発生した場合と同等な非火災学習画像を簡単且つ適切に多数生成することができ、このように生成された非火災学習画像により火災検出器の多層式のニューラルネットワークを学習させることで、監視画像を入力した場合の非火災による誤検出を防止し、結果的に火災の検出精度を向上させることができる。

（非火災学習画像の生成による効果）
また、非火災煙画像記憶部は、調理に伴う調理スチーム画像、調理に伴う調理煙画像、喫煙に伴う喫煙画像、照明器具の点灯に伴う照明点灯画像の少なくとも何れかを記憶しており、学習画像生成制御部は、通常監視画像と、調理スチーム画像、調理煙画像、喫煙画像及び又は照明点灯画像を合成して非火災学習画像を生成するようにしたため、監視領域の監視カメラで撮像した通常監視画像に、予め準備された背景を持たない火災に類似した煙を示した調理スチーム画像、調理煙画像、喫煙画像及び又は照明点灯画像を合成することで、誤報の原因となる調理スチーム画像、調理煙画像、喫煙画像等の非火災学習画像を簡単且つ適切に多数生成することができ、このように生成された非火災学習画像により火災検出器の多層式のニューラルネットワークを学習させることで、監視画像を入力した場合の非火災による誤検出を防止し、結果的に火災の検出精度を向上させることができる。

（時系列非火災学習画像の生成による効果）
また、非火災煙画像記憶部は、時系列に変化する複数の調理スチーム画像、調理煙画像及び喫煙画像の少なくとも何れかを記憶しており、学習画像生成制御部は、通常監視画像と時系列に変化する調理スチーム画像、調理煙画像及び又は喫煙画像を合成して非火災学習画像を生成するようにしたため、時間の経過に伴って煙が変化していく調理スチーム、調理煙及び又は喫煙による非火災煙画像を簡単に多数生成することができ、火災検出器の多層式のニューラルネットワークを学習することで、監視画像を入力した場合の非火災による誤検出を防止し、結果的に火災の検出精度を向上させることができる。

（煙発生点の位置に対応した非火災学習画像の生成による効果）
また、学習画像生成制御部は、非火災煙画像の合成先の位置に応じて合成する非火災煙画像の大きさ及び又は角度を制御して非火災学習画像を生成するようにしたため、火源対象物が監視カメラから遠くなれば非火災煙画像を小さく、近くなれば非火災煙画像を大きくすることにより、監視カメラの位置に対応した適切なサイズの非火災学習画像が生成できる。

（多層式のニューラルネットワークの機能構成による効果）
また、多層式のニューラルネットワークは、特徴抽出部と認識部で構成され、特徴抽出部は、監視領域の画像を入力して画像の特徴が抽出された特徴情報を生成する複数の畳み込み層を備えた畳み込みニューラルネットワークとし、認識部は、畳み込みニューラルネットワークから出力される特徴情報を入力し、画像の特徴値を出力する複数の全結合層を備えたニューラルネットワークとしたため、畳み込みニューラルネットワークにより特徴が自動的に抽出されることで、監視領域の入力画像から前処理により火災入力画像の特徴、例えば、輪郭等を抽出するような前処理を必要とすることなく入力画像の特徴が抽出され、引き続いて行う認識部により高い精度で火災を推定可能とする。

（異常監視システムの効果）
多層式のニューラルネットワークによって構成される異常検出器に、撮像部により撮像された監視領域の画像を入力して異常を検出する火災監視システムに於いて、監視領域の通常状態の画像を記憶する通常画像記憶部と、通常監視画像を元に監視領域における異常発生時の画像を異常学習画像として生成する学習画像生成制御部と、学習画像生成制御部で生成された異常学習画像を異常検出器に入力してディープラーニングにより学習させる学習制御部とが設けられたため、盗難・不法行為・侵入等の異常についても、監視現場で異常が発生した場合と同等な異常学習画像により検出器の多層式のニューラルネットワークを学習させることで、監視画像を入力した場合の異常の検出精度を向上させることができる。

監視カメラにより火災を監視する火災監視システムの概略を示した説明図 監視カメラで撮像した画像から学習画像を生成する学習画像生成装置と火災を推定する多層式ニューラルネットワークを用いた判定装置の機能構成を示した説明図 図２に示した多層式ニューラルネットワークの機能構成を示した説明図 図２の学習画像生成装置による学習画像の生成処理の一例を示した説明図 火源対象物の手動選択により学習画像を生成する学習画像生成制御を示したフローチャート 火源対象物の自動検出により学習画像を生成する学習画像生成制御を示したフローチャート

［火災監視システムの概要］
図１は監視カメラと火災感知器により火災を監視する火災監視システムの概略を示した説明図である。

図１に示すように、ビル等の施設の監視領域１５−１、１５−２にはそれぞれ撮像手段として機能する監視カメラ１６−１、１６−２が設置され、監視領域１５−１を監視カメラ１６−１により動画撮影し、監視領域１５−２を監視カメラ１６−２により動画撮像している。

監視領域１５−１、１５−２は特に区別の必要がないときは監視領域１５として、監視カメラ１６−１、１６−２は特に区別の必要がないときは監視カメラ１６として記述する。

監視カメラ１６はＲＧＢのカラー画像を例えば３０フレーム／秒で撮像して動画として出力する。また、１フレームは例えば縦横４０５６×４０５６ピクセルの画素配置となる。

また、監視領域１５−１、１５−２にはそれぞれオンオフ型の火災感知器１８−１、１８−２が設置されており、火災による温度又は煙濃度を検出し、所定の閾値レベルを超えた場合に発報し、火災発報信号を出力するようにしている。火災感知器１８−１、１８−２は特に区別の必要がないときは火災感知器１８として記述する。

監視領域１５−１，１５−２に対し施設の防災監視センターや管理人室等には、監視カメラ１６−１，１６−２に対応して判定装置１０−１，１０−２と学習画像生成装置１２−１，１２−２が設置され、更に、火災報知設備の火災受信機１４が設置されている。

判定装置１０−１、１０−２は特に区別の必要がないときは判定装置１０として、学習画像生成装置１２−１，１２−２は特に区別の必要がないときは学習画像生成装置１２として記述する。

判定装置１０−１には監視領域１５−１に設置された監視カメラ１６−１が信号ケーブル２０−１により接続され、判定装置１０−２には監視領域１５−２に設置された監視カメラ１６−２が信号ケーブル２０−２により接続され、それぞれ監視カメラ１６−１，１６−２で撮像された動画画像を入力している。

火災受信機１４からは監視領域１５−１,１５−２に感知器回線２２が引き出され、感知器回線２２単位に火災感知器１８−１，１８−２が接続され、火災感知器１８−１，１８−２からの火災発報信号を感知器回線２２単位に受信して火災警報を出力するようにしている。

判定装置１０は多層式ニューラルネットワークを備え、監視カメラ１６から送られてきた動画画像をフレーム単位に入力し、動画画像から火災を検出した場合は火災判定信号を火災受信機１４に出力し、例えば、火災予兆を示す火災予兆警報等を出力させる。

学習画像生成装置１２は、予め生成された火災煙画像と非火災煙画像を記憶しており、通常監視状態で監視カメラ１６により撮像された警戒領域１５の通常監視画像に火災煙画像を合成して火災学習画像を生成すると共に通常監視画像に非火災煙画像を合成して非火災学習画像を生成して記憶し、判定装置１０の多層式ニューラルネットワークに火災学習画像及び非火災学習画像を入力し、ディープラーニングより学習させる。

［判定装置及び学習画像生成装置］
図２は監視カメラで撮像した画像から学習画像を生成する学習画像生成装置と火災を推定する多層式ニューラルネットワークを用いた判定装置の機能構成を示した説明図である。

（判定装置の機能構成）
図２に示すように、判定装置１０は、火災検出器２４と学習制御部２６を備え、火災検出器２４は画像入力部２８、多層式ニューラルネットワーク３０および判定部３２で構成される。ここで、火災検出器２４及び学習制御部２６の機能は、ニューラルネットワークの処理に対応したコンピュータ回路のＣＰＵによるプログラムの実行により実現される。

火災検出器２４は監視カメラ１６により撮像された監視領域の動画画像を、フレーム単位に画像入力部２８を介して多層式ニューラルネットワーク３０に入力し、その出力値から判定部３２が火災か非火災かを判定し、火災を判定した場合に火災受信機１４に火災判定信号を出力する。

学習制御部２６は、システム立上げ時や監視領域１５の改修時に、学習画像生成装置１２で生成されて記憶されている火災及び非火災の学習画像を順次読み出し、画像入力部２８を介して多層式ニューラルネットワーク３０に教師ありの画像として入力し、例えばバックプロパゲーション法（誤差逆伝播法）等の学習法により多層式ニューラルネットワーク３０の重みとバイアスを学習させる。

この教師ありの画像を用いて学習の済んだ多層式ニューラルネットワーク３０に、監視カメラ１６で撮像された監視領域の画像を入力すると火災画像に対応した推定値が出力される。この推定値は火災学習画像の場合に期待値が１となり、非火災学習画像の場合に期待値が０となり、実際の画像を入力した場合は、０〜１の範囲の値をもつことから、判定部３２に入力して所定の閾値、例えば０．５と比較し、閾値以上の場合に火災判定信号を火災受信機１４に出力し、火災受信機１４から例えば火災予兆警報を出力させる。

なお、判定装置１０にモニタ装置を設け、火災を判定した場合に監視カメラ１６により撮像している火災が判定された監視領域の画像を画面表示し、火災受信機１４からの火災予兆警報を知った管理責任者や防災担当者による火災確認ができるようにしても良い。この場合、判定装置１０の操作部に火災断定スイッチを設け、モニタ画像から火災を確認した場合に火災断定スイッチを操作すると、火災受信機１４に発信機を操作した場合と同様に、火災通報信号を出力し、火災受信機１４から火災警報を出力させるようにしても良い。

［多層式ニューラルネットワーク］
図３は図２に示した多層式ニューラルネットワークの機能構成を示した説明図であり、図３（Ａ）に概略を示し、図３（Ｂ）に詳細を模式的に示している。

図３（Ａ）に示すように、本実施形態の多層式ニューラルネットワーク３０は、特徴抽出部５８と認識部６０で構成される。特徴抽出部５８は畳み込みニューラルネットワークであり、認識部６０は全結合ニューラルネットワークである。

多層式ニューラルネットワーク３０は、深層学習（ディープラーニング）を行うニューラルネットワークであり、中間層を複数つなぎ合わせた深い階層をもつニューラルネットワークであり、特徴抽出となる表現学習を行う。

通常のニューラルネットワークは、画像から火災を推定するための特徴抽出には、人為的な試行錯誤による作業を必要とするが、多層式ニューラルネットワーク３０では、特徴抽出部５８として畳み込みニューラルネットワークを用いることで、画像の画素値を入力とし、学習により最適な特徴を抽出し、認識部６０の全結合ニューラルネットワークに入力して火災か非火災かを推定する。

認識部４０の全結合ニューラルネットワークは、図３（Ｂ）に模式的に示すように、入力層６６、結合層６８、中間層７０と結合層６８の繰り返し、及び出力層７２で構成されている。

（畳み込みニューラルネットワーク）
図３（Ｂ）は特徴抽出部５８を構成する畳み込みニューラルネットワークの構造を模式的に示している。

畳み込みニューラルネットワークは、通常のニューラルネットワークとは少し特徴が異なり、視覚野から生物学的な構造を取り入れている。視覚野には、視野の小区域に対し敏感な小さな細胞の集まりとなる受容野が含まれており、受容野の挙動は、行列の形で重み付けを学習することで模倣できる。この行列は重みフィルタ（カーネル）呼ばれ、生物学的に受容野が果たす役割と同様に、ある画像の類似した小区域に対して敏感になる。

畳み込みニューラルネットワークは、畳み込み演算により、重みフィルタと小区域との間の類似性を表すことでき、この演算を通して、画像の適切な特徴を抽出することができる。

畳み込みニューラルネットワークは、図３（Ｂ）に示すように、まず、入力画像６２に対し重みフィルタ６３により畳み込み処理を行う。例えば、重みフィルタ６３は縦横３×３の所定の重み付けがなされた行列フィルタであり、入力画像６２の各画素にフィルタ中心を位置合わせしながら畳み込み演算を行うことで、入力画像６２の９画素を小区域となる特長マップ６４ａの１画素に畳み込み、複数の特徴マップ６４ａが生成される。

続いて、畳み込み演算により得られた特徴マップ６４ａに対しプーリングの演算を行う。プーリングの演算は、識別に不必要な特徴量を除去し、識別に必要な特徴量を抽出する処理である。

続いて、重みフィルタ６５ａ，６５ｂを使用した畳み込み演算とプーリングの演算を多段に繰り返して特徴マップ６４ｂ，６４ｃが得られ、最後の層の特徴マップ６４ｃを認識部６０に入力し、通常の全結合ニューラルネットワークを用いた認識部６０により火災か非火災かを推定する。

なお、畳み込みニューラルネットワークにおけるプーリングの演算は、火災か非火災かの推定に不必要な特徴量が必ずしも明確でなく、必要な特徴量を削除する可能性があることから、プーリングの演算は行わないようにしても良い。

［多層式ニューラルネットワークの学習］
（バックプロパゲーション）
入力層、複数の中間層及び出力層で構成されるニューラルネットワークは、各層に複数のユニットを設けて他の層の複数のユニットと結合し、各ユニットには重みとバイアス値が選択され、複数の入力値と重みとのベクトル積を求めてバイアス値を加算して総和を求め、これを所定の活性化関数に通して次の層のユニットに出力するようにしており、最終層に到達するまで値が伝播するフォワードプロパゲーションが行われる。

このようなニューラルネットワークの重み（ウェイト）やバイアスを変更するには、バックプロパゲーションとして知られている学習アルゴリズムを使用する。バックプロパゲーションでは、入力値ｘと期待される出力値（期待値）ｙというデータセットをネットワークに与えた場合の教師ありの学習と、入力値ｘのみをネットワークに与えた場合の教師なしの学習があり、本実施形態は、教師ありの学習を行う。

教師ありの学習でバックプロパゲーションを行う場合は、ネットワークを通ってきたフォワードプロパゲーションの結果である推定値ｙ＊と期待値yの値を比較する誤差として、例えば、平均二乗誤差の関数を使用する。

バックプロパゲーションでは、推定値ｙ＊と期待値ｙの誤差の大きさを使い、ネットワークの後方から前方まで重みとバイアスを補正しながら値を伝播させる。各重みとバイアスについて補正した量は、誤差への寄与として扱われ、最急降下法で計算され、重みとバイアスの値を変更することにより、誤差関数の値を最小化する。

ニューラルネットワークに対するバックプロパゲーションによる学習の手順は次にようになる。
（１） 入力値ｘをニューラルネットワークに入力して、フォワードプロパゲーションを行い推定値ｙ＊を求める。
（２） 推定値ｙ＊と期待値ｙに基づき誤差関数で誤差を計算する。
（３） 重みとバイアスを更新しながら、ネットワークにて、バックプロパゲーションを行う。

この手順は、ニュウーラルネットワークの重みとバイアスの誤差が可能な限り最小になるまで、異なる入力値ｘと期待値ｙの組み合わせを使って繰り返し、誤差関数の値を最小化する。

［学習画像生成装置の機能構成］
図２に示すように、学習画像生成装置１２は、学習画像生成制御部３４、通常監視画像記憶部３６、火災煙画像記憶部３８、非火災煙画像記憶部４０、学習画像記憶部４２、操作部４４及びモニタ部４６で構成され、学習画像生成制御部３４の機能はコンピュータ回路のＣＰＵによるプログラムの実行により実現される。また、通常監視画像記憶部３６、火災煙画像記憶部３８、非火災煙画像記憶部４０、学習画像記憶部４２は機能毎に分けているが、ハードウェアとしては単一の記憶部を使用している。

通常監視画像記憶部３６には、監視カメラ１６により通常監視状態、即ち火災や非火災要因のない状態で撮像されたフレーム画像が通常監視画像として保存される。

火災煙画像記憶部３８には予め生成された火災煙画像が記憶される。火災煙画像記憶部３８に記憶される火災煙画像は、例えば、時系列に変化する複数の火災煙画像とする。この時系列的に変化する火災煙画像は、火災実験等による煙を監視カメラで撮像して録画装置に録画した動画から生成される。

例えば、火災実験による煙を監視カメラで撮像して録画装置に３０フレーム／秒の動画画像として録画したとすると、例えば、火災発生（実験開始）から５分間の録画画像から９０００枚といった多層式ニューラルネットワーク３０の学習に十分な数の火災煙画像が得られる。この場合、火災煙画像は、背景を除去するか青の背景色に統一することで、煙の画像のみが存在する画像とする。

また、火災により発生する煙は、燃焼する火源対象物の材質により異なることから、火源対象物の材質毎に燃焼実験を行って時系列的に変化する所定時間分の火災煙画像を記憶する。例えば火源対象物の材質が木材、布、紙等の場合は白い煙の火災煙画像として記憶され、また、火源対象物の材質が合成樹脂の場合は黒い煙の火災煙画像として記憶される。

非火災煙画像記憶部４０には予め生成された非火災煙画像が記憶される。非火災煙画像記憶部４０に記憶される火災煙画像は、例えば、調理に伴って発生するスチームを撮像して生成された調理スチーム画像、調理に伴って発生する煙を撮像して生成された調理煙画像、喫煙に伴って発生する煙を撮像して生成された喫煙画像、照明器具を点灯状態で撮像して生成された照明点灯画像等を、非火災煙発生源の種別に対応して記憶している。

また、調理スチーム画像、調理煙画像及び喫煙画像は、時系列的に変化する非火災煙画像として非火災煙画像記憶部４０に記憶されている。

学習画像生成制御部３４は、通常監視画像記憶部３６に記憶された通常監視画像に、火災煙画像記憶部３８に記憶された火災煙画像を合成して火災学習画像を生成して学習画像記憶部４２に記憶させると共に、通常監視画像記憶部３６に記憶された通常監視画像に、非火災煙画像記憶部４０に記憶された非火災煙画像を合成して非火災学習画像を生成して学習画像記憶部４２に記憶させる制御を行う。

学習画像生成制御部３４による学習画像の生成制御には、通常監視画像の中の火源対象物とその材質を、操作部４４とモニタ部４６を使用した手動操作により選択する手動選択制御と、通常監視画像の中の火源対象物とその材質を自動的に検出する自動検出制御の２つがある。

［火源対象物と材質を手動選択する学習画像生成制御］
図４は図２の学習画像生成装置による学習画像の生成処理の一例を示した説明図であり、図４を参照して図２の学習画像生成制御部３４による火源対象物と材質を手動選択する学習画像生成制御を説明すると次にようになる。

操作部４４の所定の操作により学習画像生成制御を開始すると、モニタ部４６に図４に示す通常監視画像４８が表示される。操作者は、モニタ部４６に表示された通常監視画像４８の中から火災の発生源となる可能性のある例えばごみ入れを火源対象物５４としてマウスによるカーソルの操作等により選択し、併せて、火源対象物５４の材質をダイヤログ等を開いて選択する。また、モニタ部表示される画像のうち、火源対象物の選択候補について枠で囲む等の強調表示が行われるようにしても良い。

このように操作者の手動操作により通常監視画像４８の中の火源対象物５４とその材質が選択されると、学習画像生成制御部３４は、火源対象物５４の材質に対応して火災煙画像記憶部３８に記憶されている時系列に変化する火災煙画像５０−１〜５０−ｎを順次読出して、その中の煙５１−１〜５１−ｎを通常監視画像４８と合成して時系列に変化する火災学習画像５６−１〜５６−ｎを生成し、学習画像記憶部４２に記憶させる。

ここで、学習画像生成制御部３４による通常監視画像４８に対する火災煙画像５０−１〜５０−ｎの合成は、手動操作で選択された火源対象物５４に、煙５１−１〜５１−ｎの煙発生点が位置するように合成する。また、学習画像生成制御部３４は、通常監視画像４８を背景画像として、火災煙画像５０−１〜５０−ｎから抽出した煙５１−１〜５１−ｎを上書きするように画像を合成する。

このような学習画像生成制御部３４による火災学習画像の生成は、非火災学習画像の生成についても同様である。操作者は操作部４４の操作によりモニタ装置４６に通常監視画像４８を表示させ、例えば、通常監視画像４８の中に非火災煙発生源が存在する場合には、マウスによるカーソル操作等により非火災発生源、例えば、調理鍋等を選択し、併せて、ダイヤログ等を開いて非火災煙発生源の種別として調理鍋を選択させる。また、モニタ部表示される画像のうち、非火災煙発生源の選択候補について枠で囲む等の強調表示が行われるようにしても良い。

このように操作者の手動操作により通常監視画像４８の中の非火災煙発生源とその種別が選択されると、学習画像生成制御部３４は、非火災煙発生源の種別である調理鍋に対応して非火災煙画像記憶部４０に記憶されている時系列に変化する調理スチーム画像を順次読出して、通常監視画像４８と合成して時系列に変化する非火災学習画像を生成し、学習画像記憶部４２に記憶させる。

この場合にも、学習画像生成制御部３４による通常監視画像４８に対する非火災煙画像としての調理スチーム画像の合成は、手動操作で選択された非火災煙発生源に、調理スチーム画像のスチーム発生点が位置するように上書きして合成する。

図５は火源対象物の手動検出により学習画像を生成する学習画像生成制御を示したフローチャートであり、図２に示した学習画像生成制御部３４による制御となる。

図５に示すように、所定の操作により学習画像生成制御が開始されると、学習画像生成制御部３４は、ステップＳ１で監視カメラ１６により撮像されて通常監視画像記憶部３６に記憶されている通常監視画像を読み出してモニタ部４６に画面表示し、ステップＳ２で通常監視画面の中の手動操作で選択された火源対象物とその材質を検出する。

続いて、ステップＳ３に進み、学習画像生成制御部３４は、選択された火源対象物の材質に対応した火災煙画像、例えば時系列に変化する火災煙画像を火災煙画像記憶部３８から読み出し、ステップＳ４で通常監視画像の火源対象物に火災煙画像の煙発生点を位置合わせするように合成して火災学習画像を生成し、ステップＳ５で学習画像記憶部４２に記憶させる。

続いて、学習画像生成制御部３４は、ステップＳ６で全ての火災煙画像を合成したか否か判別し、全ての火災煙画像を合成していない場合にはステップＳ３からの処理を繰り返す。ステップＳ６で全ての火災煙画像を合成を判別するとステップＳ７に進み、モニタ部４６に通常監視画像を表示して操作者に新たな火源対象物とその材質の選択を行わせ、新たな火源対象物とその材質の選択を判別した場合はステップＳ３からの処理を繰り返し、新たな火源対象物とその材質の選択がなければステップＳ８に進む。

ステップＳ８で学習画像生成制御部３４は、モニタ部４６に通常監視画像を表示して操作者に非火災煙発生源とその種別の選択を行わせる。続いてステップＳ９に進み、学習画像生成制御部３４は、手動操作で選択された非火災煙発生源の種別に対応した非火災煙画像、例えば時系列に変化する非火災煙画像を非火災煙画像記憶部４０から読み出し、ステップＳ１０で通常監視画像の非火災煙発生源に非火災煙画像の発生点を位置合わせするように合成して非火災学習画像を生成し、ステップＳ１１で学習画像記憶部４２に記憶させる。

続いてステップＳ１２で学習画像生成制御部３４は全ての非火災煙画像を合成したか否か判別し、全ての非火災煙画像を合成していない場合にはステップＳ９からの処理を繰り返す。学習画像生成制御部３４は、ステップＳ１２で全ての非火災煙画像を合成を判別するとステップＳ１３に進み、モニタ部４６に通常監視画像を表示して操作者に非火災煙発生源とその種別の選択を行わせ、通常監視画像の中の新たな非火災煙発生源とその種別の選択を判別するとステップＳ９からの処理を繰り返し、新たな非火災煙発生源とその種別の選択がなければ一連の処理を終了し、判定装置１０の学習制御部２６に学習画像の生成完了を通知して多層式ニューラルネットワーク３０の学習を行わせる。

［火源対象物と材質を自動検出する学習画像生成制御］
図２の学習画像生成制御部３４により火源対象物と材質を自動検出する学習画像生成制御を説明すると次にようになる。

操作部４４の所定の操作により学習画像生成制御を開始すると、モニタ部４６に図４に示す通常監視画像４８が表示され、学習画像生成制御部３４は、通常監視画像４８の中から火災の発生源となる可能性のある例えばごみ入れを火源対象物５４として検出し、併せて、火源対象物５４の材質を検出する。

学習画像生成制御部３４による通常監視画像４８の火源対象物５４の検出は、例えば、ニューラルネットワークを使用した対象物（オブジェクト）の検出手法として知られたＲ−ＣＮＮ（Ｒｅｇｉｏｎｓ ｗｉｔｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を利用して実現することができる。

Ｒ−ＣＮＮによる火源対象物の検出は、次の手順となる。
（１）通常監視画像中から火源対象物（オブジェクト）らしい領域を切り出す。
（２）切り出した領域を畳み込みニューラルネットワークに入力して特徴量を抽出す る。
（３）抽出した特徴量を用いて火源対象物（ごみ入れ、ごみ入れ、灰皿、暖房機器、 コンセント等）かどうかを、ＳＶＭ（サポートベクターマシン）で判別する。

なお、畳み込みニューラルネットワークは、ごみ入れ、ごみ入れ、灰皿、暖房機器、コンセント等の火源対象物毎に準備し、それぞれ多数の学習画像を使用して予め学習しておく。

このように通常監視画像の中から火源対象物とその材質を自動的に検出する以外は、前述した手動選択の場合と同様にして火災学習画像が生成される。

また、非火災学習画像の生成についても、学習画像生成制御部３４は、Ｒ−ＣＮＮを利用して、通常監視画像４８の中から非火災煙発生源と種別を検出し、前述した手動選択の場合と同様にして非火災学習画像が生成される。

図６は火源対象物の自動検出により学習画像を生成する学習画像生成制御を示したフローチャートであり、図２に示した学習画像生成制御部３４による制御となる。

図６に示すように、所定の操作により学習画像生成制御が開始されると、学習画像生成制御部３４は、ステップＳ２１で監視カメラ１６により撮像されて通常監視画像記憶部３６に記憶されている通常監視画像を読み出してモニタ部４６に画面表示し、ステップＳ２２でＲ−ＣＮＮ等により通常監視画面の中の火源対象物とその材質を自動的に検出する。

続いて、ステップＳ２３に進み、自動検出された火源対象物の材質に対応した火災煙画像、例えば時系列に変化する火災煙画像を火災煙画像記憶部３８から読み出し、ステップＳ２４で通常監視画像の火源対象物に火災煙画像の煙発生点を位置合わせするように合成して火災学習画像を生成し、ステップＳ２５で学習画像記憶部４２に記憶させる。

続いてステップＳ２６で全ての火災煙画像を合成したか否か判別し、全ての火災煙画像を合成していない場合にはステップＳ２３からの処理を繰り返す。ステップＳ２６で全ての火災煙画像の合成を判別するとステップＳ２７に進み、通常監視画像の中の新たな火源対象物とその材質の自動検出の有無を判別し、新たな火源対象物と材質の検出があればステップＳ２３からの処理を繰り返し、新たな火源対象物と材質の検出がなければステップＳ２８に進む。

ステップＳ２８で、学習画像生成制御部３４は、Ｒ−ＣＮＮ等により通常監視画像の中の非火災発生源と種別を自動検出する。続いてステップＳ２９に進み、学習画像生成制御部３４は、検出された非火災煙発生源の種別に対応した非火災煙画像、例えば時系列に変化する非火災煙画像を非火災煙画像記憶部４０から読み出し、ステップＳ３０で通常監視画像の非火災煙発生源に非火災煙画像の発生点を位置合わせするように合成して非火災学習画像を生成し、ステップＳ３１で学習画像記憶部４２に記憶させる。

続いてステップＳ３２で、学習画像生成制御部３４は、全ての非火災煙画像を合成したか否か判別し、全ての非火災煙画像を合成していない場合にはステップＳ２９からの処理を繰り返す。ステップＳ３２で全ての非火災煙画像を合成を判別すると、学習画像生成制御部３４は、ステップＳ３３に進み、通常監視画像の中の新たな非火災煙発生源と種別の検出の有無を判別し、新たな非火災発生源と種別の検出があればステップＳ２９からの処理を繰り返し、新たな非火災煙発生源と種別の検出がなければ一連の処理を終了し、判定装置１０の学習制御部２６に学習画像の生成完了を通知して多層式ニューラルネットワーク３０の学習を行わせる。

〔本発明の変形例〕
（煙以外の画像合成）
上記の実施形態は、煙画像を合成して学習するものだったが、煙以外のもの、例えば炎画像や赤外線カメラを用いての熱源画像を用いて学習を行うようにしても良い。

（実際の火災の学習）
上記の実施形態は、火災を再現して学習するものだったが、加えて実際の火災時の画像を元に学習するようにしても良い。さらに火災検出器の学習時の重みについて、火災再現による学習と実際の火災による学習を異ならせるようにしても良い。実際の火災による学習の重みを大きくすることで、発生頻度の小さい実際の火災について対応可能な学習結果とすることができる。

（火災判断根拠の明示）
上記の実施形態は、判定装置は火災の有無の判定結果を報知しているが、これに加え火災と判定した要因について表示するようにしても良い。例えばカメラ画像の監視においては、火災と判定した画像を表示し、更に火災判定の寄与率が高かった領域について強調表示する。これにより、火災検出器が火災と判断した領域について目視確認が容易となり、真に火災が発生したかどうかを容易に判定できるようになり、また状況に応じた対応判断の助けとすることができる。

（放火監視）
上記の実施形態は、警戒区域の火災監視を例にとっているが、これ以外に、屋外に監視カメラを設置して行う放火監視に多層式のニューラルネットワークによって構成される火災検出器を設け、火災検出器をディープラーニングより学習させ、監視カメラで撮像した画像を入力して放火を監視するようにしても良い。

（特徴抽出）
上記の実施形態は、畳み込みニューラルネットワークに画像を入力して火災による特徴を抽出しているが、畳み込みニューラルネットワークを使用せず、入力した画像から輪郭、濃淡等の特徴を抽出する前処理を行って所定の特徴を抽出し、特徴が抽出された画像を認識部として機能する全結合ニューラルネットワークに入力して火災か非火災かを推定させるようにしても良い。これにより画像の特徴抽出の処理負担を低減可能とする。

（学習方法について）
上記の実施形態は、バックプロパゲーションによる学習を行っているが、多層ニューラルネットワークの学習方法はこれに限らない。

（通常監視画像の記憶方法について）
上記の実施形態は、通常監視状態で撮像された監視領域の画像を通常監視画像としているが、本実施形態の火災監視システムとは関係なく撮像された監視領域の画像を通常監視画像としても良い。例えば、あらかじめ監視領域の画像を撮像しておくことで、火災監視システムを出荷する前に、監視領域に応じた学習を行うことが可能となる。これにより、監視領域における火災検出性能を確認した状態で出荷することが可能となる。

（火災学習画像と非火災学習画像の生成について）
上記の実施形態は、火災煙画像または非火災煙画像を通常監視画像に合成することで火災学習画像または非火災学習画像を生成しているが、火災学習画像または非火災学習画像の生成手段はこれに限らない。

例えば、通常監視画像に対して、煙の画像をCGで生成してもよい。また、監視領域を３次元データで構築し、３次元データ上で煙が発生するシミュレーションを行い、現実でカメラが配置されている点を視点として構築した３次元空間を画像化することにより、火災煙画像又は非火災煙画像を生成するようにしても良い。

（赤外線照明と赤外線画像の撮像）
上記の実施形態は、監視カメラにより監視領域の照明を使用した状態及び又は自然光の状態で監視領域を撮像しているが、赤外線照明装置からの赤外線光を監視領域に照射し、赤外線領域に感度のある監視カメラにより赤外線画像を撮像して判定装置の多層式ニューラルネットワークをバックプロパゲーションにより学習し、学習の済んだ多層式ニューラルネットワークに監視領域の赤外線画像を入力して火災か非火災かを判定するようにしても良い。

このように監視領域の赤外線画像を判定装置に入力することで、監視領域の照明状態や昼夜の明るさ変化等に影響されることなく、監視画像を用いた火災監視が可能となる。

（異常の検出）
上記の実施形態は、火災の検出と火災の学習を行っているが、盗難・不法行為・侵入等の異常の検出と異常の学習を行うようにしても良い。例えば、盗難については警備対象が無くなった状態を異常として学習し、不法行為については人の座り込み等の特徴的な状態を異常として学習し、侵入については共連れの状態を異常として学習する。異常の状態は、画像の合成によって行われても良いが、ＣＧで生成してもよい。また、監視領域を３次元データで構築し、３次元データ上で異常が発生するシミュレーションを行い、現実でカメラが配置されている点を視点として構築した３次元空間を画像化するようにしても良い。

（異常検出器の性能確認）
上記の実施形態に加え、火災検出器及び異常検出器の検出精度を試験できるようにしても良い。本願によって作成した異常状態の画像を異常検出精度の確認に用いることが可能となる。

（入力情報の共有）
上記の実施形態は、火災検出器及び異常検出器はそれぞれの入力情報に基づき学習を行っているが、同一システム内の別の入力情報取得端末による入力情報を元に学習を行っても良い。例えば、異常検出器に対応する監視カメラの撮像画像を異常検出器の入力情報として学習を行うようにしても良い。

（その他）
また、本発明は上記の実施形態に限定されず、その目的と利点を損なうことのない適宜の変形を含み、更に上記の実施形態に示した数値による限定は受けない。

１０−１，１０−２：判定装置
１２−１，１２−２：学習画像生成装置
１４：火災受信機
１５−１，１５−２：監視領域
１６−１，１６−２：監視カメラ
１８−１，１８−２：火災感知器
２０−１，２０−２：信号ケーブル
２２：感知器回線
２４：火災検出器
２６：学習制御部
２８：画像入力部
３０：多層式ニューラルネットワーク
３２：判定部
３５：学習画像生成制御部
３６：通常監視画像記憶部
３８：火災煙画像記憶部
４０：非火災煙画像記憶部
４２：学習画像記憶部
４４：操作部
４６：モニタ部
４８：通常監視画像
５０−１〜５０−ｎ：火災煙画像
５１−１〜５１−ｎ：煙
５２−１〜５２−ｎ：火災煙画像
５４：火源対象物
５６−１〜５６−ｎ：火災学習画像
５８：特徴抽出部
６０：認識部
６２：入力画像
６３，６５ａ，６５ｂ：重みフィルタ
６４ａ，６４ｂ，６４ｃ：特徴マップ
６６：入力層
６８：結合層
７０：中間層
７２：出力層

Claims (15)

1. 多層式のニューラルネットワークによって構成される火災検出器に、撮像部により撮像された監視領域の画像を入力して火災を検出する火災監視システムに於いて、
   前記監視領域の通常状態の画像を記憶する通常画像記憶部と、
   前記通常監視画像を元に監視領域における火災発生時の画像を火災学習画像として生成する学習画像生成制御部と、
   前記学習画像生成制御部で生成された前記火災学習画像を前記火災検出器に入力してディープラーニングにより学習させる学習制御部と、
   が設けられたことを特徴とする火災監視システム。
   
2. 請求項１記載の火災監視システムに於いて、
   更に、予め生成された火災煙画像を記憶する火災煙画像記憶部が設けられ、
   前記学習画像生成制御部は、前記通常監視画像に前記火災煙画像を合成して前記火災学習画像を生成することを特徴とする火災監視システム。
   
3. 請求項２記載の火災監視システムに於いて、
   前記火災煙画像記憶部は、時系列に変化する複数の前記火災煙画像を記憶しており、
   前記学習画像生成制御部は、前記通常監視画像と時系列に変化する複数の前記火災煙画像の各々を合成して、時系列に変化する複数の前記火災学習画像を生成することを特徴とする火災監視システム。
   
4. 請求項２記載の火災監視システムに於いて、
   前記学習画像生成制御部は、前記通常監視画像の中の手動操作により選択された火源対象物に、前記火災煙画像の煙発生点が位置するように合成した火災学習画像を生成することを特徴とする火災監視システム。
   
5. 請求項４記載の火災監視システムに於いて、
   前記火災煙画像記憶部は、前記火源対象物の材質に対応して煙種別が異なる複数種類の火災煙画像を記憶しており、
   前記学習画像生成制御部は、前記火源対象物の材質の選択操作に基づき、指定された前記材質に対応した煙種別の前記火災煙画像を前記通常監視画像と合成して前記学習画像を生成することを特徴とする火災監視システム。
   
6. 請求項２記載の火災監視システムに於いて、
   前記学習画像生成制御部は、前記通常監視画像に含まれる１又は複数の火源対象物を検出し、検出された前記火源対象物に、前記火災煙画像の煙発生点が位置するように合成した火災学習画像を生成することを特徴とする火災監視システム。
   
7. 請求項６記載の火災監視システムに於いて、
   前記火災煙画像記憶部は、前記火源対象物の材質に対応して煙種別が異なる複数種類の火災煙画像を記憶しており、
   前記学習画像生成制御部は、前記火源対象物の材質を検出し、検出された前記材質に対応した煙種別の前記火災煙画像を前記通常監視画像と合成して前記火災学習画像を生成することを特徴とする火災監視システム。
   
8. 請求項４または６記載の火災監視システムに於いて、
   前記学習画像生成制御部は、前記火源対象物の位置に応じて合成する前記火災煙画像の大きさ及び又は角度を制御して前記火災学習画像を生成することを特徴とする火災監視システム。
   （カメラから遠くなれば画像を小さく、近くなれば画像を大きくする、といった内容です）
   
9. 請求項１記載の火災監視システムに於いて、
   前記学習画像生成制御部はさらに前記通常監視画像を元に監視領域における非火災時の画像を非火災学習画像として生成し、
   前記学習制御部は前記学習画像生成制御部で生成された前記非火災学習画像を前記火災検出器に入力してディープラーニングにより学習させることを特徴とする火災監視システム。
   
10. 請求項９記載の火災監視システムに於いて、
    更に、予め生成された非火災煙画像を記憶する非火災煙画像記憶部が設けられ、
    前記学習画像生成制御部は、前記通常監視画像に前記非火災煙画像を合成して前記非火災学習画像を生成することを特徴とする火災監視システム。
    
11. 請求項１０記載の火災監視システムに於いて、
    前記非火災煙画像記憶部は、調理に伴う調理スチーム画像、調理に伴う調理煙画像、喫煙に伴う喫煙画像、照明器具の点灯に伴う照明点灯画像の少なくとも何れかを記憶しており、
    前記学習画像生成制御部は、前記通常監視画像と、前記調理スチーム画像、前記調理煙画像、前記喫煙画像及び又は前記照明点灯画像を合成して前記非火災学習画像を生成することを特徴とする火災監視システム。
    
12. 請求項１０記載の火災監視システムに於いて、
    前記非火災煙画像記憶部は、時系列に変化する複数の前記調理スチーム画像、前記調理煙画像及び前記喫煙画像の少なくとも何れかを記憶しており、
    前記学習画像生成制御部は、前記通常監視画像と時系列に変化する前記調理スチーム画像、前記調理煙画像及び又は前記喫煙画像を合成して前記非火災学習画像を生成することを特徴とする火災監視システム。
    
13. 請求項１０記載の火災監視システムに於いて、
    前記学習画像生成制御部は、前記非火災煙画像の合成先の位置に応じて合成する前記非火災煙画像の大きさ及び又は角度を制御して前記非火災学習画像を生成することを特徴とする火災監視システム。
    
14. 請求項１乃至１３の何れかに記載の火災監視システムに於いて、
    前記多層式のニューラルネットワークは、
    特徴抽出部と認識部で構成され、
    前記特徴抽出部は、前記監視領域の画像を入力して前記画像の特徴が抽出された特徴情報を生成する複数の畳み込み層を備えた畳み込みニューラルネットワークとし、
    前記認識部は、前記畳み込みニューラルネットワークから出力される前記特徴情報を入力し、画像の特徴値を出力する複数の全結合層を備えたニューラルネットワークとしたことを特徴とする火災監視システム。
    
15. 多層式のニューラルネットワークによって構成される異常検出器に、撮像部により撮像された監視領域の画像を入力して異常を検出する火災監視システムに於いて、
    前記監視領域の通常状態の画像を記憶する通常画像記憶部と、
    前記通常監視画像を元に監視領域における異常発生時の画像を異常学習画像として生成する学習画像生成制御部と、
    前記学習画像生成制御部で生成された前記異常学習画像を前記異常検出器に入力してディープラーニングにより学習させる学習制御部と、
    が設けられたことを特徴とする火災監視システム。

Images