JP5309069B2 - 煙検出装置 - Google Patents

Description

本発明は、監視カメラにより撮像された画像に対して画像処理を施し、煙に起因する特徴量を抽出することで、煙の発生を検出する煙検出装置に関し、特に、乱流下で不規則に動き回る煙の検出精度をより安定化させることのできる煙検出装置に関する。

火災発生時の初期消火、あるいは火災事故における逃げ遅れの防止の観点から、火災あるいは煙の早期発見が非常に重要となっている。そこで、煙検出装置の分野においては、監視カメラにより撮像された画像に対して画像処理を施すことで、煙の早期発見を行うことが研究されている。

その一例として、トンネル内などにカメラを設置し、カメラにより撮像された画像に対して画像処理を施すことで、煙を検出する従来の煙検出装置がある。煙を検出するための画像処理では、一般的に、基準となる画像（基準画像）をあらかじめ記憶しておき、最新の撮像画像と基準画像との差分画像を演算し、変化の生じた領域を抽出することで、煙を検出している（例えば、特許文献１参照）。

このように、カメラにより撮像された画像に対して画像処理を施して煙検出を行うことで、次の２点のメリットが得られる。
１）監視カメラの画像を目視確認することで、遠隔地において煙検出状況の把握が可能となる。
２）すでに設置されている監視カメラを流用することが可能であり、効率的な設備を構築できる。

特許第３９０９６６５号公報

しかしながら、従来技術には次のような課題がある。
撮像された煙は、背景の違いによって見え易さが異なる。また、検出対象である煙は、気流の影響を大きく受け、その挙動は、観測状況や観測時間により変動する確率的なものである。特に、乱流下での煙は、流動方向が定まらず、所定の時間間隔をおいて撮像された画像上では、不規則に動き回って見えることとなる。従って、このような煙の発生の検出精度を安定化させるためには、このような煙の挙動を十分考慮することが重要となる。

具体的には、不規則に流動する煙の検出精度を安定化させるためには、例えば、静止物、自動車等の移動物、あるいは木々の揺れなどの誤検出要因を、誤って煙として検出しないようにすることが重要となる。しかしながら、従来技術においては、検出対象である煙と、誤検出要因とを識別する処理が十分とはいえず、煙検出精度の悪化を招くおそれがあった。

本発明は、上述のような課題を解決するためになされたものであり、不規則に流動する煙の検出精度の向上を図ることのできる煙検出装置を得ることを目的とする。

本発明に係る煙検出装置は、監視カメラにより撮像された画像内に設定された複数の領域のそれぞれに対して、煙に関する特徴量を抽出する煙特徴量算出手段と、複数の領域のそれぞれにおいて、煙発生の有無を判定するための所定の基準判定値がそれぞれの領域ごとにあらかじめ記憶された記憶部と、複数の領域のそれぞれにおいて、記憶部に記憶されている所定の基準判定値を取り出し、煙特徴量算出手段により抽出された特徴量と比較し、比較結果に基づいて複数の領域のそれぞれについて煙が発生した可能性が高い候補領域を特定する煙判定手段とを備えた煙検出装置において、煙判定手段で特定された候補領域の時系列データに基づいて、それぞれの時刻における候補領域の面積に関する時系列第１データ、面積の重心座標に関する時系列第２データ、および時系列第１データの論理和として求まる候補総和領域の面積と時系列第１データにおける候補領域のそれぞれの面積との面積比に関する時系列第３データを求め、時系列第２データおよび時系列第３データに基づく統計量を算出し、算出した統計量が許容統計量の範囲内にある場合には、候補領域で流動煙が発生していると判定する流動煙判定手段をさらに備えるものである。

本発明に係る煙検出装置によれば、不規則に流動する煙の挙動を考慮し、撮像された画像の中から煙が発生した可能性が高いとして抽出された候補領域の時系列データに基づいて統計量を算出し、算出した統計量の大きさから流動煙の発生の有無を判断することにより、不規則に流動する煙の検出精度の向上を図ることのできる煙検出装置を得ることができる。

本発明の実施の形態１における煙検出装置の構成図である。 本発明の実施の形態１における１画面内の領域分割と、各領域の画素構成を示した説明図である。 本発明の実施の形態１における時系列データ作成部で生成される時系列データの説明図である。 本発明の実施の形態１における評価指標作成部で生成される定量値の説明図である。 本発明の実施の形態１における流動煙検出部による流動煙の判断処理に関する説明図である。

以下、本発明の煙検出装置の好適な実施の形態につき図面を用いて説明する。
本発明は、観測状況や観測時間による影響を受ける煙の挙動を考慮した上で、煙発生の検出精度を向上させることのできる検出方法を備えた煙検出装置に関するものであり、特に、この検出方法は、乱流下で不規則に流動する煙の検出に有効な手法である。

実施の形態１．
監視カメラのように、遠方から煙を観測した場合において、検出対象である煙は、撮像された画面内の小領域に留まることなく、特に、乱流下での煙は流動方向が定まらず、不規則に動き回るという特有の挙動を示す。そこで、本発明では、このような乱流下で不規則に流動する煙の発生を、煙が発生した可能性が高いと判断された候補領域の時系列データから算出される統計量に基づいて特定することで、検出精度の向上を図ることができる点を技術的特徴としている。なお、以下の説明においては、乱流下で不規則に流動する煙のことを、単に「流動煙」と称することとする。

図１は、本発明の実施の形態１における煙検出装置の構成図である。この図１の煙検出装置は、画像メモリ１０、記憶部２０、煙特徴量算出手段３０、煙判定手段４０、および流動煙判定手段５０を備えている。ここで、流動煙判定手段５０は、煙判定手段４０により煙が発生した可能性が高いと最終的に判断された候補領域の時系列データに基づいて、流動煙であるか否かを最終チェックする手段であり、時系列データ作成部５１、評価指標作成部５２、および流動煙検出部５３を有している。

画像メモリ１０は、カメラ１により撮像された画像を、過去一定期間分、時系列データとして記憶できるように、複数フレーム分の画像メモリとして構成されている。監視対象となる画像は、画素単位に分割された１画面の画像として画像メモリ１０に取り込まれる。

図２は、本発明の実施の形態１における１画面内の領域分割と、各領域の画素構成を示した説明図である。図２（ａ）は、１画面内にあらかじめ設定されている複数の分割領域を示しており、画面は、縦横マトリクス状に複数個の矩形領域で分割されている。一方、図２（ｂ）は、それぞれの領域が、画素単位に分割されていることを示している。

煙特徴量算出手段３０は、画像メモリ１０に格納された撮像画像について、それぞれの領域ごとに、煙に関する特徴量を抽出する。そして、煙判定手段４０は、記憶部２０にあらかじめ記憶された所定の基準判定値と、煙特徴量算出手段３０で抽出された特徴量との比較処理を行うことで、煙が発生した可能性が高い候補領域を特定する。煙特徴量算出手段３０による特徴量の抽出方法の代表的なものとしては、次の４つを挙げることができる。

[抽出方法１：画素の輝度分散に基づく煙検出]
煙特徴量算出手段３０は、それぞれの領域ごとに、各領域内の画素の輝度分散を算出する。輝度分散を算出する画像として、煙特徴量算出手段３０は、基本的には、最新の撮像画像を用いる。しかしながら、複数の画像メモリ１０に記憶されている画像の時系列データを利用して、過去にさかのぼって、複数毎の撮像画像を用いることもできる。このようにして、煙特徴量算出手段３０は、算出した輝度分散、あるいは、輝度分散から得られる標準偏差を、煙に関する特徴量として出力する。

そして、後述する煙判定手段４０は、煙特徴量算出手段３０により算出された輝度分散、あるいは、輝度分散から得られる標準偏差が、所定の範囲内にあるか否かを判定し、所定の範囲内にある場合に、煙が発生した可能性が高いと判断することができる。

なお、図示しないが、煙判定手段４０には、最終煙判断部が設けられる。最終煙判断部は、煙判定手段４０が、煙が発生した可能性が高いと判断した領域が、所定時間にわたって、連続して、所定数以上あるときに、最終的に、その領域に煙があるものと判断する部分である。

[抽出方法２：画素の平均輝度の時間分散に基づく煙検出]
煙特徴量算出手段３０は、それぞれの領域ごとに、各領域内の画素の平均輝度を算出する。次に、煙特徴量算出手段３０は、複数の画像メモリ１０に記憶されている画像の時系列データを利用して、過去にさかのぼって、一定の期間にわたる複数枚の撮像画像の同一領域における平均輝度を算出し、それぞれの対象領域ごとに、平均輝度の時系列データを生成する。そして、煙特徴量算出手段３０は、生成した平均輝度の時系列データの輝度分散を算出する。

このようにして、煙特徴量算出手段３０は、平均輝度の時系列データに基づいて算出した輝度分散、あるいは、その輝度分散から得られる標準偏差を、煙に関する特徴量として出力する。

そして、後述する煙判定手段４０は、煙特徴量算出手段３０により平均輝度の時系列データに基づいて算出された輝度分散、あるいは、輝度分散から得られる標準偏差が、所定の範囲内にあるか否かを判定し、所定の範囲内にある場合に、煙が発生した可能性が高いと判断することができる。

[抽出方法３：画素の平均輝度の低周波強度に基づく煙検出]
煙特徴量算出手段３０は、上述した抽出方法２と同様にして、それぞれの対象領域ごとに、平均輝度の時系列データを生成する。そして、煙特徴量算出手段３０は、生成した平均輝度の時系列データをフーリエ変換し、パワースペクトルを算出する。

次に、煙特徴量算出手段３０は、平均輝度の時系列データに基づいて算出したパワースペクトルの中から所定の低周波数成分を抜き取り、そのモードとなる強度を算出する。このようにして、煙特徴量算出手段３０は、平均輝度の時系列データに基づいて算出した低周波数成分の強度を、煙に関する特徴量として出力する。

そして、後述する煙判定手段４０は、煙特徴量算出手段３０により平均輝度の時系列データに基づいて算出した強度が所定の値以下である場合に、煙が発生した可能性が高いと判断することができる。

[抽出方法４：基準画像との差分平均に基づく煙検出]
煙特徴量算出手段３０は、それぞれの領域ごとに、その領域内の各画素と、あらかじめ画像メモリ１０に記憶しておいた基準画像の対応する画素との輝度差分値を求める。さらに、煙特徴量算出手段３０は、それぞれの領域ごとに輝度差分値の平均値を求める。このようにして、煙特徴量算出手段３０は、輝度差分値の平均値を、煙に関する特徴量として出力する。

そして、後述する煙判定手段４０は、煙特徴量算出手段３０により算出された平均値が所定の値より大きい場合に、煙が発生した可能性が高いと判断することができる。

次に、本発明の技術的特徴である流動煙判定手段５０の動作について、具体的に説明する。先の図１に示したように、本実施の形態１における流動煙判定手段５０は、時系列データ作成部５１、評価指標作成部５２、および流動煙検出部５３を有している。そして、この流動煙判定手段５０は、煙判定手段４０により煙が発生した可能性が高いと最終的に判断された候補領域の時系列データに基づいて、流動煙であるか否かを最終チェックする。

まず、流動煙判定手段５０内の時系列データ作成部５１は、煙判定手段４０により煙が発生した可能性が高いと最終的に判断された候補領域をマッピングした検出結果を、画像データとして順次、記憶部２０に記憶させることで、検出結果の時系列データを作成する。

図３は、本発明の実施の形態１における時系列データ作成部５１で生成される時系列データの説明図である。図３において、ｔ、ｔ−１、ｔ−２、ｔ−３は、それぞれ、所定の間隔で取り込まれた画像データのサンプリング時刻を意味しており、ｔは最新の画像をサンプリングした時刻であり、ｔ−ｎ（ｎ＝１、２、３）は、最新の画像をサンプリングした時刻からｎサンプリング前の時刻である。

なお、図３（ａ）は、サンプリングされた画像における実際の流動煙の位置を示しており、図３（ｂ）は、煙判定手段４０により煙が発生した可能性が高いとして検出された候補領域を黒でマッピングしたものを示している。

従って、時系列データ作成部５１は、図３（ｂ）に示すような時系列データを、記憶部２０に記憶させることとなる。なお、時系列データ作成部５１は、最新の画像による検出結果が得られるごとに、順次、時系列データを更新する。その結果、最新の４サンプリング分のデータが記憶部２０に記憶されることとなる。

なお、図３においては、時系列データ作成部５１が、煙判定手段４０による検出結果に基づいて、ｔ、ｔ−１、ｔ−２、ｔ−３の４サンプリングの時系列データを作成した場合を例示しているが、サンプリング数は、４に限定されるものではない。

次に、評価指標作成部５２は、煙が発生した可能性が高い候補領域に相当する時系列データとして記憶部２０に記憶されている画像データに基づいて、評価指標の基礎となる以下の３種の定量的な値を算出する。
（定量値１）各サンプリング時刻について、煙が発生した可能性が高い候補領域の面積を、
Ａ（ｔ）
Ａ（ｔ−１）
Ａ（ｔ−２）
Ａ（ｔ−３）
として、それぞれ算出する（この値は、時系列第１データに相当する）。

（定量値２）上記（定量値１）で求めた各面積の重心座標Ｃを
Ｃ（ｔ）＝（Ｘ_ｔ、Ｙ_ｔ）
Ｃ（ｔ−１）＝（Ｘ_ｔ−１、Ｙ_ｔ−１）
Ｃ（ｔ−２）＝（Ｘ_ｔ−２、Ｙ_ｔ−２）
Ｃ（ｔ−３）＝（Ｘ_ｔ−３、Ｙ_ｔ−３）
として、それぞれ算出する（この値は、時系列第２データに相当する）。

（定量値３）各サンプリング時刻における画像を「ｏｒ（論理和）処理」することで、検出された領域の総和を求め、その面積を
Ａ（Σ）
として算出する。図４は、本発明の実施の形態１における評価指標作成部５２で生成される定量値１〜定量値３の説明図である。

次に、評価指標作成部５２は、上述した定量値１〜定量値３に基づいて、「流動煙」であるか否かを判断するための評価指標として、以下の３種の統計量を算出する。
（指標１）各サンプリング時刻の総和の面積に対する、各サンプリング時刻における面積の比Ｓを
Ｓ（ｔ）＝Ａ（ｔ）／Ａ（Σ）
Ｓ（ｔ−１）＝Ａ（ｔ−１）／Ａ（Σ）
Ｓ（ｔ−２）＝Ａ（ｔ−２）／Ａ（Σ）
Ｓ（ｔ−３）＝Ａ（ｔ−３）／Ａ（Σ）
として求め（この値は、時系列第３データに相当する）、これらの面積比の平均値Ｓ（ＡＶＥ）を求める。
（指標２）上述した面積比の分散値Ｓ（ＶＡＲ）を求める。
（指標３）４サンプリング時刻における各重心座標Ｃの分散値Ｃ（ＶＡＲ）を求める。

次に、流動煙検出部５３は、煙判定手段４０により煙が発生した可能性が高いと最終的に判断された領域の時系列データに基づいて評価指標作成部５２により作成された指標１〜指標３を用いて、流動煙であるか否かを最終チェックする。

図５は、本発明の実施の形態１における流動煙検出部５３による流動煙の判断処理に関する説明図である。図５においては、画像内に含まれる対象物として、次の４つのものを比較している。なお、対象物１は、本発明の煙検出装置で検出すべきものであり、対象物２〜４は、誤検出要因である。
（対象物１）流動煙
（対象物２）移動物：例えば、自動車、あるいは自動車から排出される排気ガスなどに相当する。
（対象物３）静止物：撮像領域内で移動しないものであり、観測状況や観測時間による影響を受けにくいものに相当する。
（対象物４）木々の揺れ：観測状況や観測時間による影響を受けて撮像状態が変化するものに相当する。

図５においては、各対象物に対する定量的な指標１〜指標３を「大」、「中」、「小」の３ランクとして記載している。これは、以下に説明するように、本来の検出対象である流動煙における各指標１〜３の値を「中」としたときに、それと比較して、大きいと考えられる場合を「大」、小さいと考えられる場合を「小」としているものである。従って、監視すべき撮像エリアの対象物、設置環境等が特定されれば、「大」、「中」、「小」を識別するための最適な値（許容統計量に相当）として定量値を設定できる。次に、各指標の大小関係について説明する。

［指標１：面積比の平均値Ｓ（ＡＶＥ）について］
流動煙は、画面上で不規則に動き回り、検出される領域の大きさも一定ではない。従って、図４からも分かるように、Ａ（Σ）に対して、各サンプリング時刻におけるＡ（ｔ）、Ａ（ｔ−１）、Ａ（ｔ−２）、Ａ（ｔ−３）の比は小さくなり、最大値である１にはならず、例えば、０．３〜０．７といった「中」レベルの値となると考えられる。

一方、流動煙の場合と比較して、静止物は、同程度の位置で同程度の大きさとして検出されることから、最大値である１に近い値になると考えられる。また、木々の揺れも、本来の位置から多少ずれた位置で検出されることはあるものの、大きさ自体は同程度であり、最大値である１に近い値になると考えられる。

また、移動物は、同程度の大きさのものがある方向に移動していくことが考えられ、移動速度、移動方向にも依存するが、流動煙と同じ「中」レベル、あるいはさらに小さい「小」レベルの値になると考えられる。
［指標２：面積比の分散値Ｓ（ＶＡＲ）について］
流動煙は、画面上で不規則に動き回り、検出される領域の大きさも一定ではない。従って、図４からも分かるように、各サンプリング時刻におけるＡ（ｔ）、Ａ（ｔ−１）、Ａ（ｔ−２）、Ａ（ｔ−３）は多少のバラツキを有することとなる。従って、面積比の分散値Ｓ（ＶＡＲ）は、「中」レベルの値になると考えられる。

一方、流動煙の場合と比較して、静止物や移動物は、同程度の大きさとして検出されることから、バラツキがほとんどなく、面積比の分散値Ｓ（ＶＡＲ）は、「小」レベルの値になると考えられる。また、木々の揺れは、多少の面積のバラツキがあり、流動煙と同じ「中」レベル、あるいはさらに小さい「小」レベルの値になると考えられる。
［指標３：重心座標の分散値Ｃ（ＶＡＲ）について］
流動煙は、画面上で不規則に動き回り、検出される領域の大きさも一定ではない。従って、図４からも分かるように、各サンプリング時刻における重心座標は、多少のバラツキを有することとなる。従って、重心座標の分散値Ｃ（ＶＡＲ）は、「中」レベルの値になると考えられる。

一方、流動煙の場合と比較して、静止物は、同程度の位置で同程度の大きさとして検出されることから、重心座標のバラツキがほとんどなく、重心座標の分散値Ｃ（ＶＡＲ）は、「小」レベルの値になると考えられる。また、移動物は、同程度の大きさのものがある方向に移動していくことが考えられ、移動速度、移動方向にも依存するが、重心座標のバラツキが大きく、重心座標の分散値Ｃ（ＶＡＲ）は、「大」レベルの値になると考えられる。

また、木々の揺れは、重心位置に多少のバラツキがあり、流動煙と同じ「中」レベル、あるいはさらに小さい「小」レベルの値になると考えられる。

従って、流動煙検出部５３は、監視すべき撮像エリアの対象物、設置環境等が特定されることで、図５に示した「大」、「中」、「小」を識別するための最適なしきい値（許容統計量の範囲値）を、各指標１〜３について設定することができ、誤検出要因と区別して、本来検出すべき流動煙を安定して検出することができる。

以上のように、実施の形態１によれば、不規則に流動する煙（流動煙）の挙動を考慮し、所定の時間間隔をおいて撮像された画像の中から煙が発生した可能性が高い候補領域として抽出された時系列データに基づいて、定量的な評価指標を用いて流動煙を特定する流動煙判定手段を備えている。このような構成を備えることで、移動物、静止物、木々の揺れなどの誤検出要因を除外し、本来検出すべき流動煙のみを確実に検出でき、検出精度の向上を図った煙検出装置を得ることができる。

なお、上述した実施の形態では、統計量として、面積比の平均値Ｓ（ＡＶＥ）、面積比の分散Ｓ（ＶＡＲ）、および重心座標の分散値Ｃ（ＶＡＲ）を用いる場合について説明した。しかしながら、本発明に適用できる統計量は、これに限定されない。例えば、面積比の平均値の代わりに、面積比の最大値と最小値の差分を用いる、あるいは分散値の代わりに標準偏差を用いることも可能であり、同様の効果を得ることができる。

また、流動煙判定手段が流動煙であることを判定する際に用いる指標１〜指標３の値（許容統計量に相当）は、全ての領域で一律である必要はない。領域ごとにあらかじめ設定された個別の許容統計量を記憶部に記憶させておくことで、撮像対象に応じて、領域毎に適切な流動煙検出処理を行うことができる。

なお、本実施の形態では、面積の重心座標に関する時系列第２データ、および時系列第１データの論理和として求まる候補総和領域の面積と時系列第１データにおける候補領域のそれぞれの面積との面積比に関する時系列第３データを求め、時系列第２データおよび時系列第３データに基づく統計量を算出し、算出した統計量が許容統計量の範囲内にある場合には、候補領域で流動煙が発生していると判定するようにしたが、時系列第２データ、時系列第３データのいずれか一方だけを使用して、流動煙の発生を判定するようにしてもよい。

また、流動煙判定手段は、煙判定手段とは別に設けたが、煙判定手段の抽出方法１〜４と同様に、煙判定手段の機能の一部に含めるようにしてもよく、抽出方法１〜４と並列に処理を行った上で、各抽出方法の結果と総合して、特定の領域における煙の有無の判定を行うようにしてもよい。

１ カメラ、１０ 画像メモリ、２０ 記憶部、３０ 煙特徴量算出手段、４０ 煙判定手段、５０ 流動煙判定手段、５１ 時系列データ作成部、５２ 評価指標作成部、５３ 流動煙検出部。

Claims (3)

1. 監視カメラにより撮像された画像内に設定された複数の領域のそれぞれに対して、煙に関する特徴量を抽出する煙特徴量算出手段と、
   前記複数の領域のそれぞれにおいて、煙発生の有無を判定するための所定の基準判定値がそれぞれの領域ごとにあらかじめ記憶された記憶部と、
   前記複数の領域のそれぞれにおいて、前記記憶部に記憶されている所定の基準判定値を取り出し、前記煙特徴量算出手段により抽出された前記特徴量と比較し、比較結果に基づいて前記複数の領域のそれぞれについて煙が発生した可能性が高い候補領域を特定する煙判定手段と
   を備えた煙検出装置において、
   前記煙判定手段で特定された前記候補領域の時系列データに基づいて、それぞれの時刻における前記候補領域の面積に関する時系列第１データ、前記面積の重心座標に関する時系列第２データ、および前記時系列第１データの論理和として求まる候補総和領域の面積と前記時系列第１データにおける前記候補領域のそれぞれの面積との面積比に関する時系列第３データを求め、前記時系列第２データおよび前記時系列第３データに基づく統計量を算出し、算出した前記統計量が許容統計量の範囲内にある場合には、前記候補領域で流動煙が発生していると判定する流動煙判定手段をさらに備える
   ことを特徴とする煙検出装置。
2. 請求項１に記載の煙検出装置において、
   前記記憶部には、複数の領域のそれぞれに対して個別の許容統計量があらかじめ記憶されており、
   前記流動煙判定手段は、前記個別の許容統計量を用いて前記候補領域で流動煙が発生していることを判定する
   ことを特徴とする煙検出装置。
3. 請求項１または２に記載の煙検出装置において、
   前記流動煙判定手段は、前記統計量として、前記時系列第２データに基づく前記重心座標の分散値、前記時系列第３データに基づく前記面積比の平均値、および前記時系列第３データに基づく前記面積比の分散値を用いる
   ことを特徴とする煙検出装置。

Images