JP5286113B2 - 煙検出装置 - Google Patents

Description

本発明は、監視カメラにより撮像された画像に対して画像処理を施すことにより、煙の発生を検出する煙検出装置に関し、特に、緩慢に拡散する煙（緩慢拡散煙）の検出に適した煙検出装置に関する。

火災発生時の初期消火、あるいは火災事故における逃げ遅れの防止の観点から、火災あるいは煙の早期発見が非常に重要となっている。そこで、煙検出装置の分野においては、監視カメラにより撮像された画像に対して画像処理を施すことで、煙の早期発見を行うことが研究されている。

その一例として、トンネル内などにカメラを設置し、カメラにより撮像された画像に対して画像処理を施すことで、煙を検出する従来の煙検出装置がある。煙を検出するための画像処理では、一般的に、基準となる画像（基準画像）をあらかじめ記憶しておき、最新の撮像画像と基準画像との差分画像を演算し、変化の生じた領域を抽出することで、煙を検出している。（例えば、特許文献１参照）。

また、日照などの影響により基準画像が時間的に変化することに対応するために、基準画像を定期的に更新することが行われている。

このように、カメラにより撮像された画像に対して画像処理を施して煙検出を行うことで、次の２点のメリットが得られる。
１）監視カメラの画像を目視確認することで、遠隔地において煙検出状況の把握が可能となる。
２）すでに設置されている監視カメラを流用することが可能であり、効率的な設備を構築できる。

特許第３９０９６６５号公報

しかしながら、従来技術には次のような課題がある。
従来技術においては、煙を検出するために、フレーム差分画像あるいは背景画像からの輝度差が所定の閾値を超えた画素領域を抽出していた。しかしながら、例えば、周囲の照明条件の変化などの影響により、撮像された画像に変化が生じてしまう場合には、煙が発生していない部分を煙として誤検出してしまうという問題がある。

また、検出対象である煙自体は、色味が少なく背景色によっては、撮像された画像における輝度変化（輝度差）が少ない場合があり、単純に差分画像を求めるだけでは、その輝度差の閾値設定が難しく、高感度な煙検出を行うことができない場合がある。

本発明は、上述のような課題を解決するためになされたものであり、緩慢拡散煙を検出対象とした際に、外乱の影響を抑えた上で、高感度に緩慢拡散煙の検出を行うことのできる煙検出装置を得ることを目的とする。

本発明に係る煙検出装置は、監視カメラにより撮像された画像に対して画像処理を施すことにより、煙の発生を検出する煙検出装置であって、監視カメラにより時系列で撮像された複数の画像および基準画像を記憶する画像メモリと、煙が発生する候補領域として特定された煙検出エリアにおいて、監視カメラにより撮像された最新の画像と、該最新の画像よりも前に撮像された画像とにおいて、両画像の差分画像のエッジ強度の総和又は両画像のそれぞれのエッジ強度との差分の総和を判定値として算出し、判定値と所定範囲との比較結果に基づいて煙が発生した可能性が高いか否かを判断する煙特徴量算出手段とを備え、煙特徴量算出手段は、煙が発生する候補領域として特定された煙検出エリアにおいて、監視カメラにより撮像された最新の画像のエッジ強度と、基準画像のエッジ強度との差分の総和値を第１の判定値として算出するとともに、最新の画像と前回撮像された画像との差分画像のエッジ強度の総和を第２の判定値として算出し、第１の判定値と第１所定範囲との比較結果、および第２の判定値と第２所定範囲との比較結果に基づいて煙が発生した可能性が高いか否かを判断するものである。

本発明に係る煙検出装置によれば、相関値あるいはエッジ強度といった緩慢拡散煙に適した煙特徴量の算出結果を用いることにより、緩慢拡散煙を検出対象とした際に、外乱の影響を抑えた上で、高感度に緩慢拡散煙の検出を行うことのできる煙検出装置を得ることができる。

本発明の実施の形態１における煙検出装置の構成図である。 本発明の実施の形態１における輝度ヒストグラム作成手段で作成された輝度ヒストグラムの一例を示す図である。 本発明の実施の形態１における１画面内の領域分割と１領域内のマッピング結果との関係を示した説明図である。 本発明の実施の形態１における煙検出エリア選択部により特定された候補領域を示す図である。 本発明の実施の形態１における煙特徴量算出手段で実施される相関値に基づく煙検出方法の説明図である。 本発明の実施の形態１における煙特徴量算出手段で実施されるエッジ強度の値に基づく第１の判定値の算出に関する説明図である。 本発明の実施の形態１における煙特徴量算出手段で実施されるエッジ強度の値に基づく第２の判定値の算出に関する説明図である。 本発明の実施の形態１におけるマッピング手段により出力されるマッピング結果を示す図である。 本発明の実施の形態１における煙検出装置の全体処理の流れを示すフローチャートである。 本発明の領域の分割設定の変形例を示した図面である。

以下、本発明の煙検出装置の好適な実施の形態につき図面を用いて説明する。

実施の形態１．
図１は、本発明の実施の形態１における煙検出装置の構成図である。本実施の形態１における煙検出装置は、画像メモリ１０、煙検出エリア選択部２０、および煙発生検出部３０を備えている。画像メモリ１０は、カメラ１により撮像された画像を、過去一定期間分、時系列データとして記憶できるように、複数フレーム分の画像メモリとして構成されている。

煙検出エリア選択部２０は、輝度ヒストグラム作成手段２１、輝度変化判定手段２２、および検出候補領域特定手段２３で構成される。そして、煙検出エリア選択部２０は、画像メモリ１０に記憶された、カメラ１により撮像された過去一定期間分の画像に基づいて、煙検出を行うべきエリアを煙検出候補領域として特定する機能を有している。

また、煙発生検出部３０は、煙特徴量算出手段３１、マッピング手段３２、および煙判定手段３３で構成される。そして、煙発生検出部３０は、煙検出エリア選択部２０で特定された煙検出候補領域について、煙の発生を検出するための特徴量を算出し、算出結果に基づいて煙が発生しているか否かを判断する機能を有している。緩慢拡散煙、特に濃い緩慢拡散煙の特徴としては、例えば、基準画像と緩慢拡散煙発生後の画像との輝度分布の相関値が低下する。あるいは、緩慢拡散煙発生後の画像ではエッジ強度が低下するなどの特徴があるので、これらに基づいて煙の特徴量を算出する。

このような構成を備えることにより、本実施の形態１の煙検出装置は、特定された煙検出候補領域に対して、煙の有無を検出するための画像処理を施すことで、効率のよい高感度な煙検出を実現することができる。特に、緩慢拡散煙の検出に適した画像処理機能を有している。

本実施の形態１では、撮像された画像のすべてに対して煙検出を行うのではなく、撮像された画像のうち、画像を複数のブロックに分割した分割領域である煙検出候補領域に対してのみ煙検出を行う点を特徴としている。そこで、まず始めに、この特徴を実現する煙検出エリア選択部２０の機能について、説明する。

ステップ１：輝度ヒストグラム作成手段２１の機能
輝度ヒストグラム作成手段２１は、撮像された画像内に侵入物あるいは煙などの変化の発生があるか否かの判断を、所定の画素ごとに、過去一定期間内の輝度のヒストグラムを算出することにより行う。

ここで、侵入物とは、一時的に画像内を通過する通行人等に相当する。また、輝度のヒストグラムとは、対象となる画素が、過去一定期間の時系列データ内でどのような輝度値の分布を有していたかを示す頻度分布に相当する。

図２は、本発明の実施の形態１における輝度ヒストグラム作成手段２１で作成された輝度ヒストグラムの一例を示す図である。侵入物が発生せず、かつ煙の発生もない状態を仮定すると、ある画素において、過去一定期間内の複数の画像における輝度値の発生頻度を集計すると、一定期間何も変化が起こらないことから、図２（ａ）に示すように、狭い範囲の輝度に集中して分布し、その狭い範囲の発生頻度が高い値を示す結果となる。ここで、発生頻度とは、図２の縦軸の「存在回数」のことであり、言い換えれば、一定期間に撮像された画像の数を最大値として、それら画像において、位置座標が同じである特定の画素が同じ輝度値をとった回数である。このヒストグラムは、各画素が過去にどのような輝度値であったかを示す分布であり、何も侵入物がない状態ならば、存在した輝度は狭い範囲で分布し、その存在回数は高い値を維持し続ける。

一方、侵入物が発生するか、あるいは煙が発生した状態を仮定すると、ある画素において、過去一定期間内の複数の画像における輝度値の発生頻度を集計すると、一定期間の間、侵入物等によって画像に変化が生じることから、図２（ｂ）に示すように、図２（ａ）における狭い範囲の輝度以外のところに、これまでの分布とは異なる輝度値が出現し始めるが、新たに出現した輝度は、当然、存在回数は少ない。すなわち、侵入物の発生後あるいは煙の発生後の画像からは、高くて狭い輝度分布のほかに、異なる分布として検出された輝度が得られることとなる。または、存在回数が高くないヒストグラムしか得られない。

そして、この新たに出現した異なる分布を示す輝度の発生頻度は、過去一定期間内の複数の画像のうち、侵入物あるいは煙の発生後の画像の枚数が少ない場合には、図２（ａ）における発生前の狭い範囲の輝度の発生頻度よりも少ない結果となる。
また、侵入物などの変化発生前の輝度分布と発生後の輝度分布の輝度差がわずかである場合では、輝度変化の検出によって変化領域を抽出することは難しいが、過去一定期間内の複数の画像に基づく画素ごとの輝度ヒストグラムを求めることにより、輝度の変化が小さいものでも、その変化が判別しやすく、侵入物の発生、あるいは煙の発生を高精度に識別することが可能となる。

さらに、輝度ヒストグラム作成手段２１は、輝度ヒストグラムを作成する際に、得られた輝度をある幅を持たせてカウントする（例えば、輝度１００なら、前後の輝度である９９，１０１を含めた３つの輝度（輝度値９９，１００，１０１）としてカウントする）ことにより、ヒストグラムの算出にかかわる演算が少なくて済み、また、ノイズの影響を緩和した結果を得ることができる。また、輝度ヒストグラムを得た後に、平滑処理を施すことによっても、ノイズの影響を緩和した結果を得ることができる。なお、輝度ヒストグラムの作成にあたっては、一画素ごとにヒストグラムを作成してもよいが、ヒストグラムを隣り合う画素同士で共有するようにしてもよい。例えば、縦横２つ合計４つの画素を一まとめにしたり、または、縦横３つの合計９つの画素を一まとめにして、輝度ヒストグラムを作成するようにしてもよく、画素をまとめるほど、演算に関わる処理時間を短くできる。好ましくは、４つの画素を一まとめにすることで、この場合だと、処理時間も短く、かつ侵入物検出の精度も低下しない。

ステップ２：輝度変化判定手段２２の機能
輝度変化判定手段２２は、輝度ヒストグラム作成手段２１により所定の画素ごとに個別に算出（生成）された輝度ヒストグラムに基づいて、侵入物あるいは煙の発生により新たに生じた輝度値の存在の有無を検出する。例えば、輝度変化判定手段２２は、図２（ｂ）に示すように、（発生前の）輝度分布に対して、頻度の少ない輝度値の画素が所定数発生した場合には、その画素の部分において、侵入物あるいは煙が発生した可能性が高いと判断できる。

輝度変化判定手段２２は、所定の画素ごとに、上述の判断を個別に行い、その結果を画面に対応したマップとして出力する。例えば、１画面の画素がｐ×ｑ（ただし、ｐ、ｑは、２以上の整数）とした場合に、輝度変化判定手段２２は、侵入物あるいは煙の発生した可能性が高い画素を「１」に、それ以外の画素を「０」に設定し、ｐ×ｑの各画素をマッピング又は二値化して、マッピング画像（二値化画像）を得ることができる。なお、得られたヒストグラムと比較して、現在の画像の該当する画素の輝度値が所定の存在回数に満たない輝度値である場合に、その画素は侵入物があると判断するようにしてもよい。

ステップ３：検出候補領域特定手段２３の機能
輝度変化判定手段２２によりマッピングされた１画面分のデータは、あらかじめ決められた複数のエリアに分割されている。そして、検出候補領域特定手段２３は、「１」と「０」でマッピングされた、あらかじめ分割されたエリアごとに、「１」である画素の比率が所定値以上あるかないかを判断する。

図３は、本発明の実施の形態１における１画面内の領域分割と１領域内のマッピング結果との関係を示した説明図である。図３（ａ）は、１画面内にあらかじめ設定されている複数の分割領域を示している。図３（ａ）に示すように、画面は、縦横マトリクス状に複数個の矩形領域で分割されている。そして、扉の前には、侵入物としての人間が存在しており、右側の窓ガラスの下には煙が存在している。また、図３（ｂ）は、それぞれの領域が、画素単位に分割されており、輝度変化判定手段２２によりマッピングされた状態を示している。このように一つの領域は、複数の画素で構成されたものである。

図３（ｂ）中で、画素が黒く塗りつぶされている部分は、侵入物あるいは煙の発生した可能性が高い画素として「１」にマッピングされた画素を意味している。従って、検出候補領域特定手段２３は、図３（ｂ）に示したようなマッピング結果に基づいて、それぞれの分割領域ごとに、「１」である画素（すなわち、黒く塗りつぶされた画素）の比率が所定値以上あるかないかを判断することとなる。

なお、緩慢拡散煙の検出を高精度に行うために、検出候補領域特定手段２３は、図３（ｂ）に示されたマッピング結果に対して、以下のような前処理１〜３を、さらに行うことができる。
［前処理１］孤立画素の除去
緩慢拡散煙は、ある領域に渡って広く発生するため、侵入物あるいは煙の発生した可能性が高い画素として「１」にマッピングされた画素が孤立して存在することは考えにくい。そこで、「１」にマッピングされた画素が、孤立画素（すなわち、「１」にマッピングされた画素に対して、上下、左右、斜めで隣接する計８画素がすべて「０」にマッピングされている状態の画素）である場合には、マッピング結果を「１」から「０」に変更する。

［前処理２］輝度値の基準画像に対する差分量チェック
緩慢拡散煙が発生した領域では、基準画像で得られていた輝度値が所定量以上低下することが考えられる。そこで、「１」にマッピングされた画素について、最新の画像と基準画像との輝度値の差分を求め、その差分量の絶対値が所定値以上であるものは「１」のままとし、その差分量の絶対値が所定値未満であるものは「１」から「０」に変更する。ただし、基準画像自体の輝度が、緩慢拡散煙の輝度と同程度と考えられる領域は、この差分量チェックには適さないため、差分量チェックを実行しないようにマスク処理することが考えられる。

［前処理３］エッジ強度チェック
緩慢拡散煙が発生した領域では、煙の影響で画像がぼやけることから、エッジ強度が低下することが考えられる。そこで、「１」にマッピングされた画素を含む近傍領域におけるエッジ強度を算出し、エッジ強度が所定値以下であれば、「１」のままとし、エッジ強度が所定値を超える場合には、煙の影響ではないと判断し、「１」から「０」に変更する。

このような前処理は、任意の組み合わせを用いることができる。例えば、前処理１〜３のいずれか１つでも「１」から「０」に変更する結果が出た場合には、この変更を実施することができる。あるいは、特定の組合せにより、その組合せで共通して「１」から「０」に変更する結果が出た場合に、この変更を実施することもできる。さらに、取り込む画像の領域ごとに、前処理の組合せをあらかじめ設定しておくことも可能である。

次に、検出候補領域特定手段２３は、一つの領域の大きさに対して「１」である画素の比率が所定値以上である領域を、煙検出を詳細に行うべき候補領域として特定する。一方、検出候補領域特定手段２３は、「１」である画素の比率が所定値未満である領域を、後段の煙検出を行わない領域として特定する。または、「０」である画素の比率が所定値以上である領域を、後段の煙検出を行わない領域として特定する。

図４は、本発明の実施の形態１における煙検出エリア選択部２０により特定された候補領域を示す図である。ここで黒く塗りつぶされた部分が、煙検出エリア選択部２０によって選択された領域であり、前述の「１」の画素を含んだ比率が大きい領域である。この図４は、図３（ａ）の状態と対応しており、侵入物が存在して扉の前と、窓ガラスの下に、候補領域としての黒く塗りつぶされた領域が複数存在している。画像には複数の領域が存在するが、このような、検出候補領域特定手段２３によって特定された候補領域だけに関して、その領域で煙が発生しているかどうかを画像処理で算出すればよいので、全体の演算量を減らすことが可能となる。このような一連の処理により、煙検出エリア選択部２０は、あらかじめ分割された複数のエリアの中から、後段の煙発生検出部３０で詳細な煙検出を行うべき候補領域を、過去一定期間分の輝度ヒストグラムの算出結果から、高精度に特定することができる。この結果、外乱の影響を抑えた上で、画像の中から侵入物や煙のある領域だけを抽出して効率よく煙検出を行うことができる。つまり、ある領域において、煙などが発生すれば、その領域における画素のほとんどは、ヒストグラムにおいて異なる分布が生じて「１」になり、領域における「１」となった画素の比率が高く候補領域として抽出される。しかし、照明などの一時的な変化では、輝度ヒストグラムにおいて、異なる分布は生じにくいことから、「１」となる画素は少なく、外乱による影響では、候補領域とはなりにくい。さらに、上述したような前処理を施すことで、緩慢拡散煙の抽出に適した候補領域の選定が可能となる。

次に、煙発生検出部３０の機能について説明する。この煙発生検出部３０は、煙検出エリア選択部２０により特定された煙検出を詳細に行うべき候補領域に対して、煙に関する特徴量を抽出することで、煙発生の有無を判断することができる。

ステップ１：煙特徴量算出手段３１の機能について
特徴量の抽出方法の代表的なものとしては、次の６つを挙げることができる。煙検出を詳細に行うべき候補領域に対して、以下の方法を適用して特徴量を求めることで、煙特徴量算出手段３１は、その領域内において煙が発生した可能性が高いか否かを判断できる。なお、以下の煙特徴量の算出は、特に、流れを伴う比較的遅い煙を検出するのに適した手法である。その中でも、抽出方法５、６は、緩慢拡散煙であって、光を透過しないような濃い煙に適した手法であり、図面を用いて詳細に説明することとする。

[抽出方法１：画素の輝度分散に基づく煙検出]
煙特徴量算出手段３１は、煙検出エリア選択部２０により特定された煙検出を詳細に行うべき候補領域ごとに、各領域内の画素の輝度分散を算出する。輝度分散を算出するにあたって、煙特徴量算出手段３１は、必ずしも領域内のすべての画素を用いる必要はない。煙特徴量算出手段３１は、輝度変化判定手段２２により、侵入物あるいは煙の発生した可能性が高い画素として「１」にマッピングされた画素のみを対象に、輝度分散を算出してもよい。

また、煙特徴量算出手段３１は、輝度分散を算出する画像としては、基本的には、最新の撮像画像を用いる。しかしながら、過去にさかのぼって、複数毎の撮像画像を用いることもできる。

そして、煙特徴量算出手段３１は、算出した輝度分散、あるいは、輝度分散から得られる標準偏差が、所定の範囲内にあるか否かを判定し、所定の範囲内にある場合に、煙が発生した可能性が高いと判断することができる。

[抽出方法２：画素の平均輝度の時間分散に基づく煙検出]
煙特徴量算出手段３１は、煙検出エリア選択部２０により特定された煙検出を詳細に行うべき候補領域ごとに、各領域内の画素の平均輝度を算出する。平均輝度を算出するにあたって、煙特徴量算出手段３１は、必ずしも領域内のすべての画素を用いる必要はない。煙特徴量算出手段３１は、輝度変化判定手段２２により、侵入物あるいは煙の発生した可能性が高い画素として「１」にマッピングされた画素のみを対象に、平均輝度を算出してもよい。

次に、煙特徴量算出手段３１は、過去にさかのぼって一定の期間にわたる複数枚の撮像画像の同一領域における平均輝度を算出し、それぞれの対象領域ごとに、平均輝度の時系列データを生成する。そして、煙特徴量算出手段３１は、生成した平均輝度の時系列データの輝度分散を算出する。

そして、煙特徴量算出手段３１は、平均輝度の時系列データに基づいて算出した輝度分散、あるいは、その輝度分散から得られる標準偏差が、所定の範囲内にあるか否かを判定し、所定の範囲内にある場合に、煙が発生した可能性が高いと判断することができる。

[抽出方法３：画素の平均輝度の低周波強度に基づく煙検出]
煙特徴量算出手段３１は、上述した抽出方法２と同様にして、それぞれの対象領域ごとに、平均輝度の時系列データを生成する。そして、煙特徴量算出手段３１は、生成した平均輝度の時系列データをフーリエ変換し、パワースペクトルを算出する。

次に、煙特徴量算出手段３１は、平均輝度の時系列データに基づいて算出したパワースペクトルの中から所定の低周波数成分を抜き取り、そのモードとなる強度を算出し、その強度が所定の値以下である場合に、煙が発生した可能性が高いと判断することができる。

[抽出方法４：基準画像との差分平均に基づく煙検出]
煙特徴量算出手段３１は、煙検出エリア選択部２０により特定された煙検出を詳細に行うべき候補領域ごとに、その候補領域内の各画素と、あらかじめ画像メモリ１０に記憶しておいた基準画像の対応する画素との輝度差分値を求める。さらに、煙特徴量算出手段３１は、候補領域ごとにおける輝度差分値の平均値を求め、その平均値が所定の値より大きい場合、あるいは所定の範囲内にある場合に、煙が発生した可能性が高いと判断することができる。

[抽出方法５：基準画像との相関値に基づく煙検出]
煙特徴量算出手段３１は、煙検出エリア選択部２０により特定された煙検出を詳細に行うべき候補領域ごとに、その候補領域内の各画素と、あらかじめ画像メモリ１０に記憶しておいた基準画像の対応する画素との相関値、例えば相互相関係数を求める。さらに、煙特徴量算出手段３１は、候補領域ごとにおける相関値を、煙に関する特徴量として求め、その相関値の値が所定値を下回る場合に、煙が発生した可能性が高いと判断することができる。

図５は、本発明の実施の形態１における煙特徴量算出手段３１で実施される相関値に基づく煙検出方法の説明図である。図５（ａ）は基準画像、図５（ｂ）は煙が発生していない際に撮像された最新の画像、図５（ｃ）は煙が発生した際に撮像された最新の画像をそれぞれ示している。それぞれの図において、図の窓ガラスの左下側の四角で囲まれた部分が、１つの候補領域に相当する。

撮像した最新の画像として図５（ｂ）の画像（煙が発生していない状態の画像）が得られた場合には、図５（ａ）の基準画像との候補領域での相関値を計算すると、両画像は似通っているため、高い値を示すこととなる。また、例えば、照明の変化があったと仮定すると、その際の図５（ｂ）の画像は、全体的な輝度が上下するものの、領域内にある模様自体は変化しないので、相関値には大きな影響を与えず、高い値が得られることとなる。

これに対して、撮像した最新の画像として図５（ｃ）の画像（煙が発生した状態の画像）が得られた場合には、図５（ａ）の基準画像との候補領域での相関値を計算すると、煙の影響により両画像の相関値は、煙が発生していないときの相関値よりも低い値を示す。これは、光を透過しないような濃い煙の場合には、領域内の模様が基準画像の領域内にある模様と変化してしまうからである。従って、算出した相関値が、あらかじめ決められた所定値よりも下回っていることを判別した場合には、その候補領域で濃い煙が発生した可能性が高いと判断することができる。ところで人間の場合にも相関値が低い値をとりやすいが、以下の抽出方法６を使用することで、煙と人間とを区別して検出することが可能となる。

なお、相関値を算出するにあたって、煙特徴量算出手段３１は、必ずしも候補領域内のすべての画素を用いる必要はない。煙特徴量算出手段３１は、輝度変化判定手段２２により、侵入物あるいは煙の発生した可能性が高い画素として「１」にマッピングされた画素のみを対象に、相関値を算出してもよい。

[抽出方法６：エッジ強度の値に基づく煙検出]
候補領域内で煙が発生した場合には、その煙の影響で、画像内のエッジ強度が弱まることが考えられる。そこで、このエッジ強度の値に基づいて、候補領域で煙が発生した可能性が高いか否かを判断することができる。なお、この抽出方法６で用いるエッジ強度とは、例えば、周知技術であるｓｏｂｅｌフィルタを用いて画素ごとに算出することができる値のことである。この抽出方法６においては、エッジ強度に基づいて、煙に関する特徴量として、第１の判定値および第２の判定値を算出しており、これらの判定値について、以下に説明する。

まず始めに、第１の判定値について説明する。図６は、本発明の実施の形態１における煙特徴量算出手段３１で実施されるエッジ強度の値に基づく第１の判定値の算出に関する説明図である。図６（ａ）は、煙が発生していない正常な状態として、あらかじめ画像メモリ１０に記憶しておいた基準画像である。

これに対して、図６（ｂ１）は侵入物として人間が存在する際に撮像された最新の画像、図６（ｂ２）は侵入物として煙が発生した際に撮像された最新の画像である。また、図６（ｃ１）は図６（ａ）と図６（ｂ１）のそれぞれの画像のエッジ強度の差分を求めた画像、図６（ｃ２）は図６（ａ）と図６（ｂ２）のそれぞれの画像のエッジ強度の差分を求めた画像である。

それぞれの図において、図の窓ガラスの左下側の四角で囲まれた部分が、１つの候補領域に相当する。煙特徴量算出手段３１は、第１の判定値として、図６（ｃ１）あるいは図６（ｃ２）に示したように、基準画像のエッジ強度と最新の画像のエッジ強度との差分を算出する。なお、候補領域内でのエッジ強度として、煙特徴量算出手段３１は、候補領域内で求められたエッジ強度の平均値を用いることができる。

ここで、画像を逐次取り込むタイミングである１フレームを約３３ｍｓとし、１サイクルを１２８フレーム分の画像を取り込む間隔とし、１サイクル（約４．２ｓ）ごとに最新の画像を更新していく場合を考える。この場合、図示していないが、侵入物が存在しない場合には、候補領域内で求められた、最新画像と基準画像とのエッジ強度の差分の平均値は、ゼロ相当のかなり低い値となる。

これに対して、図６（ｃ１）に示したように、人間が存在する場合には、エッジ強度が局部的に大きく変化するため、候補領域内で求められたエッジ強度の差分の平均値としては、所定の範囲を超える値になる。

一方、図６（ｃ２）に示したように、煙が発生した場合には、煙の影響によりエッジ強度が低下し、候補領域内で求められたエッジ強度の差分の平均値としては、人間のような侵入物が存在しない場合よりも大きく、人間が存在する場合よりも小さい所定の範囲内に収まる。

そこで、煙特徴量算出手段３１は、１サイクルが経過するごとに、候補領域内で求められたエッジ強度の差分の平均値を求め、連続して所定サイクルの間、求めた平均値が所定の範囲内に収まっている場合には、その候補領域で煙が発生した可能性が高いと判断できる。

次に、第２の判定値について説明する。図７は、本発明の実施の形態１における煙特徴量算出手段３１で実施されるエッジ強度の値に基づく第２の判定値の算出に関する説明図である。図７（ａ）は、１サイクル前の最新画像である。

これに対して、図７（ｂ１）は侵入物として人間が存在する際に撮像された最新の画像、図７（ｂ２）は侵入物として煙が発生した際に撮像された最新の画像である。また、図７（ｃ１）は図７（ａ）と図７（ｂ１）のそれぞれの画像の差分画像に対してエッジ強度を求めた画像、図７（ｃ２）は図７（ａ）と図７（ｂ２）のそれぞれの画像の差分画像に対してエッジ強度を求めた画像である。

先に説明した第１の判定値は、基準画像と最新の画像を用いて、両画像のエッジ強度の差分により算出される。これに対して、第２の判定値は、基準画像は用いることなく、１サイクル隔てた２つの画像の差分（画像）のエッジ強度により算出される。

それぞれの図において、四角で囲まれた部分が、１つの候補領域に相当する。煙特徴量算出手段３１は、第２の判定値として、図７（ｃ１）あるいは図７（ｃ２）に示したように、１サイクル前の最新の画像と、現在のサイクルの最新の画像の差分画像を求め、その差分画像のエッジ強度を算出する。なお、候補領域内でのエッジ強度として、煙特徴量算出手段３１は、候補領域内で求められたエッジ強度の平均値を用いることができる。

１サイクルごとに最新の画像を更新していく場合を考える。この場合、図示していないが、侵入物が存在しない場合には、候補領域内で求められた差分画像のエッジ強度の平均値は、ゼロ相当のかなり低い値となる。

これに対して、図７（ｃ１）に示したように、人間が存在する場合には、エッジ強度が局部的に大きく変化するため、候補領域内で求められた差分画像のエッジ強度の平均値としては、所定の範囲を超える値になる。

一方、図７（ｃ２）に示したように、煙が発生した場合には、差分画像として窓ガラスの一部が残るから、煙の影響によりエッジ強度が低下し、候補領域内で求められた差分画像のエッジ強度の平均値としては、人間のような侵入物が存在しない場合よりも大きく、人間が存在する場合よりも小さい所定の範囲内に収まる。

そこで、煙特徴量算出手段３１は、１サイクルが経過するごとに、そのサイクルの前後の画像に基づいて、候補領域内で求められた差分画像のエッジ強度の平均値を第２の判定値として求め、求めた平均値が所定の範囲内に収まっている場合には、候補領域で煙が発生した可能性が高いと判断できる。

最終的に、煙特徴量算出手段３１は、第１の判定値および第２の判定値の少なくとも１つが、所定の範囲内に収まることで、候補領域で煙が発生した可能性が高いと判断できる。あるいは、煙特徴量算出手段３１は、第１の判定値および第２の判定値の両方が、所定の範囲内に収まることで、候補領域で煙が発生した可能性が高いと判断することもできる。なお、第１の判定値の判断に用いられる所定の範囲と、第２の判定値の判断に用いられる所定の範囲とは、適切な値として別々に設定することが可能である。なお、判定値としてエッジ強度の差分の平均値を求めるようにしたが、これ以外にも、例えば、所定値以上のエッジの平均値またはピーク値を求めるようにしてもよい。ここで、エッジを利用して特徴量を求めることについて言及する。緩慢煙、特に濃い緩慢拡散煙では、移動物体内部のエッジが微弱であるため、エッジ強度が弱くなるが、人物は移動物体内部のエッジが比較的強い場合が多い。また、やや薄い煙では、半透明のため背景のエッジを弱めるという特徴を持つが、人物部分は背景よりもエッジが強くなることが多い。さらに時間的にみると、緩慢煙の場合は、天井付近に停滞するという特性から連続的なエッジの強度の減少が起こるが、人物の場合は変動するため連続的なエッジの強度の減少が起こりにくい。以上のことからサイクル毎に、そのエッジ強度の差分値を演算し、その値が所定範囲に収まる場合には、人間ではなく煙であると判定できる。

ステップ２：マッピング手段３２の機能について
マッピング手段３２は、煙特徴量算出手段３１による６種類の抽出方法１〜６による抽出結果に基づいて、煙判定を詳細に行うべき候補領域ごとのマッピングを行う。例えば、マッピング手段３２は、６種類の抽出方法１〜６のいずれか１つ以上の方法で煙が発生した可能性が高いと判断された領域を「１」に、それ以外の領域を「０」に設定することができる。

また、別のマッピング方法として、マッピング手段３２は、２種類以上の複数の抽出方法により煙が発生した可能性が高いと判断された領域を「１」に、それ以外の領域を「０」に設定することができる。あるいは、６種類の抽出方法１〜６の特定の組合せにより、その組合せで共通して煙が発生した可能性が高いと判断された領域を「１」に、それ以外の領域を「０」に設定することができる。特に、緩慢拡散煙を検出するに当たっては、その検出に適した抽出方法５、６の結果を重視してマッピングすることが考えられる。

図８は、本発明の実施の形態１におけるマッピング手段３２により出力されるマッピング結果を示す図である。先の図４で示した候補領域に対して煙に関する特徴量を算出することで、この図８に示したように、候補領域の中から煙が発生した可能性が高い領域を選別することができる。この図８では、扉部分の候補領域（図４参照）は、画像内を通過する通行人等の侵入物の存在によって抽出された領域であって、煙が発生した可能性が低いと判断され、窓の下の３つの候補領域（図４参照）のうちの３つの領域とも、煙が発生した可能性が高いと判断された場合を示している。

ステップ３：煙判定手段３３の機能
マッピング手段３２によりマッピングされた１画面分の各領域のデータに基づいて、煙判定手段３３は、「１」としてマッピングされた（候補）領域が、ある所定の領域数にまたがって、所定期間継続して検出されるか否かを判断する。例えば、煙判定手段３３は、縦方向あるいは横方向にｎ（ｎは２以上の整数）以上の領域がマッピング手段３２により「１」としてマッピングされ、かつ過去から現在にかけて順次撮像された時系列の画面にｍ（ｍは２以上の整数）回以上連続して、その連結領域が検出された場合に、煙が発生していると最終的に判断することができる。

次に、図１の構成を備えた本発明の煙検出装置の全体処理の流れを、フローチャートに基づいて説明する。図９は、本発明の実施の形態１における煙検出装置の全体処理の流れを示すフローチャートである。

まず、ステップＳ９０１において、輝度ヒストグラム作成手段２１は、画像メモリ１０内に記憶された複数の時系列の画像データに基づいて、所定の画素ごとに輝度ヒストグラムを生成する（図２（ａ）（ｂ）参照）。次に、ステップＳ９０２において、輝度変化判定手段２２は、生成された輝度ヒストグラムに基づいて、侵入物あるいは煙の発生により新たに生じた輝度値の存在の有無を検出し、侵入物あるいは煙の発生した可能性が高い画素をマッピング出力する（図３（ｂ）参照）。

次に、ステップＳ９０３において、検出候補領域特定手段２３は、あらかじめ分割されたエリアごとに、侵入物あるいは煙の発生した可能性が高いとしてマッピングされた画素の比率が、所定値以上あるかないかを判断し、煙検出を行うべき候補領域を特定する（図４参照）。なお、このステップＳ９０３において、上述したような前処理１〜３を行うことも可能である。

以上のステップＳ９０１〜Ｓ９０３は、煙検出エリア選択部２０による一連の処理である。このように、煙検出エリア選択部２０により特定された煙検出を行うべき候補領域に対してのみ、ステップＳ９０４以降で、煙発生検出部３０による煙検出処理が行われることとなる。このため、画像全体を処理する場合に比べ、演算量を減らすことができる。

ステップＳ９０４において、煙特徴量算出手段３１は、煙検出を行うべき候補領域として特定されたエリアのみ、上述した抽出方法１〜６を用いて、煙に関する特徴量を算出する。次に、ステップＳ９０５において、抽出方法１〜６の結果に基づいて、マッピング手段３２は、煙が発生した可能性が高い領域をマッピング出力する（図８参照）。

次に、ステップＳ９０６において、煙判定手段３３は、マッピング手段３２による分割領域のマッピング結果の時間的分布、空間的分布に基づいて、最終的に煙が発生したエリアを特定する。

このような一連の処理を行うことにより、煙発生検出部３０は、過去一定期間分の輝度ヒストグラムの算出結果から煙検出エリア選択部２０により特定された煙検出を詳細に行うべき候補領域に対してのみ、煙に関する特徴量を抽出することで、効率よく煙発生の有無を判断することができる。この結果、外乱の影響を抑えた上で、高感度に煙検出を行うことができる。また、特に煙特徴量抽出手段３１として、６つの抽出方法を組み合わせることで、人間や照明などの誤報源となりうるものを排除して、画像から煙だけを検出することが可能となる。特に抽出方法５によれば、照明光の変化と煙とを識別して検出でき、抽出方法６によれば、人間と煙とを識別して検出することができる。

以上のように、実施の形態１によれば、時系列で取り込まれた複数の画像から、所定の画素ごとに、過去一定期間内の輝度のヒストグラムを算出する構成を備えている。この結果、侵入物あるいは煙の発生により新たに生じた輝度値の存在の有無を、容易に検出することができ、外乱の影響を抑えた上で、高感度に煙検出を行うことのできる煙検出装置を得ることができる。

特に、発生前の輝度分布と発生後の輝度分布の輝度差がわずかである場合にも、過去一定期間内の複数の画像に基づく画素ごとに輝度のヒストグラムを求めているため、新たに生じた輝度値の存在を高精度に識別できる。

さらに、新たに生じた輝度値の存在が検出された候補領域にしぼって、煙検出を行うことにより、計算負荷を軽減した上で、誤検出を防止した高精度の煙検出を行うことができる。

さらに、煙検出を行うための特徴量として、複数の特徴量を求め、複数の特徴量に基づく個別の判断結果の特定の組合せにより、その候補領域において煙が発生した可能性が高いか否かを判断することができ、さらなる検出精度の向上を図ることができる。また、煙に関する特徴量の算出に当たって、上述した抽出方法１〜３は、抽出方法４〜６と異なり、基準画像をあらかじめ記憶しておく必要がない。従って、抽出方法４〜６を用いずに特徴量を求める場合には、基準画像が不要となるメリットも得られる。

さらに、煙が特定の領域に広がる特性を利用して、煙が発生した可能性が高いとしてマッピングされた領域が、ある所定の領域数にまたがって、所定期間継続して検出された場合に煙が発生したと判定する煙判定手段を備えている。この結果、誤検出を抑制し、安定した高精度の煙検出を実現できる。特に、抽出方法５、６を用いることで、緩慢拡散煙を高精度に検出することができる。

本発明は、以上のように構成されるので、過去の複数枚の画像から輝度のヒストグラムを算出し、確率の小さい輝度を侵入物として検出するので、輝度差の少ない煙でも高感度に領域抽出をすることができ、また、照明変化などの影響も吸収することができる。また、画素毎にヒストグラムを計算することは、記憶量、計算量ともに膨大であるため、隣接する画素間でヒストグラムを共有させることによって、計算量を減少させた。

本発明では、一枚の画像を縦７＊横１０の領域に分割して、各領域での煙の特徴量を演算するようにしたが、図１０に示すように領域を分割するようにしてもよい。図１０は、一つの領域の大きさ自体は、図３の領域と同じであるが、画面における領域の設定の仕方を変えたものである。図１０では、隣り合う領域同士が縦方向も横方向も、それぞれ領域が１／２ずつ重なりをもつように領域が設定されている。つまり、図３における一つの領域が、実質的には、９つの領域によって、カバーされることになり、一つの画像をより細かく領域設定することができ、煙検出の精度をより高めることが可能となる。このような領域分割をすることによって、領域のつなぎ目の検出が不安定にならないようにすることができる。なお、この場合には、最終の煙の有無の判定は、図３の領域の１／４の大きさのマス目が、どれだけマッピングされたかにより煙判定を行うようにすればよい。

１ カメラ、１０ 画像メモリ、２０ 煙検出エリア選択部、２１ 輝度ヒストグラム作成手段、２２ 輝度変化判定手段、２３ 検出候補領域特定手段、３０ 煙発生検出部、３１ 煙特徴量算出手段、３２ マッピング手段、３３ 煙判定手段。

Claims (1)

1. 監視カメラにより撮像された画像に対して画像処理を施すことにより、煙の発生を検出する煙検出装置であって、
   前記監視カメラにより時系列で撮像された複数の画像および基準画像を記憶する画像メモリと、
   煙が発生する候補領域として特定された煙検出エリアにおいて、前記監視カメラにより撮像された最新の画像と、該最新の画像よりも前に撮像された画像とにおいて、両画像の差分画像のエッジ強度の総和又は両画像のそれぞれのエッジ強度との差分の総和を判定値として算出し、前記判定値と所定範囲との比較結果に基づいて煙が発生した可能性が高いか否かを判断する煙特徴量算出手段と
   を備え、
   前記煙特徴量算出手段は、
   煙が発生する候補領域として特定された煙検出エリアにおいて、前記監視カメラにより撮像された最新の画像のエッジ強度と、前記基準画像のエッジ強度との差分の総和値を第１の判定値として算出するとともに、前記最新の画像と前回撮像された画像との差分画像のエッジ強度の総和を第２の判定値として算出し、前記第１の判定値と第１所定範囲との比較結果、および前記第２の判定値と第２所定範囲との比較結果に基づいて煙が発生した可能性が高いか否かを判断する
   ことを特徴とする煙検出装置。

Images