JP2018055151A - 炎検出装置及びプログラム - Google Patents

Abstract

【課題】同じ場所で揺らいでいる動体と炎とを識別し、より正確な炎の検出を可能とする炎検出装置を提供する。【解決手段】炎検出装置は、撮影画像に基づいて炎を検出するものであり、撮影画像を取得し、撮影画像に含まれる対象物の動きを示すベクトルを抽出する。そして、ベクトルに基づいて、対象物が膨張又は収縮している場合に、その対象物を炎と判定する。【選択図】図５

Description

本発明は、撮影画像に含まれる炎の部分を検出する技術に関する。

カメラによる撮影画像に基づいて火災を検出する技術が知られている。例えば、特許文献１は、カメラで撮影されたビデオ映像から色情報と揺らぎ情報と使って炎色の動体を検出し、その候補から炎特有の動きがあるかを計測することで本物の炎か炎以外の動体かを識別している。

特開２００２−３２８７２号公報

特許文献１の手法は、動体は同じ場所に長時間留まらないという前提条件を利用して炎の判別を行っている。このため、炎以外の高輝度の物体が同じ場所で揺らいでいる場合、例えば赤い旗が風で揺れている場合などには、これを誤って炎と判定してしまう恐れがある。

本発明は、同じ場所で揺らいでいる動体と炎とを識別することにより、より正確な炎の検出を可能とする炎検出装置を提供することを主な目的とする。

本発明の１つの観点では、炎検出装置は、撮影画像を取得する画像取得手段と、前記撮影画像に含まれる対象物の動きを示すベクトルを抽出するベクトル抽出手段と、前記ベクトルに基づいて、前記対象物が膨張又は収縮している場合に、当該対象物を炎と判定する判定手段と、を備える。

上記の炎検出装置は、撮影画像に基づいて炎を検出するものであり、撮影画像を取得し、撮影画像に含まれる対象物の動きを示すベクトルを抽出する。このベクトル抽出は、例えばオプティカルフロー法などにより行われる。そして、抽出されたベクトルに基づいて、対象物が膨張又は収縮している場合に、その対象物を炎と判定する。炎は特有の動きとして膨張収縮運動を行うので、対象物が膨張／収縮しているか否かに基づいて判定を行うことにより、正確な炎検出が可能となる。

上記の炎検出装置の一態様では、前記判定手段は、前記対象物の中心部と、前記ベクトルとのなす角度に基づいて判定を行う。この態様では、対象物の中心部とベクトルとのなす角度に基づいて膨張収縮運動を検出して炎判定を行う。なお、対象物の中心部とは、対象物の重心及び中心を含む概念である。１つの好適な例では、前記判定手段は、前記角度の分布が０度及び１８０度付近に偏っている場合に、前記対象物を炎と判定する。

上記の炎検出装置の他の一態様では、前記ベクトル抽出手段は、複数の撮影画像に基づいて、前記対象物を構成する複数の画素の移動ベクトルを抽出し、前記判定手段は、前記複数の撮影画像毎に前記対象物の中心部を決定することを特徴とする。この態様では、複数の撮影画像毎に対象物の中心部を求めて判定を行う。

上記の炎検出装置の他の一態様では、前記判定手段は、前記ベクトルの方向が３６０度に均等に分散している場合に、前記対象物を炎と判定する。この態様では、抽出されたベクトルの方向に基づいて炎判定を行う。

好適な実施例では、前記撮影画像を生成する撮影手段と、上記の炎検出装置と、を備えるカメラを構成することができる。

本発明の他の観点では、コンピュータを備える炎検出装置により実行されるプログラムは、撮影画像を取得する画像取得手段、前記撮影画像に含まれる対象物の動きを示すベクトルを抽出するベクトル抽出手段、前記ベクトルに基づいて、前記対象物が膨張又は収縮している場合に、当該対象物を炎と判定する判定手段、として前記コンピュータを機能させる。このプログラムをコンピュータで実行することにより、上記の炎検出装置を実現することができる。

実施形態に係る炎検出装置の構成を示すブロック図である。 炎検出処理のフローチャートである。 揺らぎピクセルの抽出方法を模式的に示す。 炎色領域累積処理を示す。 炎判定処理のフローチャートである。 炎と炎でない物体の移動ベクトルの例を示す。 ベクトル方向角を説明する図である。 炎判定の具体例を説明する図である。 膨張収縮する炎の移動ベクトルの例を示す。

以下、図面を参照しながら、本発明の実施の形態について説明する。
［構成］
図１は、本発明の実施形態に係る炎検出装置１０の構成を示すブロック図である。炎検出装置１０は、撮影画像から炎を検出する装置であり、外部のカメラ５による撮影画像が入力される。炎検出装置１０は、典型的にはＰＣなどのコンピュータ装置により構成され、インタフェース（Ｉ／Ｆ）１１と、記憶部１２と、判定部１３と、背景モデルデータベース（ＤＢ）１４と、炎色モデルＤＢ１５と、表示部１６と、入力部１６と、スピーカ１８とを備える。なお、これらの構成要素は、バス１９を介して接続されている。

カメラ５からは、インタフェース１１を通じて撮影画像が入力される。記憶部１２は、メモリなどにより構成され、カメラ５から入力された撮影画像を一時的に記憶する。また、記憶部１２は、後述する判定処理のためのプログラムを記憶し、炎検出処理の実行中には作業メモリとしても機能する。

判定部１３は、カメラ５から入力された撮影画像を解析することにより、撮影画像に含まれる炎を検出する。なお、撮影画像は複数のフレーム画像からなる動画である。判定部１３により実行される炎検出処理については後述する。

背景モデルＤＢ１４は、撮影画像から動体を抽出するために使用される背景モデルを記憶している。具体的には、背景モデルＤＢ１４には、複数のフレーム画像間で動きのない背景画像のモデルが蓄積されている。

炎色モデルＤＢ１５は、炎に相当する色を示すデータが記憶されている。具体的には、各種の炎の色データをＬＡＢ変換して学習することにより、炎に相当する色をＬＡＢ色空間における座標で示したルックアップテーブルが記憶されている。

表示部１６は、例えば液晶ディスプレイなどにより構成され、監視中に撮影画像が表示される他、判定部１３が炎を検出したときにはその旨の警告などが表示される。入力部１７は、キーボード、マウスなどであり、監視を行う者などにより操作される。スピーカ１８は、判定部１３が炎を検出したときに警告音などを出力する。

上記の構成において、インタフェース１１は本発明の画像取得手段の一例であり、判定部１３は本発明のベクトル抽出手段及び判定手段の一例であり、カメラ５は本発明における撮影手段の一例である。

［炎検出処理］
次に、炎検出装置１０により行われる炎検出処理について説明する。図２は、炎検出処理のフローチャートである。この処理は、主として炎検出装置１０の判定部１３が予め用意されたプログラムを実行することにより実現される。

まず、判定部１３は、背景差分法を用いて背景差分処理を行う（ステップＳ１１）。具体的には、判定部１３は、背景モデルＤＢ１４に記憶されている背景モデルを参照することにより、カメラ５から入力された撮影画像における背景領域を特定し、背景領域分以外の部分を差分処理により動体領域として抽出する。その際、判定部１３は、入力された撮影画像に基づいて背景モデルＤＢ１４内に記憶されている背景モデルを適宜更新しながら動体領域の抽出を行う。これにより、撮影画像に含まれる対象物のうち、炎の可能性のある動体領域が抽出される。

次に、判定部１３は、色ベース分類処理を行う（ステップＳ１２）。色ベース分類処理は、色情報に基づいて炎の領域を抽出する処理である。具体的に判定部１３は、例えばＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）などの機械学習手法を用い、炎色モデルＤＢ１５に記憶されている炎色モデルを参照して、撮影画像に含まれる炎色領域を抽出する。この際、判定部１３は、背景差分処理により得られた動体領域における炎色領域を抽出する。これにより、背景差分処理により得られた動体領域のうち、炎の可能性が高い領域が抽出される。

次に、判定部１３は、揺らぎ測定処理を行う（ステップＳ１３）。具体的には、判定部１３は、色ベース分類処理により抽出された炎色領域において、フレーム画像間で色が変わった部分を揺らぎピクセルとして抽出する。図３は、揺らぎピクセルの抽出方法を模式的に示す。図３に示すように、（ｉ−１）番目フレームとｉ番目フレームとの差分を取ることにより、（ｉ−１）番目フレームでは炎色でなかった（非炎色）がｉ番目フレームで炎色になったピクセル、及び、（ｉ−１）番目フレームで炎色であったがｉ番目フレームでは炎色でなくなった（非炎色）ピクセルが抽出される。このような、炎色と非炎色との変化の頻度が所定の閾値を超えたピクセルを揺らぎピクセルとして抽出する。そして、判定部１３は、揺らぎピクセルを複数フレーム分累積して揺らぎ累積画像を生成する。この揺らぎ累積画像は、揺らぎピクセルの位置を示す画像であり、炎の周辺部（輪郭部）の形状を示す画像となる。具体的には、判定部１３は、各フレームの炎色ピクセルの輝度を２値化して揺らぎ領域バイナリ画像を生成し、揺らぎ領域バイナリ画像を複数フレーム分累積して揺らぎ累積グレースケール画像を生成する。

次に、判定部１３は、炎色領域累積処理を行う（ステップＳ１４）。この処理は、色ベース分類処理により得られた炎色領域の画像を複数フレーム分累積することにより、炎色累積画像を生成する。炎色累積画像は、炎の全体形状を示す画像となり、特に炎の中心部に相当する領域ほど輝度が高い画像となる。図４は、炎色領域累積処理の例を示す。判定部１３は各フレームの炎色ピクセルの輝度を２値化して炎色領域バイナリ画像を生成し、炎色領域バイナリ画像を複数フレーム分累積して炎色累積グレースケール画像を生成する。

次に、判定部１３は、炎候補領域選出処理を行う（ステップＳ１５）。この処理は、ステップＳ１３で得られた揺らぎ累積グレースケール画像と、ステップＳ１４で得られた炎色累積グレースケール画像とに基づいて、炎候補領域を決定する処理である。１つの方法では、判定部１３は、図４に示すように、炎色累積グレースケール画像に含まれるピクセルのうち、所定の閾値（図４の例では「４」）を超えるピクセルを内包する矩形領域を炎候補領域と決定する。そして、決定された炎候補領域の輪郭を、揺らぎ累積グレースケール画像に基づいて必要に応じて補正する。他の方法では、判定部１３は、炎色累積グレースケール画像と揺らぎ累積グレースケール画像を合成して合成累積グレースケール画像を生成し、それに含まれるピクセルのうち所定の閾値を超えるピクセルを内包する矩形を炎候補領域と決定する。こうして、判定部１３は、撮影画像から炎候補領域を決定する。

次に、判定部１３は、炎判定処理を行う（ステップＳ１６）。炎判定処理は、ステップＳ１５で選出された炎候補領域が炎であるか否かを判定する処理である。ここで、本実施形態では、炎特有の動き、具体的には炎の膨張収縮運動（炎のブレス）に着目して判定を行う。より具体的には、炎の膨張収縮運動を、オプティカルフローを使った移動ベクトルで表し、炎の中心部とのなす角をに基づいて炎であるか否かを判定する。

図５は、炎判定処理のフローチャートを示す。まず、判定部１３は、ステップＳ１５で選出された炎候補領域内の炎色領域を抽出する（ステップＳ２０）。次に、判定部１３は、オプティカルフロー法を利用して、前後するフレーム間の移動ベクトルを取得する（ステップＳ２１）。図６（Ａ）は、異なる時点において炎候補領域を構成する各画素の移動ベクトルの例を示す。炎は膨張／収縮を繰り返すため、炎の周辺部には基本的に炎の中心部から全方向に外側へ向かう移動ベクトルと、外側から炎の中心部に向かう移動ベクトルとが生じる。従って、炎候補領域の移動ベクトルが、炎の中心部から外側へ向かうベクトル及び外側から炎の中心部へ集まるようなベクトルを多く含んでいれば、それを炎の膨張収縮運動であると推定することができ、その炎候補領域を炎であると判定することができる。

これに対し、例えば輝度の高い色を有する旗など、炎以外の動体は特定の方向に平行移動することが多いため、図６（Ｂ）に例示するように特定の方向のベクトルが多くなる。よって、炎色領域を構成する複数の点の移動ベクトルを求め、その傾向を分析することにより、炎であるか否かの判定が可能となる。

具体的には、図７に示すように、判定部１３はステップＳ２１で求めた複数の移動ベクトルの各々について、炎色領域の重心の方向と、移動ベクトルとがなす角度（以下、「ベクトル方向角」と呼ぶ。）を算出する（ステップＳ２２）。これにより、各フレームについて、炎色領域内のベクトルの数だけベクトル方向角が得られる。

次に、判定部１３は、複数フレームについて、ベクトル方向角の分布を集計する（ステップＳ２３）。図８（Ａ）は、集計により得られたベクトル方向角の分布例を示す。前述のように炎は膨張収縮運動するので、炎候補領域内の炎色領域が炎である場合、ベクトル方向角は０度又は１８０度付近に偏った分布となる。これに対して、炎候補領域内の炎色領域が炎以外の動体である場合、ベクトル方向角はある特定の方向に偏った分布となる。よって、判定部１３は、ベクトル方向角の分布に基づいて炎であるか否かの判定を行う。

即ち、判定部１３は、図８（Ａ）に示すように、ベクトル方向角の分布が０度又は１８０度付近に偏っているか否かを判定する（ステップＳ２４）。ベクトル方向角が０度又は１８０度に偏っている場合（ステップＳ２４：Ｙｅｓ）、判定部１３はその炎色領域を炎であると判定する（ステップＳ２５）。一方、ベクトル方向角が０度又は１８０度に偏っていない場合（ステップＳ２４：Ｎｏ）、判定部１３はその炎色領域を炎でないと判定する（ステップＳ２６）。

ステップＳ２４における判定の１つの具体例では、判定部１３は、図８（Ａ）に示すようなベクトル方向角の分布を示すグラフを２次曲線とみなして近似式を算出して判定を行う。具体的には、図８（Ａ）の横軸に沿って括弧で示すように、０度から１８０度を２０度毎の１０段階の数値で表現し、ベクトル方向角の分布を示す２次曲線の近似式（ｙ＝ａｘ^２＋ｂｘ＋ｃ）を求める。炎色領域が炎である場合、ベクトル方向角の分布を示す２次曲線は図８（Ａ）に示すように下に凸であり、かつ、その頂点は横軸（０〜１８０度）の中央付近に位置するはずである。よって、判定部１３は、まず得られた近似式の係数「ａ」がａ＞０であり、かつ、２次曲線の頂点のＸ座標がＸ軸の中央付近であるか否かを判定する。例えば、図８（Ｂ）に示すように、判定部１３は、近似式の係数ａが所定の閾値ａ＞ａ１（＞０）であり、かつ、頂点のＸ座標ｘ_ａｐが所定の閾値ｘ１＜ｘ_ａｐ＜ｘ２であるときに、炎色領域を炎であると判定する。

以上のようにして炎判定処理が終了すると、処理は図２のメインルーチンへ戻る。そして、判定部１３は、炎判定処理の結果に基づいて出力処理を行う（ステップＳ１７）。具体的に、炎判定処理により炎と判定された場合、判定部１３は表示部１６及び／又はスピーカ１８を利用して警告などを出力する。一方、炎でないと判定された場合、判定部１３は何も出力を行わないか、又は、炎でないことを示す表示／音声を出力する。こうして、炎検出処理は終了する。

以上のように、本実施形態では、炎の特有の動きである膨張収縮運動に着目して炎の検出を行う。よって、例えば赤い旗の如き同じ場所で揺らめいている動体と炎とを高精度で識別することができるようになり、炎検出の信頼性を向上させることができる。

［変形例］
（変形例１）
上記の実施形態では、炎判定処理において、炎色領域の重心の方向と移動ベクトルとのなす角をベクトル方向角としているが、重心の代わりに、炎色領域の中心の方向と移動ベクトルとのなす角をベクトル方向角としてもよい。即ち、本発明では炎色領域の重心又は中心を「中心部」とし、炎色領域の中心部の方向と移動ベクトルとのなす角をベクトル方向角として使用すればよい。

（変形例２）
上記の実施形態及び変形例１では、炎色領域の重心又は中心の方向と移動ベクトルとのなす角をベクトル方向角とし、その分布に基づいて炎判定を行っているが、その代わりに、移動ベクトルの方向に基づいて炎判定を行っても良い。図９（Ａ）は炎が膨張する場合の移動ベクトルの方向を模式的に示し、図９（Ｂ）は炎が収縮する場合の移動ベクトルの方向を模式的に示す。基本的に、炎が膨張する場合には図９（Ａ）に示すように各移動ベクトルは炎の外側へ向かうベクトルとなり、炎が収縮する場合には図９（Ｂ）に示すように各移動ベクトルは炎の中心へ向かうベクトルとなる。即ち、炎が膨張する場合も収縮する場合も、移動ベクトルの方向は全周囲（３６０度）にほぼ均等に分布すると考えられる。そこで、炎判定処理では、炎候補領域の炎色領域内の移動ベクトルの方向を集計し、その分布が３６０度の方向にほぼ均等に分散している場合に、その炎色領域を炎と判定することとしてもよい。

（変形例３）
上記の実施形態では、炎検出装置１０をＰＣなどにより構成し、外部のカメラ５からの撮影画像を供給している。他の構成例では、炎検出装置１０を小型化してカメラ５に内蔵し、炎検出機能付きのカメラとして構成してもよい。さらに他の構成例では、ネットワークを通じて炎検出装置１０による検出結果をサーバ装置へ送信し、サーバ装置で統括制御するシステムを構築しても良い。さらに他の構成例では、炎検出装置１０をサーバ装置として構成してよい。この場合には、ネットワークを通じてカメラ５からの撮影画像をサーバ装置へ送信し、サーバ装置が炎検出処理を実行して炎を検出する。これにより、複数のカメラを監視場所ごとに設けて撮影画像をサーバ装置へ送信し、サーバ装置で多数の場所を同時に監視するシステムを構築することができる。

５ カメラ
１０ 炎検出装置
１２ 記憶部
１３ 判定部
１４ 背景モデルデータベース
１５ 炎色モデルデータベース

Claims (7)

1. 撮影画像を取得する画像取得手段と、
   前記撮影画像に含まれる対象物の動きを示すベクトルを抽出するベクトル抽出手段と、
   前記ベクトルに基づいて、前記対象物が膨張又は収縮している場合に、当該対象物を炎と判定する判定手段と、
   を備えることを特徴とする炎検出装置。
2. 前記判定手段は、前記対象物の中心部と、前記ベクトルとのなす角度に基づいて判定を行うことを特徴とする請求項１に記載の炎検出装置。
3. 前記判定手段は、前記角度の分布が０度及び１８０度付近に偏っている場合に、前記対象物を炎と判定することを特徴とする請求項２に記載の炎検出装置。
4. 前記ベクトル抽出手段は、複数の撮影画像に基づいて、前記対象物を構成する複数の画素の移動ベクトルを抽出し、
   前記判定手段は、前記複数の撮影画像毎に前記対象物の中心部を決定することを特徴とする請求項２に記載の炎検出装置。
5. 前記判定手段は、前記ベクトルの方向が３６０度に均等に分散している場合に、前記対象物を炎と判定することを特徴とする請求項２に記載の炎検出装置。
6. 前記撮影画像を生成する撮影手段と、
   請求項１乃至５に記載の炎検出装置と、
   を備えることを特徴とするカメラ。
7. コンピュータを備える炎検出装置により実行されるプログラムであって、
   撮影画像を取得する画像取得手段、
   前記撮影画像に含まれる対象物の動きを示すベクトルを抽出するベクトル抽出手段、
   前記ベクトルに基づいて、前記対象物が膨張又は収縮している場合に、当該対象物を炎と判定する判定手段、
   として前記コンピュータを機能させることを特徴とするプログラム。