JP7170574B2 - 異常検出装置 - Google Patents

Description

本発明は、定常状態とは異なる異常状態を、画像処理を利用して検出する異常検出装置に関する。

画像処理技術を応用し、監視カメラが撮像した監視領域の中から、人工光源を省いて炎の領域だけを抽出できる従来の火災検出装置がある（例えば、特許文献１参照）。このような火災検出装置は、炎が発生した状態を、定常状態とは異なる異常状態として検出する異常検出装置に相当する。

特許文献１に係る従来装置は、監視領域を撮影する撮影手段と、撮影手段により撮影された画像を格納するための画像メモリとを備え、画像メモリに格納された画像を処理することにより火災を検出する。より具体的には、この従来装置は、画像から火災らしい領域を抽出する火災候補領域抽出手段と、火災らしい領域の周辺の火災周辺領域に、黒煙が発生しているか否かを検出する黒煙検出手段と、黒煙検出手段が黒煙を検出した時に、火災らしい領域が本当の火災領域であると判別する火災判別手段とを備えている。

そして、黒煙検出手段は、火災周辺領域における輝度値の低い領域の面積を演算する特徴量演算手段から構成される。このような構成を備えることで、従来装置は、所定値以上の明度を有する領域を火災らしい領域として抽出し、その火災らしい領域の周辺の火災周辺領域の明度が所定値以下の時に、この火災周辺領域に黒煙が発生していると検出している。そして、従来装置は、最終的に、黒煙が発生している場合には、その火災らしい領域が本当の火災領域であると判別している。

特開平１０－２６９４７１号公報

しかしながら、従来技術には、以下のような課題がある。
特許文献１に係る従来技術は、所定値以上の明度を有する領域を火災らしい領域として抽出し、その火災らしい領域の周辺を火災周辺領域として特定している。しかしながら、火災らしい領域を特定した後に、火災周辺領域を特定する２段階処理では、１段階目において、誤報源によって、火災らしい領域を特定してしまうおそれがある。

ここで、監視領域としてトンネルを想定し、かつ、トンネル内の車がヘッドライトを点灯した状態で渋滞に巻き込まれている場合を考える。この場合、ヘッドライトの移動に伴う画像変化を、火災らしい領域として誤検出するおそれが考えられる。すなわち、炎以外の誤報源に相当するヘッドライトにより、高輝度領域が変化する状態を、火災らしい領域として特定してしまうおそれが考えられる。

この結果、渋滞の影響で車が通常よりも遅いスピードで移動しているだけであり、定常状態であるにもかかわらず、炎が発生した異常状態として誤検出してしまうおそれがあった。従って、定常状態において発生しうる画像変化を、異常状態として誤検出してしまうことを抑制し、画像処理技術を用いて高精度に異常状態を検出することが望まれている。

本発明は、前記のような課題を解決するためになされたものであり、定常状態において発生しうる画像変化にもかかわらず、異常状態であると誤検出してしまうことを抑制する異常検出装置を得ることを目的とする。

本発明に係る異常検出装置は、撮像素子により撮像された監視対象領域の画像に対して画像処理を施すことにより、定常状態とは異なる異常状態の検出を行う検出部を備えた異常検出装置であって、検出部は、検出すべき異常状態が発生していない状態で撮像素子により撮像された複数の画像から輝度の時系列変化を算出し、輝度の時系列変化に基づいて、監視対象における輝度の流動方向を特定した基準流動方向データを作成し、異常状態の検出を行う監視時において撮像素子により撮像された複数の画像から輝度の時系列変化を算出し、算出した輝度の時系列変化に基づいて監視対象領域における輝度の流動方向を特定した監視時流動方向データを作成し、基準流動方向データと監視時流動方向データとの比較から、監視対象領域内における異常状態が発生したことを特定するものである。

本発明によれば、定常状態において発生しうる画像変化にもかかわらず、異常状態であると誤検出してしまうことを抑制する異常検出装置を得ることができる。

本発明の実施の形態１における異常検出装置の構成図である。 本発明の実施の形態１に係る炎検出部において実行される流動方向の検出処理に関する説明図である。 本発明の実施の形態１に係る炎検出部において実行される、定常状態における流動方向頻度分布の作成処理に関する説明図である。 本発明の実施の形態１に係る炎検出部において実行される、定常状態確率密度分布の作成処理に関する説明図である。 本発明の実施の形態１に係る炎検出部において、異常状態が発生した領域を特定する処理に関する説明図である。 本発明の実施の形態１に係る異常検出装置において、定常状態の学習結果を画像とともに示した図である。 本発明の実施の形態１に係る異常検出装置において、定常状態の流動方向確率分布を画像とともに示した図である。 本発明の実施の形態１に係る異常検出装置において、第１の異常検知結果を画像とともに示した図である。 本発明の実施の形態１に係る異常検出装置において、第２の異常検知結果を画像とともに示した図である。 本発明の実施の形態１に係る異常検出装置において、第３の異常検知結果を画像とともに示した図である。

以下、本発明の異常検出装置の好適な実施の形態につき、図面を用いて説明する。

実施の形態１．
図１は、本発明の実施の形態１における異常検出装置の構成図である。本実施の形態１における異常検出装置は、画像メモリ１０、炎検出部３０、および表示器４０を備えている。画像メモリ１０は、撮像素子に相当するカメラ１により撮像された画像を、過去一定期間分、時系列データとして記憶できるように、複数フレーム分の画像メモリとして構成されている。

また、炎検出部３０は、基準流動方向データ作成部３１、監視時流動方向データ作成部３２、および炎判定部３３を含んで構成され、カメラ１により撮像された監視対象領域の画像に対して画像処理を施す。炎検出部３０内の基準流動方向データ作成部３１は、検出すべき異常状態が発生していない状態でカメラ１により撮像された複数の画像から輝度の時系列変化を算出する。

ここで、監視対象領域とは、分割することで構成された複数の分割領域のそれぞれが、複数の画素から構成された領域として規定することができる。そして、基準流動方向データ作成部３１は、それぞれの領域ごとに、輝度の時系列変化を算出する。さらに、基準流動方向データ作成部３１は、それぞれの領域ごとに、算出した輝度の時系列変化に基づいて監視対象における輝度の流動方向を特定した基準流動方向データを作成する。

一方、炎検出部３０内の監視時流動方向データ作成部３２は、異常状態の検出を行う監視時においてカメラ１により撮像された複数の画像から輝度の時系列変化を算出する。すなわち、監視時流動方向データ作成部３２は、それぞれの領域ごとに、輝度の時系列変化を算出する。さらに、監視時流動方向データ作成部３２は、それぞれの領域ごとに、算出した輝度の時系列変化に基づいて監視対象領域における輝度の流動方向を特定した監視時流動方向データを作成する。

さらに、炎検出部３０内の炎判定部３３は、基準流動方向データ作成部３１で作成された基準流動方向データと、監視時流動方向データ作成部３２で作成された監視時流動方向データとの比較から、監視対象領域内における異常状態が発生したことを特定する。

また、表示器４０は、カメラ１により撮像された監視対象領域の画像を表示するとともに、複数の分割領域のそれぞれにおいて監視時に特定された流動方向の識別表示を行う。炎検出部３０は、監視時に特定された流動方向を、流動方向に対応付けてあらかじめ設定されたカラーチャートに従って色付けして、表示器４０に表示させることで、識別表示を行わせることが可能である。なお、カラーチャートは、既存の表色系（例えば、マンセル表色系など）に対応させることにより、画像全体の流動方向を容易に認識できるものとなっている。

このように、図１に示す構成を備えた本実施の形態１に係る異常検出装置は、交通流により生じる画像変化から定常状態を定義し、定常状態から外れた画像変化を異常状態として検出することができる。なお、定常状態の定義および異常検知には、画像変化の流動方向が用いられる。

上述したように、本実施の形態１に係る異常検出装置は、画像変化の流動方向を用いることで、異常状態を検出している点を特徴としている。そこで、本発明における流動方向データを用いた異常状態の検出原理について、まず始めに概略ステップを説明する。

＜流動方向の検出原理について＞
本実施の形態１に係る異常検出装置では、「複素正弦波変調撮像によるオプティカルフロー検出理論」という既存の技術を用いて、領域ごとに流動方向が推定される。より具体的には、以下の手順で流動方向が特定される。

ステップ１：連続フレーム画像に基づいて、画素ごとに輝度の時系列変化グラフを得る。
ステップ２：連続フレーム画像の輝度推移を示す時系列変化グラフと、三相正弦波との相関により位相画像を得る。
ステップ３：位相画像に対して空間微分を行うことで画素ごとのベクトルを求める。
ステップ４：ベクトルの時空間的安定性から流動領域を検出する。
ステップ５：流動領域中において、ベクトルの時空間平均値を算出することで、それぞれの領域における流動方向を特定する。

図２は、本発明の実施の形態１に係る炎検出部３０において実行される流動方向の検出処理に関する説明図である。図２（ａ）は、画像メモリ１０に蓄積された連続フレーム画像を示している。図２（ｂ）は、上述したステップ１により画素ごとに生成される輝度の時系列変化グラフを示している。図２（ｂ）では、３×３の各画素に関する輝度の時系列変化グラフを例示している。

さらに、図２（ｃ）は、輝度の時系列変化グラフに対して上述したステップ２～ステップ５を実行することで、３×３の画素領域において推定結果として特定された流動方向を模式的に示している。炎検出部３０は、図２に示した一連処理を実行することで、連続フレーム画像の時系列変化から、領域ごとに流動方向を特定することができる。

＜流動方向を用いた異常状態の検出処理について＞
次に、流動方向を用いた異常状態の検出処理について、詳細に説明する。図３は、本発明の実施の形態１に係る炎検出部３０において実行される、定常状態における流動方向頻度分布の作成処理に関する説明図である。図３（ａ）は、交通流映像からの流動方向収集データを示している。すなわち、図３（ａ）に示したデータは、交通流により生じる画像変化から定常状態を定義するために収集され、画像メモリ１０に蓄積されている連続フレーム画像に相当する。

図３（ｂ）は、図３（ａ）に示した流動方向収集データを複数回取得し、それぞれの取得結果に対して図２（ｃ）に示した流動方向推定結果を得ることで生成される流動方向データを示している。

図３（ｃ）は、図３（ｂ）で得られたそれぞれの流動方向推定結果を基に、横軸を流動方向［°］、縦軸を頻度として集計した流動方向頻度分布である。炎検出部３０は、図３に示した一連処理を実行することで、交通流の流動方向を学習する。そして、炎検出部３０は、学習結果として流動方向頻度分布を生成することにより、定常状態を定義する。すなわち、炎検出部３０は、定常状態を定義する学習データとして、領域ごとに、流動方向頻度分布（ヒストグラム）を生成することができる。

次に、図４は、本発明の実施の形態１に係る炎検出部３０において実行される、定常状態確率密度分布の作成処理に関する説明図である。図４（ａ）は、図３（ｃ）で示した定常状態頻度分布に相当する。図４（ｂ）は、図４（ａ）に示した定常状態頻度分布から生成される定常状態確率密度分布を示している。

炎検出部３０は、図４に示した一連処理を実行することで、学習した定常状態頻度分布から定常状態確率密度分布を特定することができる。ここで、特定された定常状態確率密度分布は、基準流動方向データに相当する。この基準流動方向データは、炎検出部３０内の基準流動方向データ作成部３１によって生成することができる。

一方、炎検出部３０は、監視時において、図２に示した一連処理を実行することで、それぞれの領域ごとに、監視時における流動方向を算出する。ここで、算出された、監視時における流動方向は、監視時流動方向データに相当する。この監視時流動方向データは、炎検出部３０内の監視時流動方向データ作成部３２によって生成することができる。

図４（ｂ）に示す観測データ１および観測データ２は、監視時において算出された流動方向を例示したものである。観測データ１として得られた流動方向は、定常状態確率密度分布における確率が、あらかじめ設定された許容確率以上の値を示している。従って、炎判定部３３は、監視時に観測データ１が得られた場合には、異常状態でないと判断することができる。

一方、観測データ２として得られた流動方向は、定常状態確率密度分布における確率が、あらかじめ設定された許容確率未満の値を示している。従って、炎判定部３３は、監視時に観測データ２が得られた場合には、異常状態であると判断することができる。

次に、図５は、本発明の実施の形態１に係る炎検出部３０において、異常状態が発生した領域を特定する処理に関する説明図である。図５に示すように、炎検出部３０内の監視時流動方向データ作成部３２は、監視時において、連続フレーム画像から、領域ごとに流動方向を推定する。

炎検出部３０内の炎判定部３３は、監視時流動方向データ作成部３２によって生成された現在の流動方向である監視時流動方向データと、基準流動方向データ作成部３１によってあらかじめ生成された基準流動方向データである定常状態の確率密度分布との比較から、あらかじめ設定された許容確率未満の値、つまり、許容確率の範囲外の値である場合、監視対象領域内における異常状態が発生した領域を特定する。

次に、本実施の形態１に係る異常検出装置による一連の画像処理結果を、具体的な撮像画像とともに、図６～図１０を用いて説明する。

図６は、本発明の実施の形態１に係る異常検出装置において、定常状態の学習結果を画像とともに示した図である。図６中に示した矢印は、定常状態として学習した流動方向頻度分布から、最大頻度を示す流動方向を、それぞれの領域ごとに描画したものである。

図７は、本発明の実施の形態１に係る異常検出装置において、定常状態の流動方向確率分布を画像とともに示した図である。図７では、□で示された１つの領域に対応する定常状態の流動方向確率分布が示されている。流動方向確率密度分布は、横軸を流動方向、縦軸を確率として表されており、この例では、最大頻度を示す流動方向が１０２°であることを示している。

図８は、本発明の実施の形態１に係る異常検出装置において、第１の異常検知結果を画像とともに示した図である。具体的には、図８では、車がトンネル内を走行していない状態で、監視領域内に煙が発生している映像に対して、本実施の形態１に係る異常検知手法を実施した結果の一例を示したものである。図８中の点線で囲われた領域は、流動方向を検知した領域、つまり異常状態の検知が有効に働いている領域を表している。さらに、図８中の矢印は、領域ごとの流動方向を表したものであり、黒色は定常状態とは異なる流動方向であるが、あらかじめ設定された許容確率の範囲内であることを表している。なお、図８中では、濃淡画像での識別を容易にするために、黒色矢印を点線矢印として表記している。

また、その他の色（点線で示した矢印以外の矢印に相当）は、あらかじめ設定された許容確率未満、つまり、許容確率の範囲外の値であり、定常状態と大きく異なる流動方向が検出され、監視領域が異常状態であることを表している。この図８に示す画像のように、車がトンネル内を走行していない状態であっても、煙が侵入することによって、定常状態と異なる流動方向を検出できるものとなっている。

図９は、本発明の実施の形態１に係る異常検出装置において、第２の異常検知結果を画像とともに示した図である。具体的には、図９では、車がトンネル内を走行している状態で、かつ監視領域内に煙が発生している映像に対して、本実施の形態１に係る異常検知手法を実施した結果の一例を示したものである。図９中の点線で囲われた領域は、流動方向を検知した領域、つまり異常状態の検知が有効に働いている領域を表している。さらに、図９中の矢印は、領域ごとの流動方向を表したものであり、黒色は定常状態とは異なる流動方向であるが、あらかじめ設定された許容確率の範囲内であることを表している。なお、図９中では、濃淡画像での識別を容易にするために、黒色矢印を点線矢印として表記している。

また、その他の色（点線で示した矢印以外の矢印に相当）はあらかじめ設定された許容確率未満、つまり、許容確率の範囲外の値であり、定常状態と大きく異なる流動方向が検出され、監視領域が異常状態であることを表している。この図９に示す画像のように、車がトンネル内を走行している状態であっても、煙が侵入することで、定常状態と異なる流動方向を検出できるものとなっている。

図１０は、本発明の実施の形態１に係る異常検出装置において、第３の異常検知結果を画像とともに示した図である。具体的には、図１０では、トンネル内で渋滞が発生しており、かつ監視領域内に煙が発生していない映像に対して、本実施の形態１に係る異常検知手法を実施した結果の一例を示したものである。図１０中の矢印は、領域ごとの流動方向を表したものであり、黒色は定常状態とは異なる流動方向であるが、あらかじめ設定された許容確率の範囲内であることを表している。なお、図１０中では、すべての矢印が黒色矢印であるため、黒色矢印を実線矢印として表記している。

この画像のように、トンネル内に渋滞が発生しているだけの状態であれば、車のヘッドライトがトンネル壁面に反射するような監視画像であっても、当該反射を異常状態と認識することがないので、異常状態であると誤検出してしまうことを抑制することが可能となっている。

上述した内容をまとめると、本実施の形態１における異常検出装置は、以下のような機能を備えることを特徴としている。
（機能１）検出すべき異常状態が発生していない状態で、カメラ１により撮像された複数の画像から輝度の時系列変化を算出し、輝度の時系列変化に基づいて、監視対象における輝度の流動方向を特定した基準流動方向データを作成する。

（機能２）異常状態の検出を行う監視時において、カメラ１により撮像された複数の画像から輝度の時系列変化を算出し、算出した輝度の時系列変化に基づいて、監視対象領域における輝度の流動方向を特定した監視時流動方向データを作成する。
（機能３）基準流動方向データと監視時流動方向データとの比較から、監視対象領域内における異常状態が発生した領域を特定する。

このような機能を備えることで、本実施の形態１に係る異常検出装置は、定常状態において発生しうる画像変化にもかかわらず、異常状態であると誤検出してしまうことを抑制することができる。

なお、上述した実施の形態１では、トンネル内で発生する炎を異常検出対象とし、渋滞走行する車のヘッドライトを誤報要因として説明したが、本発明はこのような場合に限定されるものではない。例えば、ベルトコンベアを用いた製造ライン、荷物やゴミなどを搬送する流通装置など、定常状態として一方向に流れが生じている監視対象が挙げられる。このように、監視領域ごとに、輝度の時系列変化から算出できる定常状態における流動方向と、異常状態における流動方向（例えば、荷物などの発火によって生じる煙の流動方向）とが、識別可能であれば、本実施の形態１で説明した異常検知手法を適用することができる。

この結果、画像処理により領域ごとに算出した流動方向に基づいて異常状態の有無を判断することで、定常状態において発生しうる画像変化にもかかわらず、異常状態であると誤検出してしまうことを抑制することができる異常検出対象を実現できる。

このような適用においては、炎検出部３０は、異常状態を検出するための検出部として機能し、炎判定部３３は、異常状態であるか否かを判定する判定部として機能する。

なお、本願発明の基準流動方向データ作成部３１、および監視時流動方向データ作成部３２は、画像を複数の監視対象領域に分割し、それぞれの領域毎に時系列変化を算出するものとしたが、画素ごとに輝度の時系列変化を算出するようにしてもよい。このとき、表示器４０は、画素毎に判別された流動方向を所定の範囲でまとめて集計し、監視時に特定された流動方向の識別表示を行うようにしてもよい。これにより、監視対象領域の流動方向の概要が、より容易に認識できるものとなる。

１ カメラ（撮像装置）、１０ 画像メモリ、３０ 炎検出部（検出部）、３１ 基準流動方向データ作成部、３２ 監視時流動方向データ作成部、３３ 炎判定部（判定部）、４０ 表示器。

Claims (4)

1. 撮像素子により撮像された監視対象領域の画像に対して画像処理を施すことにより、定常状態とは異なる異常状態の検出を行う検出部を備えた異常検出装置であって、
   前記検出部は、
   検出すべき前記異常状態が発生していない状態で前記撮像素子により撮像された複数の画像から輝度の時系列変化を算出し、前記輝度の時系列変化に基づいて、前記監視対象領域における輝度の流動方向を特定した基準流動方向データを作成し、
   前記異常状態の検出を行う監視時において前記撮像素子により撮像された複数の画像から輝度の時系列変化を算出し、算出した前記輝度の時系列変化に基づいて前記監視対象領域における輝度の流動方向を特定した監視時流動方向データを作成し、
   基準流動方向データと前記監視時流動方向データとの比較から、前記監視対象領域内における前記異常状態が発生したことを特定する
   異常検出装置。
2. 前記検出部は、
   前記監視対象領域を分割することで構成された複数の分割領域のそれぞれを複数の画素から構成される１つの領域として規定し、
   前記複数の分割領域のそれぞれについて、分割領域内の画素における輝度の時系列変化から前記流動方向を特定し、
   それぞれの分割領域ごとに、特定した前記流動方向を複数の期間にわたって集計することで流動方向頻度分布を作成し、
   それぞれの分割領域ごとに、前記異常状態が発生していない状態で作成した前記流動方向頻度分布から流動方向に関する確率密度分布を作成し、前記確率密度分布を前記基準流動方向データとする
   請求項１に記載の異常検出装置。
3. 前記検出部は、
   前記監視時のあらかじめ設定された期間において、前記複数の分割領域のそれぞれについて、分割領域内の画素における輝度の時系列変化から前記流動方向を特定することで前記監視時流動方向データを作成し、
   前記監視時流動方向データとして作成された前記流動方向が、前記基準流動方向データとして作成された前記確率密度分布において許容確率未満の確率である分割領域を、前記異常状態が発生した分割領域として特定する
   請求項２に記載の異常検出装置。
4. 前記撮像素子により撮像された前記監視対象領域の画像を表示するとともに、前記複数の分割領域のそれぞれにおいて前記監視時に特定された流動方向の識別表示を行う表示器をさらに備え、
   前記検出部は、前記監視時に特定された前記流動方向を、流動方向に対応付けてあらかじめ設定されたカラーチャートに従って色付けして前記表示器に表示させることで、前記識別表示を行う
   請求項３に記載の異常検出装置。

Images