JP2008206071A

JP2008206071A - カメラ異常検知装置

Info

Publication number: JP2008206071A
Application number: JP2007042639A
Authority: JP
Inventors: Masao Wakabayashi; 正男若林; Seiji Okumura; 誠司奥村; Yukimasa Sugino; 幸正杉野
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2007-02-22
Filing date: 2007-02-22
Publication date: 2008-09-04
Anticipated expiration: 2027-02-22
Also published as: JP4846619B2

Abstract

【課題】処理量の増加を招くことなく、カメラの異常を確実に検知することができるとともに、圧縮画像のデータ量の変動を抑制する機能を備えている製品にも適用することができるカメラ異常検知装置を得ることを目的とする。
【解決手段】ネットワークカメラ１により撮影された画像の複雑度を算出する複雑度算出部１２を設け、パターン解析部１４が複雑度算出部１２により算出された複雑度の時間的変化を解析して、ネットワークカメラ１の異常を判定するように構成する。
【選択図】図１

Description

この発明は、例えば、防犯用のカメラの異常を自動的に検知するカメラ異常検知装置に関するものである。

近年、セキュリティに対する関心が益々高くなっており、高い防犯効果を発揮する映像監視システムが開発されている。
近年の映像監視システムは、デジタル化が進んでおり、ＩＰネットワークを利用する大規模なシステムが開発される傾向にある。

映像監視システムにおいては、カメラの異常状態を自動的に検知することは重要である。
例えば、監視員がカメラの映像をリアルタイムで見ている場合には、即座にカメラの異常が発見することができる。
しかし、映像監視システムが大規模になると、監視員が全てのカメラの映像をリアルタイムで見ることは難しく、普段は映像を蓄積しているだけのカメラも多い。
この場合、カメラの異常の発見が遅れ、カメラの異常の発見の遅れは映像監視システムにとって致命的となりうる。

そこで、カメラにより撮影された映像を示す画像データを解析して、カメラの異常を検知する手法が考えられるが、画像解析による手法では、処理量が極めて多くなるため、処理負荷が大きくなる。
以下の特許文献１には、処理量の増加を抑制するために、カメラにより撮影された映像を示す画像データを圧縮し、圧縮画像のデータ量の変化からカメラの異常を検知するカメラ異常検知装置が開示されている。

特開２００３−１５３２４５号公報（段落番号［０００８］から［００１０］、図１）

従来のカメラ異常検知装置は以上のように構成されているので、カメラにより撮影された映像を示す画像データを圧縮し、圧縮画像のデータ量の変化からカメラの異常を検知する手法を用いれば、処理量の増加を抑制することができる。しかし、監視用途のネットワークカメラでは、蓄積時間の影響を軽減するために圧縮画像のデータ量の変動を抑制する機能を備えている製品があり、このような製品には、圧縮画像のデータ量の変化からカメラの異常を検知する手法を適用することができない。また、カメラの各種の設定値や設置環境などによって、圧縮画像のデータ量の変化の様子が大きく異なるため、圧縮画像のデータ量の変化を見極める閾値の設定が困難であり、カメラの異常の検知精度が劣化することがあるなどの課題があった。

この発明は上記のような課題を解決するためになされたもので、処理量の増加を招くことなく、カメラの異常を確実に検知することができるとともに、圧縮画像のデータ量の変動を抑制する機能を備えている製品にも適用することができるカメラ異常検知装置を得ることを目的とする。

この発明に係るカメラ異常検知装置は、カメラにより撮影された画像の複雑度を算出する複雑度算出手段を設け、異常判定手段が複雑度算出手段により算出された複雑度の時間的変化を解析して、カメラの異常を判定するようにしたものである。

この発明によれば、カメラにより撮影された画像の複雑度を算出する複雑度算出手段を設け、異常判定手段が複雑度算出手段により算出された複雑度の時間的変化を解析して、カメラの異常を判定するように構成したので、処理量の増加を招くことなく、カメラの異常を確実に検知することができるとともに、圧縮画像のデータ量の変動を抑制する機能を備えている製品にも適用することができる効果がある。

実施の形態１．
図１はこの発明の実施の形態１によるカメラ異常検知装置を示す構成図であり、図において、ネットワークカメラ１はネットワーク２に接続されている例えば防犯用のカメラであり、ネットワークカメラ１は所定の監視エリアを撮影し、その監視エリアの映像を示す画像データとしてＪＰＥＧデータをカメラ異常検知装置３に送信する。
カメラ異常検知装置３はネットワークカメラ１から送信されたＪＰＥＧデータを受信し、そのＪＰＥＧデータからネットワークカメラ１の異常を検知する処理を実施する。

カメラ異常検知装置３の画像受信部１１は例えば通信モデムなどから構成されており、ネットワーク２に対するインタフェース処理を実施して、ネットワークカメラ１から送信されたＪＰＥＧデータを受信する処理を実施する。なお、画像受信部１１は画像受信手段を構成している。
複雑度算出部１２は例えばＭＰＵなどの半導体集積回路基板から構成されており、画像受信部１１により受信されたＪＰＥＧデータから画像の複雑度を算出する処理を実施する。なお、複雑度算出部１２は複雑度算出手段を構成している。

正常時パターン記憶部１３は正常時における画像の複雑度の時間的変化を示す正常時の時間的変化パターン（以下、「基準パターン」と称する）として、例えば、１分間隔で画像の複雑度を時系列軸上にプロットしている１日単位のパターンを記憶しているメモリである。
パターン解析部１４は例えばＭＰＵなどの半導体集積回路基板から構成されており、複雑度算出部１２により算出された複雑度の時間的変化を解析して、ネットワークカメラ１の異常を判定する処理を実施する。即ち、複雑度算出部１２により算出された複雑度を時系列軸上にプロットして複雑度の時間的変化パターンを構築する一方、正常時パターン記憶部１３に記憶されている基準パターンの中から、複雑度算出部１２により算出された複雑度と同一時刻の複雑度を抽出して、同時刻同士の複雑度の差分値を算出し、その差分値が基準値より大きければ、ネットワークカメラ１の異常を認定する処理を実施する。

異常度算出部１５は例えばＭＰＵなどの半導体集積回路基板から構成されており、パターン解析部１４によりネットワークカメラ１の異常が認定されると、異常認定の持続時間からネットワークカメラ１の異常度を算出する処理を実施する。
なお、正常時パターン記憶部１３、パターン解析部１４及び異常度算出部１５から異常判定手段が構成されている。

ユーザインタフェース部１６はマウスやキーボードなどの入力装置や、ディスプレイなどの表示装置からなるマンマシンインタフェースであり、異常度算出部１５により算出されたネットワークカメラ１の異常度をユーザに提示して、ユーザの判定結果を入力する処理を実施する。なお、ユーザインタフェース部１６はユーザインタフェース手段を構成している。
パターン学習部１７は例えばＭＰＵなどの半導体集積回路基板から構成されており、ユーザインタフェース部１６により入力された判定結果が正常である旨を示していれば、正常時パターン記憶部１３に記憶されている基準パターンを更新する処理を実施する。なお、パターン学習部１７は正常時複雑度更新手段を構成している。

図１では、カメラ異常検知装置３の構成要素である画像受信部１１、複雑度算出部１２、パターン解析部１４、異常度算出部１５、ユーザインタフェース部１６及びパターン学習部１７がそれぞれ専用のハードウェアで構成されているものを想定しているが、カメラ異常検知装置３がコンピュータから構成される場合には、画像受信部１１、複雑度算出部１２、パターン解析部１４、異常度算出部１５、ユーザインタフェース部１６及びパターン学習部１７の処理内容を記述しているプログラムをコンピュータのメモリに格納し、コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。

図２はこの発明の実施の形態１によるカメラ異常検知装置の処理内容を示すフローチャートである。
図３はこの発明の実施の形態１によるカメラ異常検知装置のパターン解析部１４の処理内容を示すフローチャートである。
図４はこの発明の実施の形態１によるカメラ異常検知装置のパターン学習部１７の処理内容を示すフローチャートである。
図５はパターン解析部１４により時系列軸上にプロットされた複雑度の時間的変化パターンを示す説明図である。

次に動作について説明する。
カメラ異常検知装置３は、ネットワークカメラ１の異常検知処理を開始する前の初期化処理として、後述するパターン学習中フラグＳＦをクリアする（図２のステップＳＴ１）。
即ち、カメラ異常検知装置３は、ＳＦ＝０にする。

ネットワークカメラ１は、所定の監視エリアを撮影し、その監視エリアの映像を示す画像データとしてＪＰＥＧデータをカメラ異常検知装置３に送信する。
カメラ異常検知装置３の画像受信部１１は、ネットワーク２に対するインタフェース処理を実施して、ネットワークカメラ１から送信されたＪＰＥＧデータを受信する（ステップＳＴ２）。

複雑度算出部１２は、画像受信部１１がＪＰＥＧデータを受信すると、そのＪＰＥＧデータから画像の複雑度を算出する。
即ち、複雑度算出部１２は、画像受信部１１により受信されたＪＰＥＧデータから画像の輝度成分又は色差成分の量子化行列（例えば、８行×８列の行列）を抽出する（ステップＳＴ３）。
ここで、画像の輝度成分又は色差成分の量子化行列は、例えば、ＪＰＥＧデータを離散コサイン変換してＤＣＴ係数を求め、そのＤＣＴ係数から特定することができる。
複雑度算出部１２は、画像の輝度成分又は色差成分の量子化行列を抽出すると、画像の複雑度として、その量子化行列における６４個（＝８×８個）の行列値の平均値を算出する（ステップＳＴ４）。
なお、画像の複雑度は、複雑な画像であるほど大きくなる。

パターン解析部１４は、複雑度算出部１２が画像の複雑度を算出すると、その複雑度の時間的変化を解析して、ネットワークカメラ１の異常を判定する（ステップＳＴ５）。
以下、パターン解析部１４における異常判定処理を具体的に説明する。

まず、パターン解析部１４は、複雑度算出部１２が画像の複雑度を算出すると、図示せぬシステムクロックから現在時刻を取得する（図３のステップＳＴ２１）。
次に、パターン解析部１４は、複雑度算出部１２により算出された複雑度を時系列軸上にプロットして、複雑度の時間的変化パターンを構築する（図５を参照）。
例えば、現在時刻が１９時５分であれば、０時０分から１９時４分までの時間的変化パターンに１９時５分の複雑度を追加するようにする。

次に、パターン解析部１４は、正常時パターン記憶部１３に記憶されている基準パターンの中から、現在時刻の複雑度を抽出する（ステップＳＴ２２）。
例えば、現在時刻が１９時５分であれば、基準パターンの中から１９時５分の複雑度を抽出する。
次に、パターン解析部１４は、複雑度算出部１２により算出された現在時刻の複雑度と、基準パターンの中から抽出した現在時刻の複雑度との差分値を算出する（ステップＳＴ２３）。

パターン解析部１４は、双方の複雑度の差分値を算出すると、その差分値を所定の判定基準値と比較し（ステップＳＴ２４）、その差分値が判定基準値より大きければ、ネットワークカメラ１の異常を認定し、現在時刻の異常状態フラグＵＦをセットする（ステップＳＴ２５）。
例えば、現在時刻が１９時５分であれば、１９時５分の異常状態フラグＵＦを“１”に設定する。
なお、ネットワークカメラ１のレンズが手で覆われるなどの状況が発生すると、正常時における画像と全く異なる画像になる。このため、ネットワークカメラ１により撮影された画像の複雑度も正常時における画像の複雑度と全く異なるので、双方の複雑度の差分値が大きくなり、その差分値が判定基準値より大きくなる。

パターン解析部１４は、双方の複雑度の差分値が判定基準値より大きくなければ、ネットワークカメラ１の異常を認定せず、現在時刻の異常状態フラグＵＦをクリアする（ステップＳＴ２６）。
例えば、現在時刻が１９時５分であれば、１９時５分の異常状態フラグＵＦを“０”に設定する。

異常度算出部１５は、現在時刻の異常状態フラグＵＦが“１”であるか否かを判別し（図２のステップＳＴ６）、現在時刻の異常状態フラグＵＦが“１”であれば、現在時刻より前の時刻の異常状態フラグＵＦを参照して、異常認定の持続時間を算出する。
例えば、１９時２分の異常状態フラグＵＦが“０”、１９時３分の異常状態フラグＵＦが“１”、１９時４分の異常状態フラグＵＦが“１”、１９時５分の異常状態フラグＵＦが“１”であれば、異常認定の持続時間が２分であると認定する。
また、１９時３分の異常状態フラグＵＦが“０”、１９時４分の異常状態フラグＵＦが“１”、１９時５分の異常状態フラグＵＦが“１”であれば、異常認定の持続時間が１分であると認定する。

ここでは、パターン解析部１４が各時刻の異常状態フラグＵＦを設定し、異常度算出部１５が各時刻の異常状態フラグＵＦを判別して、異常認定の持続時間を算出するものについて示したが、異常度算出部１５が、異常状態フラグＵＦが“０”から“１”に変化した時点の時刻を記憶し、変化した時点の時刻から現在時刻までの時間を、異常認定の持続時間として計算するようにしてもよい。
この場合、１つだけ異常状態フラグＵＦを用意すればよく、時刻毎の異常状態フラグＵＦを用意する必要がない。

異常度算出部１５は、異常認定の持続時間を算出すると、その持続時間からネットワークカメラ１の異常度を算出する（ステップＳＴ７）。
即ち、異常度算出部１５は、異常認定の持続時間が長いほど、ネットワークカメラ１の異常度を大きな値に設定する。
これにより、例えば、人がネットワークカメラ１の前を横切る際に、一時的にネットワークカメラ１を塞いでしまうような状況が発生した場合には、ネットワークカメラ１の異常度が小さな値にセットされる。
また、ネットワークカメラ１のレンズにスプレーが吹き付けられてしまうような持続的な異常が発生した場合には、ネットワークカメラ１の異常度が大きな値にセットされる。
一方、現在時刻の異常状態フラグＵＦが“１”であるか否かを判別し（ステップＳＴ６）、現在時刻の異常状態フラグＵＦが“０”であれば、ネットワークカメラ１は正常であるため、異常度算出部１５は、ネットワークカメラ１の異常度を“０”にセットする（ステップＳＴ８）。

ユーザインタフェース部１６は、パターン学習中フラグＳＦが“０”であり（ステップＳＴ９）、かつ、異常度算出部１５により算出されたネットワークカメラ１の異常度が“０”でなければ（ステップＳＴ１０）、例えば、ネットワークカメラ１の異常度をディスプレイ等に表示することにより、ネットワークカメラ１の異常度をユーザに提示する（ステップＳＴ１１）。
また、ユーザインタフェース部１６は、ネットワークカメラ１の異常度に基づくユーザの最終的な異常判定を促し、ユーザの判定結果の入力を受け付けるようにする。

パターン学習部１７は、ユーザがユーザインタフェース部１６を操作して、異常の有無を示す判定結果を入力すると、ユーザインタフェース部１６からユーザの判定結果を受け取り、その判定結果が正常である旨を示していれば、正常時パターン記憶部１３に記憶されている基準パターンを更新する（ステップＳＴ１２）。
以下、パターン学習部１７における基準パターンの更新処理を具体的に説明する。

パターン学習部１７は、パターン解析部１４により設定されたネットワークカメラ１の異常状態フラグＵＦが“０”であれば（図４のステップＳＴ３１）、パターン学習中フラグＳＦを“０”にクリアして（ステップＳＴ３２）、基準パターンの更新処理を終了する。
パターン学習部１７は、パターン解析部１４により設定されたネットワークカメラ１の異常状態フラグＵＦが“１”であり（ステップＳＴ３１）、かつ、パターン学習中フラグＳＦが“０”であれば（ステップＳＴ３３）、ユーザの判定結果が、正常である旨を示しているか否かを判定する（ステップＳＴ３４）。

パターン学習部１７は、ユーザの判定結果が異常である旨を示していれば、基準パターンの更新処理を終了する。
パターン学習部１７は、ユーザの判定結果が正常である旨を示していれば、パターン学習中フラグＳＦを“１”にセットする（ステップＳＴ３５）。

次に、パターン学習部１７は、複雑度算出部１２により算出された現在時刻の複雑度を取得するとともに、図示せぬシステムクロックから現在時刻を取得して（ステップＳＴ３６）、正常時パターン記憶部１３に記憶されている基準パターンの中から、現在時刻の複雑度を抽出する（ステップＳＴ３７）。
例えば、現在時刻が１９時５分であれば、基準パターンの中から１９時５分の複雑度を抽出する。

次に、パターン学習部１７は、複雑度算出部１２により算出された現在時刻の複雑度と、基準パターンの中から抽出した現在時刻の複雑度との平均値を算出する（ステップＳＴ３８）。
パターン学習部１７は、双方の複雑度の平均値を算出すると、その平均値を基準パターンにおける現在時刻の新たな複雑度として更新する（ステップＳＴ３９）。

カメラ異常検知装置３は、画像受信部１１がネットワークカメラ１から送信されたＪＰＥＧデータを受信している間、ステップＳＴ２〜ＳＴ１２の処理を繰り返し実施し、ＪＰＥＧデータの受信が終了すると、ネットワークカメラ１の異常検知処理を終了する（図２のステップＳＴ１３）。

以上で明らかなように、この実施の形態１によれば、ネットワークカメラ１により撮影された画像の複雑度を算出する複雑度算出部１２を設け、パターン解析部１４が複雑度算出部１２により算出された複雑度の時間的変化を解析して、ネットワークカメラ１の異常を判定するように構成したので、例えば、ＪＰＥＧ画像の伸張処理などを実施することなく、ネットワークカメラ１の異常を確実に検知することができるようになり、処理量の増加を抑制することができる効果を奏する。
また、圧縮画像のデータ量の変化からネットワークカメラ１の異常を検知する手法ではないため、圧縮画像のデータ量の変動を抑制する機能を備えている製品にも適用することができる効果を奏する。

この実施の形態１によれば、画像受信部１１により受信されたＪＰＥＧデータから画像の輝度成分又は色差成分の量子化行列を抽出し、その量子化行列から画像の複雑度を算出するように構成したので、複雑な処理を実施することなく、画像の複雑度を算出することができるようになり、処理量の増加を抑制することができる効果を奏する。

また、この実施の形態１によれば、複雑度算出部１２により算出された複雑度と、正常時パターン記憶部１３に記憶されている基準パターンにおける画像の複雑度とを同時刻同士で比較して、双方の複雑度の差分値が基準値以上である持続時間を求め、その持続時間からネットワークカメラ１の異常度を算出するように構成したので、複雑な処理を実施することなく、ネットワークカメラ１の異常度を算出することができるようになり、処理量の増加を抑制することができる効果を奏する。

さらに、この実施の形態１によれば、異常度算出部１５により算出されたネットワークカメラ１の異常度をユーザに提示して、ユーザの判定結果を入力するユーザインタフェース部１６を設け、パターン学習部１７がユーザインタフェース部１６により入力された判定結果が正常である旨を示していれば、正常時パターン記憶部１３に記憶されている基準パターンにおける画像の複雑度を更新するように構成したので、正常時パターン記憶部１３に記憶されている基準パターンの最適化を図ることができる効果を奏する。

また、この実施の形態１によれば、正常時パターン記憶部１３に記憶されている基準パターンにおける画像の複雑度と、複雑度算出部１２により算出された複雑度との平均値を算出し、その平均値を基準パターンにおける画像の新たな複雑度として更新するように構成したので、基準パターンにおける画像の複雑度の急激な変化を招くことなく、ゆっくり基準パターンの最適化を図ることができる効果を奏する。

実施の形態２．
図６はこの発明の実施の形態２によるカメラ異常検知装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
ネットワークカメラ１ａ，１ｂ，１ｃはネットワーク２に接続されている例えば防犯用のカメラであり、ネットワークカメラ１ａ，１ｂ，１ｃは自己の監視エリアを撮影し、その監視エリアの映像を示す画像データとしてＪＰＥＧデータをカメラ異常検知装置３に送信する。

カメラ異常検知装置３の画像受信部２１は例えば通信モデムなどから構成されており、ネットワーク２に対するインタフェース処理を実施して、ネットワークカメラ１ａ，１ｂ，１ｃから送信されたＪＰＥＧデータをそれぞれ受信する処理を実施する。なお、画像受信部２１は画像受信手段を構成している。
複雑度算出部２２は例えばＭＰＵなどの半導体集積回路基板から構成されており、画像受信部２１により受信された各ＪＰＥＧデータから、ネットワークカメラ１ａ，１ｂ，１ｃにより撮影された画像の複雑度をそれぞれ算出する処理を実施する。なお、複雑度算出部２２は複雑度算出手段を構成している。

類似性判別部２３は例えばＭＰＵなどの半導体集積回路基板から構成されており、複雑度算出部２２により算出された複数の画像の複雑度の時間的変化の類似性を判別する処理を実施する。なお、類似性判別部２３は類似性判別手段を構成している。
異常カメラ認定部２４は例えばＭＰＵなどの半導体集積回路基板から構成されており、類似性判別部２３により複雑度の時間的変化の類似性が損なわれていると判別された画像を撮影しているネットワークカメラ１を特定し、そのネットワークカメラ１の異常を認定する処理を実施する。なお、異常カメラ認定部２４は異常カメラ認定手段を構成している。

異常度算出部２５は例えばＭＰＵなどの半導体集積回路基板から構成されており、異常カメラ認定部２４により異常が認定されたネットワークカメラ１の異常度を算出する処理を実施する。即ち、当該ネットワークカメラ１における異常認定の持続時間からネットワークカメラ１の異常度を算出する処理を実施する。
ユーザインタフェース部２６はディスプレイなどの表示装置からなるマンマシンインタフェースであり、異常度算出部２５により算出されたネットワークカメラ１の異常度をユーザに提示する処理を実施する。

図５では、カメラ異常検知装置３の構成要素である画像受信部２１、複雑度算出部２２、類似性判別部２３、異常カメラ認定部２４、異常度算出部２５及びユーザインタフェース部２６がそれぞれ専用のハードウェアで構成されているものを想定しているが、カメラ異常検知装置３がコンピュータから構成される場合には、画像受信部２１、複雑度算出部２２、類似性判別部２３、異常カメラ認定部２４、異常度算出部２５及びユーザインタフェース部２６の処理内容を記述しているプログラムをコンピュータのメモリに格納し、コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。

図７はこの発明の実施の形態２によるカメラ異常検知装置の処理内容を示すフローチャートである。
図８はこの発明の実施の形態１によるカメラ異常検知装置の類似性判別部２３及び異常カメラ認定部２４の処理内容を示すフローチャートである。

次に動作について説明する。
この実施の形態２では、近隣の監視エリアを撮影する複数台のネットワークカメラ１ａ，１ｂ，１ｃの画像の複雑度を比較して、複雑度の時間的変化パターンの類似性を判別し、類似性が損なわれている画像を撮影しているネットワークカメラ１の異常を認定するものである。
この実施の形態２では、ネットワークカメラ１ａ，１ｂ，１ｃが３台であるものについて説明するが、ネットワークカメラ１が４台以上設置されていてもよいことは言うまでもない。

ネットワークカメラ１ａ，１ｂ，１ｃは近隣の監視エリアを撮影しているので、画像の複雑度の時間的変化パターンは類似しており、正常の状態にあれば、相互の複雑度の差分値は一定である。
この実施の形態２では、一定である差分値を異常判定用の基準値として使用する。
即ち、ネットワークカメラ１ａにより撮影された画像の複雑度と、ネットワークカメラ１ｂにより撮影された画像の複雑度との一定の差分値を基準値Ａとする。
また、ネットワークカメラ１ａにより撮影された画像の複雑度と、ネットワークカメラ１ｃにより撮影された画像の複雑度との一定の差分値を基準値Ｂとする。
また、ネットワークカメラ１ｂにより撮影された画像の複雑度と、ネットワークカメラ１ｃにより撮影された画像の複雑度との一定の差分値を基準値Ｃとする。

ネットワークカメラ１ａ，１ｂ，１ｃは、自己の監視エリアを撮影し、その監視エリアの映像を示す画像データとしてＪＰＥＧデータをカメラ異常検知装置３に送信する。
カメラ異常検知装置３の画像受信部２１は、処理対象のネットワークカメラ１を示す変数ｉを“１”に初期化して（図７のステップＳＴ４１）、ネットワークカメラ１ａから送信されたＪＰＥＧデータを受信する（ステップＳＴ４２）。
この実施の形態２では、ｉ＝１のとき、処理対象のネットワークカメラ１がネットワークカメラ１ａ、ｉ＝２のとき、処理対象のネットワークカメラ１がネットワークカメラ１ｂ、ｉ＝３のとき、処理対象のネットワークカメラ１がネットワークカメラ１ｃであるとする。

複雑度算出部２２は、画像受信部２１がネットワークカメラ１ａから送信されたＪＰＥＧデータを受信すると、図１の複雑度算出部１２と同様にして、そのＪＰＥＧデータから画像の複雑度を算出する。
即ち、複雑度算出部２２は、画像受信部２１により受信されたＪＰＥＧデータから画像の輝度成分又は色差成分の量子化行列（例えば、８行×８列の行列）を抽出する（ステップＳＴ４３）。
複雑度算出部２２は、画像の輝度成分又は色差成分の量子化行列を抽出すると、画像の複雑度として、その量子化行列における６４個（＝８×８個）の行列値の平均値Ｘ（１）を算出する（ステップＳＴ４４）。

次に、画像受信部２１は、変数ｉをインクリメントして（ステップＳＴ４５）、ネットワークカメラ１ｂから送信されたＪＰＥＧデータを受信する（ステップＳＴ４６，ＳＴ４２）。
複雑度算出部２２は、画像受信部２１がネットワークカメラ１ｂから送信されたＪＰＥＧデータを受信すると、そのＪＰＥＧデータから画像の輝度成分又は色差成分の量子化行列（例えば、８行×８列の行列）を抽出し（ステップＳＴ４３）、画像の複雑度として、その量子化行列における６４個（＝８×８個）の行列値の平均値Ｘ（２）を算出する（ステップＳＴ４４）。

また、画像受信部２１は、変数ｉをインクリメントして（ステップＳＴ４５）、ネットワークカメラ１ｃから送信されたＪＰＥＧデータを受信する（ステップＳＴ４６，ＳＴ４２）。
複雑度算出部２２は、画像受信部２１がネットワークカメラ１ｃから送信されたＪＰＥＧデータを受信すると、そのＪＰＥＧデータから画像の輝度成分又は色差成分の量子化行列（例えば、８行×８列の行列）を抽出し（ステップＳＴ４３）、画像の複雑度として、その量子化行列における６４個（＝８×８個）の行列値の平均値Ｘ（３）を算出する（ステップＳＴ４４）。

上記のようにして、複雑度算出部２２がネットワークカメラ１ａ，１ｂ，１ｃにより撮影された画像の複雑度を算出すると、類似性判別部２３が各画像の複雑度の時間的変化の類似性を判別する処理を実施し、異常カメラ認定部２４が異常状態のネットワークカメラ１を特定する処理を実施する（ステップＳＴ４５）。
以下、類似性判別部２３及び異常カメラ認定部２４の処理内容を具体的に説明する。

まず、類似性判別部２３は、ネットワークカメラ１ａにより撮影された画像の複雑度である平均値Ｘ（１）と、ネットワークカメラ１ｂにより撮影された画像の複雑度である平均値Ｘ（２）との差分値ｄ_Aを算出する（図８のステップＳＴ６１）。
次に、類似性判別部２３は、ネットワークカメラ１ａにより撮影された画像の複雑度である平均値Ｘ（１）と、ネットワークカメラ１ｃにより撮影された画像の複雑度である平均値Ｘ（３）との差分値ｄ_Bを算出する（ステップＳＴ６２）。
また、類似性判別部２３は、ネットワークカメラ１ｂにより撮影された画像の複雑度である平均値Ｘ（２）と、ネットワークカメラ１ｃにより撮影された画像の複雑度である平均値Ｘ（３）との差分値ｄ_Cを算出する（ステップＳＴ６３）。

類似性判別部２３は、ネットワークカメラ１ａの異常を判定するため、ネットワークカメラ１ａにより撮影された画像の複雑度である平均値Ｘ（１）と、ネットワークカメラ１ｂにより撮影された画像の複雑度である平均値Ｘ（２）との差分値ｄ_Aが、予め設定している基準値Ａを超えているか否かを判定する。
また、同時に、ネットワークカメラ１ａにより撮影された画像の複雑度である平均値Ｘ（１）と、ネットワークカメラ１ｃにより撮影された画像の複雑度である平均値Ｘ（３）との差分値ｄ_Bが、予め設定している基準値Ｂを超えているか否かを判定する（ステップＳＴ６４）。
異常カメラ認定部２４は、類似性判別部２３の類似性判別結果が、差分値ｄ_Aが基準値Ａより大きく、かつ、差分値ｄ_Bが基準値Ｂより大きい旨を示していれば、ネットワークカメラ１ａの異常を認定して、ネットワークカメラ１ａの異常状態フラグｕ（１）を“１”にセットする（ステップＳＴ６５）。

次に、類似性判別部２３は、ネットワークカメラ１ｂの異常を判定するため、ネットワークカメラ１ａにより撮影された画像の複雑度である平均値Ｘ（１）と、ネットワークカメラ１ｂにより撮影された画像の複雑度である平均値Ｘ（２）との差分値ｄ_Aが、予め設定している基準値Ａを超えているか否かを判定する。
また、同時に、ネットワークカメラ１ｂにより撮影された画像の複雑度である平均値Ｘ（２）と、ネットワークカメラ１ｃにより撮影された画像の複雑度である平均値Ｘ（３）との差分値ｄ_Cが、予め設定している基準値Ｃを超えているか否かを判定する（ステップＳＴ６６）。
異常カメラ認定部２４は、類似性判別部２３の類似性判別結果が、差分値ｄ_Aが基準値Ａより大きく、かつ、差分値ｄ_Cが基準値Ｃより大きい旨を示していれば、ネットワークカメラ１ｂの異常を認定して、ネットワークカメラ１ｂの異常状態フラグｕ（２）を“１”にセットする（ステップＳＴ６７）。

最後に、類似性判別部２３は、ネットワークカメラ１ｃの異常を判定するため、ネットワークカメラ１ａにより撮影された画像の複雑度である平均値Ｘ（１）と、ネットワークカメラ１ｃにより撮影された画像の複雑度である平均値Ｘ（３）との差分値ｄ_Bが、予め設定している基準値Ｂを超えているか否かを判定する。
また、同時に、ネットワークカメラ１ｂにより撮影された画像の複雑度である平均値Ｘ（２）と、ネットワークカメラ１ｃにより撮影された画像の複雑度である平均値Ｘ（３）との差分値ｄ_Cが、予め設定している基準値Ｃを超えているか否かを判定する（ステップＳＴ６８）。
異常カメラ認定部２４は、類似性判別部２３の類似性判別結果が、差分値ｄ_Bが基準値Ｂより大きく、かつ、差分値ｄ_Cが基準値Ｃより大きい旨を示していれば、ネットワークカメラ１ｃの異常を認定して、ネットワークカメラ１ｃの異常状態フラグｕ（３）を“１”にセットする（ステップＳＴ６９）。

異常度算出部２５は、異常カメラ認定部２４により異常が認定されたネットワークカメラ１の異常度を算出する。
即ち、異常度算出部２５は、処理対象のネットワークカメラ１を示す変数ｉを“１”に初期化して（図７のステップＳＴ４８）、ネットワークカメラ１ａの異常状態フラグｕ（１）が“１”にセットされているか否かを判定する（ステップＳＴ４９）。
異常度算出部２５は、ネットワークカメラ１ａの異常状態フラグｕ（１）が“１”であれば、異常状態フラグｕ（１）が“１”の持続時間を計算する。
即ち、異常度算出部２５は、異常状態フラグｕ（１）が“０”から“１”に変化した時点の時刻を記憶しており、変化した時点の時刻から現在の時刻までの時間を、異常状態フラグｕ（１）“１”の持続時間として計算する。
そして、異常度算出部２５は、異常状態フラグｕ（１）“１”の持続時間からネットワークカメラ１ａの異常度ｖ（１）を算出する（ステップＳＴ５０）。
異常度算出部１５は、異常状態フラグｕ（１）“１”の持続時間が長いほど、ネットワークカメラ１ａの異常度ｖ（１）を大きな値に設定する。
一方、ネットワークカメラ１ａの異常状態フラグｕ（１）が“０”であれば、ネットワークカメラ１ａは正常であるため、異常度算出部２５は、ネットワークカメラ１ａの異常度ｖ（１）を“０”にセットする（ステップＳＴ５１）。

ユーザインタフェース部２６は、異常度算出部１５がネットワークカメラ１ａの異常度ｖ（１）を算出し、その異常度ｖ（１）が“０”でなければ（ステップＳＴ５２）、例えば、ネットワークカメラ１ａの異常度ｖ（１）をディスプレイ等に表示することにより、ネットワークカメラ１ａの異常度ｖ（１）をユーザに提示する（ステップＳＴ５３）。

次に、異常度算出部２５は、変数ｉをインクリメントして（ステップＳＴ５４）、ネットワークカメラ１ｂの異常状態フラグｕ（２）が“１”にセットされているか否かを判定する（ステップＳＴ５５，ＳＴ４９）。
異常度算出部２５は、ネットワークカメラ１ｂの異常状態フラグｕ（２）が“１”であれば、ネットワークカメラ１ａの異常度ｖ（１）と同様にして、ネットワークカメラ１ｂの異常度ｖ（２）を算出する（ステップＳＴ５０）。
一方、ネットワークカメラ１ｂの異常状態フラグｕ（２）が“０”であれば、ネットワークカメラ１ｂは正常であるため、異常度算出部２５は、ネットワークカメラ１ｂの異常度ｖ（２）を“０”にセットする（ステップＳＴ５１）。

ユーザインタフェース部２６は、異常度算出部１５がネットワークカメラ１ｂの異常度ｖ（２）を算出し、その異常度ｖ（２）が“０”でなければ（ステップＳＴ５２）、例えば、ネットワークカメラ１ｂの異常度ｖ（２）をディスプレイ等に表示することにより、ネットワークカメラ１ｂの異常度ｖ（２）をユーザに提示する（ステップＳＴ５３）。

また、異常度算出部２５は、変数ｉをインクリメントして（ステップＳＴ５４）、ネットワークカメラ１ｃの異常状態フラグｕ（３）が“１”にセットされているか否かを判定する（ステップＳＴ５５，ＳＴ４９）。
異常度算出部２５は、ネットワークカメラ１ｃの異常状態フラグｕ（３）が“１”であれば、ネットワークカメラ１ａの異常度ｖ（１）と同様にして、ネットワークカメラ１ｃの異常度ｖ（３）を算出する（ステップＳＴ５０）。
一方、ネットワークカメラ１ｃの異常状態フラグｕ（３）が“０”であれば、ネットワークカメラ１ｃは正常であるため、異常度算出部２５は、ネットワークカメラ１ｃの異常度ｖ（３）を“０”にセットする（ステップＳＴ５１）。

ユーザインタフェース部２６は、異常度算出部２５がネットワークカメラ１ｃの異常度ｖ（３）を算出し、その異常度ｖ（３）が“０”でなければ（ステップＳＴ５２）、例えば、ネットワークカメラ１ｃの異常度ｖ（３）をディスプレイ等に表示することにより、ネットワークカメラ１ｃの異常度ｖ（３）をユーザに提示する（ステップＳＴ５３）。

カメラ異常検知装置３は、画像受信部２１がネットワークカメラ１ａ，１ｂ，１ｃから送信されたＪＰＥＧデータを受信している間、ステップＳＴ４１〜ＳＴ５５の処理を繰り返し実施し、ＪＰＥＧデータの受信が終了すると、ネットワークカメラ１ａ，１ｂ，１ｃの異常検知処理を終了する（ステップＳＴ５６）。

以上で明らかなように、この実施の形態２によれば、複雑度算出部２２がネットワークカメラ１ａ，１ｂ，１ｃにより撮影された画像の複雑度を算出すると、類似性判別部２３が各画像の複雑度の時間的変化の類似性を判別し、異常カメラ認定部２４が類似性判別部２３の類似性判別結果から異常状態のネットワークカメラ１を特定するように構成したので、処理量の増加を招くことなく、異常が発生しているネットワークカメラ１を検知することができる効果を奏する。

この発明の実施の形態１によるカメラ異常検知装置を示す構成図である。この発明の実施の形態１によるカメラ異常検知装置の処理内容を示すフローチャートである。この発明の実施の形態１によるカメラ異常検知装置のパターン解析部１４の処理内容を示すフローチャートである。この発明の実施の形態１によるカメラ異常検知装置のパターン学習部１７の処理内容を示すフローチャートである。パターン解析部１４により時系列軸上にプロットされた複雑度の時間的変化パターンを示す説明図である。この発明の実施の形態１によるカメラ異常検知装置を示す構成図である。この発明の実施の形態２によるカメラ異常検知装置の処理内容を示すフローチャートである。この発明の実施の形態１によるカメラ異常検知装置の類似性判別部２３及び異常カメラ認定部２４の処理内容を示すフローチャートである。

符号の説明

１，１ａ，１ｂ，１ｃネットワークカメラ、２ネットワーク、３カメラ異常検知装置、１１，２１画像受信部（画像受信手段）、１２，２２複雑度算出部（複雑度算出手段）、１３正常時パターン記憶部（異常判定手段）、１４パターン解析部（異常判定手段）、１５異常度算出部（異常判定手段）、１６ユーザインタフェース部（ユーザインタフェース手段）、１７パターン学習部（正常時複雑度更新手段）、２３類似性判別部（類似性判別手段）、２４異常カメラ認定部（異常カメラ認定手段）、２５異常度算出部、２６ユーザインタフェース部。

Claims

カメラにより撮影された画像を受信する画像受信手段と、上記画像受信手段により受信された画像の複雑度を算出する複雑度算出手段と、上記複雑度算出手段により算出された複雑度の時間的変化を解析して、上記カメラの異常を判定する異常判定手段とを備えたカメラ異常検知装置。
複雑度算出手段は、画像受信手段により受信された画像の輝度成分又は色差成分の量子化行列を抽出し、上記量子化行列から画像の複雑度を算出することを特徴とする請求項１記載のカメラ異常検知装置。
複雑度算出手段は、画像の複雑度として、量子化行列における行列値の平均値を算出することを特徴とする請求項２記載のカメラ異常検知装置。
異常判定手段は、予め正常時における画像の複雑度の時間的変化を保持し、複雑度算出手段により算出された複雑度と、正常時における画像の複雑度とを同時刻同士で比較して、双方の複雑度の差分値が基準値以上である持続時間を求め、上記持続時間からカメラの異常度を算出することを特徴とする請求項１から請求項３のうちのいずれか１項記載のカメラ異常検知装置。
異常判定手段により算出されたカメラの異常度をユーザに提示して、ユーザの判定結果を入力するユーザインタフェース手段と、上記ユーザインタフェース手段により入力された判定結果が正常である旨を示していれば、正常時における画像の複雑度を更新する正常時複雑度更新手段とを設けたことを特徴とする請求項４記載のカメラ異常検知装置。
正常時複雑度更新手段は、正常時における画像の複雑度と複雑度算出手段により算出された複雑度の平均値を算出し、その平均値を正常時における画像の新たな複雑度として更新することを特徴とする請求項５記載のカメラ異常検知装置。
複数のカメラにより撮影された画像を受信する画像受信手段と、上記画像受信手段により受信された複数の画像の複雑度を算出する複雑度算出手段と、上記複雑度算出手段により算出された複数の画像の複雑度の時間的変化の類似性を判別する類似性判別手段と、上記類似性判別手段により複雑度の時間的変化の類似性が損なわれていると判別された画像を撮影しているカメラを特定し、上記カメラの異常を認定する異常カメラ認定手段とを備えたカメラ異常検知装置。