JP2005166054A - 動画像処理装置、及び映像監視システム - Google Patents

Abstract

【課題】 映像中の監視対象物以外の動きによる誤認警報を排除する動画像処理方法、動画像処理装置、及びそれらを用いた映像監視システムを提供する。
【解決手段】 撮像手段１により視覚的にノイズの多い環境内で特定な動きを検出するコンピュータ・ハードウェアとアルゴリズムを含む。空間的フィルタ処理11ａと時間的フィルタ処理12ａ，12ｂと進化計算14ａを採用したアルゴリズムにより、屋外の自然環境内によく見られる動作から異常現象ではない誤った検出の可能性を取り除き、ユーザーによって警報条件と形式指定した映像中の動きのみを確認する。地滑り、落石あるいは物体の投棄のような状況に関連した動きを検出する。動画像処理装置２は異常現象の映像のみの保存を可能にするほか、視覚映像と映像処理データの伝達と瞬間の警報音または警報サインの発生を伝達する。
【選択図】 図３

Description

本発明は、視覚的ノイズの多い環境内で実時間認識を使用した遠隔視覚監視や異常検出に適し、特定モデル（型式）の異常，危険，禁止行為などの事象とその他無害な事象とを区別することで、映像中の監視対象物以外の動きによる誤認警報を排除する動画像処理装置、及びそれらを用いた映像監視システムに関する。

安全確認や警備を目的に、ビデオカメラによる映像監視システムが広く利用されている。昨今、メーカ間の価格競争が進んだ結果、公共施設，企業のみならず家庭などでも一般的に使用されるようになった。しかし、その多くのシステムは、使用者である人間の視覚によって異常を検知するというものである。すなわち、ビデオカメラを設置した場所で実際何が起こったかを発見する為には、人の眼による遠隔モニターでの実時間監視、若しくは、例えばビデオテープなどに録画保存した映像を後日点検することを要する。

一方、特許文献１に開示されるような、より洗練された映像監視システムは、監視カメラにより撮像された映像を逐次デジタル化し、予めメモリーに保存された背景映像（「動き」のない安定した基準映像）と新規に撮像された映像とを比較することで、この２つの映像内で異なった所定の範囲以上に亘る大きな「動き」（画素値の変化）を判別することで異常を検出する。そして、異常を検出すると報知手段により警報の鳴動や警告の電子メールなどを送信することで、使用者や警備関係者などに異常を報知する。

また、別の映像監視システムでは、「動き」が重要で無いとみなされる箇所の入力映像を処理しないことで誤警報を避ける試みがなされている。このような映像監視システムが開示されているものが特許文献２である。この映像監視システムでは、監視カメラにより撮像された映像を逐次デジタル化し、デジタル化された入力映像を所定の画素数を有する複数のセルに分割し、「動き」が数個のセル上に及ぶ場合にのみ異常を検出する。すなわち、侵入者などの大きな「動き」のみを検出した場合のみ警報を発生する。このとき、「動き」が重要で無い部分のセルにはマスク処理を施すことにより「動き」の検出を行なわないようにしている。
米国特許第６，３３５，９７６号明細書 米国特許第６，４７６，８５８号明細書

しかし、上記従来の映像監視システムの殆どは、映像内で発生する「動き」全て、又は設定された閾値を超える「動き」全てを検出する。そのため、比較的「動き」の少ない屋内のみの監視や、「動き」全てが異常となるような屋外において特定の時間内での監視といった限定された条件下での使用でしか十分な信頼性を得ることができなかった。その上、このように規制された環境下でさえ、誤警報を発生する傾向があり、誤警報の原因を調査するには、多大なコストと時間が掛かることとなる。以上のような警報の乱発は、システムに対する信頼性を著しく低下させるという問題となっていた。

また、上記従来の映像監視システムは主にビルや住宅といった規制された屋内環境内での警備を目的としているため、「動き」の多い屋外環境には適していなかった。自然界では、水の波打ち，風による樹木の揺れや草木のざわめき，野生生物の通過といった「動き」が頻繁に発生している。従って、屋外環境を監視する際には、このような無害な「動き」と侵入者などの云わば有害な「動き」とを、区別しなければならないが、「動き」の大きさのみでの判別では、検出した「動き」が無害か有害か、どちらなのか区別することが出来ないという問題があった。とりわけ、地滑りの初期段階を特徴づける規模が小さい土石の「動き」などを検出することは非常に困難であった。

そこで本発明は上記問題点に鑑み、視覚的ノイズの多い環境内で実時間認識を使用した遠隔視覚監視や異常検出に適し、特定モデル（型式）の異常，危険，禁止行為などの事象とその他無害な事象とを区別することを可能とし、映像中の監視対象物以外の動きによる誤認警報を排除する動画像処理装置、及びそれらを用いた映像監視システムを提供することを目的とする。

本発明の請求項１における映像処理装置では、撮像手段から入力される撮像データに対して、隣接している画素群の加重平均値を計算する空間的フィルタリングを行ないスムーズ化映像とする空間フィルタ処理手段と、前記スムーズ化映像に対して、数フレームの一定時間内の再帰平均値を計算する時間的フィルタリングを行ない、参照映像及び背景映像を生成する時間フィルタ処理手段と、前記参照映像と前記背景映像とから動きのみを抽出し、所定の閾値を超える当該動きのみを動作映像として生成し、前記動作映像のうち所定の警報条件に適合する前記動きを検出して警報する動画像処理手段とを備えている。

このようにすると、入力映像から空間的かつ時間的に不必要な成分を除去することができる。即ち、空間的フィルタリングにより１フレームの画像中に発生する静的なノイズを除去し、時間的フィルタリングによりフレーム間に発生する一瞬の変化や短い変化などの動的なノイズを取り除くことができる。また、短時間参照映像と長時間参照映像とから「動き」のみを抽出し、閾値と比較することで、通常と違う特殊な「動き」のみを示す動作映像を生成することで、輝度の変化や、雲の動き、あるいは倒れた木のような永久的な変化を考慮した背景を除去した、特殊な「動き」だけの映像を生成することができる。従って、屋外などの自然環境に存在する無害な「動き」に対する誤検出を防ぐことができ、映像中の予め設定した条件を満たした事象に対してのみ警報を報知することができる。

本発明の請求項２における映像処理装置では、請求項１の構成に加え、前記時間フィルタ処理手段は、毎秒20乃至30フレームのデジタル画像の各画素の平均ＲＧＢ色値を計算することにより、前記参照映像及び前記背景映像に逐次再帰平均処理を繰り返しながら更新させるものである。

このようにすると、異常のリアルタイム検出を実現することができ、輝度の変化や、雲の動き、あるいは倒れた木のような永久的な変化に対応しながら、長時間にわたる監視が可能となる。

本発明の請求項３における映像処理装置では、請求項２の構成に加え、前記時間フィルタ処理手段は、毎秒20乃至30フレームのデジタル画像の各画素の平均的ＹＵＶ或いは輝度を表す画素値を計算することにより、前記参照映像及び前記背景映像に逐次再帰平均処理を繰り返しながら更新させるものである。

このようにすると、少ない画質の劣化で高いデータ圧縮率を得ることができ、データ量が少ないため処理を高速化することができる。

本発明の請求項４における映像処理装置では、請求項１乃至請求項３の構成に加え、検知器から入力される環境条件に応じて、前記空間フィルタ処理手段及び時間フィルタ処理手段のフィルタ強度及び前記閾値を変化させる。

このようにすると、光や熱など画像処理のエラーを起こす可能性のある環境条件を監視し、これらの条件を動画像処理における計算に含み、誤警報の原因になる誤ったデータを排除することができる。即ち、光の反射や熱気などが発生すると、画像中のノイズ（無害な「動き」）が増加するため、フィルタ強度を強くすることで、通常よりノイズを大きく減少させ、誤警報を防ぐことができる。

本発明の請求項５における映像処理装置では、請求項１乃至請求項４の構成に加え、前記動作映像中の画素群を小塊として検出する小塊検出手段と、前記小塊を構成する所定の画素を親配列として進化計算を行う物体追跡手段とを備え、前記動画像処理手段は、前記物体追跡手段により所定の評価関数を満たす動きが数世代にわたり検出されると、警報するものである。

このようにすると、小塊を構成する画素群のうち側面方向、または下方範囲などの警報条件を特徴づける所定の画素のみに対して、進化計算を行なうことができる。映像中の変化が継続するかどうか、変化が永久的か、変化しているとされた領域の周辺の画素がそれに続く映像内で変化が起こるかなどを計算により判別し、無害な「動き」と有害な「動き」とを区別することができる。

本発明の請求項６における映像監視システムでは、請求項１記載の動画像処理装置と、前記動画像処理装置を構成する前記動画像処理手段による警報条件の検出を契機として録画を開始する録画装置と、前記動画像処理装置から出力される映像を遅延させながら前記録画装置に入力する映像遅延装置とを備えている。

このようにすると、警報条件が満たされる数秒前からの録画を可能にし、地滑り発生前後の可視的な初段階を記録できる。

本発明は、以上説明したようなものであるから、以下に記載されるような効果を奏する。

本発明の請求項１では、屋外などの自然環境に存在する無害な「動き」に対する誤検出を防ぐことができ、映像中の予め設定した条件を満たした事象に対してのみ警報を報知することができる。

本発明の請求項２では、異常のリアルタイム検出を実現することができ、長時間にわたる監視が可能となる。

本発明の請求項３では、異常のリアルタイム検出を実現することができ、長時間にわたる監視が可能となる。

本発明の請求項４では、光や熱など画像処理のエラーを起こす可能性のある環境条件を動画像処理における計算に含み、誤警報の原因になる誤ったデータを排除することができるため、誤警報を防ぐことができる。

本発明の請求項５では、警報条件を特徴づける所定の画素のみに対して、進化計算を行なうことができ、無害な「動き」と有害な「動き」とを区別することができる。

本発明の請求項６では、警報条件が満たされる数秒前からの録画を可能にするため、後に監視員等による映像検査を可能にする。

以下、添付図面を参照しながら、本発明の好ましい各実施例を説明する。なお、これらの各実施例において、同一箇所には同一符号を付し、共通する部分の説明は重複するため極力省略する。

図１は、本実施例における映像監視システムの最小構成を示したものである。１は監視場所に設置される例えば監視カメラなどの撮像手段、２は監視映像に後述する動画像処理を施す動画像処理装置、３は動画像処理装置２から出力される映像を表示するための例えばＣＲＴや液晶ディスプレイなどの映像と音声出力機能とを有する映像表示手段であり、それぞれ映像伝送用ケーブルなどの伝送手段４，５で相互に接続されている。その他、撮像手段１及び動画像処理装置２にそれぞれ電力を供給する例えば商用電源やバッテリー（充電電池）などの電源６，７が接続され、映像表示手段３にも図示しない商用電源などから電力が供給される。

撮像手段１は、監視対象を撮像し、アナログ信号又はデジタル信号など所定の形式に変換された入力映像Ｉｎを、撮像手段１から伝送手段４を介して動画像処理装置２に逐次伝送する。伝送された入力映像Ｉｎは、動画像処理装置２内でＤＭＡ（Direct Memory Access）により、映像プロセッサ上の例えばＲＡＭ（Random Access Memory）（またはソリッドステート・メモリ装置）などの記憶装置に転送される。そこでは、入力映像Ｉｎが入力される毎に、参照映像（背景）Ｌ２が更新されると共に、入力映像Ｉｎと参照映像Ｌ２とが画素毎に比較される。このような動画像処理の詳細については後述するが、動画像処理装置２は、所定の警報条件を満たす「動き」（地滑りなどの異常）をリアルタイム（実時間）で検出し、警報を報知する。そして、動画像処理装置２により動画像処理が施されたデジタル映像データは、伝送手段５を介して映像表示手段３に伝送され、モニター監視のため映像表示手段３の画面上に表示される。本実施例では、撮像手段１，動画像処理装置２，映像表示手段３をシステムとして別個に構成しているが、もちろん一体構成することにより一つの映像監視装置としてもよい。

以下、該映像監視システムの必須要素を構成する動画像処理装置２について、本発明における動画像処理内容と共に説明する。図２は動画像処理装置２の各構成手段を示したブロック図である。同図において、10は例えばビデオデコーダなどのＡ／Ｄ変換手段であり、撮像手段１からアナログ信号で伝送された場合に、入力映像Ｉｎを動画像処理に適した所定の形式のデジタルデータに変換する。このとき、入力映像Ｉｎはフレーム毎のデジタル画像データとなる。撮像手段１から伝送される入力映像Ｉｎが、予め該所定の形式のデジタルデータに変換されている場合は、Ａ／Ｄ変換手段10を設ける必要はない。

デジタル化された入力映像Ｉｎは、空間フィルタ処理手段11，時間フィルタ処理手段12，小塊検出手段13，物体追跡手段14によりそれぞれ動画像処理が施される。20は、以上の各構成手段を有機的に結合し、一連の動画像処理方法を実行する画像処理制御手段である。各構成手段は、例えばマイコンやＡＳＩＣなどで構成してもよいし、電子計算機上で動作するプログラムとして構成してもよい。従って、構成態様に応じて記憶装置や映像プロセッサなどの演算装置が搭載される。

参考として、異常のリアルタイム検出を実現するためには、Ａ／Ｄ変換手段10は毎秒20〜30フレームをデジタル化する能力が要求され、この処理率を維持するために、デジタル映像データ（入力映像Ｉｎ）を直接ＲＡＭ（またはソリッドステート・メモリ装置）上で処理するようにし、さらに３ＧＨｚ以上のＣＰＵ速度を持つコンピュータを使用するのが好ましい。

本発明の動画像処理は、デジタル化された入力映像Ｉｎを電子処理する際に実行され、入力映像Ｉｎの画素値をきめ細かく分析するために、空間的・時間的フィルタと進化計算とを使用する。これらを使用することにより、例えば地滑りの初期段階の「動き」などを一瞬の「動き」または無害な「動き」から区別して検出することが可能となるため、誤警報を防止し、映像中の予め設定した条件を満たした事象に対してのみ警報を報知することができる。

空間的・時間的フィルタとは、隣接している画素群の加重平均値を計算する（空間的フィルタリング）空間的ローパス・フィルタ、及び数フレームの一定時間内の再帰平均値を計算する（時間的フィルタリング）時間的ローパス・フィルタのことを指す。空間的ローパス・フィルタは、静止画から不必要な成分（ノイズ）を除去する雑音処理に相当する。これによりビデオ信号中のサンプリング誤差などにより入力映像Ｉｎに生じるノイズを取り除き、「動き」の誤検出を防ぐ。空間的フィルタリングを行なうと、隣接する画素間での画素値変化量が低減されるため、映像内の輪郭をぼやかせスムーズ化させる効果がある。一方、時間的ローパスフィルタは、動画から不必要な成分（ノイズ）を除去する雑音処理に相当し、動画ノイズは時間的にランダムである性質を利用することにより、複数の画像をもとにノイズを取り除く。すなわち、数フレーム分の入力映像Ｉｎの再帰的平均を画素ごとに任意の割合で計算することで、入力映像Ｉｎから短期で規則的な「動き」を取り除くことができ、「動き」の誤検出を防ぐ。

進化計算は、一般に遺伝的プログラミングとか遺伝的アルゴリズムと呼ばれるものを利用するものであり、入力映像Ｉｎ中の無害な「動き」と有害な「動き」とを区別するために該進化計算を利用した物体追跡アルゴリズムを採用している。この物体追跡アルゴリズムは、1999年に見浪、Agbanhan、及び朝倉氏らによって報告された研究において導入された進化計算を改良したものである。見浪、Agbanhan、朝倉氏は、金魚の特徴付けられる形から金魚を上方より確認し、追跡するために可変リスト管理の一種である「1-step-GA進化」を採用した。詳細は“Mamoru Minami, Julien Agbanhan, Toshiyuki Asakura(1999), “Manipulator visual serving and tracking of fish using a genetic algorithm”; Industrial Robot: An International Journal.Vol.26,No.4,pp.278-289”に記述されている。本発明の動画像処理方法に適用するにあたり、後述するように、指定した警報条件独特の動きのパターンを確認するためのプロセスを改良した。

次に、動画像処理装置２で実行される動画像処理について、図２乃至図４を参照しながら詳述する。

動画像処理装置２は、例えば毎秒20回から30回のように設定された時間間隔で撮像手段１から入力映像Ｉｎを得る（ステップＳ100）。入力映像Ｉｎは、前述したようにＡ／Ｄ変換手段10でデジタルデータ化されるが、変換後の入力映像Ｉｎは、撮像手段１の撮像視野内の撮像データをＲＧＢ（Red Green Blue），ＹＵＶ（ＲＧＢの換算値），あるいはモノクロの輝度の値として表した二次元配列の画素値（画素マトリクス）を提供する。

空間フィルタ処理手段11は、デジタル化された際の量子誤差を抑える、即ち入力映像Ｉｎ中のノイズを減らす為に、入力映像Ｉｎを空間的ローパス・フィルタ11ａによりろ過（スムーズ化）し、雑音処理されたスムーズ化映像Ｆｎを出力する（ステップＳ101）。空間フィルタ処理手段11で行なう空間的ローパス・フィルタ処理は、入力映像Ｉｎの全画素にそれぞれ対応するスムーズ化映像Ｆｎの画素を作成することで処理を終える。

空間的フィルタリングの具体的な処理方法の一例を示す。空間的ローパス・フィルタ11ａを３×３の二次元マトリクスとする。空間的ローパス・フィルタには周知の技術として移動平均法やメディアンフィルタなどが知られているが、ここでは、処理される画素に使用される重み係数と処理される画素の周辺にある画素の重み係数を設定し、加重平均処理をすることにより雑音処理をする。画素と各々に対応する画素の相対的な重み係数の空間の配置は、表１のように設定する。

表１では、処理される画素すなわち中心の画素に４の重みを与え、隣接している画素すなわち処理される画素の上方、下方、右方、左方の画素は２の重みを与えている。そして、中心画素から斜めにある画素には１の重みを与えている。

ここで、入力映像Ｉｎの各画素値に対応する３×３の画素値を表２とする。

表２で示した３×３の画素値にそれぞれの表１で示した空間的ローパス・フィルタ11ａの重み係数を掛け、その結果を合計する（５＊１＋３＊２＋４＊１＋３＊２＋10＊４＋５＊２＋３＊１＋４＊２＋５＊１＝87）。次に、その画素値の合計87を重み係数の合計16で割り、入力映像Ｉｎの全画素にそれぞれ対応するスムーズ化映像Ｆｎの画素値を算出する（87／16＝5.4375）。従って、小数点以下を丸めると処理後の画素値は５となり、隣接する画素との変化量が低減されスムーズ化される。

空間的ローパス・フィルタ11ａは浮動小数点あるいは整数計算を使い画素値を処理するが、処理速度と処理系の負荷を考慮すると、整数計算のほうが好ましい。上記例では重み係数の合計が16なので、都合よくバイナリコンピュータが整数計算として使用できる約数を得ることができる。また、他のマトリクスの大きさ（例えば５×５）や重み係数を使用することで、様々な形態の空間的ローパス・フィルタ11ａを使用できることは言うまでもない。同様に、他の重み係数をこの例の３×３のマトリクス重みマスクで使えるが、表１の重み係数は迅速な計算を実行する為に選ばれたものである。

空間フィルタ処理手段11で雑音処理されたノイズの少ないスムーズ化映像Ｆｎは、時間フィルタ処理手段12で時間的フィルタリングが施される（ステップＳ102，Ｓ103）。このとき、スムーズ化映像Ｆｎから、比較的短い時間的フィルタリングをかけることにより時間的にスムーズ化された短時間参照映像Ｌ１と、比較的長い時間的フィルタリングをかけた長時間参照（背景）映像Ｌ２が生成される（ステップＳ104，Ｓ105）。短時間参照映像Ｌ１は、フレーム間に発生する一瞬の変化や短い変化などの動的なノイズを除去した映像であるため、スムーズ化映像Ｆｎの数フレームづつ再帰平均を計算する。一方、長時間背景映像Ｌ２は、スムーズ化映像Ｆｎ中の変化を検出する際の基準にするためのものであり、輝度の変化や、雲の動き、あるいは倒れた木のような永久的な変化を考慮したものである。すなわち、長時間背景映像Ｌ２は、入力されるスムーズ化映像Ｆｎの全フレーム若しくは長時間にわたる複数のフレームに対して逐次再帰平均処理を繰り返すことにより、長時間にわたって変化，補正しながら、常に更新されることとなる。

時間的フィルタリングの具体的な処理方法の一例を示す。時間的ローパス・フィルター12ａ，12ｂは、共に以下の計算式を用いることで画素値の再帰平均処理を行なう。
Ｂｎ＝［ａ＊Ｂ（ｎ−１）＋ｂ＊Ｆｎ］／（ａ＋ｂ）
ここで、Ｂｎはｎ時におけるピクセル毎の画像データであり、Ｂ（ｎ−１）は（ｎ−１）時におけるピクセル毎の画像データであり、Ｂ（ｎ−１）とＦｎとを時定数パラメータであるａとｂとの割合でＢｎを計算する。ａとｂとは、通常コンピュータで計算が速くなるようにａとｂとを足したときに、２の乗数になるような値を選択する。例えば、ａ＝１５とｂ＝１との場合、ａ＋ｂ＝１６なので、バイナリコンピュータが整数計算として使用できる。このようにして、時間的なローパス・フィルタを構築している。

この時間的に再帰平均された２つの映像Ｌ１，Ｌ２は各々別の時定数を用い計算される。短時間参照映像Ｌ１を生成するために使用する時間的ローパス・フィルタ12ａは、短時定数を持ち、時定数が０（ａ＝０）の時は、この時間的フィルター処理は迂回され、映像データに変化はなく、短時間参照映像Ｌ１＝スムーズ化映像Ｆｎとなる。一方、長時間背景映像Ｌ２を作り出す為に使用した時間的ローパス・フィルタ12ｂは、Ｌ１映像を作成するために使用する時間的ローパス・フィルタ12ａに比べ比較的長い時定数を持つ。例えば、新しいスムーズ化映像Ｆｎの影響が少なくなるようａをｂに比べ比較的大きな値とする。

時間的ローパス・フィルタ12ｂの時定数は、動画像処理制御手段20によりフィルタ制御され、時間的フィルタリング処理対象の画素が、背景（変化のない画素）かそれとも動いている物体（変化している画素）かにより動的に調整される（ステップＳ103）。なお、背景か、動いている物体かの判別は、例えばスムーズ化映像Ｆｎの前後のフレームを比較するなどに基づいて行なわれる。

動画像処理制御手段20は、所定の時間内でどの画素に変化があったかを決めるために、短時間参照映像Ｌ１と長時間背景映像Ｌ２の各々対応する画素間の差分あるいは相違であるＤｎをエラー計算する（ステップＳ110）。Ｄｎは、ＢｎとＦｎとの差を計算して得られる動いている物、即ち「動き」だけとなった画像データである。エラー計算20ａでは、絶対的な相違の合計か、相違あるいは差の２乗の合計としての差分映像Ｙｎを計算し求める。エラー計算20ａで計算された差分映像Ｙｎは、時間フィルタ処理手段12に戻され、統計処理を行なう。時間フィルタ処理手段12では、各画素での相違（あるいは典型的な動き）の評価を作成するため、もう１つの時間的ローパス・フィルタ12ｃを通すことにより、相違映像Ｌ３が生成される（ステップＳ111，Ｓ112）。時間的ローパス・フィルター12ｃは、前述した時間的ローパス・フィルター12ａ，12ｂと同様に、以下の計算式を用いることで画素値の再帰平均処理を行なう。
Ｖｎ＝［ｃ＊Ｖ（ｎ−１）＋ｄ＊Ｙｎ］／（ｃ＋ｄ）
ここで、Ｖｎはｎ時におけるピクセル毎の画像データであり、Ｖ（ｎ−１）は（ｎ−１）時におけるピクセル毎の画像データであり、Ｖ（ｎ−１）とＹｎとを時定数パラメータであるｃとｄとの割合でＶｎを計算する。これによって常に動いているような物は、高い画素値で出力される。該Ｖｎに任意の値Ｋをかけたものが、相違映像Ｌ３となる。

通常、「動き」は単一の画素毎に起こらず、差を有する画素群の広がりを引き起こすために、空間的ローパス・フィルタ（ＳＬＰＦ）を時間的ローパス・フィルタ12ｃのフィードバック経路に挿入する（ステップＳ113）。即ち、相違映像Ｌ３は、動画像処理制御手段20，空間フィルタ処理手段11，及び時間フィルタ処理手段12という経路を巡回するようにして生成される（ステップＳ111，Ｓ112，Ｓ113）。なお、該時間的ローパス・フィルタの時定数ｃ，ｄは前記画素群が有する差の大きさに応じて適当な値を設定する。

動画像処理制御手段20は、差分映像Ｙｎと相違映像Ｌ３との各々対応する画素の相違と、その画素に予想される相違すなわち閾値とを比較する動き検出20ｂを行なう（ステップＳ114）。その結果が大きく違った場合には、通常と違う特殊な「動き」があったものとして検出する。動き検出20ｂの閾値は、全体の映像内で「動き」を検出した回数によって動的に調整するのが好ましく、動き検出20ｂの閾値により、感度を調節することができる。「動き」として検出された画素は、動作映像Ｌ４として生成され、以下の計算式に従い更新される（ステップＳ115）。
ｙ（ｔ）＝ｙ（ｔ−1）＋ｘ（ｔ）
動きが検出された場合は、ｘ（ｔ）＝Ｋ：定数、それ以外ではｘ（ｔ）＝−1とする。ｙ（ｔ）の値は０の下限を持つ。

小塊検出手段13は、隣接している画素が形成する小塊（比較的大規模な動きを特徴づけるかもしれない）の中の画素か、あるいは孤立している画素（降っている雪を特徴づけるかもしれない）かを判別するために、小塊検出13ａを動作映像Ｌ４に対して適用する（ステップＳ120）。小塊とは、「活動的」（小さな「動き」が頻繁に発生している状態）あるいは「移動中」として検出された画素のうち、一定の基準に適合する画素群の集まりである。小塊検出13ａのアルゴリズムは、動作映像Ｌ４から活動的な画素群である小塊を見つけることに使用される。「動き」のクラスター（小塊）として見つかった時は、小塊を構成する画素群の側面方向、または下方範囲の画素で、「動き」が指定した警報条件（地滑りのような）を特徴づけるかどうかを決定するために、物体追跡手段14により物体追跡アルゴリズム14ａを受ける。

物体追跡手段14は、「動き」の検出から変化があったとされる画素からなる動作映像Ｌ４に進化計算を適用し、その変化が継続するかどうか、変化が永久的か、変化しているとされた領域の周辺の画素がそれに続く映像内で変化が起こるかなどを計算する（ステップＳ121）。進化計算の結果が監視すべき「動き」のパターンと一致（例えば特定の範囲内における落石を特徴づける所定の速度を有する下向きの動き）すると、警報発生条件が満たされたこととなり、警報発生条件が満たされない場合には、その「動き」は今後の計算から取り除かれる。

ここで、物体追跡アルゴリズムについて詳述する。前記「1-step-GA進化」は、20固体の固定長の遺伝子情報を１世代進化させる毎に、その最良遺伝子情報を使いマニュピュレータを制御している。その際、固定長の遺伝子情報を１世代進化させるために通常使用される進化手法オペレータである、交叉，突然変異，エリート選択などを使用している。一方、本発明では、映像中の選択的動作検出のための画像処理法においては、１固体の可変長の遺伝子情報を１世代進化させる毎に、その遺伝子情報を使い、映像中の選択的動作検出を行なう。即ち、この遺伝子情報を進化させるために、現在画像処理中に検出された「動き」を、１世代前の遺伝子情報を基に、現在の遺伝子情報として再構築する。

地滑りを検出するためにこのプロセスが使用された場合、周辺に更なる「動き」が予想されるため、「動き」が確認された部分（小塊）の画素の下方範囲の映像を分析し計算する。このとき、小塊の側面方向、または下方範囲を構成する活動的な画素が、フレーム間で移動した、座標や角度などのベクトルデータを親配列とする。これらは警報条件を満たす可能性があり、もし、３つか４つの連続する映像フレーム（各々の映像フレームは１秒のおよそ30分の１を表す）上で、通常落石によって及ぶ範囲内である下方の隣接した画素群が、警報条件となる進化計算のための評価関数を満たせば、警報条件が確認される。数世代に及び前記評価関数を満足し続ける活動的な画素群または映像中の画素の小塊は、地滑りを示すかもしれず、落ちつつある岩石であるかもしれない。

前記進化計算の具体的な計算方法としては、例えば、前記親配列と更新された動作映像Ｌ４から新たに解析したベクトルデータとを交叉させ、数世代（数フレーム）にわたり進化した当該遺伝子情報が前記評価関数を満たした場合に、警報を発生するようにする。初期設定としては、遺伝子情報には現在の映像フレームで活動的な画素群、または落ちつつある小塊の大きさ、位置の情報とひとつ前の映像フレームで与えられた遺伝子情報が入る。rank＝０（いくつの遺伝子情報が評価関数を満足しているかを示す変数）に設定する。現在の映像フレームの遺伝子情報とひとつ前の映像情報を比べる。例えば、遺伝子情報のｉ番が初めて評価関数を満足した場合、遺伝子情報ｉ番目とrank番の遺伝子情報を交換する。そしてrankを１増やす。これを遺伝子情報全部に行う。最終的にrank個の遺伝子情報が評価関数を満足する遺伝子数となり、遺伝子情報の０番から（rank−１）番までが評価関数を満す遺伝子情報となる。そのため、突然変異，エリート選択等の進化手法オペレータを使用せず、交叉のみのオペレータを使用して進化計算を行なうことができる。従って、計算が簡素化され、遺伝子情報に対して選択や淘汰などの計算をする必要がなくなる。

そして、撮像手段１により撮像した入力映像Ｉｎを映像表示手段３で表示させる（ステップＳ122）。前述したように、物体検出手段14で警報条件が確認された場合は、警報として、異常な「動き」の表示をするために、図５及び図６のように、異常な「動き」を検出した部分を枠線で囲むか、若しくは出力映像中の該当部分の色を変化させる。図５では、法面30における地滑り31の「動き」を警報として検出した様子を示しており、図６では、法面30における複数の岩石32が落石した際の「動き」を警報として検出した様子を示している。

以上のように本発明では、撮像手段１から入力される撮像データとしての入力映像Ｉｎに対して、隣接している画素群の加重平均値を計算する空間的フィルタリングを行ないスムーズ化映像Ｆｎとする空間フィルタ処理手段11と、前記スムーズ化映像Ｆｎに対して、数フレームの一定時間内の再帰平均値を計算する時間的フィルタリングを行ない、参照映像たる短時間参照映像Ｌ１及び背景映像たる長時間参照映像Ｌ２を生成する時間フィルタ処理手段12と、短時間参照映像Ｌ１と長時間参照映像Ｌ２とから動きのみを抽出し、所定の閾値を超える当該動きのみを動作映像Ｌ４として生成し、前記動作映像Ｌ４のうち所定の警報条件に適合する前記動きを検出して警報する動画像処理手段たる動画像処理制御手段20とを備えている。

このようにすると、入力映像Ｉｎから空間的かつ時間的に不必要な成分を除去することができる。即ち、空間的フィルタリングにより１フレームの画像中に発生する静的なノイズを除去し、時間的フィルタリングによりフレーム間に発生する一瞬の変化や短い変化などの動的なノイズを取り除くことができる。また、短時間参照映像Ｌ１と長時間参照映像Ｌ２とから「動き」のみを抽出し、閾値と比較することで、通常と違う特殊な「動き」のみを示す動作映像Ｌ４を生成することで、輝度の変化や、雲の動き、あるいは倒れた木のような永久的な変化を考慮した背景を除去した、特殊な「動き」だけの映像を生成することができる。従って、屋外などの自然環境に存在する無害な「動き」に対する誤検出を防ぐことができ、映像中の予め設定した条件を満たした事象に対してのみ警報を報知することができる。

また本実施例では、空間フィルタ処理手段11及び時間フィルタ処理手段12は、毎秒20乃至30フレームのデジタル画像の各画素の平均ＲＧＢ色値を計算することにより、短時間参照映像Ｌ１及び長時間参照映像Ｌ２に逐次再帰平均処理を繰り返しながら更新させている。

このようにすると、異常のリアルタイム検出を実現することができ、輝度の変化や、雲の動き、あるいは倒れた木のような永久的な変化に対応しながら、長時間にわたる監視が可能となる。

さらに本実施例では、空間フィルタ処理手段11及び時間フィルタ処理手段12は、ＲＧＢ色値の代わりに、平均的ＹＵＶ或いは輝度を表す画素値を用いるようにもしている。

このようにすると、少ない画質の劣化で高いデータ圧縮率を得ることができ、データ量が少ないため処理を高速化することができる。

また本実施例では、動作映像Ｌ４中の画素群を小塊として検出する小塊検出手段13と、前記小塊を構成する所定の画素を親配列として進化計算を行う物体追跡手段14とを備え、動画像処理制御手段20は、物体追跡手段14により所定の評価関数を満たす動きが数世代にわたり検出されると、警報するものである。

このようにすると、小塊を構成する画素群のうち側面方向、または下方範囲などの警報条件を特徴づける所定の画素のみに対して、進化計算を行なうことができる。映像中の変化が継続するかどうか、変化が永久的か、変化しているとされた領域の周辺の画素がそれに続く映像内で変化が起こるかなどを計算により判別し、無害な「動き」と有害な「動き」とを区別することができる。

本発明における第２実施例について、図７乃至図９を参照しながら説明する。

図７は、第１実施例で示した映像監視システムの最小構成40を組み込んだ地滑り監視システムの一態様を示すものである。従って、映像監視システムの最小構成40は、第１実施例と同様、監視場所に設置される例えば監視カメラなどの撮像手段１と、監視映像に動画像処理を施す動画像処理装置２と、映像と音声出力機能を有し動画像処理装置から出力される映像を表示する例えばＣＲＴや液晶ディスプレイなどの映像表示手段３と、映像伝送用ケーブルなどの伝送手段４，５と、撮像手段１及び動画像処理装置２にそれぞれ電力を供給する例えば商用電源やバッテリー（充電電池）などの電源６，７から構成される。

本実施例においては、監視対象が地滑りであるため、撮像手段１は、動画像処理装置２から遠方の屋外に設置されることが多い。そこで、撮像手段１と動画像処理装置２との接続を無線で行なうべく、映像・音声受信機45を設置して、入力映像Ｉｎを送信するようにしている。伝送手段４若しくは映像・音声受信機45を介して送信される入力映像Ｉｎは、動画像処理装置２の他に、映像遅延装置46にも伝送される。映像遅延装置46は、警報条件が満たされる数秒前からの録画を可能にするものであり、少なくとも動画像処理装置２に入力映像Ｉｎが入力されてから、警報を検出し、録画装置47での録画が開始されるまでの時間分の映像を遅延させる必要がある。録画装置47は、動画像処理装置２が地滑りのような警報発生の条件を確認することにより起動される。これによって、地滑り発生前後の可視的な初段階を記録し、後に監視員等による映像検査を可能にする。48は、録画装置47で録画した映像を映像検査する際に使用する記録モニタである。もちろん、動画像処理装置２内に映像遅延装置46と録画装置47とを組み込むようにしてよい。

本実施例の変形例として、例えばパソコンなどの情報処理装置71を利用して、映像監視することも可能であり、撮像手段１からの入力映像Ｉｎを有線若しくは無線のモデム70を介して、本発明における動画像処理に従い動作するアプリケーションを備えた情報処理装置71に取り込み、当該処理結果をモニタ72に表示するようにする。

ところで、撮像手段１を、図８で示すような監視現場に設置する際には、屋外環境に適した遠隔監視ステーションとするのが好適である。同図は、本実施例における映像監視システムを監視現場に設置した様子を示す説明図であり、本発明の出願人が行なったテストの様子を示している。当該テストは、規制された地滑りが、予測可能な形で人工的かつ頻繁におこされる土砂採取のための「土取り場」で行なわれた。一連の成功したテスト例では、遠隔監視ステーション50は幅150ｍに及ぶ法面30の監視を維持的に行い、その映像とデータを現場の下方にある基地局51に送信し続けた。

基地局51には、図７で示した映像監視システムの内、撮像手段１以外の構成が設置されている。一方、遠隔監視ステーション50には、図９に示すように、撮像手段１が設置され、撮像手段１のレンズ部分が透明な例えば樹脂製の箱55で保護されている。該箱55は、プログラム可能なワイパーを設置すると、映像入力エラーを起こす雨やほこりを取り除くことができ、好ましい。さらに、撮像手段１と接続し、基地局51に設置された映像・音声受信機に映像を無線送信するビデオ送信機56と、センサ57で検知した例えば光，温度，湿度などの環境条件を収集するデータ収集装置58と、遠隔監視ステーション50の構成機器に電力を供給する為、再充電可能なバッテリ60及び太陽電池板61（及び/又は風力発電機）とを備え、データ収集装置58で収集された環境条件から、箱55に設けられた前記ワイパーや太陽電池板61に設けられたワイパー62を動作させる。もちろん、当該映像及びデータは遠隔監視ステーション50から基地局51まで有線、無線、光ケーブルなどいずれの通信手段で送信してもよい。なお、曇りや雨天などで太陽光が減少した際に、太陽電池61とバッテリ60とを切り替えるため、光センサパワースイッチ65を設けている。66は、前記環境条件を動画像処理装置２若しくは情報処理装置71にデータ送信するための無線モデムであり、光や熱など画像処理のエラーを起こす可能性のある環境条件を監視し、これらの条件を動画像処理における計算に含み、誤警報の原因になる誤ったデータを排除するために設けられる。即ち、動画像処理装置２を構成する空間フィルタ処理手段11，時間フィルタ処理手段12のフィルタ強度（前記重み係数や前記時定数など）を当該環境条件に応じて、動的に制御するようにしている。例えば、光の反射や熱気などが発生すると、画像中のノイズ（無害な「動き」）が増加するため、フィルタ強度を強くすることで、通常よりノイズを大きく減少させ、誤警報を防ぐ。動き検出20ｂにおいて、差分映像Ｙｎと相違映像Ｌ３との各々対応する画素の相違と比較する閾値を変化させるようにしてもよい。

以上のように本実施例では、動画像処理装置２と、動画像処理装置２を構成する動画像処理制御手段20による警報条件の検出を契機として録画を開始する録画装置47と、動画像処理装置２から出力される映像を遅延させながら録画装置47に入力する映像遅延装置46とを備えている。

このようにすると、警報条件が満たされる数秒前からの録画を可能にし、地滑り発生前後の可視的な初段階を記録し、後に監視員等による映像検査を可能にする。

また本実施例では、検知器たるセンサ57から入力される環境条件に応じて、空間フィルタ処理11手段及び時間フィルタ処理手段12のフィルタ強度及び前記閾値を変化させている。

このようにすると、光や熱など画像処理のエラーを起こす可能性のある環境条件を監視し、これらの条件を動画像処理における計算に含み、誤警報の原因になる誤ったデータを排除することができる。即ち、光の反射や熱気などが発生すると、画像中のノイズ（無害な「動き」）が増加するため、フィルタ強度を強くすることで、通常よりノイズを大きく減少させ、誤警報を防ぐことができる。

上述の実施例は動作原理の説明のために過ぎず、これらの例に限らず多くの変化版と個別の修正を含んだシステムが本発明の原理の範囲から外れずに導入されうるものとする。映像処理システムは、フラッシュメモリを使い、監視目的に沿った典型的な動きを示す状況の映像データを分析するために、プログラムしてもよい。同様に、フラッシュメモリによりモニター感度の閾値を使用現場で調整することも可能である。もちろん、本発明における映像監視システムの対象は、地滑りに限らず、警報を検出するための前記評価関数を変更することで、様々な事象に対して警報を検出することが可能である。

本発明の第１実施例における映像監視システムの構成図である。 同上、映像監視システムを構成する動画像処理装置の構成手段を示すブロック図である。 同上、映像監視システムを構成する動画像処理装置での処理内容を示す機能ブロック図である。 同上、映像監視システムを構成する動画像処理装置での処理内容を示すフロー図である。 同上、映像監視システムを構成する動画像処理装置で、法面からの地滑りを検出した結果を示す説明図である。 同上、映像監視システムを構成する動画像処理装置で、複数の岩石による落石を検出した結果を示す説明図である。 本発明の第２実施例における映像監視システムの構成図である。 同上、映像監視システムを監視現場に設置した様子を示す説明図である。 同上、監視現場に設置した遠方監視ステーションの構成図である。

符号の説明

１ 撮像手段
２ 動画像処理装置
11 空間フィルタ処理手段
12 時間フィルタ処理手段
13 小塊検出手段
14 物体追跡手段
20 動画像処理制御手段（動画像処理手段）
46 映像遅延装置
47 録画装置
57 センサ（検知器）

Claims (6)

1. 撮像手段から入力される撮像データに対して、隣接している画素群の加重平均値を計算する空間的フィルタリングを行ないスムーズ化映像とする空間フィルタ処理手段と、前記スムーズ化映像に対して、数フレームの一定時間内の再帰平均値を計算する時間的フィルタリングを行ない、参照映像及び背景映像を生成する時間フィルタ処理手段と、前記参照映像と前記背景映像とから動きのみを抽出し、所定の閾値を超える当該動きのみを動作映像として生成し、前記動作映像のうち所定の警報条件に適合する前記動きを検出して警報する動画像処理手段とを備えたことを特徴とする動画像処理装置。
2. 前記時間フィルタ処理手段は、毎秒20乃至30フレームのデジタル画像の各画素の平均ＲＧＢ色値を計算することにより、前記参照映像及び前記背景映像に逐次再帰平均処理を繰り返しながら更新させるものであることを特徴とする請求項１記載の動画像処理装置。
3. 前記時間フィルタ処理手段は、毎秒20乃至30フレームのデジタル画像の各画素の平均的ＹＵＶ或いは輝度を表す画素値を計算することにより、前記参照映像及び前記背景映像に逐次再帰平均処理を繰り返しながら更新させるものであることを特徴とする請求項１記載の動画像処理装置。
4. 検知器から入力される環境条件に応じて、前記空間フィルタ処理手段及び時間フィルタ処理手段のフィルタ強度及び前記閾値を変化させることを特徴とする請求項１乃至請求項３記載の動画像処理装置。
5. 前記動作映像中の画素群を小塊として検出する小塊検出手段と、前記小塊を構成する所定の画素を親配列として進化計算を行う物体追跡手段とを備え、前記動画像処理手段は、前記物体追跡手段により所定の評価関数を満たす動きが数世代にわたり検出されると、警報するものであることを特徴とする請求項１乃至請求項４記載の動画像処理装置。
6. 請求項１記載の動画像処理装置と、前記動画像処理装置を構成する前記動画像処理手段による警報条件の検出を契機として録画を開始する録画装置と、前記動画像処理装置から出力される映像を遅延させながら前記録画装置に入力する映像遅延装置とを備えたことを特徴とする映像監視システム。
   
   

Images