JP3953710B2 - 動画像による監視システム - Google Patents
動画像による監視システム Download PDFInfo
- Publication number
- JP3953710B2 JP3953710B2 JP2000172568A JP2000172568A JP3953710B2 JP 3953710 B2 JP3953710 B2 JP 3953710B2 JP 2000172568 A JP2000172568 A JP 2000172568A JP 2000172568 A JP2000172568 A JP 2000172568A JP 3953710 B2 JP3953710 B2 JP 3953710B2
- Authority
- JP
- Japan
- Prior art keywords
- movement
- reference value
- movement vector
- monitoring area
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
- Y02A10/23—Dune restoration or creation; Cliff stabilisation
Landscapes
- Closed-Circuit Television Systems (AREA)
- Pit Excavations, Shoring, Fill Or Stabilisation Of Slopes (AREA)
Description
【発明が属する技術分野】
本発明は、対象を撮影して得た動画像を用いて対象の動きを監視するためのシステムに関し、特に屋外における例えば崖崩れや落石の監視に好適なものである。
【0002】
【従来の技術】
従来、崖崩れや落石や侵入物体などの監視は、接触センサからの検出信号やビデオカメラからの動画像を処理することにより行われている。接触センサによる監視は、センサを設置した特定のポイントのみに監視に止まるのに対し、ビデオカメラからの動画像による監視は、撮影エリア全体を監視できる利点がある。
【0003】
従来の動画像による監視は、連続する2フレーム間の差分を計算する差分画像解析の手法により、崖崩れや落石や侵入物体など異常な動きを検出しようとしている。
【0004】
【発明が解決しようとする課題】
屋外においては、木々が揺れたり、天気が変わったり、鳥が飛ぶというような様々な自然な正常な動きが存在する。これらの正常な動きと、上記の異常な動きとを精度良く識別することは、従来の差分画像解析では難しい。そのため、従来の動画像による監視は、屋外監視には不向きである。
【0005】
従って、本発明の目的は、屋外のように正常な動きが自然に存在するエリアにおいても、目的の動きだけを精度良く検出することができる、動画像による監視技術を提供することにある。
【0006】
【課題を解決するための手段】
本発明は、監視エリアの動画像を分析することで監視エリア内にて目的の動きをする物体の有無を判定する監視システムにおいて、前記監視エリアにおいて時々刻々変化していくような環境の環境要素情報を検出する計測手段と、前記動画像における移動ベクトル分布の滑らかさの度合いに応じた正則化パラメータを予め設定し、前記計測手段が検出する環境要素情報に基づいて定められる正則化パラメータ係数値を設定するパラメータ設定手段と、前記動画像に含まれる時間的に異なる2フレームの画像に対して前記正則化パラメータ及び前記正則化パラメータ係数値により前記移動ベクトル分布の滑らかさの度合いの重み付けを行い、フレーム内の各画素の移動ベクトルを算出する移動ベクトル演算手段と、前記移動ベクトル演算手段によって算出された前記移動ベクトルに基づいて、前記目的の動きをする物体の有無を検出する対象検出手段と、を備えたことを特徴とする監視システムである。
【0007】
この監視システムは、監視エリアの動画像に含まれる時間的に異なる2フレームの画像から、フレーム内の各画素の移動ベクトルを計算する際に、まず、監視エリアがもつ環境要素に応じて、移動ベクトルの空間的な滑らかさの度合いを示すパラメータを設定した上で、そのパラメータを用いて移動ベクトルを計算する。これにより、監視エリアの環境に応じて精度良く目的の動きをする物体の移動ベクトルを求めることがができる。そして、その移動ベクトルに基づいて、目的の動きをする物体の有無を判断するので、目的の物体を精度良く検知することができる。
【0008】
ここで、パラメータを決める基となる環境要素とは、例えば、後述する好適な実施形態のように山地での落石を監視する場合であれば、その山地の斜面の傾斜方向や斜度、樹木の多寡や岩肌の露出割合、風速や風向や降雨雪量などの天候要素、カメラからその場所までの距離などである。これらの環境要素は、カメラで撮影した動画像上での、監視対象物である落石の移動方向や移動速度や動きの複雑さ、樹木の揺動や降雨雪の動きといった外乱となる動きの性質、落石と落石以外の物体の動きとの相関関係などに影響し、その結果、監視エリア内の諸物体の動きの連続性(つまり、移動ベクトルの空間的な滑らかさ)の度合いに影響を与える。従って、こうした環境要素に応じて、移動ベクトルの空間的な滑らかさの度合いを示すパラメータを設定することで、目的の物体の動きを良好に反映した移動ベクトルを求めることができる。例えば、樹木が多い場所や風の強い時には、移動ベクトルの空間的な滑らかさの度合いを示すパラメータを大きい値に設定することで、風によって樹木がいっせいに似た方向へ揺れ動くという外乱の動きが移動ベクトルに反映され難くして、監視目的の落石の動きを樹木の揺れ動きから識別し易くして、監視精度を高めることができる。
【0009】
好適な実施形態では、パラメータを設定する際、監視エリアを環境的に異なる(例えば、山地の斜面の傾斜方向や斜度や樹木の多寡などにおいて異なる)複数の領域に分割し、個々の領域毎に最適なパラメータを設定している。
【0010】
さらに、好適な実施形態では、時々刻々変化していくような環境要素(例えば、風速や風向などの天候)については、その環境要素の変化に応じてパラメータを調節するようにしている。
【0011】
本発明は、監視エリアの動画像を分析することで監視エリア内の目的の動きをする物体の有無を判定する監視システムにおいて、前記監視エリアにおいて時々刻々変化していくような環境の環境要素情報を検出する計測手段と、前記物体の動きに応じた物体移動方向基準値と物体移動方向幅基準値とを予め設定し、前記計測手段が検出する環境要素情報に基づいて定められる物体移動方向調整係数値とを設定する移動方向条件設定手段と、前記動画像に含まれる時間的に異なる2フレームの画像から、フレーム内の各画素の移動ベクトルを算出する移動ベクトル演算手段と、前記物体移動方向幅基準値と前記物体移動方向調整係数値とから物体移動方向幅を算出し、前記物体移動方向基準値を中心とし、前記物体移動方向幅の大きさを左右に振らせた範囲を物体移動方向範囲として設定し、前記物体移動方向範囲内に入る方向へ移動した物体の有無を、前記移動ベクトル演算手段よって算出された前記移動ベクトルに基づいて検出する対象検出手段と、を備えたことを特徴とする監視システムである。
【0012】
この監視システムは、計算された移動ベクトルに基づいて目的の動きをする物体の有無を検知する際に、監視エリアがもつ環境要素に応じて移動方向条件を設定した上で、その移動方向条件に合う移動ベクトルを検出することにより、目的の動きをする物体の有無を判断する。ここで、監視エリアがもつ環境要素とは、具体的には上に述べたようなものであり、監視対象の移動方向に影響を及ぼす。従って、その環境要素に応じて移動方向条件を設定して、その移動方向条件に合う動きを抽出することで、監視対象以外の外乱の動きをフィルタリングして、精度良く監視対象の動きだけを検出することができる。例えば、落石監視においては、斜面の最大傾斜方向、斜度及び風速などによって、落石の移動方向の範囲が変わってくるから、最大傾斜方向、斜度及び風速に応じて落石の移動方向範囲を設定して、その範囲内に移動方向が入る移動ベクトルだけを抽出することで、木々の揺れなどの外乱の影響をあまり受けることなく、対象の落石だけを精度良く検知することができる。
【0013】
好適な実施形態では、監視エリアを環境的に異なる複数の領域(例えば、山地の斜面の傾斜方向や斜度や樹木の多寡などにおいて異なる)複数の領域に分割し、個々の領域毎に最適なパラメータを設定している。
【0014】
さらに、好適な実施形態では、時々刻々変化していくような環境要素(例えば、風速や風向などの天候)については、その環境要素の変化に応じて移動方向条件を調節している。
【0015】
【発明の実施の形態】
図1は、本発明の一実施形態にかかる監視システムの構成を示す。この実施形態の監視システムは、山地などの落石の検知を目的とすることとして、以下の説明を行う。
【0016】
この監視システムは、落石が生じる可能性のある場所(監視エリア)を撮影してその監視エリアの動画像を出力するビデオカメラ1と、監視エリアに設置された風速計3及び風向計5と、ビデオカメラ1からの動画像を画面に表示するディスプレイ装置9と、ビデオカメラ1からの動画像データ、風速計3からの風速データ及び風向計5からの風向データを取り込んで処理することにより監視エリア内の物体の移動ベクトル(オプティカルフロー)を求めて監視エリア内の異常な移動物体(つまり、落石)を検知する移動ベクトル処理装置11と、移動ベクトル処理装置11が異常な移動物体を検知すると警報を発信する警報発信装置17とを備える。移動ベクトル処理装置11は、典型的にはコンピュータを用いて構成され、監視用プログラムを実行することで、監視エリア内の物体の移動ベクトル(オプティカルフロー)を求めて監視エリア内の異常な移動物体(つまり、落石)を検知し、そして、落石を検知する都度、その旨を示す監視ログファイルを作成して監視ログファイルデータベース13に蓄積し、かつ、監視エリアの動画像データから異常な移動物体を検知した時点のフレーム(監視静止画)を抽出して監視静止画データベース15に蓄積する。
【0017】
図2は、ビデオカメラ1から見た監視エリアの光景の一例を示す。
【0018】
図2の例では、監視エリア100内には2つの山があり、この監視エリア100は、落石や木々などの動きの性質において異なる複数の領域にA〜Eに分けられている。領域Aは空の領域である。領域BとEは、樹木で覆われた森林領域である。領域Cは、な斜度をもっと岩肌の露出した急崖領域である。領域Dは、緩やかな斜度をもち岩肌の露出した緩崖領域である。これらの領域A〜Eでは、その領域内に存在する物体(岩石、樹木、雲など)の動きの性質(落石の移動方向、移動方向の分散の度合い、異なる木々や岩石の動きのばらつき具合など)が領域によって異なる。そのため、移動ベクトル処理装置11は、移動ベクトルを計算して異常な移動物体を検知する処理を行なう際、後に詳述するように、その処理で用いる各種のパラメータに、領域毎の異なる最適値を設定することになる。また、風速や風向によっても、物体の動きの性質は変わってくる。そこで、移動ベクトル処理装置11は、後に詳述するように、処理用のパラメータを風速や風向に応じて調節することになる。
【0019】
以下、移動ベクトル処理装置11が行う処理について詳細に説明する。
【0020】
この処理は、カメラ1から来る動画像の連続する各2フレーム間で、前のフレームの各画素が次のフレームでどこに移動したかを解析して、画像中の移動ベクトル(オプティカルフロー)を推定するオプティカルフロー推定処理と、その移動ベクトルを解析して画像中の正常な動き(例えば、風による木々の左右の揺れや雲の流れなど)と異常な動き(この実施形態では、落石の落下)とを識別して、異常な動きをする物体(つまり、落石)だけを検出する異常検出処理とから構成される。
【0021】
前段のオプティカルフロー推定処理は、特開平9−297851号などで紹介されている公知の正則化手法に、本発明に従う改良を加えた方法で行う。ここで、正則化手法によるオプティカルフロー推定処理とは、ある1つのフレームの画像上の各画素の座標点(x,y)とその移動ベクトルつまりオプティカルフロー(u,v)との間には、そのフレーム画像内の空間的な明るさの勾配を(Ix,Iy)、そのフレームと次のフレーム間の明るさの勾配をItとしたときに、以下の式が成立することを用いた解析手法である。
【0022】
【数1】
【0023】
しかし、この式だけからは未知数u,vを推定することができず、他の拘束条件が必要となる。これについては、例えば、「Determining Optical Flow」(Artificial Intelligence 17 185〜203頁(1981))に記載された技術を利用する。この技術においては、「画像中の移動物体が剛体である」および「画像中の近傍領域でのオプティカルフロー分布は滑らかである」という2つの仮定をそれぞれ評価関数で表し、弛緩法を用いてこれらの2つの評価関数の和を最小化させることによってオプティカルフローの推定を行なう。具体的には、αを正則化パラメータとして、繰り返し演算によって次の(2)式を最小するu,vを求める。
【0024】
【数2】
すなわち、(2)式の右辺において、Eaは移動物体の剛体性を反映した評価関数であり、画像中の移動物体が完全な剛体(つまり、変形せずそれ自体の輝度も変化しない物)に近いほど、(1)式が成立し易くなりEaはゼロに近づく。また、Ebはオプティカルフローの空間分布の滑さを反映した評価関数であり、オプティカルフローの空間分布が完全に滑らかな(つまり、オプティカルフローが空間的に変化しない、つまり、画像内のどの画素も全て同じ方向へ同じ距離だけ移動する)状態に近いほど、Ebはゼロに近づく。要するに、(2)式の右辺は、画像の積分領域における移動物体の剛体性とオプティカルフローの空間分布の滑らかさとを統合的に評価した関数であり、その積分範囲の領域で上記2つの仮定「画像中の移動物体が剛体である」および「画像中の近傍領域でのオプティカルフロー分布は滑らかである」が良好に成立するほど、(2)式の右辺は小さい値となる。換言すれば、画像のある点の近傍領域で上記2つの仮定が成立するなら、その近傍領域で(2)式の関数を最小にするようなu,vがその点における妥当なオプティカルフローと推定される。
【0025】
ここで、正則化パラメータαは、(2)式の右辺における「オプティカルフロー分布の滑らかさ」の相対的な重みを反映している。つまり、αを大きく設定するほど、オプティカルフロー分布の滑らかさを重視していることになる。よって、正則化パラメータαは解析する画像に応じ、その画像中に存在する各種物体の複雑さや動きの性質や動きの大きさなどに関連して適切に設定されるべきである。
【0026】
また、本実施形態では、特開平9−297851号でもそうしていたように、前述の(2)式の評価関数をそのまま用いるのではなく、前述の(1)式の誤差を考慮するために、座標点(x,y)の近傍での(1)式の左辺の値の分散σ2 を(2)式に導入して、以下の(3)式の評価関数を最小とするu,vを、弛緩法を用いた反復演算によって求めるようにしている。
【0027】
【数3】
【0028】
上記の方法でフレーム画像内の全画素座標(x、y)についての移動ベクトルつまりオプティカル(u,v)を求めた後、次に、それらの移動ベクトルを解析して、それらの移動ベクトルの中から、物体の異常な動き(つまり、落石)と見做し得るものだけを検出する。その方法として、落石の移動方向は特定の方向範囲(例えば、斜面の最大傾斜方向を中心にした所定の角度範囲)に限定されることに着目して、その特定の方向範囲に移動する動きだけを抽出する。この場合、斜面によって最大傾斜方向や落石の方向が分散する幅が違ってくるので、図2に例示した領域A〜E毎に上記の特定の方向範囲を最適に設定することになる。また、風速や風向によっても落石の移動方向が分散する幅が変わってくる(例えば、水平方向の風速が強くなれば、落石の落下方向が最大傾斜方向からずれる度合いが大きくなる)から、風速や風向に応じて上記の特定の方向範囲を調節することも行う。このような方法で、画像内の移動ベクトルの中から、風による木々の左右の揺れなどの正常な動きと、落石という異常な動きとを峻別する。その結果、異常な動きが検出できれば、落石が発生したと判断し、検出できなければ、落石は発生していないと判断する。
【0029】
図3は、以上説明した移動ベクトル処理装置11が行う処理の具体的な流れを示すフローチャートである。
【0030】
移動ベクトル処理装置11は、監視動作を開始すると最初に、その処理で用いるパラメータを初期設定する(S1)。ここで設定されるパラメータには、弛緩法における計算の反復回数N、監視エリア内の領域A〜E毎の正則化パラメータ基準値αiと落石移動方向基準値θiと落石移動方向幅基準値βi、並びに正則化パラメータ調節係数γ及び落石移動方向調節係数kがある。
【0031】
図4は、領域A〜E毎に初期設定された正則化パラメータ基準値αiと落石移動方向基準値θiと落石移動方向幅基準値βiの例を示している。
【0032】
正則化パラメータ基準値αiとは、各領域A〜Eの処理で用いる正則化パラメータαの標準値を与えるものである。図4の例では、α0>α1>α2>α3の大小関係がある場合に、空領域Aには最も大きい値α0が設定され、森林領域BとEには2番目に大きい値α1が、緩崖領域Dには3番目に大きい値α2が、そして、急崖領域Cには最も小さい値α3が設定されている。これは、各領域A〜Eで予想される次のようなオプティカルフローの滑らかさ(連続性)の度合いを反映したものである。すなわち、空領域Aでは、雲がその形を大きく変えることなしに一方向に微速で移動するだけであるため、オプティカルフローの滑らかさ(連続性)の度合いは最も大きいであろう。森林領域BとEでは、多数の樹木が風でほぼ同方向へ低速で揺れることが多いため、オプティカルフローの滑らかさ(連続性)の度合いは2番目に大きいであろう。また、緩崖領域Dと急崖領域Cでは、安定した岩は不動であり不安定な岩だけが落石として落下する動きがあるため、オプティカルフローの滑らかさ(連続性)の度合いは低くなるが、そのうち、緩崖領域Dでは、どの落石も最大斜度方向に沿った類似の方向へ中程度の速さで落ちるのに対し、急崖領域Cでは、落石は高速で落下し、しかも、他の岩石に当たって方向を変えたり砕け散ったり他の落石を引き起こすなど複雑な動きをするので、急崖領域Eでのオプティカルフローの滑らかさ(連続性)の度合いは最も低いであろう。
【0033】
落石移動方向基準値θiとは、各領域A〜Eにおける落石の落下方向の標準値を与えるものであり、原則的にその領域の斜面の最大斜度方向である。従って、図4の例では、落石の生じない空領域Aには落石移動方向基準値θiは設定されず、他の領域B〜Eにはそれぞれの斜面の最大斜度方向θ1〜θ4が設定されている。落石移動方向幅基準値βiとは、各領域A〜Eにおける落石の落下方向が落石移動方向基準値θiからずれる幅の標準値を与えるものであり、図4の例では、5度<β2<β1<10度とした場合に、落石が単調な動きをするであろう森林領域BとEと緩崖領域Dには小さい方の値β1が設定され、落石が複雑な動きをするであろう急崖領域Cには大きい方の値β2が設定されている。
【0034】
図5は、各領域A〜Eの正則化パラメータ基準値αiと正則化パラメータ調節係数γが初期設定された結果として設定されることになる各領域A〜Eの正則化パラメータαを示している。
【0035】
図5に示すように、各領域A〜Eの正則化パラメータαは、各領域A〜Eの正則化パラメータ基準値αiと正則化パラメータ調節係数γの和として設定される。正則化パラメータ調節係数γは、正則化パラメータ基準値αiよりは遥かに小さい値であるが、後述するように、初期設定後に随時にその値が風速や風向に応じて調節されるので、結果として、各領域A〜Eの正則化パラメータαは、風速や風向に応じて調整されることになる。
【0036】
図6は、各領域A〜Eの落石移動方向基準値θiと落石移動方向幅基準値βiと落石移動方向調整係数kが初期設定された結果として設定されることになる各領域A〜Eの落石移動方向幅βと落石移動方向範囲θの例を示している。
【0037】
図6に示すように、各領域A〜Eの落石移動方向幅βは、各領域A〜Eの落石移動方向幅基準値βiと落石移動方向調整係数kとの積として設定され、そして、各領域A〜Eの落石移動方向範囲θは、各領域A〜Eの落石移動方向基準値θiを中心として左右(プラス・マイナス)に各領域A〜Eの落石移動方向幅βだけ振らせた(つまり、プラス及びマイナスした)範囲として設定される。そして、各領域A〜Eの落石移動方向範囲θが、移動ベクトルの中から落石を示すものだけを抽出するためのフィルタとして利用されることになる。ここで、落石移動方向調整係数kは、1.0〜2.0の範囲内の値であり、後述するように、初期設定後に随時にその値が風速や風向に応じて調節されるので、結果として、各領域A〜Eの落石移動方向範囲θは、風速や風向に応じて調整されることになる。
【0038】
再び図3を参照する。ステップS1で上述した諸パラメータを初期設定した後、次に、移動ベクトル処理装置11は、カメラ1から現在のフレームの画像I(x,y,t)を入力し、その入力フレーム画像I(x,y,t)に対し、以下の(4)式でされるx,y,t方向の輝度勾配画像Ix(x,y,t)、Iy(x,y,t)、It(x,y,t)を生成する(S2)。ここで、xとyは画像空間の水平軸と垂直軸上の座標値を、tは時間軸上の座標値をそれぞれ示す。
【0039】
【数4】
【0040】
次に、移動ベクトル処理装置11は、x,y,t方向の輝度勾配画像から、前述の(3)式を最小にするような水平方向のフローuと垂直方向のフローvとを弛緩法で求める。具体的には、次の(5)式で示される水平方向のフローuと垂直方向のフローvとを、弛緩法によるN回の繰り返し演算で計算する(S3〜S5)。
【0041】
【数5】
ここで、画像の任意の空間座標(i,j)における水平方向及び垂直方向のフローu,vは、それぞれ(uij,vij)と表されるが、(5)式では簡単のために(u,v)と略記している。また、(5)式において、フローu,vの右上に付してある添え字n、n+1は、それぞれ、N回までの繰り返し計算の途中のn回目、n+1回目の計算回で求めたフローu,vの値であることを意味している。
【0042】
N回の繰り返し計算で最終的な移動ベクトルつまりオプティカルフロー(uij,vij)が求まると、次に、移動ベクトル処理装置11は、落石の発生する可能性のある領域B〜Eついて、各領域の移動ベクトル(uij,vij)を解析して、図6に例示したような各領域の落石移動方向範囲θ内に入る方向へ移動した物体の有無をチェックする(S6)。その結果、その条件を満たす移動物体が有れば、移動ベクトル処理装置11は落石発生と判断して、警報発信装置17をして警報を発信させ(S7)、そして、何時どの場所に落石が発生したかを示す監視ログファイルと、その時点のフレーム画像(監視静止画)のファイルを作成して、それぞれのデータベース13、15に格納する(S8)。
【0043】
その後、移動ベクトル処理装置11は、風速計3と風向計5から風速データと風向データを取りこみ、そのデータに基づいて調節係数γ、kを修正する(S9)。図7、図8は調節係数γ、kを修正するための規則例を示す。図7に示すように、正則化パラメータ調節係数γは、風速が大きくなればより大きい値に、風速が小さくなればより小さい値へと修正する。これは、風速が大きくなるほど、風によって物体が同一方向へ移動する度合いが高くなって、オプティカルフローの滑らかさが増すため、正則化パラメータαをより大きい値に設定するということを意味する。また、図8に示すように、落石移動方向調節係数kは、カメラ1から見た水平方向(左右方向)の風速(例えば、カメラ1が北を向いていれば東西方向の風速)が大きくなればより大きい値に、その水平方向風速が小さくなればより小さい値へと修正する。これは、水平方向の風速が大きくなるほど、風によって落石の落下方向が斜面の最大斜度方向からずれる度合いが増すため、落石移動方向範囲θをより大きい範囲に設定することを意味する。
【0044】
このようにして、調整係数γとkを風速と風向に応じて修正した後、移動ベクトル処理装置11は、ステップS2へ戻り、新たなフレーム画像を入力して同様の処理を繰り返す。以上の処理は、監視動作の終了を命じられるまで繰り返される(S10)。
【0045】
以上、本発明の一実施形態を説明したが、これは本発明の説明のための例示に過ぎない。従って、本発明は上記実施形態以外の様々な態様でも実施することができる。例えば、本発明は屋外の落石検知だけでなく、不審者の侵入検知や、屋内の物体監視など様々な監視目的に適用することができる。監視目的や監視対象に応じて、正則化パラメータや移動方向範囲の設定の仕方や調節の仕方が異ならせてもよい。上記実施形態と同じ落石監視であっても、パラメータの調節を、風速や風向だけでなく、降雨量や降雪量などに応じて行ったり、調節係数γ、kとして領域毎に異なる値を設定するなど、様々な変形が採用し得る。
【図面の簡単な説明】
【図1】本発明の一実施形態にかかる監視システムの構成を示すブロック図。
【図2】ビデオカメラ1から見た監視エリアの光景の一例を示す説明図。
【図3】移動ベクトル処理装置11が行う処理のフローチャート。
【図4】領域A〜E毎に初期設定された正則化パラメータ基準値αiと落石移動方向基準値θiと落石移動方向幅基準値βiの例を示した説明図。
【図5】領域A〜E毎に設定された正則化パラメータαの例を示した説明図。
【図6】領域A〜E毎に設定された落石の移動方向幅βと移動方向範囲θの例を示した説明図。
【図7】風速に応じて正則化パラメータ調節係数γを修正するための規則の一例を示した説明図。
【図8】水平方向風速に応じて落石移動方向調節係数kを修正するための規則の一例を示した説明図。
【符号の説明】
1 ビデオカメラ
3 風速計
5 風向計
9 ディスプレイ装置
11 移動ベクトル処理装置
13 監視ログファイルDB
15 監視静止画DB
17 警報発信装置
Claims (8)
- 監視エリアの動画像を分析することで監視エリア内にて目的の動きをする物体の有無を判定する監視システムにおいて、
前記監視エリアにおいて時々刻々変化していくような環境の環境要素情報を検出する計測手段と、
前記動画像における移動ベクトル分布の滑らかさの度合いに応じた正則化パラメータを予め設定し、前記計測手段が検出する環境要素情報に基づいて定められる正則化パラメータ係数値を設定するパラメータ設定手段と、
前記動画像に含まれる時間的に異なる2フレームの画像に対して前記正則化パラメータ及び前記正則化パラメータ係数値により前記移動ベクトル分布の滑らかさの度合いの重み付けを行い、フレーム内の各画素の移動ベクトルを算出する移動ベクトル演算手段と、
前記移動ベクトル演算手段によって算出された前記移動ベクトルに基づいて、前記目的の動きをする物体の有無を検出する対象検出手段と、
を備えたことを特徴とする監視システム。 - 前記監視エリアは、前記移動ベクトル分布の滑らかさの度合いが異なる複数の領域に予め分割されており、
前記パラメータ設定手段は、
前記動画像における前記領域ごとに、当該領域における移動ベクトル分布の滑らかさの度合いに応じた正則化パラメータを予め設定し、
前記移動ベクトル演算手段は、
前記動画像に含まれる時間的に異なる2フレームの画像に対して、前記領域ごとに、前記領域ごとの正則化パラメータ及び前記正則化パラメータ係数値により前記移動ベクトル分布の滑らかさの度合いの重み付けを行い、フレーム内の各画素の移動ベクトルを算出する
ことを特徴とする請求項1に記載の監視システム。 - 前記計測手段は、前記環境要素情報として、風速、風向、降雨量、降雪量の情報を検出する
ことを特徴とする請求項1または2に記載の監視システム。 - 監視エリアの動画像を分析することで監視エリア内の目的の動きをする物体の有無を判定する監視システムにおいて、
前記監視エリアにおいて時々刻々変化していくような環境の環境要素情報を検出する計測手段と、
前記物体の動きに応じた物体移動方向基準値と物体移動方向幅基準値とを予め設定し、前記計測手段が検出する環境要素情報に基づいて定められる物体移動方向調整係数値を設定する移動方向条件設定手段と、
前記動画像に含まれる時間的に異なる2フレームの画像から、フレーム内の各画素の移動ベクトルを算出する移動ベクトル演算手段と、
前記物体移動方向幅基準値と前記物体移動方向調整係数値とから物体移動方向幅を算出し、前記物体移動方向基準値を中心とし、前記物体移動方向幅の大きさを左右に振らせた範囲を物体移動方向範囲として設定し、前記物体移動方向範囲内に入る方向へ移動した物体の有無を、前記移動ベクトル演算手段よって算出された前記移動ベクトルに基づいて検出する対象検出手段と、
を備えたことを特徴とする監視システム。 - 前記監視エリアは、前記物体に動きが異なる複数の領域に予め分割されており、
前記移動方向条件設定手段は、
前記領域毎に、前記物体の動きに応じて前記物体の物体移動方向基準値と物体移動方向幅基準値とを予め設定し、
前記対象検出手段は、
前記領域毎に、前記物体移動方向幅基準値と前記物体移動方向調整係数値とから物体移 動方向幅を算出し、前記領域ごとの前記物体移動方向基準値を中心とし、当該領域の前記物体移動方向幅の大きさを左右に振らせた範囲を物体移動方向範囲として設定し、前記物体移動方向範囲内に入る方向へ移動した物体の有無を、前記移動ベクトル演算手段よって算出された前記移動ベクトルに基づいて検出する
ことを特徴とする請求項4に記載の監視システム。 - 前記計測手段は、前記環境要素情報として、風速、風向、降雨量、降雪量の情報を検出する
ことを特徴とする請求項4または5に記載の監視システム。 - 監視エリアの動画像を分析することで監視エリア内にて目的の動きをする物体の有無を判定する監視システムのコンピュータに、
前記監視エリアにおいて時々刻々変化していくような環境の環境要素情報を検出する計測する手順、
前記動画像における移動ベクトル分布の滑らかさの度合いに応じた正則化パラメータを予め設定する手順、
検出する環境要素情報に基づいて定められる正則化パラメータ係数値を設定する手順、
前記動画像に含まれる時間的に異なる2フレームの画像に対して前記正則化パラメータ及び前記正則化パラメータ係数値により前記移動ベクトル分布の滑らかさの度合いの重み付けを行い、フレーム内の各画素の移動ベクトルを算出する手順、
算出した前記移動ベクトルに基づいて、前記目的の動きをする物体の有無を検出する手順、
を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。 - 監視エリアの動画像を分析することで監視エリア内の目的の動きをする物体の有無を判定する監視システムのコンピュータに、
前記監視エリアにおいて時々刻々変化していくような環境の環境要素情報を検出する手順、
前記物体の動きに応じた物体移動方向基準値と物体移動方向幅基準値とを予め設定する手順、
前記動画像に含まれる時間的に異なる2フレームの画像から、フレーム内の各画素の移動ベクトルを算出する手順、
前記物体移動方向幅基準値と前記物体移動方向調整係数値とから物体移動方向幅を算出する手順、
前記物体移動方向基準値を中心とし、前記物体移動方向幅の大きさを左右に振らせた範囲を物体移動方向範囲として設定し、前記物体移動方向範囲内に入る方向へ移動した物体の有無を、算出した前記移動ベクトルに基づいて検出する手順、
を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000172568A JP3953710B2 (ja) | 2000-06-08 | 2000-06-08 | 動画像による監視システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000172568A JP3953710B2 (ja) | 2000-06-08 | 2000-06-08 | 動画像による監視システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001352537A JP2001352537A (ja) | 2001-12-21 |
JP3953710B2 true JP3953710B2 (ja) | 2007-08-08 |
Family
ID=18674947
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000172568A Expired - Fee Related JP3953710B2 (ja) | 2000-06-08 | 2000-06-08 | 動画像による監視システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3953710B2 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4561266B2 (ja) * | 2004-09-14 | 2010-10-13 | 富士通株式会社 | 落下物検知装置 |
JP4610392B2 (ja) * | 2005-03-30 | 2011-01-12 | 学校法人東京理科大学 | 映像評価装置、映像評価方法および映像評価プログラム |
JP4568697B2 (ja) * | 2006-05-30 | 2010-10-27 | 日本電信電話株式会社 | 映像配信システム |
JP5044207B2 (ja) * | 2006-12-22 | 2012-10-10 | パナソニック株式会社 | 撮像装置 |
US9300906B2 (en) * | 2013-03-29 | 2016-03-29 | Google Inc. | Pull frame interpolation |
JP6591676B2 (ja) * | 2016-07-29 | 2019-10-16 | 株式会社ニコン・トリンブル | モニタリング方法、モニタリングシステム及びプログラム |
JP6995013B2 (ja) * | 2018-05-15 | 2022-01-14 | 国際航業株式会社 | 監視システム |
CN113963512B (zh) * | 2021-12-22 | 2022-04-01 | 四川省交通勘察设计研究院有限公司 | 一种落石监测***及方法 |
CN115060185B (zh) * | 2022-06-07 | 2023-03-28 | 西南交通大学 | 一种落石灾害柔性防护结构非接触视觉监测***及方法 |
CN114898278B (zh) * | 2022-06-09 | 2023-01-03 | 西南交通大学 | 非接触式落石防护动态响应信号自动识别及反馈方法 |
-
2000
- 2000-06-08 JP JP2000172568A patent/JP3953710B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2001352537A (ja) | 2001-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110794405B (zh) | 一种基于相机和雷达融合的目标检测方法及*** | |
CN107750364B (zh) | 使用稳定的坐标系的道路垂直轮廓检测 | |
US9501701B2 (en) | Systems and methods for detecting and tracking objects in a video stream | |
JP5551595B2 (ja) | 滑走路監視システムおよび方法 | |
KR100377067B1 (ko) | 이미지 시퀀스내의 객체의 움직임을 검출하기 위한 방법 및장치 | |
KR101618814B1 (ko) | 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법 | |
CN108596169B (zh) | 基于视频流图像的分块信号转换与目标检测方法及装置 | |
US20060195199A1 (en) | Monitoring device | |
JP6797860B2 (ja) | 水上侵入検知システムおよびその方法 | |
US9047515B2 (en) | Method and system for wildfire detection using a visible range camera | |
KR102253989B1 (ko) | 딥러닝 객체 검출기를 이용한 cctv 영상의 객체 추적 방법 | |
JP3953710B2 (ja) | 動画像による監視システム | |
KR101548639B1 (ko) | 감시 카메라 시스템의 객체 추적장치 및 그 방법 | |
JP2000105835A (ja) | 物体認識方法及び物体追跡監視装置 | |
CN110874592A (zh) | 一种基于总有界变分的森林火灾烟雾图像检测方法 | |
KR20190046351A (ko) | 침입 탐지방법 및 그 장치 | |
US20220128358A1 (en) | Smart Sensor Based System and Method for Automatic Measurement of Water Level and Water Flow Velocity and Prediction | |
JP2002074370A (ja) | 動画像による監視システム、方法及びコンピュータ読み取り可能な記録媒体 | |
CN115184917B (zh) | 一种融合毫米波雷达与相机的区域目标跟踪方法 | |
WO2022215409A1 (ja) | 物体追跡装置 | |
JP2002074369A (ja) | 動画像による監視システム、方法及びコンピュータ読み取り可能な記録媒体 | |
CN111199177A (zh) | 一种基于鱼眼图像校正的汽车后视行人检测报警方法 | |
JP7243372B2 (ja) | 物体追跡装置および物体追跡方法 | |
JP7271373B2 (ja) | 映像処理装置、映像処理システムおよび映像処理方法 | |
JP3848918B2 (ja) | 移動体監視装置および移動体監視方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20040521 |
|
RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20040526 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041227 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061030 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061107 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070130 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070328 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070417 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070425 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110511 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110511 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120511 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130511 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140511 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |