JP2021002791A - Environmental abnormality detection device - Google Patents
Environmental abnormality detection device Download PDFInfo
- Publication number
- JP2021002791A JP2021002791A JP2019116334A JP2019116334A JP2021002791A JP 2021002791 A JP2021002791 A JP 2021002791A JP 2019116334 A JP2019116334 A JP 2019116334A JP 2019116334 A JP2019116334 A JP 2019116334A JP 2021002791 A JP2021002791 A JP 2021002791A
- Authority
- JP
- Japan
- Prior art keywords
- detection device
- image
- vector
- abnormality detection
- flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 151
- 230000005856 abnormality Effects 0.000 title claims abstract description 103
- 230000007613 environmental effect Effects 0.000 title claims abstract description 61
- 238000005259 measurement Methods 0.000 claims abstract description 91
- 239000013598 vector Substances 0.000 claims abstract description 40
- 230000002159 abnormal effect Effects 0.000 claims abstract description 37
- 230000003287 optical effect Effects 0.000 claims abstract description 11
- 238000012544 monitoring process Methods 0.000 abstract description 21
- 238000003384 imaging method Methods 0.000 abstract 1
- 238000000034 method Methods 0.000 description 47
- 238000010586 diagram Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 13
- 230000000052 comparative effect Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
Abstract
Description
本発明は、環境異常検知装置に関する。 The present invention relates to an environmental abnormality detection device.
従来、撮影した画像情報に基づいて異常を検知する装置が知られている。この種の技術を開示するものとして例えば特許文献1がある。
Conventionally, a device for detecting an abnormality based on captured image information has been known. For example,
特許文献1には、所定の領域を監視領域として監視カメラで撮影し、当該監視カメラから得られる画像情報から前記監視領域内における物体の速度変化を抽出して土石流等の災害の発生を検知する災害検知システムに関する技術が記載されている。
In
カメラが監視対象から離れた場所に設置される場合、風等による少しの揺れも画像では大きな動きとなり、所定方向の流れが発生したと誤検知される可能性がある。また、雨が降った場合には下方向の流れが大きくなり、河川の流れる方向と重なったりして誤検知の原因となる。特許文献1等に示される従来技術には、画像のブレや雨等の外部環境に起因する誤検知を低減するという観点で改善の余地があった。
When the camera is installed in a place away from the monitoring target, even a slight shaking due to wind or the like causes a large movement in the image, and there is a possibility that it is erroneously detected that a flow in a predetermined direction has occurred. In addition, when it rains, the downward flow becomes large and overlaps with the flow direction of the river, which causes false detection. The prior art shown in
本発明は、画像のブレや雨等の外部環境に起因する誤検知を効果的に抑制し、監視対象の画像から正確に異常を検知できる環境異常検知装置を提供することを目的とする。 An object of the present invention is to provide an environmental abnormality detection device capable of effectively suppressing false detection caused by an external environment such as image blurring and rain, and accurately detecting an abnormality from a monitored image.
本発明は、時間的に連続する複数の画像から異常を検知する環境異常検知装置であって、監視対象を撮像した画像を受信する受信部と、画像中の所定の範囲に複数の計測点を含む検知枠を設定する検知枠設定部と、前記計測点のそれぞれのオプティカルフローのベクトルを取得するフロー取得部と、前記計測点のそれぞれの前記ベクトルが特定の方向に偏っている場合に異常と判定し、特定の方向に偏っていない場合は異常と判定しない判定部と、を備える環境異常検知装置に関する。 The present invention is an environmental abnormality detection device that detects an abnormality from a plurality of images that are continuous in time, and has a receiving unit that receives an image of a monitored object and a plurality of measurement points in a predetermined range in the image. An abnormality occurs when the detection frame setting unit that sets the detection frame including the detection frame, the flow acquisition unit that acquires the optical flow vector of each measurement point, and the vector of each measurement point are biased in a specific direction. The present invention relates to an environmental abnormality detection device including a determination unit that determines and does not determine an abnormality if it is not biased in a specific direction.
本発明の環境異常検知装置によれば、画像のブレや雨等の外部環境に起因する誤検知を効果的に抑制し、監視対象の画像から正確に異常を検知できる。 According to the environmental abnormality detection device of the present invention, false detection caused by an external environment such as image blurring or rain can be effectively suppressed, and an abnormality can be accurately detected from an image to be monitored.
以下、本発明の好ましい実施形態について、図面を参照しながら説明する。図1は、本発明の一実施形態に係る環境異常検知装置10が適用される災害検知システム1を模式的に示す図である。
Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a diagram schematically showing a
まず、災害検知システム1の全体構成について説明する。図1に示すように、災害検知システム1は、監視対象の画像を撮影するカメラ2と、災害発生を報知するスピーカー3と、災害情報を受信する情報端末4と、事前登録される携帯端末5と、カメラ2が取得した画像情報に基づいて災害発生を判定する環境異常検知装置10と、を備える。
First, the overall configuration of the
カメラ2は、土石流100の発生を検知するポイントT1,T2,T3のそれぞれに設置される。各カメラ2が取得した画像情報は環境異常検知装置10に送信される。
The
スピーカー3は、土石流100等の災害の発生を音により報知する報知部の1つである。例えば、後述する環境異常検知装置10によって異常が検知されると、ユーザがスピーカー3を作動させ、災害を報知する。また、環境異常検知装置10によって異常が検知されると自動的にスピーカー3が作動する構成であってもよい。なお、災害を報知する報知部としては、スピーカー3の他、照明等の光によって災害を報知する方式や、ディスプレイ等に映像を表示させて災害を報知する方式等を用いることもできる。
The
情報端末4は、土石流100等の災害の発生を示す災害情報を受信するコンピュータである。災害情報を受信した情報端末4は、災害情報に伴う処理を実行する。例えば、情報端末4は、災害発生をディスプレイ等の表示装置に表示したりする処理を行う。携帯端末5は、環境異常検知装置10に事前に登録されるスマートフォン等の電子機器である。携帯端末5には、メール等の通信手段を介して環境異常検知装置10から災害情報が送信される。
The information terminal 4 is a computer that receives disaster information indicating the occurrence of a disaster such as a
環境異常検知装置10は、カメラ2が取得した画像情報に基づいて監視対象の異常を検知する処理を実行するコンピュータである。環境異常検知装置10には、ユーザが環境異常検知装置10の操作を行うための入力装置と、環境異常検知装置10の処理結果等を表示する表示装置と、が接続される。
The environmental
環境異常検知装置10には、カメラ2の取得した画像情報が入力される。画像情報は時間的に連続する動画である。例えば、カメラ2は、フレームレート(fps)30で監視対象を撮影し、撮影された動画がインターネット回線や専用線等を介して環境異常検知装置10に送信される。
The image information acquired by the
次に、環境異常検知装置10による異常検知に関する処理について説明する。図2は、本実施形態の環境異常検知装置10のブロック図である。図2に示すように、環境異常検知装置10は、受信部21と、検知枠設定部22と、フロー取得部23と、判定部24と、記憶部25と、を備える。
Next, processing related to abnormality detection by the environmental
受信部21は、有線又は無線により、カメラ2が撮像した画像データを受信するインターフェースである。検知枠設定部22、フロー取得部23及び判定部24は、異常を検知する処理を実行する制御装置26の一部である。記憶部25は、制御や異常検知に関わる各種の情報を記憶する。
The
図3及び図4は、本実施形態の環境異常検知装置10による異常検知処理の例を示すフローチャートである。
3 and 4 are flowcharts showing an example of abnormality detection processing by the environmental
図3に示すように、まず、検知枠設定部22により、検知枠31・計測点32の設定が行われる(ステップS101)。図5は、本実施形態の環境異常検知装置10による異常検知を行う画像の一例を示す模式図である。図6は、本実施形態の検知枠31の計測点32を示す模式図である。
As shown in FIG. 3, first, the detection
検知枠設定部22は、画像の所定の領域に検知枠31を設定する処理を行う。図5に示すように、検知枠31は、監視対象ごとに設定される領域であり、例えば、画像中の河川の領域に設定される。検知枠31は、実証的、経験的にユーザによって設定される。監視対象や画角が異なるポイントT1〜T3ごとに検知枠31の位置が一致するわけではない。なお、検知枠31は、画像処理によって画像中の河川とそれ以外を区別して自動的に設定されるようにしてもよい。図5には、上段範囲91に6個の検知枠31を配置し、中段範囲92に5個の検知枠31を配置し、下段範囲93に14個の検知枠31を配置した例が破線で区分けされている。この下段範囲93では、上下2ラインで検知枠31が配列されている。なお、破線は図の説明のために記載したもので実際の画像に表示されなくてもよい。
The detection
検知枠31について説明する。図6の左側に示すように、本実施形態の1個の検知枠31のサイズは、縦10ピクセル、横10ピクセルの正方形の枠である。図6の左側に示すように、この検知枠31には複数の計測点32が設定される。本実施形態では、4ピクセルを単位としたグリッドの交点が計測点32となっており、1個の検知枠31に対して25個の計測点32が設定される。また、ステップS101では、検知したい方向についても設定される。本実施形態では、検知したい方向は画像中の土石流の流れる方向に基づいて下向きに設定される。
The
図3のフローに戻る。検知枠31及び計測点32の設定が終了すると、受信部21が受信した新しい動画の読み込みを開始する(ステップS102)。動画はカメラ2によって撮像された監視対象の動画である。
Return to the flow of FIG. When the setting of the
次に、フロー取得部23が計測点32ごとの60フレームの流向・流速の平均値を算出する。上述のように、フレームレート(fps)30で撮像されるので、60フレームは2秒の動画を構成する60枚の画像である(ステップS103)。
Next, the
図7は、本実施形態の環境異常検知装置10によるオプティカルフローの取得を説明する模式図である。図7の計測点32から延びる矢印は、その向きが流向を示し、その長さが流速を示している。
FIG. 7 is a schematic diagram illustrating acquisition of an optical flow by the environmental
フロー取得部23は、時間的に連続する1枚目の画像と2枚目の画像に基づいて、オプティカルフロー技法により25個の計測点32のそれぞれの流向と流速を算出する。2枚目の画像と3枚目の画像、3枚目の画像と4枚目の画像というように、時間的に連続する画像のペアに基づいて計測点32ごとの流向と流速を算出する。この処理を60枚の画像に対して行うと、59回分の計測点32ごとの流向と流速が算出されることになる。
The
フロー取得部23は、59回分の流向と流速を計測点32ごとに平均化したものを、計測点32のそれぞれの流向と流速として設定する。このように、所定時間内の連続する画像m枚からm−1回分の流向と流速を平均化したものが、計測点32ごとの流向と流速に設定される。
The
25個の計測点32の中から対象の計測点32を1個セットする(ステップS104)。図8は、本実施形態の環境異常検知装置10による計測点の方向別頻度の算出を説明する模式図である。例えば、図8の左側に示すように、最も左隅に位置する計測点32を対象の計測点32として設定する。
One
ステップS105〜S110では、ステップS104で設定された計測点32が異常点であるか否かを複数の条件に基づいて判定する。
In steps S105 to S110, it is determined whether or not the
まず、判定部24は、計測点32を選択した後、当該計測点32における方向別の出現頻度の最高回数を調査する処理を実行する(ステップS105)。図8の右側に示すように、計測点32におけるオプティカルフローの方向は、45度ずつ8方向に区分した方向P1〜方向P8の何れかに判定され、計測結果の回数分の方向が取得される。判定部24は、方向P1〜方向P8のうち、最高回数の方向を決定し、この最高回数の方向の出現頻度を取得する。
First, after selecting the
図9を参照して最高回数の出現頻度の取得処理について説明する。図9は、本実施形態の環境異常検知装置10によって計測された計測点32の方向別の頻度の分布を示すグラフの一例である。図9の横軸にはオプティカルフローの方向が示され、縦軸には1つの計測点における各方向の出現頻度が示されている。
The process of acquiring the maximum number of occurrence frequencies will be described with reference to FIG. FIG. 9 is an example of a graph showing the frequency distribution of the measurement points 32 in each direction measured by the environmental
図9には、ある計測点32での59回の計測結果の例が示されている。この例では、59回のうち、最も出願頻度が多かった最高回数は、破線で囲まれる下向きの方向P5である。判定部24は、最高回数の方向をP5に設定する。このP5の出願頻度が約70%となっている。
FIG. 9 shows an example of the results of 59 measurements at a
図3のフローに戻る。ステップS105の処理の後、判定部24は、第1の条件を満たすか否かを判定する。本実施形態では、最高回数の出願頻度が閾値として設定される30%以上であるか否かを判定部24が判定する(ステップS106)。ここで、30%未満の場合、当該計測点32は異常点ではないことになり、ステップS104に移行して同一の検知枠31の異なる計測点32が新たに設定される。新たに設定された計測点32に対してステップS105以降の処理が実行される。
Return to the flow of FIG. After the process of step S105, the
ステップS105の処理で、最高回数の出願頻度が30%以上の場合、計測点32が第2の条件を満たすか否かを判定するために、計測点32における最高回数となった方向の隣り合う方向の出現頻度を調査する処理を実行する(ステップS107)。隣り合う方向とは、周方向で隣りに位置する方向である。
In the process of step S105, when the maximum number of applications is 30% or more, the directions in which the maximum number of times is reached at the
図10を参照して最高回数の方向に隣り合う方向の出現頻度を反映した異常点の判定方法について説明する。図10は、本実施形態の環境異常検知装置によって計測された計測点の方向別の頻度分布を示すグラフの一例であり、図9と同様のグラフである。図10の破線に示すように、最高回数の方向P5の両隣りであるP4とP6が隣り合う方向に設定される。 A method of determining an abnormal point that reflects the frequency of appearance in directions adjacent to each other in the direction of the maximum number of times will be described with reference to FIG. FIG. 10 is an example of a graph showing the frequency distribution of measurement points for each direction measured by the environmental abnormality detection device of the present embodiment, and is the same graph as in FIG. As shown by the broken line in FIG. 10, P4 and P6, which are adjacent to each other in the maximum number of directions P5, are set in adjacent directions.
第2の条件では、最高回数の方向P5と隣り合う方向P4,P6との3方向の出現頻度が閾値として設定される50%以上であるか否かを判定部24が判定する(ステップS108)。図10に示す例では、最高回数の方向P1が約70%であり、方向P4が約10%であり、方向P5が約10%であり、3方向の出願頻度は約90%となり、第2の条件を満たすと判定されることになる。
In the second condition, the
図3のフローに戻る。ここで、50%未満の場合、当該計測点32は異常点ではないことになり、ステップS104に移行して同一の検知枠31の異なる計測点32が新たに設定される。新たに設定された計測点32に対してステップS105以降の処理が実行される。
Return to the flow of FIG. Here, if it is less than 50%, the
ステップS108の処理で、最高回数の方向及び隣り合う方向の出現頻度で50%以上の場合、計測点32が第3の条件を満たすか否かを判定するために、計測点におけるベクトルの強さを調査する処理に移行する(ステップS109)。ステップS109では、1つの計測点32における2秒の単位でベクトルの強さの平均値が作成される。
In the process of step S108, when the frequency of appearance in the maximum number of directions and the adjacent directions is 50% or more, the strength of the vector at the measurement point is determined in order to determine whether or not the
図11は、本実施形態の環境異常検知装置10によって計測された計測点32の所定方向のベクトルの強さの程度を示す模式図である。図11には、最高回数の方向P5の平均値として3ピクセルのベクトルが示されている。第3の条件では、最高回数の平均ベクトルの強さを判定する基準として2ピクセルが設定される。なお、本実施形態では、閾値としてのピクセルの数は、カメラ解像度やカメラ2までの距離等に基づいて設定される。
FIG. 11 is a schematic diagram showing the degree of strength of the vector of the
判定部24は、ステップS109で最高回数のベクトルの平均値を作成した後、当該ベクトルの平均値が2ピクセル以上であるか否かを判定する(ステップS110)。ここで、当該ベクトルの平均値が2ピクセル未満の場合は、当該計測点32は異常点ではないことになり、ステップS104に移行して同一の検知枠31の異なる計測点32が新たに設定される。新たに設定された計測点32に対してステップS105以降の処理が実行される。
After creating the average value of the vector of the maximum number of times in step S109, the
ステップS110の処理で、ベクトルの平均値が2ピクセル以上の場合は、当該計測点32を異常点に設定し、その情報を記憶部25に記憶する。次に、検知枠31内の25個の計測点32の算出が終了したか否かを確認する(ステップS111)。ここで、25個の計測点32の算出が終了していない場合は、ステップS104に移行して同一の検知枠31の異なる計測点32が新たに設定される。新たに設定された計測点32に対してステップS105以降の処理が実行される。
In the process of step S110, when the average value of the vectors is 2 pixels or more, the
図4のフローに戻る。ステップS111の処理で、検知枠31内の25個の計測点32の算出が終了したと判定された場合は、監視対象に異常が生じているか否かを複数の条件に基づいて判定部24が判定するステップS112〜S118の処理に移行する。ステップS112では、検知枠31内すべての異常点の方向別頻度を調査する処理を行う。
Return to the flow of FIG. When it is determined in the process of step S111 that the calculation of the 25 measurement points 32 in the
まず、計測点32に設定された異常点について図12を参照して説明する。図12は、本実施形態の環境異常検知装置10によって計測された計測点32に対する異常点の分布を示す模式図である。図12中の白丸33が示される計測点32は異常点と判定されなかった計測点32であり、十字34が示される計測点32は異常点と判定された計測点32である。この例では、4秒間、最も上側の5個の計測点32を除く20個の計測点32が異常点と判定されていることになる。
First, the abnormal point set at the
図13は、本実施形態の環境異常検知装置10によって計測された異常点の方向別の頻度分布を示すグラフの一例である。図13には、異常点として設定された計測点32の方向別の頻度分布が示されている。この例では、異常点として設定された計測点32における最高回数は、破線の枠の内側にある方向P5であり、その出現頻度が70%であることがわかる。図12で説明した例の場合、異常点と判定された20点の計測点32における方向別頻度に基づいて図13に示すようなデータが算出されることになる。
FIG. 13 is an example of a graph showing the frequency distribution of abnormal points in each direction measured by the environmental
図4のフローに戻る。判定部24は、監視対象に異常が生じているか否かを判定する第1の条件を満たしているか否かを確認するため、ステップS113で検知枠31内の異常点と判定した計測点32における最高回数の方向の出現頻度が閾値として設定される40%以上か否かを判定する。ここで、40%未満の場合は、この時間単位では異常が検知されなかったことになり、新しい動画を読み込むステップS102に移行し、この新しい動画に対してステップS103以降の処理が実行される。
Return to the flow of FIG. The
図13の例のように、最高回数の方向の出現頻度が40%以上の場合は第2の条件を満たしているか否かを確認するため、ステップS114で検知枠31内の異常点の最高回数となった方向の隣り合う方向の出現頻度を調査する処理を実行する(ステップS113)。図14は、本実施形態の環境異常検知装置10によって計測された異常点の方向別の頻度分布を示すグラフの一例である。図13と同様のグラフである。図14の例では、破線の枠の内側の方向P4〜P6の3方向での出願頻度が算出される。
As in the example of FIG. 13, when the frequency of appearance in the direction of the maximum number of times is 40% or more, in order to confirm whether or not the second condition is satisfied, the maximum number of abnormal points in the
図4のフローに戻る。本実施形態では、3方向の出現頻度の閾値が50%に設定されており、判定部24によって第2の条件を満たしているか否かが判定される(ステップS115)。ここで、3方向の出現頻度の閾値が50%未満の場合は、この時間単位では異常が検知されなかったことになる。この場合、新しい動画を読み込むステップS102に移行し、この新しい動画に対してステップS103以降の処理が実行される。
Return to the flow of FIG. In the present embodiment, the threshold value of the appearance frequency in the three directions is set to 50%, and the
ステップS115で3方向の出現頻度の閾値が50%異常の場合、判定部24は、監視対象に異常が生じているか否かを判定する第3の条件を満たしているか否かを確認するため、ステップS116の処理に移行する。
When the threshold value of the appearance frequency in the three directions is abnormal by 50% in step S115, the
ステップS116では、検知枠31内の異常点の最高回数となった方向と、ステップS101で設定した検知したい方向と、が一致するか否かの判定を行う。この判定は、監視対象に異常が生じているか否かを判定する第3の条件と言うこともできる。本実施形態では、ステップS101で検知したい方向が下向きに設定されているので、最高回数となった方向が下向きを示す方向P5か否かが判定される。ステップS116で最高回数となった方向が検知したい方向(下方向)に一致した場合は、ステップS117の処理に移行する。ステップS117では、同じ状態が連続時間継続されるか調査する処理が行われ、連続2回以上(4秒間)の検知枠31の異常点に関する情報が取得される。ステップS116で異常点として設定された計測点32における最高回数の方向と、設定された検知したい方向(下方向)と、が一致しなかった場合は、ステップS102に移行し、ステップS103以降の処理が実行される。
In step S116, it is determined whether or not the direction in which the maximum number of abnormal points in the
判定部24は、連続2回(4秒間)、同じ状態が継続しているか否かを判定する(ステップS118)。ステップS118の結果、同じ状態が継続している場合は異常を検知したことを確定する(ステップS119)。なお、連続2回(4秒間)、同じ状態が継続していないと判定された場合は新しい動画を読み込むステップS102に移行し、この新しい動画に対してステップS103以降の処理が実行される。
The
以上、説明した一連の処理により、検知枠31内で異常として土石流100が検知されたか否かが判定される。検知枠31で異常が検知された場合は、図3に示すように土石流100を検知した画像上の検知枠31aに特別な色(例えば赤色)を表示したり、点滅させたりする等の処理を制御装置26が行う。
Through the series of processes described above, it is determined whether or not the
本実施形態の環境異常検知装置10は、監視対象を撮像した画像を受信する受信部21と、画像中の所定の範囲に複数の計測点32を有する検知枠31を設定する検知枠設定部22と、計測点32のそれぞれのオプティカルフローのベクトルを取得するフロー取得部23と、計測点32のそれぞれのベクトルが特定の方向に偏っている場合に異常と判定し、特定の方向に偏っていない場合は異常と判定しない判定部24と、を備える。
The environmental
これにより、カメラ2の揺れや雨が発生しても瞬間的な動きとなりベクトルの方向が不均一の動きとなり平常時と判断できるとともに、土石流100発生時においては、同一方向(下方向)のベクトルが継続した時間発生するため土石流100を確実に検知できる。更に、検知枠31の中での不均一から均一な状態への変化に基づいて異常を検知するので、人や動物が画像に入ることに起因する誤検知も効果的に低減できる。
As a result, even if the
本実施形態の検知枠31は、複数個所に設定される。 The detection frames 31 of this embodiment are set at a plurality of places.
これにより、小さな枠を複数個設定できるため、誤検知が発生しやすい箇所を避ける等、ユーザ側で検知したい任意の場所を自由に選ぶことができる。また、任意の場所ごとの土石流100の検知が可能となり、土石流100の規模(幅)も併せて表現することもできる。更に、画像全体で異常を検知する必要がなくなり、コンピュータの負荷を軽減できる。
As a result, a plurality of small frames can be set, so that the user can freely select an arbitrary place to be detected, such as avoiding a place where false detection is likely to occur. In addition, the
本実施形態の判定部24は、計測点32で計測されたベクトルの大きさが予め設定される閾値を超えた場合に当該計測点32を異常点に設定し、異常点に設定された計測点32のベクトルが特定の方向に偏っている場合に異常と判定する。
When the size of the vector measured at the
図15を参照してベクトルの大きさを判定する基準に設定する効果について説明する。図15は、本実施形態の環境異常検知装置10によるベクトルの状態の違いによる検知例を示す模式図である。図15に示すように、本実施形態では、平常時はベクトルの流向(方向)がバラバラとなって異常と判定されない。また、雨の影響により流向が下側の一定方向に向いていても、流速が速くない場合は異常と判定されない。そして、流向が一定方向かつ流速が大きい場合のみ異常と判定される。これによって、大きな流れを生む土石流100を確実に検知するとともに雨滴等の小さな流れが誤検知される可能性をより一層低減できる。
The effect of setting the reference for determining the magnitude of the vector will be described with reference to FIG. FIG. 15 is a schematic diagram showing an example of detection due to a difference in vector states by the environmental
本実施形態の判定部24は、計測点32のそれぞれから取得されたベクトルの方向のうち、最も多かった方向の割合が予め設定される閾値を超えたことをベクトルが特定の方向に偏っている場合と判定する。
In the
これにより、監視対象やカメラ2の位置、角度、距離等に応じて閾値を設定でき、環境に応じた高い検知精度を実現できる。また、連続する時間での発生割合を基準に判断するので、土石流100以外の雨滴等の継続した流れが検知されないように閾値を設定することができる。例えば、カメラ2のレンズに雨滴が付着して流下した場合でも、下方向にベクトルが大きく動いても短時間で流下するので、継続した流れが発生せず、発生割合が閾値未満となるので、異常と判定されなくなる。このように、カメラ2の揺れや人や動物の監視対象の侵入、雨等の一時的な動きに起因する誤検知を効果的に抑制できる。
As a result, the threshold value can be set according to the position, angle, distance, etc. of the monitoring target and the
以上、本発明の好ましい実施形態について説明したが、本発明は、上述の実施形態に制限されるものではなく、適宜変更が可能である。 Although the preferred embodiment of the present invention has been described above, the present invention is not limited to the above-described embodiment and can be appropriately modified.
例えば、上記実施形態では、オプティカルフロー技法により取得したベクトルの方向を方向P1〜方向P8の8方向の何れかに設定する方法を説明したが、ベクトルの方向を決定する方法はこの方法に限定されない。検知枠31の範囲をグリッドで区分し、オプティカルフローの先端や基端の位置がグリッドのどのマスにあるかに基づいてベクトルの方向を決める構成としてもよい。
For example, in the above embodiment, the method of setting the direction of the vector acquired by the optical flow technique to any of the eight directions of the directions P1 to P8 has been described, but the method of determining the direction of the vector is not limited to this method. .. The range of the
上記実施形態の図1には、3台のカメラ2が図示されているが、カメラ2の数は限定されない。カメラ2の設置数は、1台、2台、4台以上等、事情に応じて適宜変更することができる。
Although three
上記実施形態では、ステップS106の判定基準の閾値が30%であってステップS108の判定基準の閾値が50%である例や、ステップS113の判定基準の閾値が40%であってステップS115の判定基準の閾値が50%以上の例を示したが、閾値として設定される数値は、適宜変更できる。同様に、ステップS103のフレームレート、ステップS110のベクトルの強さ、ステップS117の連続する回数(連続時間)の数値等についても適宜変更できる。このように、各種の基準となる数値は、実証的又は経験的に設定してもよいし、監視対象や監視対象に対する撮影ポイントの距離や角度、検知したい異常の種類、検知精度の観点に基づいて設定してもよい。例えば、監視対象で事前に撮像された動画における土石流の発生している状態と発生していない状態でのベクトルを分析し、判定基準となるベクトルの強さや方向の割合等の数値を設定してもよい。 In the above embodiment, the threshold value of the determination criterion in step S106 is 30% and the threshold value of the determination criterion in step S108 is 50%, or the threshold value of the determination criterion in step S113 is 40% and the determination in step S115. An example in which the reference threshold value is 50% or more is shown, but the numerical value set as the threshold value can be changed as appropriate. Similarly, the frame rate in step S103, the strength of the vector in step S110, the numerical value of the number of consecutive times (continuous time) in step S117, and the like can be appropriately changed. In this way, various reference numerical values may be set empirically or empirically, and are based on the distance and angle of the monitoring target and the shooting point with respect to the monitoring target, the type of abnormality to be detected, and the detection accuracy. May be set. For example, the vector in the state where the debris flow is generated and the state where the debris flow is not generated in the video imaged in advance under the monitoring target is analyzed, and numerical values such as the strength and the ratio of the direction of the vector as the judgment standard are set. May be good.
上記実施形態で示した検知枠31及び計測点32の設定に限定されるわけではない。検知枠31の範囲、形状、1つの検知枠31に設定される計測点32の数、配置等も適宜変更できる。また、検知枠31の位置、例えば図5の上段範囲91、中段範囲92、下段範囲93によって表示方法や検知精度(閾値の設定)を変更してもよい。
The setting is not limited to the
上記実施形態では、画像上では下方向に流れる土石流100を検知する様子を説明したが、横方向に流れる土石流100も検知可能である。即ち、ステップS101で設定した検知したい方向を下方向以外に設定することもできる。また、検知したい方向に隣り合う方向も含めてもよい。例えば、ステップS116で、最高回数の方向が、方向P4、方向P5、方向P6の何れか1つであればステップS117に移行するフローとしてもよい。更に、場合によっては検知したい方向を設定及び判定するステップを省略してもよい。このように、監視対象や監視対象に対する撮影ポイントの距離や角度、検知したい異常の種類、検知精度の観点に基づいて検知したい方向を適宜設定することができ、上記実施形態のように検知したい方向が下方向に限定されるわけではない。
In the above embodiment, the state of detecting the
上記実施形態では、土石流100を検知する環境異常検知装置を例として説明したが、これに限定されない。平常時は発生しない所定方向の強い流れを環境の異常として検知することができるので、土石流100以外の地滑り等、種々の環境の異常を検知するためにも本発明を適用することができる。
In the above embodiment, the environmental abnormality detection device that detects the
次に、本発明の実施例と比較例による検知精度の違いについて説明する。図16は、本発明の実施例の環境異常検知装置と比較例の環境異常検知装置の判定制度を比較したグラフである。 Next, the difference in detection accuracy between the examples of the present invention and the comparative examples will be described. FIG. 16 is a graph comparing the determination systems of the environmental abnormality detection device of the embodiment of the present invention and the environmental abnormality detection device of the comparative example.
まず、実施例について説明する。実施例は、上記実施形態で説明した環境異常検知装置と同様のものであるが、ステップS106の判定基準の閾値が30%ではなく25%に設定されている点が異なっている。比較例について説明する。比較例は、いわゆる画像差分法を用いて異常を判定する従来の環境異常検知装置である。比較例の画像差分法では、処理範囲の濃度相対差の平均値である画像差分平均値(rtav)が、物体の動きがあったかどうかを判断するための基準値を超えている場合に物体が動いたと判定する。なお、画像差分平均値(rtav)は、画像差分閾値を超えた画素の数である濃度早退さを利用して次式(1)によって求められる。
(式1) 画像差分平均値(rtav)=Σ濃度相対差/処理範囲の全面素数
First, an embodiment will be described. The embodiment is the same as the environmental abnormality detection device described in the above embodiment, except that the threshold value of the determination criterion in step S106 is set to 25% instead of 30%. A comparative example will be described. A comparative example is a conventional environmental abnormality detection device that determines an abnormality using a so-called image difference method. In the image difference method of the comparative example, the object moves when the image difference mean value (rtav), which is the average value of the density relative differences in the processing range, exceeds the reference value for determining whether or not the object has moved. Judged as The image difference mean value (rtav) is obtained by the following equation (1) by utilizing the density fast-removal, which is the number of pixels exceeding the image difference threshold.
(Equation 1) Image difference mean value (rtav) = Σ density relative difference / total prime number of processing range
図16では、土石流が発生した様子を撮像した動画に対して実施例と比較例のそれぞれで異常検知を行ったときの検知及び誤検知の様子が示されている。図16に示すように、土石流発生時刻(0分)より前に土石流が検知された場合、誤検知ということになる。画像差分法を用いた比較例では、検知したポイントが白丸で示されている。比較例では、土石流が発生する前の100分の間で雨滴等に起因する73回誤検知が発生し、また土石流発生後も連続的ではなく間欠的に土石流が検知される結果となっている。 FIG. 16 shows the state of detection and erroneous detection when abnormality detection is performed in each of the examples and the comparative examples for a moving image of a debris flow. As shown in FIG. 16, when a debris flow is detected before the debris flow occurrence time (0 minutes), it is a false detection. In the comparative example using the image difference method, the detected points are indicated by white circles. In the comparative example, erroneous detection occurred 73 times due to raindrops, etc. within 100 minutes before the debris flow occurred, and even after the debris flow occurred, the debris flow was detected intermittently rather than continuously. ..
これに対して本発明に係る実施例では、検知したポイントが黒丸で示されている。実施例では、土石流が発生する前の100分の間で誤検知は僅か2回であり、土石流発生後は途切れることなく検知を正常に続けている。更に、ステップS106の判定基準の閾値を25%から30%に変更して同じ動画で異常検知を行ったところ、100分の間での誤検知も0回となった。このように、実施例においても、本発明に係る環境異常検知装置が誤検知を確実に低減できる。 On the other hand, in the embodiment according to the present invention, the detected points are indicated by black circles. In the embodiment, the false detection is only twice in 100 minutes before the debris flow occurs, and the detection continues normally without interruption after the debris flow occurs. Further, when the threshold value of the determination criterion in step S106 was changed from 25% to 30% and abnormality detection was performed with the same moving image, the number of false detections within 100 minutes was 0. As described above, even in the embodiment, the environmental abnormality detection device according to the present invention can surely reduce the false detection.
10 環境異常検知装置
21 受信部
22 検知枠設定部
23 フロー取得部
24 判定部
10 Environmental
Claims (4)
監視対象を撮像した画像を受信する受信部と、
画像中の所定の範囲に複数の計測点を含む検知枠を設定する検知枠設定部と、
前記計測点のそれぞれのオプティカルフローのベクトルを取得するフロー取得部と、
前記計測点のそれぞれの前記ベクトルが特定の方向に偏っている場合に異常と判定し、特定の方向に偏っていない場合は異常と判定しない判定部と、
を備える環境異常検知装置。 An environmental anomaly detection device that detects anomalies from multiple images that are continuous in time.
A receiver that receives an image of the monitored object and
A detection frame setting unit that sets a detection frame that includes a plurality of measurement points in a predetermined range in the image,
A flow acquisition unit that acquires the vector of each optical flow of the measurement points, and
When the vector of each of the measurement points is biased in a specific direction, it is determined to be abnormal, and when it is not biased in a specific direction, it is not determined to be abnormal.
Environmental anomaly detection device equipped with.
前記異常点に設定された前記計測点の前記ベクトルが特定の方向に偏っている場合に異常と判定する請求項1又は2に記載の環境異常検知装置。 The determination unit sets the measurement point as an abnormal point when the magnitude of the vector measured at the measurement point exceeds a preset threshold value.
The environmental abnormality detection device according to claim 1 or 2, wherein when the vector of the measurement point set to the abnormality point is biased in a specific direction, it is determined to be an abnormality.
前記計測点のそれぞれから取得された前記ベクトルの方向のうち、最も多かった方向の割合が予め設定される閾値を超えたことを前記ベクトルが特定の方向に偏っている場合と判定する請求項1から3の何れかに記載の環境異常検知装置。 The determination unit
Claim 1 for determining that the vector is biased in a specific direction when the ratio of the most common directions among the directions of the vectors acquired from each of the measurement points exceeds a preset threshold value. The environmental abnormality detection device according to any one of 3 to 3.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019116334A JP6632757B1 (en) | 2019-06-24 | 2019-06-24 | Environmental abnormality detection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019116334A JP6632757B1 (en) | 2019-06-24 | 2019-06-24 | Environmental abnormality detection device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6632757B1 JP6632757B1 (en) | 2020-01-22 |
JP2021002791A true JP2021002791A (en) | 2021-01-07 |
Family
ID=69166689
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019116334A Active JP6632757B1 (en) | 2019-06-24 | 2019-06-24 | Environmental abnormality detection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6632757B1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113538524A (en) * | 2021-06-18 | 2021-10-22 | 云南电网有限责任公司 | 5G-fused intelligent early warning method and system for debris flow of power transmission line |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11122602A (en) * | 1997-10-17 | 1999-04-30 | Kensetsu Denki Gijutsu Kyokai | Method and system for monitoring occurrence of avalanche of rocks and earth |
JP2009110152A (en) * | 2007-10-29 | 2009-05-21 | Panasonic Corp | Congestion estimation device |
JP2009110054A (en) * | 2007-10-26 | 2009-05-21 | Panasonic Corp | Situation judging device, situation judging method, situation judging program, abnormality judging device, abnormality judging method and abnormality judging program |
JP2014007498A (en) * | 2012-06-22 | 2014-01-16 | Hitachi Kokusai Electric Inc | Disaster detection system |
-
2019
- 2019-06-24 JP JP2019116334A patent/JP6632757B1/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11122602A (en) * | 1997-10-17 | 1999-04-30 | Kensetsu Denki Gijutsu Kyokai | Method and system for monitoring occurrence of avalanche of rocks and earth |
JP2009110054A (en) * | 2007-10-26 | 2009-05-21 | Panasonic Corp | Situation judging device, situation judging method, situation judging program, abnormality judging device, abnormality judging method and abnormality judging program |
JP2009110152A (en) * | 2007-10-29 | 2009-05-21 | Panasonic Corp | Congestion estimation device |
JP2014007498A (en) * | 2012-06-22 | 2014-01-16 | Hitachi Kokusai Electric Inc | Disaster detection system |
Also Published As
Publication number | Publication date |
---|---|
JP6632757B1 (en) | 2020-01-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4803376B2 (en) | Camera tampering detection method | |
JP5644097B2 (en) | Image processing apparatus, image processing method, and program | |
US20100013917A1 (en) | Method and system for performing surveillance | |
US8792681B2 (en) | Imaging system and imaging method | |
JP2006523043A (en) | Method and system for monitoring | |
US20190279490A1 (en) | Eyeglasses-type wearable terminal, control method thereof, and control program | |
JP2009005198A (en) | Image monitoring system | |
JP6494418B2 (en) | Image analysis apparatus, image analysis method, and program | |
JP2015226209A (en) | Information presentation system, stereo camera system and information presentation method | |
JP2019078880A (en) | Control device, imaging apparatus, control method, and program | |
JP2014007498A (en) | Disaster detection system | |
KR101428913B1 (en) | Surveillance system for overheating state utilizing micro-size image array sensor | |
JP2021002791A (en) | Environmental abnormality detection device | |
JP4707019B2 (en) | Video surveillance apparatus and method | |
TWI704529B (en) | Method and device for detecting an object crossing event at a predetermined first line in a scene | |
JP2018201146A (en) | Image correction apparatus, image correction method, attention point recognition apparatus, attention point recognition method, and abnormality detection system | |
CN113108919B (en) | Human body temperature detection method, device and storage medium | |
JP2008054243A (en) | Monitoring device | |
JP2019161362A (en) | Monitoring system | |
JP5545977B2 (en) | Image monitoring device | |
KR101445361B1 (en) | Site Monitoring System | |
JP5679173B2 (en) | Image monitoring sensor | |
JP4998955B2 (en) | Collapse detection system and method | |
WO2019082474A1 (en) | Three-dimensional intrusion detection system and three-dimensional intrusion detection method | |
JP2007096613A (en) | Monitoring system and monitoring method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191023 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20191023 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20191030 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191126 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191210 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6632757 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |