JP7023803B2

JP7023803B2 - Monitoring system

Info

Publication number: JP7023803B2
Application number: JP2018117715A
Authority: JP
Inventors: 俊二小野
Original assignee: Kansai Electric Power Co Inc
Current assignee: Kansai Electric Power Co Inc
Priority date: 2018-06-21
Filing date: 2018-06-21
Publication date: 2022-02-22
Anticipated expiration: 2038-06-21
Also published as: JP2019218771A

Description

本開示は、監視システム、監視方法、およびプログラムに関する。 The present disclosure relates to monitoring systems, monitoring methods, and programs.

従来、河川から発電所に発電用水を供給する水路には、冬季等においてスノージャムが発生し得る。また、海水を冷却水として用いる発電所の水路には、クラゲが流入することもある。 Conventionally, snow jam may occur in a waterway that supplies power generation water from a river to a power plant in winter or the like. In addition, jellyfish may flow into the waterways of power plants that use seawater as cooling water.

特許文献１には、スノージャム検出装置が開示されている。また、非特許文献１には、監視カメラの映像を利用してクラゲの流入を検知するシステムが開示されている。 Patent Document 1 discloses a snow jam detection device. Further, Non-Patent Document 1 discloses a system for detecting the inflow of jellyfish by using an image of a surveillance camera.

特開２００１－６４９５２号公報Japanese Unexamined Patent Publication No. 2001-64952

川角浩亮外2名 “監視カメラの映像を利用したクラゲ流入検知システム”、［online］、2001年、T.IEE Japan, Vol.121-C No.5、［平成30年5月28日検索］、インターネット〈URL：https://www.jstage.jst.go.jp/article/ieejeiss1987/121/5/121_5_854/_pdf>Hiroaki Kawasumi 2 people outside "Jellyfish inflow detection system using surveillance camera images", [online], 2001, T.IEE Japan, Vol.121-C No.5, [May 28, 2018 search ], Internet <URL: https://www.jstage.jst.go.jp/article/ieejeiss1987/121/5/121_5_854/_pdf>

非特許文献１にも記載されているように、従来の技術では、波風がある水面の映像から浮遊物（たとえば、スノージャム、クラゲの群れ）を検出することは困難である。 As described in Non-Patent Document 1, it is difficult to detect floating matter (for example, a group of snow jams and jellyfish) from an image of a water surface with a wave breeze by the conventional technique.

本開示は、上記の問題点に鑑みなされたものであって、その目的は、水路を流れる浮遊物を精度良く検知することが可能な監視システム、監視方法、およびプログラムを提供することにある。 The present disclosure has been made in view of the above problems, and an object of the present invention is to provide a monitoring system, a monitoring method, and a program capable of accurately detecting suspended matter flowing in a water channel.

本開示のある局面に従うと、監視システムは、設備に水を供給する水路を撮像する撮像手段と、撮像により得られた連続する複数のフレーム画像の各々を二値化する二値化手段と、二値化により得られた二値化画像の各々において、白色の部分の重心位置を算出する算出手段と、重心位置の時間的な変化態様に基づき、白色の部分に浮遊物が含まれているか否かを判定する判定手段と、白色の部分に浮遊物が含まれていると判定されたことに基づき、予め定められた報知を行う報知手段とを備える。 According to certain aspects of the present disclosure, the surveillance system comprises an imaging means that images the channel that supplies water to the facility, and a binarization means that binarizes each of the plurality of consecutive frame images obtained by the imaging. In each of the binarized images obtained by binarization, whether the white part contains suspended matter based on the calculation means for calculating the position of the center of gravity of the white part and the temporal change mode of the position of the center of gravity. It is provided with a determination means for determining whether or not the image is present, and a notification unit for performing a predetermined notification based on the determination that the white portion contains a floating substance.

本開示によれば、水路を流れる浮遊物を精度良く検知することができる。 According to the present disclosure, it is possible to accurately detect suspended matter flowing in a water channel.

スノージャムを説明するための図である。It is a figure for demonstrating snow jam. 発電設備（発電所）に水を供給する水路を撮像することにより得られた画像を表した図である。It is a figure showing the image obtained by taking an image of the water channel which supplies water to a power generation facility (power plant). スノージャムが発生しているときの重心位置の時間的変化を説明するための図である。It is a figure for demonstrating the temporal change of the position of the center of gravity when snow jam occurs. スノージャムが発生していないときの重心位置の時間的に変化を説明するための図である。It is a figure for demonstrating the temporal change of the position of the center of gravity when snow jam does not occur. 監視システムのシステム構成を説明するための図である。It is a figure for demonstrating the system configuration of a monitoring system. 二値化画像における白色部分の重心位置の座標系を説明するための図である。It is a figure for demonstrating the coordinate system of the center of gravity position of the white part in a binarized image. Ｘ軸方向の正の向きへの重心位置の移動と、Ｘ軸方向の負の向きへの重心位置の移動とを表した図である。It is a figure showing the movement of the center of gravity position in the positive direction in the X-axis direction, and the movement of the center of gravity position in the negative direction in the X-axis direction. 所定期間における重心位置の移動例を表した図である。It is a figure which showed the example of the movement of the center of gravity position in a predetermined period. Ｙ軸方向の正の向きへの重心位置の移動と、Ｙ軸方向の負の向きへの重心位置の移動とを表した図である。It is a figure showing the movement of the center of gravity position in the positive direction in the Y-axis direction, and the movement of the center of gravity position in the negative direction in the Y-axis direction. 所定期間における重心位置の移動例を表した図である。It is a figure which showed the example of the movement of the center of gravity position in a predetermined period. サーバ装置の機能的構成を説明するための図である。It is a figure for demonstrating the functional configuration of a server apparatus. 判定処理の前半部分を表したフロー図である。It is a flow chart showing the first half part of the determination process. 判定処理の後半部分を表したフロー図である。It is a flow chart which showed the latter half part of a determination process. サーバ装置のハードウェア構成の典型例を表した図である。It is a figure which showed the typical example of the hardware configuration of a server device. フレーム画像間の差分を用いる手法（比較例）と、本例との処理の特徴点を整理した図である。It is the figure which arranged the feature point of the process (comparison example) which uses the difference between frame images, and this example.

以下、図面を参照しつつ、本発明の各実施の形態に係るシステムについて説明する。以下の説明では、同一の部材には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。 Hereinafter, the system according to each embodiment of the present invention will be described with reference to the drawings. In the following description, the same members are designated by the same reference numerals. Their names and functions are the same. Therefore, the detailed description of them will not be repeated.

また、以下では、水路を流れる浮遊物（水路を詰まらせる要因となる物体）として、スノージャムを例に挙げて説明する。ただし、浮遊物は、スノージャムに限定されず、たとえば、海水を冷却手段として使用する発電所の場合には、浮遊物はクラゲの群れであってもよい。 Further, in the following, snow jam will be described as an example as a floating substance (an object that causes clogging of the waterway) flowing through the waterway. However, the suspended matter is not limited to snow jam, and for example, in the case of a power plant using seawater as a cooling means, the suspended matter may be a group of jellyfish.

＜Ａ．スノージャム＞
図１は、スノージャムを説明するための図である。 <A. Snow jam ＞
FIG. 1 is a diagram for explaining snow jam.

図１を参照して、状態（i）に示すように、山に積もった雪が落ちる。次いで、状態（ii）に示すように、落ちた雪が水路に流れ込む。これにより、スノージャムが発生する。さらに、状態（iii）に示すように、発電所の上流に設けられた上部水槽が、スノージャムにより詰まる。これにより、状態（iv）に示すように、水路から水が溢れる。その結果、発電所に水路の水（冷却水）が供給されなくなり、状態（v）に示すように、発電が停止する。したがって、スノージャムの発生を早期に検知することができれば、発電が停止することを防ぐことができる。 With reference to FIG. 1, as shown in state (i), the snow on the mountain falls. Then, as shown in state (ii), the fallen snow flows into the waterway. This causes snow jam. Further, as shown in the state (iii), the upper water tank provided upstream of the power plant is clogged with snow jam. This causes water to overflow from the channel, as shown in state (iv). As a result, the water in the channel (cooling water) is no longer supplied to the power plant, and power generation is stopped as shown in the state (v). Therefore, if the occurrence of snow jam can be detected at an early stage, it is possible to prevent the power generation from stopping.

また、スノージャムが発生する場所は、通常、発電所の作業員が常駐していない場所である。それゆえ、本例においては、水路をカメラによって撮像された映像を用いて、スノージャムの発生を検知する。 In addition, the place where snow jam occurs is usually a place where the workers of the power plant are not stationed. Therefore, in this example, the occurrence of snow jam is detected by using the image of the waterway captured by the camera.

ところで、スノージャムの発生初期から中期にかけては、水路がスノージャムによって詰まっておらず、水流がある。それゆえ、スノージャム（雪塊）は水路を流れる。その一方、スノージャムの発生後期においては、水路がつまり、雪が一ヶ所に滞り始める。本例では、このような特徴を考慮し、スノージャムの発生初期から発生中期におけるスノージャムの検知を行う。 By the way, from the early stage to the middle stage of the occurrence of snow jam, the waterway is not clogged by the snow jam and there is a water flow. Therefore, snow jams flow through waterways. On the other hand, in the latter part of the snow jam, the waterway is clogged and the snow begins to stay in one place. In this example, in consideration of such characteristics, snow jam is detected from the early stage to the middle stage of the occurrence of snow jam.

図２は、発電設備（発電所）に水を供給する水路を撮像することにより得られた画像を表した図である。具体的には、当該画像Ｇ１は、映像（動画像）のある時点の画像（静止画、１枚のフレーム画像）を表した図である。より詳しくは、画像Ｇ１は、冬季において、水路のうち取水口が設けられた場所を撮像したものである。 FIG. 2 is a diagram showing an image obtained by imaging a water channel that supplies water to a power generation facility (power plant). Specifically, the image G1 is a diagram showing an image (still image, one frame image) at a certain point in time of a moving image (moving image). More specifically, the image G1 is an image of a place where an intake port is provided in the waterway in winter.

図２を参照して、水路には、複数のスノージャム（白色で表示した物体）が水面に浮遊している。また、取水口の上部（画像Ｇ１の左上部分）には、雪が積もっている。 With reference to FIG. 2, a plurality of snow jams (objects displayed in white) are floating on the surface of the water in the waterway. In addition, snow is piled up on the upper part of the intake (upper left part of the image G1).

このような水路では、水の流れ自体や風によって波が立つことにより、水面の状態が変化する。また、夜間の照明によって水面が照らされ、水底においても夜間照明の反射が起こる。また、昼間の降雪、夜間の降雪なども発生する。このように、水路においては、昼夜を含めた日照条件の違いを含む気象条件の違いによって、撮像される画像も画一的ではない。 In such a water channel, the state of the water surface changes due to the waves generated by the water flow itself or the wind. In addition, the water surface is illuminated by nighttime lighting, and nighttime lighting is reflected even at the bottom of the water. In addition, daytime snowfall and nighttime snowfall also occur. As described above, in the waterway, the images captured are not uniform due to the difference in weather conditions including the difference in sunshine conditions including day and night.

本例では、このような条件下においてもスノージャムの発生を精度良く検知可能なシステムを説明する。詳しくは後述するが、本例では、二値化後の画像における白色部分の重心位置の時間的な変化態様に基づき、白色部分にスノージャムが含まれるか否かを判定する。換言すれば、二値化により抽出（特定）したフレーム画像の一定輝度以上の領域の重心位置の時間的な変化態様に基づき、一定輝度以上の領域にスノージャムが含まれるか否かを判定する。 In this example, a system capable of accurately detecting the occurrence of snow jam even under such conditions will be described. Although details will be described later, in this example, it is determined whether or not the white portion contains snow jam based on the temporal change mode of the position of the center of gravity of the white portion in the image after binarization. In other words, it is determined whether or not snow jam is contained in the region having a certain brightness or more based on the temporal change mode of the position of the center of gravity of the region having a certain brightness or more extracted (specified) by binarization. ..

フレーム画像を二値化する理由は、スノージャムが発生しているときに撮像された画像を確認すると、スノージャムは昼夜を問わずに白く映っているためである。 The reason for binarizing the frame image is that when the image captured when the snow jam is occurring is checked, the snow jam appears white day and night.

図３は、スノージャムが発生しているときの重心位置の時間的変化を説明するための図である。図３（Ａ）は、映像のある時点のフレーム画像Ｇ２１と、フレーム画像Ｇ２１に対して二値化処理をしたときに得られる二値化画像Ｂ２１とを表した図である。図３（Ｂ）は、フレーム画像Ｇ２１よりも数十フレーム後の時点のフレーム画像Ｇ２２と、フレーム画像Ｇ２２に対して二値化処理をしたときに得られる二値化画像Ｂ２２とを表した図である。 FIG. 3 is a diagram for explaining the temporal change of the position of the center of gravity when snow jam occurs. FIG. 3A is a diagram showing a frame image G21 at a certain point in time of an image and a binarized image B21 obtained when the frame image G21 is binarized. FIG. 3B is a diagram showing a frame image G22 at a time several tens of frames after the frame image G21 and a binarized image B22 obtained when the frame image G22 is binarized. Is.

図３（Ａ），（Ｂ）を参照して、白色部分の重心位置Ｃは、時間の経過とともに大きく移動していることが分かる。また、他の複数のフレーム画像を確認したところ、重心位置Ｃは一方向へ移動する傾向があることが判明した。 With reference to FIGS. 3A and 3B, it can be seen that the position C of the center of gravity of the white portion moves significantly with the passage of time. Further, when a plurality of other frame images were confirmed, it was found that the position C of the center of gravity tended to move in one direction.

図４は、スノージャムが発生していないときの重心位置の時間的に変化を説明するための図である。図４（Ａ）は、映像のある時点のフレーム画像Ｇ３１と、フレーム画像Ｇ３１に対して二値化処理をしたときに得られる二値化画像Ｂ３１とを表した図である。図４（Ｂ）は、フレーム画像Ｇ３１よりも数十フレーム後の時点のフレーム画像Ｇ３２と、フレーム画像Ｇ３２に対して二値化処理をしたときに得られる二値化画像Ｂ３２とを表した図である。 FIG. 4 is a diagram for explaining a temporal change in the position of the center of gravity when snow jam does not occur. FIG. 4A is a diagram showing a frame image G31 at a certain point in time of an image and a binarized image B31 obtained when the frame image G31 is binarized. FIG. 4B is a diagram showing a frame image G32 at a time several tens of frames after the frame image G31 and a binarized image B32 obtained when the frame image G32 is binarized. Is.

図４（Ａ），（Ｂ）を参照して、白色部分の重心位置Ｃは、時間が経過しても位置は大きくは変化しない。また、他の複数のフレーム画像を確認したところ、重心位置Ｃは、気象条件にかかわらず、一ヶ所で振動的に移動していることが判明した。 With reference to FIGS. 4A and 4B, the position of the center of gravity C of the white portion does not change significantly over time. Further, when a plurality of other frame images were confirmed, it was found that the center of gravity position C was oscillatingly moved at one place regardless of the weather conditions.

本例では、スノージャム発生時と未発生時とにおける重心位置Ｃの変動の違いに基づいて、スノージャムの発生を検知する。 In this example, the occurrence of snow jam is detected based on the difference in the fluctuation of the center of gravity position C between the time when snow jam occurs and the time when snow jam does not occur.

＜Ｂ．システム構成＞
図５は、監視システムのシステム構成を説明するための図である。 <B. System configuration>
FIG. 5 is a diagram for explaining the system configuration of the monitoring system.

図５を参照して、監視システム１は、サーバ装置１００と、端末装置２００と、監視カメラ３００とを備える。監視カメラ３００は、サーバ装置１００と通信可能に接続されている。端末装置２００は、ネットワークを介して通信可能にサーバ装置１００に接続されている。 With reference to FIG. 5, the surveillance system 1 includes a server device 100, a terminal device 200, and a surveillance camera 300. The surveillance camera 300 is communicably connected to the server device 100. The terminal device 200 is connected to the server device 100 so as to be able to communicate via the network.

監視カメラ３００は、水路５００を撮像するために水路５００の傍に設置されている。本例では、監視カメラ３００は、水路５００のうち取水口７００の状態を監視するために、取水口７００が設けられた場所を撮像するように設置されている。なお、取水口７００には、一定形状をした大きな異物（流木等）が発電設備に流れ込まないように、柵が設けられている。 The surveillance camera 300 is installed near the water channel 500 in order to image the water channel 500. In this example, the surveillance camera 300 is installed so as to take an image of a place where the intake port 700 is provided in order to monitor the state of the intake port 700 in the water channel 500. The water intake 700 is provided with a fence to prevent large foreign substances (driftwood, etc.) having a certain shape from flowing into the power generation facility.

監視カメラ３００によって撮像された映像（動画像）は、サーバ装置１００に送られる。当該映像は、たとえば端末装置２００等の装置で見ることができる。つまり、発電所の作業員等は、取水口７００の状態を映像によって監視することができる。 The image (moving image) captured by the surveillance camera 300 is sent to the server device 100. The image can be viewed on a device such as a terminal device 200, for example. That is, the workers of the power plant and the like can monitor the state of the water intake 700 by video.

さらに、監視システム１では、このような監視カメラ３００によって撮像された映像を利用して、スノージャムの発生を検知する。詳しくは、サーバ装置１００が、所定期間Ｔａ（たとえば数秒）における重心位置Ｃの時間的な変化に基づき、スノージャムの発生の有無を判定する。つまり、スノージャムの発生の有無は、所定期間Ｔａ（所定周期Ｔａ）毎に判定される。 Further, the surveillance system 1 detects the occurrence of snow jam by using the image captured by the surveillance camera 300. Specifically, the server device 100 determines whether or not snow jam has occurred based on the temporal change of the center of gravity position C in a predetermined period Ta (for example, several seconds). That is, the presence or absence of snow jam is determined for each predetermined period Ta (predetermined cycle Ta).

＜Ｃ．検知処理＞
図６は、二値化画像における白色部分Ｊの重心位置Ｃの座標系を説明するための図である。 <C. Detection processing>
FIG. 6 is a diagram for explaining the coordinate system of the center of gravity position C of the white portion J in the binarized image.

図６を参照して、二値化画像の一辺に平行な軸を「Ｘ軸」とし、Ｘ軸に垂直な軸を「Ｙ軸」とする。なお、二値化画像はフレーム画像を二値化したものであるため、Ｘ軸はフレーム画像の一辺に平行な軸であり、Ｙ軸は当該一辺に垂直な軸とも言える。 With reference to FIG. 6, the axis parallel to one side of the binarized image is referred to as “X-axis”, and the axis perpendicular to the X-axis is referred to as “Y-axis”. Since the binarized image is a binarized frame image, it can be said that the X-axis is an axis parallel to one side of the frame image and the Y-axis is an axis perpendicular to the one side.

重心位置Ｃは、このようなＸ軸とＹ軸とからなる直交座標系において定義される。なお、以下では、Ｘ軸方向の「正の向き」とは、Ｘ座標値が大きくなる方向（図６では右向き）を意味し、Ｘ軸方向の「負の向き」とは、Ｘ座標値が小さくなる方向（図６では左向き）を意味する。また、Ｙ軸方向の「正の向き」とは、Ｙ座標値が大きくなる方向（図６では上向き）を意味し、Ｙ軸方向の「負の向き」とは、Ｙ座標値が小さくなる方向（図６では下向き）を意味する。 The center of gravity position C is defined in such a Cartesian coordinate system including the X-axis and the Y-axis. In the following, the "positive direction" in the X-axis direction means the direction in which the X coordinate value increases (right direction in FIG. 6), and the "negative direction" in the X-axis direction means the X coordinate value. It means the smaller direction (to the left in FIG. 6). Further, the "positive direction" in the Y-axis direction means the direction in which the Y coordinate value increases (upward in FIG. 6), and the "negative direction" in the Y-axis direction means the direction in which the Y coordinate value decreases. It means (downward in FIG. 6).

（ｃ１．Ｘ軸方向への移動）
サーバ装置１００は、連続する２つの二値化画像間（連続する２つのフレーム画像に基づき得られた二値化画像間）での重心位置ＣのＸ軸方向への移動の向きを判定する。詳しくは、サーバ装置１００は、１つ前の二値化画像における重心位置Ｃと、最新のフレーム画像における重心位置Ｃとに基づき、重心位置Ｃが、Ｘ軸方向の正の向きに移動したか、Ｘ軸方向の負の向きに移動したか、あるいはＸ軸方向には移動していないかを判定する。 (C1. Movement in the X-axis direction)
The server device 100 determines the direction of movement of the center of gravity position C in the X-axis direction between two consecutive binarized images (between the binarized images obtained based on two consecutive frame images). Specifically, in the server device 100, has the center of gravity position C moved in the positive direction in the X-axis direction based on the center of gravity position C in the previous binarized image and the center of gravity position C in the latest frame image? , It is determined whether the movement is in the negative direction in the X-axis direction or not in the X-axis direction.

図７は、Ｘ軸方向の正の向きへの重心位置Ｃの移動と、Ｘ軸方向の負の向きへの重心位置Ｃの移動とを表した図である。 FIG. 7 is a diagram showing the movement of the center of gravity position C in the positive direction in the X-axis direction and the movement of the center of gravity position C in the negative direction in the X-axis direction.

図７を参照して、状態（Ａ）に示すように、ｋ番目（ｋは、自然数）のフレーム画像の次のｋ＋１番目フレーム画像において、重心位置ＣがＸ軸方向の正の向きに移動した場合には、サーバ装置１００は、サーバ装置１００のメモリに記憶している変数Ｘｐの値をインクリメントする（１だけ増加させる）。つまり、サーバ装置１００は、変数Ｘｐを用いて、所定期間ＴａにおけるＸ軸方向の正の向きの移動回数をカウントする。 As shown in the state (A) with reference to FIG. 7, in the k + 1st frame image next to the kth (k is a natural number) frame image, the center of gravity position C has moved in the positive direction in the X-axis direction. In that case, the server device 100 increments (increments by 1) the value of the variable Xp stored in the memory of the server device 100. That is, the server device 100 counts the number of movements in the positive direction in the X-axis direction in the predetermined period Ta using the variable Xp.

状態（Ｂ）に示すように、ｋ番目（ｋは、自然数）のフレーム画像の次のｋ＋１番目フレーム画像において、重心位置ＣがＸ軸方向の負の向きに移動した場合には、サーバ装置１００は、サーバ装置１００のメモリに記憶している変数Ｘｎの値をインクリメントする（１だけ増加させる）。つまり、サーバ装置１００は、変数Ｘｎを用いて、所定期間ＴａにおけるＸ軸方向の負の向きの移動回数をカウントする。 As shown in the state (B), in the k + 1st frame image next to the kth (k is a natural number) frame image, when the center of gravity position C moves in the negative direction in the X-axis direction, the server device 100 Increments the value of the variable Xn stored in the memory of the server device 100 (increments by 1). That is, the server device 100 counts the number of movements in the negative direction in the X-axis direction in the predetermined period Ta using the variable Xn.

このように、変数Ｘｐの値は、所定期間Ｔａにおける、Ｘ軸方向の正の向きへの移動回数を表し、変数Ｘｎの値は、所定期間Ｔａにおける、Ｘ軸方向の負の向きへの移動回数を表す。 As described above, the value of the variable Xp represents the number of movements in the positive direction in the X-axis direction in the predetermined period Ta, and the value of the variable Xn represents the movement in the negative direction in the X-axis direction in the predetermined period Ta. Represents the number of times.

サーバ装置１００は、重心位置Ｃの正の向きの移動回数と負の向きの移動回数とに基づき、白色部分がスノージャムであるか否かを判定する。典型的には、正の向きの移動回数と負の向きの移動回数との差分の絶対値Ｄｘ（Ｄｘ＝｜Ｘｐ－Ｘｎ｜）を算出し、当該差分の絶対値Ｄｘが予め定められた閾値Ｔｈ以上であることを条件に、白色部分がスノージャムであると判定する。 The server device 100 determines whether or not the white portion is a snow jam based on the number of movements in the positive direction and the number of movements in the negative direction of the center of gravity position C. Typically, the absolute value Dx (Dx = | Xp-Xn |) of the difference between the number of movements in the positive direction and the number of movements in the negative direction is calculated, and the absolute value Dx of the difference is a predetermined threshold value. On condition that it is Th or more, it is determined that the white part is snow jam.

なお、変数Ｘｐ，Ｘｎといった２つの変数を使用せずに、１つの変数Ｘを用いて、所定期間Ｔａにおける、Ｘ軸方向の正の向きへの移動回数とＸ軸方向の負の向きへの移動回数との差分を算出してもよい。たとえば、サーバ装置１００は、重心位置ＣがＸ軸方向の正の向きに移動した場合には変数Ｘの値をインクリメント（１だけ増加）し、重心位置ＣがＸ軸方向の負の向きに移動した場合には変数Ｘの値をディクリメント（１だけ減少）してもよい。 It should be noted that, instead of using two variables such as variables Xp and Xn, one variable X is used to move the number of movements in the positive direction in the X-axis direction and the negative direction in the X-axis direction in a predetermined period Ta. The difference from the number of movements may be calculated. For example, when the center of gravity position C moves in the positive direction in the X-axis direction, the server device 100 increments the value of the variable X (increments by 1), and the center of gravity position C moves in the negative direction in the X-axis direction. If so, the value of the variable X may be decremented (decreased by 1).

また、上記のような移動が行われる度に更新される変数を用いずに、フレーム番号（フレーム画像の識別番号）あるいは二値化画像の番号（識別番号）に対して、正の向きへの移動である場合には、数値“＋１”を対応付け、負の向きへの移動である場合には、数値“－１”を対応付けておいてもよい。この場合には、所定期間Ｔａ経過後に、各フレームに対応付けられた数値の総和（Σ）を求めることにより、上記差分が得られる。 In addition, the frame number (identification number of the frame image) or the binarized image number (identification number) is oriented in the positive direction without using the variable that is updated every time the movement is performed as described above. In the case of movement, the numerical value "+1" may be associated, and in the case of movement in the negative direction, the numerical value "-1" may be associated. In this case, the above difference can be obtained by obtaining the sum (Σ) of the numerical values associated with each frame after the elapse of the predetermined period Ta.

いずれにしても、サーバ装置１００は、重心位置Ｃの正の向きの移動回数と負の向きの移動回数とに基づき、白色部分がスノージャムであるか否かを判定する。 In any case, the server device 100 determines whether or not the white portion is a snow jam based on the number of movements in the positive direction and the number of movements in the negative direction of the center of gravity position C.

図８は、所定期間Ｔａにおける重心位置Ｃの移動例を表した図である。詳しくは、図８は、上述したように、所定期間Ｔａ経過後に各フレームに対応付けられた数値の総和（Σ）を求める構成を示した図である。 FIG. 8 is a diagram showing an example of movement of the center of gravity position C in a predetermined period Ta. More specifically, FIG. 8 is a diagram showing a configuration for obtaining the sum (Σ) of the numerical values associated with each frame after the lapse of a predetermined period Ta, as described above.

図８を参照して、重心位置ＣがＸ軸方向の正の向きに移動した場合には、フレーム番号（現在のフレーム画像の識別番号）に対して数値“＋１”を対応付ける。重心位置ＣがＸ軸方向の負の向きに移動した場合には、フレーム番号に対して数値“－１”を対応付ける。重心位置ＣがＸ軸方向に移動していない場合には、フレーム番号に対して０を対応付ける。 With reference to FIG. 8, when the center of gravity position C moves in the positive direction in the X-axis direction, the numerical value “+1” is associated with the frame number (identification number of the current frame image). When the center of gravity position C moves in the negative direction in the X-axis direction, the numerical value "-1" is associated with the frame number. If the center of gravity position C has not moved in the X-axis direction, 0 is associated with the frame number.

サーバ装置１００は、上述したように、所定期間Ｔａ経過後に、各フレームに対応付けられた数値の総和（Σ）を求める。サーバ装置１００は、当該総和が閾値Ｔｈ以上の場合には、スノージャムが発生していると判定する。サーバ装置１００は、当該総和が閾値Ｔｈ未満の場合には、スノージャムが発生していないと判定する。 As described above, the server device 100 obtains the sum (Σ) of the numerical values associated with each frame after the elapse of the predetermined period Ta. When the sum is equal to or greater than the threshold value Th, the server device 100 determines that snow jam has occurred. When the sum is less than the threshold value Th, the server device 100 determines that snow jam has not occurred.

（ｃ２．Ｙ軸方向への移動）
サーバ装置１００は、連続する２つの二値化画像間での重心位置ＣのＹ軸方向への移動の向きを判定する。詳しくは、サーバ装置１００は、１つ前のフレーム画像における重心位置Ｃと、最新の二値化画像における重心位置Ｃとに基づき、重心位置Ｃが、Ｙ軸方向の正の向きに移動したか、Ｙ軸方向の負の向きに移動したか、あるいはＹ軸方向には移動していないかを判定する。 (C2. Movement in the Y-axis direction)
The server device 100 determines the direction of movement of the center of gravity position C in the Y-axis direction between two consecutive binarized images. Specifically, in the server device 100, has the center of gravity position C moved in the positive direction in the Y-axis direction based on the center of gravity position C in the previous frame image and the center of gravity position C in the latest binarized image? , It is determined whether the movement is in the negative direction in the Y-axis direction or not in the Y-axis direction.

図９は、Ｙ軸方向の正の向きへの重心位置Ｃの移動と、Ｙ軸方向の負の向きへの重心位置Ｃの移動とを表した図である。 FIG. 9 is a diagram showing the movement of the center of gravity position C in the positive direction in the Y-axis direction and the movement of the center of gravity position C in the negative direction in the Y-axis direction.

図９を参照して、状態（Ａ）に示すように、ｋ番目（ｋは、自然数）のフレーム画像の次のｋ＋１番目フレーム画像において、重心位置ＣがＹ軸方向の正の向きに移動した場合には、サーバ装置１００は、サーバ装置１００のメモリに記憶している変数Ｙｐの値をインクリメントする（１だけ増加させる）。つまり、サーバ装置１００は、変数Ｙｐを用いて、所定期間ＴａにおけるＹ軸方向の正の向きの移動回数をカウントする。 As shown in the state (A) with reference to FIG. 9, in the k + 1st frame image next to the kth (k is a natural number) frame image, the center of gravity position C has moved in the positive direction in the Y-axis direction. In that case, the server device 100 increments (increments by 1) the value of the variable Yp stored in the memory of the server device 100. That is, the server device 100 counts the number of movements in the positive direction in the Y-axis direction in the predetermined period Ta using the variable Yp.

状態（Ｂ）に示すように、ｋ番目（ｋは、自然数）のフレーム画像の次のｋ＋１番目フレーム画像において、重心位置ＣがＹ軸方向の負の向きに移動した場合には、サーバ装置１００は、サーバ装置１００のメモリに記憶している変数Ｙｎの値をインクリメントする（１だけ増加させる）。つまり、サーバ装置１００は、変数Ｙｎを用いて、所定期間ＴａにおけるＹ軸方向の負の向きの移動回数をカウントする。 As shown in the state (B), in the k + 1st frame image next to the kth (k is a natural number) frame image, when the center of gravity position C moves in the negative direction in the Y-axis direction, the server device 100 Increments the value of the variable Yn stored in the memory of the server device 100 (increments by 1). That is, the server device 100 counts the number of movements in the negative direction in the Y-axis direction in the predetermined period Ta using the variable Yn.

このように、変数Ｙｐの値は、所定期間Ｔａにおける、Ｙ軸方向の正の向きへの移動回数を表し、変数Ｙｎの値は、所定期間Ｔａにおける、Ｙ軸方向の負の向きへの移動回数を表す。 As described above, the value of the variable Yp represents the number of movements in the positive direction in the Y-axis direction in the predetermined period Ta, and the value of the variable Yn represents the movement in the negative direction in the Y-axis direction in the predetermined period Ta. Represents the number of times.

サーバ装置１００は、重心位置Ｃの正の向きの移動回数と負の向きの移動回数とに基づき、白色部分がスノージャムであるか否かを判定する。典型的には、正の向きの移動回数と負の向きの移動回数との差分の絶対値Ｄｙ（Ｄｙ＝｜Ｙｐ－Ｙｎ｜）を算出し、当該差分の絶対値Ｄｙが予め定められた閾値Ｔｈ以上であることを条件に、白色部分がスノージャムであると判定する。 The server device 100 determines whether or not the white portion is a snow jam based on the number of movements in the positive direction and the number of movements in the negative direction of the center of gravity position C. Typically, the absolute value Dy (Dy = | Yp-Yn |) of the difference between the number of movements in the positive direction and the number of movements in the negative direction is calculated, and the absolute value Dy of the difference is a predetermined threshold value. On condition that it is Th or more, it is determined that the white part is snow jam.

なお、変数Ｙｐ，Ｙｎといった２つの変数を使用せずに、１つの変数Ｙを用いて、所定期間Ｔａにおける、Ｙ軸方向の正の向きへの移動回数とＹ軸方向の負の向きへの移動回数との差分を算出してもよい。たとえば、サーバ装置１００は、重心位置ＣがＹ軸方向の正の向きに移動した場合には変数Ｙの値をインクリメント（１だけ増加）し、重心位置ＣがＹ軸方向の負の向きに移動した場合には変数Ｙの値をディクリメント（１だけ減少）してもよい。 In addition, instead of using two variables such as variables Yp and Yn, one variable Y is used to move the number of movements in the positive direction in the Y-axis direction and the negative direction in the Y-axis direction in a predetermined period Ta. The difference from the number of movements may be calculated. For example, when the center of gravity position C moves in the positive direction in the Y-axis direction, the server device 100 increments the value of the variable Y (increments by 1), and the center of gravity position C moves in the negative direction in the Y-axis direction. If so, the value of the variable Y may be decremented (decreased by 1).

図１０は、所定期間Ｔａにおける重心位置Ｃの移動例を表した図である。詳しくは、図１０は、上述したように、所定期間Ｔａ経過後に各フレームに対応付けられた数値の総和（Σ）を求める構成を示した図である。 FIG. 10 is a diagram showing an example of movement of the center of gravity position C in a predetermined period Ta. More specifically, FIG. 10 is a diagram showing a configuration for obtaining the sum (Σ) of the numerical values associated with each frame after the lapse of a predetermined period Ta, as described above.

図１０を参照して、重心位置ＣがＹ軸方向の正の向きに移動した場合には、フレーム番号（現在のフレーム画像の識別番号）に対して数値“＋１”対応付ける。重心位置ＣがＹ軸方向の負の向きに移動した場合には、フレーム番号に対して数値“－１”対応付ける。重心位置ＣがＹ軸方向に移動していない場合には、フレーム番号に対して０を対応付ける。 With reference to FIG. 10, when the center of gravity position C moves in the positive direction in the Y-axis direction, a numerical value “+1” is associated with the frame number (identification number of the current frame image). When the center of gravity position C moves in the negative direction in the Y-axis direction, the numerical value "-1" is associated with the frame number. If the center of gravity position C does not move in the Y-axis direction, 0 is associated with the frame number.

以上のように、サーバ装置１００は、Ｘ軸方向の移動とは別に、Ｙ軸方向の移動を検知する。これにより、監視カメラ３００の姿勢および／またはスノージャムの移動方向に関わらず、スノージャムの発生を検知することができる。 As described above, the server device 100 detects the movement in the Y-axis direction separately from the movement in the X-axis direction. Thereby, the occurrence of snow jam can be detected regardless of the posture of the surveillance camera 300 and / or the moving direction of the snow jam.

＜Ｄ．機能的構成＞
図１１は、サーバ装置１００の機能的構成を説明するための図である。なお、図１１では、重心位置Ｃの移動回数を正の向きおよび負の向きの各々においてカウントする構成を例に挙げて説明する。すなわち、変数Ｘｐ，Ｘｎと変数Ｙｐ，Ｙｎとを用いる場合を例に挙げて説明する。 <D. Functional configuration>
FIG. 11 is a diagram for explaining a functional configuration of the server device 100. In FIG. 11, a configuration in which the number of movements of the center of gravity position C is counted in each of the positive direction and the negative direction will be described as an example. That is, the case where the variables Xp and Xn and the variables Yp and Yn are used will be described as an example.

図１１を参照して、サーバ装置１００は、通信ＩＦ部１０１と、制御部１０２とを備える。通信ＩＦ部１０１は、受信部１１１と、送信部１１２とを備える。制御部１０２は、二値化処理部１２１と、重心位置算出部１２２と、判定部１２３とを備える。判定部１２３は、移動回数カウント部１３１～１３４と、差分算出部１３５，１３６と、比較部１３７，１３８とを備える。 With reference to FIG. 11, the server device 100 includes a communication IF unit 101 and a control unit 102. The communication IF unit 101 includes a receiving unit 111 and a transmitting unit 112. The control unit 102 includes a binarization processing unit 121, a center of gravity position calculation unit 122, and a determination unit 123. The determination unit 123 includes movement count units 131 to 134, difference calculation units 135 and 136, and comparison units 137 and 138.

（判定の前処理）
通信部ＩＦ１０１は、外部の機器と通信するためのインターフェイスである。受信部１１１は、監視カメラ３００から水路５００の取水口７００が設けられた場所の映像をリアルタイムに受信する。つまり、受信部１１１は、連続するフレーム画像を順次受信する。フレーム画像の各々は、二値化処理部１２１に送られる。 (Pre-processing of judgment)
The communication unit IF101 is an interface for communicating with an external device. The receiving unit 111 receives the image of the place where the intake port 700 of the waterway 500 is provided from the surveillance camera 300 in real time. That is, the receiving unit 111 sequentially receives continuous frame images. Each of the frame images is sent to the binarization processing unit 121.

二値化処理部１２１は、フレーム画像毎に二値化処理を行なう。詳しくは、二値化処理部１２１は、画像を白と黒との２階調に変換する。二値化処理では、画素の値が予め定められた閾値より大きければ白、小さければ黒に変換する。二値化処理部１２１は、フレーム画像を二値化して得られる二値化画像を重心位置算出部１２２に送る。 The binarization processing unit 121 performs binarization processing for each frame image. Specifically, the binarization processing unit 121 converts the image into two gradations of white and black. In the binarization process, if the pixel value is larger than a predetermined threshold value, it is converted to white, and if it is smaller, it is converted to black. The binarization processing unit 121 sends the binarized image obtained by binarizing the frame image to the center of gravity position calculation unit 122.

重心位置算出部１２２は、二値化画像毎に重心位置Ｃを算出する。重心位置算出部１２２は、重心位置Ｃ（具体的には、ＸＹ座標系の座標値）を判定部１２３に送る。 The center of gravity position calculation unit 122 calculates the center of gravity position C for each binarized image. The center of gravity position calculation unit 122 sends the center of gravity position C (specifically, the coordinate value of the XY coordinate system) to the determination unit 123.

判定部１２３は、連続する２つの二値化画像間での重心位置Ｃの移動の向きを判定する。詳しくは、判定部１２３は、Ｘ軸方向に関し、重心位置Ｃの移動の向きが、正の向きか、負の向きかを判定する。さらに、判定部１２３は、Ｙ軸方向に関し、重心位置Ｃの移動の向きが、正の向きか、負の向きかを判定する。 The determination unit 123 determines the direction of movement of the center of gravity position C between two consecutive binarized images. Specifically, the determination unit 123 determines whether the direction of movement of the center of gravity position C is a positive direction or a negative direction with respect to the X-axis direction. Further, the determination unit 123 determines whether the direction of movement of the center of gravity position C is a positive direction or a negative direction with respect to the Y-axis direction.

（Ｘ軸方向の移動に基づく判定）
移動回数カウント部１３１は、連続する２つの二値化画像間での重心位置ＣのＸ軸方向の正の向きの移動回数をカウントする。移動回数カウント部１３２は、連続する２つの二値化画像間での重心位置ＣのＸ軸方向の負の向きの移動回数をカウントする。 (Judgment based on movement in the X-axis direction)
The movement count counting unit 131 counts the number of movements in the positive direction of the center of gravity position C in the X-axis direction between two consecutive binarized images. The movement count unit 132 counts the number of movements in the negative direction of the center of gravity position C in the X-axis direction between two consecutive binarized images.

差分算出部１３５は、移動回数カウント部１３１，１３２によってカウントされた移動回数の情報を利用して、所定期間Ｔａにおける、重心位置ＣのＸ軸方向の正の向きの移動回数と、重心位置ＣのＸ軸方向の負の向きの移動回数との差分の絶対値Ｄｘを算出する。 The difference calculation unit 135 uses the information on the number of movements counted by the movement count units 131 and 132 to determine the number of movements in the positive direction of the center of gravity position C in the X-axis direction and the center of gravity position C in a predetermined period Ta. The absolute value Dx of the difference from the number of movements in the negative direction in the X-axis direction of is calculated.

比較部１３７は、差分算出部１３５によって算出された絶対値Ｄｘと、予め定められた閾値Ｔｈとの大小を比較する。 The comparison unit 137 compares the magnitude of the absolute value Dx calculated by the difference calculation unit 135 with the predetermined threshold value Th.

判定部１２３は、比較部１３７による比較の結果、絶対値Ｄｘが閾値Ｔｈ以上の場合には、スノージャムが発生していると判定する。この場合、判定部１２３は、送信部１１２に対して判定結果を出力する。判定部１２３は、絶対値Ｄｘが閾値Ｔｈ未満の場合には、スノージャムが発生していないと判定する。 As a result of comparison by the comparison unit 137, the determination unit 123 determines that snow jam has occurred when the absolute value Dx is equal to or greater than the threshold value Th. In this case, the determination unit 123 outputs the determination result to the transmission unit 112. When the absolute value Dx is less than the threshold value Th, the determination unit 123 determines that snow jam has not occurred.

（Ｙ軸方向の移動に基づく判定）
移動回数カウント部１３３は、連続する２つの二値化画像間での重心位置ＣのＹ軸方向の正の向きの移動回数をカウントする。移動回数カウント部１３４は、連続する２つの二値化画像間での重心位置ＣのＹ軸方向の負の向きの移動回数をカウントする。 (Judgment based on movement in the Y-axis direction)
The movement count counting unit 133 counts the number of movements in the positive direction of the center of gravity position C in the Y-axis direction between two consecutive binarized images. The movement count unit 134 counts the number of movements in the negative direction of the center of gravity position C in the Y-axis direction between two consecutive binarized images.

差分算出部１３６は、移動回数カウント部１３３，１３４によってカウントされた移動回数の情報を利用して、所定期間Ｔａにおける、重心位置ＣのＹ軸方向の正の向きの移動回数と、重心位置ＣのＹ軸方向の負の向きの移動回数との差分の絶対値Ｄｙを算出する。 The difference calculation unit 136 uses the information on the number of movements counted by the number of movements counting units 133 and 134 to determine the number of movements in the positive direction of the center of gravity position C in the Y-axis direction and the center of gravity position C in a predetermined period Ta. The absolute value Dy of the difference from the number of movements in the negative direction in the Y-axis direction of is calculated.

比較部１３８は、差分算出部１３６によって算出された絶対値Ｄｙと、予め定められた閾値Ｔｈとの大小を比較する。 The comparison unit 138 compares the magnitude of the absolute value Dy calculated by the difference calculation unit 136 with the predetermined threshold value Th.

判定部１２３は、比較部１３８による比較の結果、絶対値Ｄｙが閾値Ｔｈ以上の場合には、スノージャムが発生していると判定する。この場合、判定部１２３は、送信部１１２に対して判定結果を出力する。判定部１２３は、絶対値Ｄｙが閾値Ｔｈ未満の場合には、スノージャムが発生していないと判定する。 As a result of comparison by the comparison unit 138, the determination unit 123 determines that snow jam has occurred when the absolute value Dy is equal to or greater than the threshold value Th. In this case, the determination unit 123 outputs the determination result to the transmission unit 112. When the absolute value Dy is less than the threshold value Th, the determination unit 123 determines that snow jam has not occurred.

（報知処理）
判定部１２３によってスノージャムが発生していると判断されると、送信部１１２は、スノージャムが発生していることを端末装置２００に対して通知する。 (Notification processing)
When the determination unit 123 determines that snow jam has occurred, the transmission unit 112 notifies the terminal device 200 that snow jam has occurred.

端末装置２００は、サーバ装置１００から当該通知を受信すると、ディスプレイに所定の表示をすること、あるいはスピーカらの所定の音声を出力することなどにより、作業員に対して所定の報知を行う。 When the terminal device 200 receives the notification from the server device 100, the terminal device 200 gives a predetermined notification to the worker by displaying a predetermined display on the display or outputting a predetermined voice from the speaker or the like.

また、サーバ装置１００は、端末装置２００に通知を行うとともに、サーバ装置１００のディスプレイ等においてスノージャムが発生していること報知してもよい。 Further, the server device 100 may notify the terminal device 200 and notify that a snow jam has occurred on the display or the like of the server device 100.

このように、報知の主体は、端末装置２００（詳しくは、端末装置２００のディスプレイ、スピーカ）であってもよいし、サーバ装置１００自体（詳しくは、サーバ装置１００のディスプレイ、スピーカ）であってもよい。このようなユーザに対する報知の他、サーバ装置１００から端末装置２００への上記通知を報知（つまり、機器への報知）とも捉えることもできる。 As described above, the main body of the notification may be the terminal device 200 (specifically, the display and the speaker of the terminal device 200), or the server device 100 itself (specifically, the display and the speaker of the server device 100). May be good. In addition to such notification to the user, the notification from the server device 100 to the terminal device 200 can also be regarded as notification (that is, notification to the device).

なお、判定部１２３は、スノージャムが発生していないと判定した場合であっても、当該判定結果を送信部１１２に対して出力してもよい。この場合、送信部１１２は、スノージャムが発生していないことを端末装置２００に対して通知してもよい。端末装置２００は、当該通知を受信した場合、スノージャムが発生していないことを示す情報を表示等してもよい。あるいは、端末装置２００は、当該通知の受信確認のみをサーバ装置１００に返信するだけで、スノージャムが発生していないことを示す情報を表示等しなくてもよい。 Even when it is determined that snow jam has not occurred, the determination unit 123 may output the determination result to the transmission unit 112. In this case, the transmission unit 112 may notify the terminal device 200 that snow jam has not occurred. When the terminal device 200 receives the notification, it may display information indicating that snow jam has not occurred. Alternatively, the terminal device 200 may only return the confirmation of receipt of the notification to the server device 100, and may not display information indicating that snow jam has not occurred.

（小括）
監視システム１は、設備に水を供給する水路５００を撮像する監視カメラ３００と、撮像により得られた連続する複数のフレーム画像の各々を二値化する二値化処理部１２１と、二値化により得られた二値化画像の各々において、白色部分の重心位置Ｃを算出する重心位置算出部１２２と、重心位置Ｃの時間的な変化態様に基づき、白色部分がスノージャムであるか否かを判定する判定部１２３と、白色の部分にスノージャムが含まれていると判定されたことに基づき、予め定められた報知を行う報知手段とを備える。 (Brief Summary)
The monitoring system 1 includes a monitoring camera 300 that images a water channel 500 that supplies water to the equipment, a binarization processing unit 121 that binarizes each of a plurality of continuous frame images obtained by the imaging, and binarization. In each of the binarized images obtained by the above, whether or not the white part is snow jam based on the time center position calculation unit 122 that calculates the center of gravity position C of the white part and the temporal change mode of the center of gravity position C. It is provided with a determination unit 123 for determining the above, and a notification means for performing a predetermined notification based on the determination that the white portion contains snow jam.

このような構成によれば、気象条件、昼夜、照明状態に関係なく、スノージャムを精度良く検知することができる。 With such a configuration, snow jam can be detected accurately regardless of weather conditions, day and night, and lighting conditions.

＜Ｅ．制御構造＞
次に、変数Ｘｐ，Ｘｎと変数Ｙｐ，Ｙｎとを用いた場合の処理の流れについて説明する。 <E. Control structure>
Next, the flow of processing when the variables Xp and Xn and the variables Yp and Yn are used will be described.

図１２は、判定処理の前半部分を表したフロー図である。図１３は、判定処理の後半部分を表したフロー図である。詳しくは、図１２，１３は、所定期間Ｔａの周期で実行される一連の処理のうち、各周期（所定期間Ｔａ毎）に実行される処理の流れを表した図である。すなわち、図１２および図１３の処理が周期毎（所定期間Ｔａ毎）に実行される。 FIG. 12 is a flow chart showing the first half of the determination process. FIG. 13 is a flow chart showing the latter half of the determination process. More specifically, FIGS. 12 and 13 are diagrams showing a flow of processes executed in each cycle (for each predetermined period Ta) in a series of processes executed in a cycle of a predetermined period Ta. That is, the processes of FIGS. 12 and 13 are executed every cycle (every predetermined period Ta).

図１２を参照して、ステップＳ１において、サーバ装置１００（詳しくは、サーバ装置１００のプロセッサ）は、変数Ｘｐ，Ｘｎ，Ｙｐ，Ｙｎの値を０にリセットする。 With reference to FIG. 12, in step S1, the server device 100 (specifically, the processor of the server device 100) resets the values of the variables Xp, Xn, Yp, and Yn to 0.

ステップＳ２において、サーバ装置１００は、１つのフレーム画像の二値化処理を実行し、二値化画像を得る。ステップＳ３において、二値化画像における白色部分の重心位置Ｃを算出する。 In step S2, the server device 100 executes the binarization process of one frame image and obtains the binarized image. In step S3, the position C of the center of gravity of the white portion in the binarized image is calculated.

ステップＳ４において、サーバ装置１００は、この周期において１つ前の重心位置Ｃが存在することを条件に、Ｘ軸方向における重心位置Ｃの移動の向きを判定する。移動の向きが正の向きであると判定された場合（ステップＳ５で正）、ステップＳ６において、変数Ｘｐの値をインクリメントする。移動の向きが負の向きであると判定された場合（ステップＳ５で負）、ステップＳ１４において、変数Ｘｎの値をインクリメントする。 In step S4, the server device 100 determines the direction of movement of the center of gravity position C in the X-axis direction on condition that the previous center of gravity position C exists in this cycle. When it is determined that the direction of movement is positive (positive in step S5), the value of the variable Xp is incremented in step S6. When it is determined that the direction of movement is a negative direction (negative in step S5), the value of the variable Xn is incremented in step S14.

ステップＳ７において、サーバ装置１００は、この周期において１つ前の重心位置Ｃが存在することを条件に、Ｙ軸方向における重心位置Ｃの移動の向きを判定する。移動の向きが正の向きであると判定された場合（ステップＳ８で正）、ステップＳ９において、変数Ｙｐの値をインクリメントする。移動の向きが負の向きであると判定された場合（ステップＳ８で負）、ステップＳ１５において、変数Ｙｎの値をインクリメントする。 In step S7, the server device 100 determines the direction of movement of the center of gravity position C in the Y-axis direction on condition that the previous center of gravity position C exists in this cycle. When it is determined that the direction of movement is positive (positive in step S8), the value of the variable Yp is incremented in step S9. If it is determined that the direction of movement is negative (negative in step S8), the value of the variable Yn is incremented in step S15.

ステップＳ１０において、サーバ装置１００は、所定期間Ｔａが経過したか否かを判断する。換言すれば、フレーム画像のフレームレートは一定であるため、所定期間Ｔａに対応する数のフレーム画像を二値化したか否かを判断する。 In step S10, the server device 100 determines whether or not Ta has elapsed for a predetermined period. In other words, since the frame rate of the frame image is constant, it is determined whether or not the number of frame images corresponding to the predetermined period Ta has been binarized.

所定期間Ｔａが経過していないと判断された場合（ステップＳ１０においてＮＯ）、サーバ装置１００は、処理をステップＳ２に戻して、次のフレーム画像を二値化する。所定期間Ｔａが経過したと判断された場合（ステップＳ１０においてＹＥＳ）、図１３を参照して、ステップＳ１１において、サーバ装置１００は、ＸｐとＸｎとの差の絶対値Ｄｘが閾値Ｔｈ以上であるか否かを判断する。 When it is determined that Ta has not elapsed for a predetermined period (NO in step S10), the server device 100 returns the process to step S2 and binarizes the next frame image. When it is determined that Ta has elapsed for a predetermined period (YES in step S10), in step S11, the server device 100 has an absolute value Dx of the difference between Xp and Xn of the threshold value Th or more, referring to FIG. Judge whether or not.

ＸｐとＸｎとの差の絶対値Ｄｘが閾値Ｔｈ以上であると判断された場合（ステップＳ１１においてＹＥＳ）、サーバ装置１００は、スノージャムが発生していると判断する（ステップＳ１２）。この場合、ステップＳ１３において、サーバ装置１００は、端末装置２００に対して所定の通知を行う。なお、端末装置２００は、当該通知を受信すると、作業員に対して所定の報知を行う。 When it is determined that the absolute value Dx of the difference between Xp and Xn is equal to or greater than the threshold value Th (YES in step S11), the server device 100 determines that snow jam has occurred (step S12). In this case, in step S13, the server device 100 gives a predetermined notification to the terminal device 200. When the terminal device 200 receives the notification, the terminal device 200 gives a predetermined notification to the worker.

ＸｐとＸｎとの差の絶対値Ｄｘが閾値Ｔｈ未満であると判断された場合（ステップＳ１１においてＮＯ）、サーバ装置１００は、ステップＳ１６において、サーバ装置１００は、ＹｐとＹｎとの差の絶対値Ｄｙが閾値Ｔｈ以上であるか否かを判断する。 When it is determined that the absolute value Dx of the difference between Xp and Xn is less than the threshold value Th (NO in step S11), the server device 100 sets the server device 100 in step S16, and the server device 100 sets the absolute value of the difference between Yp and Yn. It is determined whether or not the value Dy is equal to or greater than the threshold value Th.

ＹｐとＹｎとの差の絶対値Ｄｙが閾値Ｔｈ以上であると判断された場合（ステップＳ１６においてＹＥＳ）、サーバ装置１００は、スノージャムが発生していると判断する（ステップＳ１２）。ＹｐとＹｎとの差の絶対値Ｄｙが閾値Ｔｈ未満であると判断された場合（ステップＳ１６においてＮＯ）、サーバ装置１００は、スノージャムが発生していないと判断する（ステップＳ１７）。 When it is determined that the absolute value Dy of the difference between Yp and Yn is equal to or greater than the threshold value Th (YES in step S16), the server device 100 determines that snow jam has occurred (step S12). When it is determined that the absolute value Dy of the difference between Yp and Yn is less than the threshold value Th (NO in step S16), the server device 100 determines that snow jam has not occurred (step S17).

図１２および図１３に示した一連の判定処理は、一例であって、これに限定されるものではない。サーバ装置１００は、スノージャムの発生の有無を判断する一連の判定処理を連続的に繰り返し行うために（つまり、周期的に行うために）、以下に示すように、１つのフレーム画像を複数回の判定処理に用いてもよい。 The series of determination processes shown in FIGS. 12 and 13 is an example, and the present invention is not limited thereto. In order to continuously and repeatedly perform a series of determination processes for determining the presence or absence of snow jam (that is, to perform periodically), the server device 100 performs one frame image a plurality of times as shown below. It may be used for the determination process of.

サーバ装置１００が、連続するｍ個のフレーム画像を用いてスノージャムの発生の有無を判断する構成の場合、サーバ装置１００は、ある周期において、ｊ番目からｊ＋ｍ－１番目迄のｍ個のフレーム画像（詳しくは、二値化画像）を用いてスノージャムの発生の有無を判断すると、次の周期では、ｊ＋１番目からｊ＋ｍ番目迄のｍ個のフレーム画像を用いてスノージャムの発生の有無を判断する。なお、ｍ，ｊは、自然数である。 When the server device 100 is configured to determine the presence or absence of snow jam using m consecutive frame images, the server device 100 has m frames from the jth to the j + m-1th frames in a certain cycle. When the presence or absence of snow jam is determined using an image (specifically, a binarized image), in the next cycle, the presence or absence of snow jam is determined using m frame images from the j + 1st to the j + mth. to decide. Note that m and j are natural numbers.

つまり、サーバ装置１００は、次の周期では、当該次の周期の１つ前の周期で使用した複数のフレーム画像のうちの一番古いフレーム画像を削除し、新たなフレーム画像（具体的には、当該１つ前の周期に含まれる一番新しいフレーム画像の次のフレーム画像）を追加することにより、スノージャムの発生の有無を判断する。このように、サーバ装置１００は、１つのフレーム画像が得られる度に、スノージャムが発生しているか否かを判断する。このような構成によれば、精度の高い検出が可能となる。 That is, in the next cycle, the server device 100 deletes the oldest frame image among the plurality of frame images used in the cycle immediately before the next cycle, and a new frame image (specifically,). , The frame image next to the newest frame image included in the previous cycle) is added to determine whether or not snow jam has occurred. In this way, the server device 100 determines whether or not snow jam has occurred each time one frame image is obtained. With such a configuration, highly accurate detection is possible.

＜Ｆ．ハードウェア構成＞
図１４は、サーバ装置１００のハードウェア構成の典型例を表した図である。 <F. Hardware configuration>
FIG. 14 is a diagram showing a typical example of the hardware configuration of the server device 100.

図１４を参照して、サーバ装置１００は、主たる構成要素として、プログラムを実行するプロセッサ１５１と、データを不揮発的に格納するＲＯＭ１５２と、プロセッサ１５１によるプログラムの実行により生成されたデータ、又は入力装置を介して入力されたデータを揮発的に格納するＲＡＭ１５３と、データを不揮発的に格納するＨＤＤ１５４と、通信ＩＦ（Interface）１５５と、操作キー１５６と、電源回路１５７と、ディスプレイ１５８とを含む。各構成要素は、相互にデータバスによって接続されている。なお、通信ＩＦ１５５は、他の機器と間における通信を行なうためのインターフェイスである。 With reference to FIG. 14, the server device 100 has, as main components, a processor 151 for executing a program, a ROM 152 for storing data non-volatilely, and data or an input device generated by executing the program by the processor 151. It includes a RAM 153 that volatilely stores the data input via the data, an HDD 154 that stores the data non-volatilely, a communication IF (Interface) 155, an operation key 156, a power supply circuit 157, and a display 158. The components are connected to each other by a data bus. The communication IF 155 is an interface for communicating with other devices.

サーバ装置１００における処理は、各ハードウェアおよびプロセッサ１５１により実行されるソフトウェアによって実現される。このようなソフトウェアは、ＨＤＤ１５４に予め記憶されている場合がある。また、ソフトウェアは、その他の記憶媒体に格納されて、プログラムプロダクトとして流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラムプロダクトとして提供される場合もある。このようなソフトウェアは、読取装置によりその記憶媒体から読み取られて、あるいは、通信ＩＦ１５５等を介してダウンロードされた後、ＨＤＤ１５４に一旦格納される。そのソフトウェアは、プロセッサ１５１によってＨＤＤ１５４から読み出され、ＲＡＭ１５３に実行可能なプログラムの形式で格納される。プロセッサ１５１は、そのプログラムを実行する。 The processing in the server device 100 is realized by the software executed by each hardware and the processor 151. Such software may be stored in the HDD 154 in advance. In addition, the software may be stored in other storage media and distributed as a program product. Alternatively, the software may be provided as a downloadable program product by an information provider connected to the so-called Internet. Such software is read from the storage medium by a reading device, or downloaded via a communication IF 155 or the like, and then temporarily stored in the HDD 154. The software is read from the HDD 154 by the processor 151 and stored in the RAM 153 in the form of an executable program. Processor 151 executes the program.

同図に示されるサーバ装置１００を構成する各構成要素は、一般的なものである。したがって、本発明の本質的な部分は、ＲＡＭ１５３、ＨＤＤ１５４、記憶媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、サーバ装置１００の各ハードウェアの動作は周知であるので、詳細な説明は繰り返さない。 Each component constituting the server device 100 shown in the figure is a general one. Therefore, it can be said that an essential part of the present invention is RAM 153, HDD 154, software stored in a storage medium, or software that can be downloaded via a network. Since the operation of each hardware of the server device 100 is well known, the detailed description will not be repeated.

なお、端末装置２００は、サーバ装置１００と同様な構成を備えるため、端末装置２００のハードウェア構成については、繰り返し説明しない。 Since the terminal device 200 has the same configuration as the server device 100, the hardware configuration of the terminal device 200 will not be repeatedly described.

＜Ｇ．補足＞
上述したように、本実施の形態では、フレーム画像を二値化した上で白色部分の重心位置を求め、かつ重心位置の移動に着目してスノージャムの発生の有無を判断した。換言すれば、二値化により抽出（特定）したフレーム画像の一定輝度以上の領域の重心位置Ｃの移動態様に基づき、スノージャムの発生の有無を判断した。 <G. Supplement>
As described above, in the present embodiment, the position of the center of gravity of the white portion is obtained after binarizing the frame image, and the presence or absence of snow jam is determined by paying attention to the movement of the position of the center of gravity. In other words, the presence or absence of snow jam was determined based on the movement mode of the center of gravity position C in the region having a certain brightness or higher in the frame image extracted (specified) by binarization.

動体の重心位置の移動については、フレーム画像間の差分を用いることも考えられるが、この方法では、後述するように、スノージャムの発生の有無を検知できない。 Regarding the movement of the center of gravity of the moving body, it is conceivable to use the difference between the frame images, but this method cannot detect the presence or absence of snow jam, as will be described later.

図１５は、フレーム画像間の差分を用いる手法（比較例）と、本例との処理の特徴点を整理した図である。 FIG. 15 is a diagram in which the method using the difference between the frame images (comparative example) and the feature points of the processing with this example are arranged.

図１５を参照して、比較例では、静穏な室内環境（動体が単発的に発生する環境）においては、動体有無の判定と、動体の特定と、動体移動傾向の判定と、動体移動方向の判定とが可能である。しかしながら、この比較例では、屋外の自然環境（動体が連続的に発生する環境）においては、動体有無の判定と、動体の特定と、動体移動傾向の判定と、動体移動方向の判定との全てができない。この理由として、（i）フレーム画像間の差分を取ったときに動体自体が背景となってしまい、動体の領域の抽出ができないため、（ii）外光、照明の反射、波、波紋、雨、雪などの自然に起因するノイズが、動体領域を抽出する際の障害になるためである。 With reference to FIG. 15, in the comparative example, in a quiet indoor environment (environment in which a moving body is generated sporadically), the presence or absence of a moving body, the identification of the moving body, the judgment of the moving body movement tendency, and the moving body moving direction are determined. Judgment is possible. However, in this comparative example, in the outdoor natural environment (environment in which moving objects are continuously generated), all of the determination of the presence or absence of moving objects, the identification of moving objects, the determination of moving object movement tendency, and the determination of moving object moving directions are all performed. I can't. The reasons for this are (i) the moving object itself becomes the background when the difference between the frame images is taken, and the area of the moving object cannot be extracted. Therefore, (ii) external light, light reflection, waves, ripples, and rain. This is because natural noise such as snow becomes an obstacle in extracting a moving object region.

その一方、本例では、静穏な室内環境および屋外の自然環境においては、動体の特定と、動体移動方向の判定はできない。しかしながら、静穏な室内環境および屋外の自然環境においては、上述したように二値化画像の白色部分の重心位置Ｃ（換言すれば、フレーム画像の一定輝度以上の領域の重心位置）の移動を観察することにより、動体有無の判定と、動体移動傾向の判定ができる。 On the other hand, in this example, in a quiet indoor environment and an outdoor natural environment, it is not possible to identify a moving body and determine the moving direction of the moving body. However, in a quiet indoor environment and an outdoor natural environment, as described above, the movement of the center of gravity position C of the white part of the binarized image (in other words, the position of the center of gravity of the region above a certain brightness of the frame image) is observed. By doing so, it is possible to determine the presence or absence of a moving body and the tendency of moving the moving body.

このように、二値化処理を行ない、白色部分の重心位置の時間的な変化態様に基づけば、水路５００にスノージャムが発生しているか否かを判断することができる。 In this way, it is possible to determine whether or not snow jam has occurred in the water channel 500 based on the temporal change mode of the position of the center of gravity of the white portion by performing the binarization process.

＜Ｈ．変形例＞
（１）上記においては、所定期間Ｔａ毎にスノージャムが発生しているか否かを判定する構成を例に挙げて説明したが、これに限定されるものではない。たとえば、以下のような手法により、スノージャムの発生の有無を判定してもよい。 <H. Modification example>
(1) In the above description, a configuration for determining whether or not snow jam has occurred at every Ta for a predetermined period has been described as an example, but the present invention is not limited to this. For example, the presence or absence of snow jam may be determined by the following method.

サーバ装置１００は、所定期間Ｔｂにフレーム画像に基づき、スノージャムの発生を検知する。ここで、Ｔｂは、ＴａのＮ（Ｎは２以上の整数）倍とする。つまり、Ｔｂ＝Ｎ×Ｔａとする。 The server device 100 detects the occurrence of snow jam at Tb for a predetermined period based on the frame image. Here, Tb is N (N is an integer of 2 or more) times Ta. That is, Tb = N × Ta.

サーバ装置１００は、各所定期間Ｔａにおいて、ＸｐとＸｎとの差の絶対値Ｄｘが閾値Ｔｈよりも大きい場合（図１３のステップＳ１１でＹＥＳ）、あるいは、ＹｐとＹｎとの差の絶対値Ｄｙが閾値Ｔｈよりも大きい場合（図１３のステップＳ１６でＹＥＳ）の場合、別途設けられた変数Ｔｇの値をインクリメントする。一方、両絶対値Ｄｘ，Ｄｙのいずれもが閾値Ｔｈ未満の場合には、変数Ｔｇの値を維持する。 In the server device 100, when the absolute value Dx of the difference between Xp and Xn is larger than the threshold value Th (YES in step S11 in FIG. 13) in each predetermined period Ta, or the absolute value Dy of the difference between Yp and Yn When is larger than the threshold value Th (YES in step S16 in FIG. 13), the value of the variable Tg provided separately is incremented. On the other hand, when both absolute values Dx and Dy are less than the threshold value Th, the value of the variable Tg is maintained.

サーバ装置１００は、所定期間Ｔｂにおいて、変数Ｔｇの値が、Ｎ未満の所定の閾値以上である場合に、スノージャムが発生したと判断する。たとえば、Ｎが１０の場合、当該閾値を７とする。 The server device 100 determines that snow jam has occurred when the value of the variable Tg is equal to or greater than a predetermined threshold value less than N in the predetermined period Tb. For example, when N is 10, the threshold value is 7.

つまり、サーバ装置１００は、複数の連続する所定期間Ｔａにおいて、所定以上の割合でスノージャムが発生していると判断したことに基づき、スノージャムの発生を確定する。このような処理によれば、精度良く、スノージャムの発生を検知できる。 That is, the server device 100 determines the occurrence of snow jam based on the determination that snow jam is occurring at a predetermined rate or higher in a plurality of consecutive predetermined periods Ta. According to such processing, the occurrence of snow jam can be detected with high accuracy.

（２）上記においては、取水口の場所を監視カメラ３００により撮像したが、これに限定されるものではない。ただし、取水口には、作業員が取水口付近を映像によって確認する目的で監視カメラが設けられていることが多く、この監視カメラを利用することにより、コストを抑えることができる。また、取水口７００では、柵によって浮遊物が滞留しやすいため、他の場所に比べて、浮遊物の存在の有無を検知するのに好適である。 (2) In the above, the location of the water intake is imaged by the surveillance camera 300, but the present invention is not limited to this. However, the water intake is often provided with a surveillance camera for the purpose of allowing workers to check the vicinity of the water intake by video, and by using this surveillance camera, the cost can be suppressed. Further, since the floating matter is likely to stay in the intake port 700 due to the fence, it is suitable for detecting the presence or absence of the floating matter as compared with other places.

（３）上記においては、二値化画像の一辺をＸ軸とし、他の辺をＹ軸にしたが、これに限定されるものではない。Ｘ軸およびＹ軸が二値化画像の辺に平行とならないように、ＸＹ座標系を設定してもよい。 (3) In the above, one side of the binarized image is the X-axis and the other side is the Y-axis, but the present invention is not limited to this. The XY coordinate system may be set so that the X-axis and the Y-axis are not parallel to the sides of the binarized image.

（４）水路５００から水の供給を受ける設備は、発電設備（発電所）に限定されるものではない。 (4) The equipment that receives water from the waterway 500 is not limited to the power generation equipment (power plant).

＜Ｉ．付記＞
［構成１］監視システム１は、設備に水を供給する水路５００を撮像する撮像手段（監視カメラ３００）と、前記撮像により得られた連続する複数のフレーム画像の各々を二値化する二値化手段（二値化処理部１２１）と、前記二値化により得られた二値化画像の各々において、白色の部分の重心位置（Ｃ）を算出する算出手段（重心位置算出部１２２）と、前記重心位置（Ｃ）の時間的な変化態様に基づき、前記白色の部分に浮遊物が含まれているか否かを判定する判定手段（判定部１２３）と、前記白色の部分に前記浮遊物が含まれていると判定されたことに基づき、予め定められた報知を行う報知手段（サーバ装置１００のディスプレイおよび／またはスピーカ、あるいは、端末装置２００（詳しくは、端末装置２００のディスプレイおよび／またはスピーカ））とを備える。 <I. Addendum>
[Structure 1] The monitoring system 1 is a binarization means for imaging a water channel 500 for supplying water to equipment (surveillance camera 300) and binarizing each of a plurality of continuous frame images obtained by the imaging. The binarization means (binarization processing unit 121) and the calculation means (center of gravity position calculation unit 122) for calculating the center of gravity position (C) of the white portion in each of the binarization images obtained by the binarization. A determination means (determination unit 123) for determining whether or not the white portion contains a floating substance based on the temporal change mode of the center of gravity position (C), and the floating substance in the white portion. The notification means (display and / or speaker of the server device 100, or the terminal device 200 (specifically, the display and / or the display of the terminal device 200)) that performs predetermined notification based on the determination that is included. It is equipped with a speaker)).

［構成２］
前記判定手段（判定部１２３）は、前記二値化画像の一辺に平行な第１の軸の軸方向における、連続する２つの前記二値化画像間での前記重心位置の移動の向きを判定し、前記移動の向きのうち、正の向きの移動回数と負の向きの移動回数とに基づき、前記白色の部分に前記浮遊物が含まれているか否かを判定する。 [Structure 2]
The determination means (determination unit 123) determines the direction of movement of the center of gravity position between two consecutive binarized images in the axial direction of the first axis parallel to one side of the binarized image. Then, it is determined whether or not the suspended matter is contained in the white portion based on the number of movements in the positive direction and the number of movements in the negative direction among the movement directions.

［構成３］
前記判定手段（判定部１２３）は、前記正の向きの移動回数（変数Ｘｐの値）と前記負の向きの移動回数（変数Ｘｎの値）との差分を算出し、前記差分の絶対値（Ｄｘ）が予め定められた閾値（Ｔｈ）以上であることを条件に、前記白色の部分に前記浮遊物が含まれていると判定する。 [Structure 3]
The determination means (determination unit 123) calculates the difference between the number of movements in the positive direction (value of the variable Xp) and the number of movements in the negative direction (value of the variable Xn), and the absolute value of the difference (value of the variable Xn). On condition that Dx) is equal to or higher than a predetermined threshold value (Th), it is determined that the white portion contains the suspended matter.

［構成４］
前記判定手段（判定部１２３）は、前記第１の軸に直交する第２の軸の軸方向における、連続する２つの前記二値化画像間での前記重心位置の移動の向きをさらに判定し、前記第２の軸の軸方向における前記移動の向きのうち、正の向きの移動回数と負の向きの移動回数とに基づき、前記白色の部分に前記浮遊物が含まれているか否かをさらに判定する。 [Structure 4]
The determination means (determination unit 123) further determines the direction of movement of the center of gravity position between two consecutive binarized images in the axial direction of the second axis orthogonal to the first axis. , Whether or not the suspended matter is contained in the white portion based on the number of movements in the positive direction and the number of movements in the negative direction among the movement directions in the axial direction of the second axis. Further judgment.

［構成５］
前記判定手段（判定部１２３）は、前記第２の軸の軸方向における前記正の向きの移動回数（変数Ｙｐの値）と前記負の向きの移動回数（変数Ｙｎの値）との差分を算出し、当該差分の絶対値Ｄｙが予め定められた閾値（Ｔｈ）以上であることを条件に、前記白色の部分に前記浮遊物が含まれていると判定する。 [Structure 5]
The determination means (determination unit 123) determines the difference between the number of movements in the positive direction (value of the variable Yp) and the number of movements in the negative direction (value of the variable Yn) in the axial direction of the second axis. It is calculated, and it is determined that the suspended matter is contained in the white portion on condition that the absolute value Dy of the difference is equal to or higher than a predetermined threshold value (Th).

［構成６］
前記撮像手段（監視カメラ３００）は、前記水路のうち取水口が設けられた場所を撮像する。 [Structure 6]
The image pickup means (surveillance camera 300) images a place in the water channel where an intake port is provided.

［構成７］
前記設備は、発電設備であって、前記浮遊物は、スノージャム、クラゲの群れ、または流木である。 [Structure 7]
The equipment is a power generation equipment, and the floating matter is a snow jam, a herd of jellyfish, or driftwood.

今回開示された実施の形態は例示であって、上記内容のみに制限されるものではない。本発明の範囲は特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 The embodiments disclosed this time are examples, and are not limited to the above contents. The scope of the present invention is indicated by the scope of claims and is intended to include all modifications within the meaning and scope equivalent to the scope of claims.

１監視システム、１００サーバ装置、１０１通信ＩＦ部、１０２制御部、１１１受信部、１１２送信部、１２１二値化処理部、１２２重心位置算出部、１２３判定部、１３１，１３２，１３３，１３４移動回数カウント部、１３５，１３６差分算出部、１３７，１３８比較部、１５１プロセッサ、１５２ＲＯＭ、１５３ＲＡＭ、１５６操作キー、１５７電源回路、１５８ディスプレイ、２００端末装置、３００監視カメラ、５００水路、７００取水口、Ｂ２１，Ｂ２２，Ｂ３１，Ｂ３２二値化画像、Ｃ重心位置、Ｇ１，Ｇ２１，Ｇ２２，Ｇ３１，Ｇ３２フレーム画像、Ｊ白色部分。 1 Monitoring system, 100 server device, 101 communication IF unit, 102 control unit, 111 receiver unit, 112 transmitter unit, 121 binarization processing unit, 122 center of gravity position calculation unit, 123 judgment unit, 131, 132, 133, 134 movement Count count unit, 135,136 difference calculation unit, 137,138 comparison unit, 151 processor, 152 ROM, 153 RAM, 156 operation keys, 157 power supply circuit, 158 display, 200 terminal device, 300 monitoring camera, 500 water channel, 700 water intake Mouth, B21, B22, B31, B32 binarized image, C center of gravity position, G1, G21, G22, G31, G32 frame image, J white part.

Claims

設備に水を供給する水路を撮像する撮像手段と、
前記撮像により得られた連続する複数のフレーム画像の各々を二値化する二値化手段と、
前記二値化により得られた二値化画像の各々において、白色の部分の重心位置を算出する算出手段と、
前記重心位置の時間的な変化態様に基づき、前記白色の部分に浮遊物が含まれているか否かを判定する判定手段と、
前記白色の部分に前記浮遊物が含まれていると判定されたことに基づき、予め定められた報知を行う報知手段とを備える、監視システム。 An imaging means that images the waterways that supply water to the equipment,
A binarization means for binarizing each of a plurality of consecutive frame images obtained by the imaging, and a binarization means.
In each of the binarized images obtained by the binarization, a calculation means for calculating the position of the center of gravity of the white portion and a calculation means.
A determination means for determining whether or not a suspended substance is contained in the white portion based on the temporal change mode of the position of the center of gravity.
A monitoring system including a notification means for performing a predetermined notification based on the determination that the white portion contains the suspended matter.

前記判定手段は、
前記二値化画像の一辺に平行な第１の軸の軸方向における、連続する２つの前記二値化画像間での前記重心位置の移動の向きを判定し、
前記移動の向きのうち、正の向きの移動回数と負の向きの移動回数とに基づき、前記白色の部分に前記浮遊物が含まれているか否かを判定する、請求項１に記載の監視システム。 The determination means is
The direction of movement of the center of gravity position between two consecutive binarized images in the axial direction of the first axis parallel to one side of the binarized image is determined.
The monitoring according to claim 1, wherein it is determined whether or not the white portion contains the suspended matter based on the number of movements in the positive direction and the number of movements in the negative direction among the movement directions. system.

前記判定手段は、
前記正の向きの移動回数と前記負の向きの移動回数との差分を算出し、
前記差分の絶対値が予め定められた閾値以上であることを条件に、前記白色の部分に前記浮遊物が含まれていると判定する、請求項２に記載の監視システム。 The determination means is
The difference between the number of movements in the positive direction and the number of movements in the negative direction is calculated.
The monitoring system according to claim 2, wherein it is determined that the white portion contains the suspended matter on condition that the absolute value of the difference is equal to or higher than a predetermined threshold value.

前記判定手段は、
前記第１の軸に直交する第２の軸の軸方向における、連続する２つの前記二値化画像間での前記重心位置の移動の向きをさらに判定し、
前記第２の軸の軸方向における前記移動の向きのうち、正の向きの移動回数と負の向きの移動回数とに基づき、前記白色の部分に前記浮遊物が含まれているか否かをさらに判定する、請求項２または３に記載の監視システム。 The determination means is
Further determining the direction of movement of the center of gravity position between two consecutive binarized images in the axial direction of the second axis orthogonal to the first axis.
Of the directions of movement in the axial direction of the second axis, whether or not the floating matter is contained in the white portion is further determined based on the number of movements in the positive direction and the number of movements in the negative direction. The monitoring system according to claim 2 or 3, wherein the determination is made.

前記判定手段は、
前記第２の軸の軸方向における前記正の向きの移動回数と前記負の向きの移動回数との差分を算出し、
当該差分の絶対値が予め定められた閾値以上であることを条件に、前記白色の部分に前記浮遊物が含まれていると判定する、請求項４に記載の監視システム。 The determination means is
The difference between the number of movements in the positive direction and the number of movements in the negative direction in the axial direction of the second axis is calculated.
The monitoring system according to claim 4, wherein it is determined that the white portion contains the suspended matter on condition that the absolute value of the difference is equal to or higher than a predetermined threshold value.

前記撮像手段は、前記水路のうち取水口が設けられた場所を撮像する、請求項１から５のいずれか１項に記載の監視システム。 The monitoring system according to any one of claims 1 to 5, wherein the image pickup means takes an image of a place of the water channel where an intake port is provided.

前記設備は、発電設備であって、
前記浮遊物は、スノージャム、クラゲの群れ、または流木である、請求項１から６のいずれか１項に記載の監視システム。 The equipment is a power generation equipment and
The monitoring system according to any one of claims 1 to 6, wherein the suspended matter is a snow jam, a flock of jellyfish, or driftwood.

設備に水を供給する水路を撮像するステップと、
前記撮像により得られた連続する複数のフレーム画像の各々を二値化するステップと、
前記二値化により得られた二値化画像の各々において、白色の部分の重心位置を算出するステップと、
前記重心位置の時間的な変化態様に基づき、前記白色の部分に浮遊物が含まれているか否かを判定するステップと、
前記白色の部分に前記浮遊物が含まれていると判定されたことに基づき、予め定められた報知を行うステップとを備える、監視方法。 Steps to image the waterways that supply water to the equipment,
A step of binarizing each of a plurality of consecutive frame images obtained by the imaging, and
In each of the binarized images obtained by the binarization, the step of calculating the position of the center of gravity of the white part and the step.
A step of determining whether or not a suspended substance is contained in the white portion based on the temporal change mode of the center of gravity position, and
A monitoring method comprising a step of performing a predetermined notification based on the determination that the white portion contains the suspended matter.

設備に水を供給する水路を撮像することにより得られた連続する複数のフレーム画像の各々を二値化するステップと、
前記二値化により得られた二値化画像の各々において、白色の部分の重心位置を算出するステップと、
前記重心位置の時間的な変化態様に基づき、前記白色の部分に浮遊物が含まれているか否かを判定するステップと、
前記判定結果を出力するステップとを、情報処理装置のプロセッサに実行させるプログラム。 A step of binarizing each of a plurality of consecutive frame images obtained by imaging a channel that supplies water to the equipment.
In each of the binarized images obtained by the binarization, the step of calculating the position of the center of gravity of the white part and the step.
A step of determining whether or not a suspended substance is contained in the white portion based on the temporal change mode of the center of gravity position, and
A program that causes the processor of the information processing device to execute the step of outputting the determination result.