JP2024031142A - Snowfall determination device, snowfall determination method, and snowfall determination program - Google Patents

Abstract

【課題】太陽光パネル上に存在する積雪の状態を効果的に判定することが可能な積雪判定装置、積雪判定方法およびプログラムを提供する。【解決手段】一つの実施形態によれば、積雪判定システムは、画像を取得する取得部を備える。さらに、前記システムは、前記画像から、太陽光パネル上にて積雪が存在する領域を検出する検出部を備える。さらに、前記システムは、前記領域に基づいて、前記太陽光パネル上における積雪の状態を判定する判定部を備える。【選択図】図２An object of the present invention is to provide a snowfall determination device, a snowfall determination method, and a program that can effectively determine the state of snowfall existing on a solar panel. According to one embodiment, a snowfall determination system includes an acquisition unit that acquires an image. Furthermore, the system includes a detection unit that detects an area where snow is present on the solar panel from the image. Furthermore, the system includes a determination unit that determines the state of snow on the solar panel based on the area. [Selection diagram] Figure 2

Description

本発明の実施形態は、積雪判定装置、積雪判定方法および積雪判定プログラムに関する。 Embodiments of the present invention relate to a snow coverage determining device, a snow coverage determining method, and a snow coverage determining program.

太陽光発電施設では、運転計画時の発電量予測に対し、実運転時の発電量を保証することが求められる。降雪のある地域では、太陽光パネル上の積雪により発電量が不安定となるため、積雪時は出力保証から除外することが望ましい。 Solar power generation facilities are required to guarantee the amount of power generated during actual operation compared to the amount predicted during operation planning. In areas where it snows, the amount of power generated becomes unstable due to the accumulation of snow on the solar panels, so it is desirable to exclude snowfall from the output guarantee.

積雪を判定する手段として積雪計が用いられることがあるが、導入時のコストが高額となるため、気象データによる判定が広く行われている。しかし、太陽光パネル上の積雪は降雪後も残留し、晴天時であっても残留する積雪のために発電量が不安定となることから、気象データによる判断では確実性に欠ける。 Snow gauges are sometimes used as a means of determining snowfall, but since the cost of installation is high, weather data is widely used for determination. However, snow on solar panels remains even after snow falls, and even on sunny days, residual snow makes the amount of power generated unstable, making judgments based on meteorological data lacking in certainty.

現在、太陽光パネル上の積雪を判定する手段として、太陽光パネル上の発電量を比較し、積雪を判定するシステムが知られている。このシステムでは両面で発電可能な太陽光パネルまたは積雪していない太陽光パネルの発電量を利用し、対象となる太陽光パネルの発電量と比較して、対象パネル上に存在する積雪を判定する。 Currently, as a means for determining snow accumulation on solar panels, a system is known that compares the amount of power generation on solar panels and determines snow accumulation. This system uses the amount of power generated by a solar panel that can generate power on both sides or a solar panel that is not covered with snow, and compares it with the amount of power generated by the target solar panel to determine the amount of snow that exists on the target panel. .

また、カメラ画像を用いて屋根や路面の積雪状態について判定するシステムが知られている。このシステムでは画像上の輝度情報から、対象となる屋根や路面上の積雪を判定する。 Additionally, a system is known that uses camera images to determine snow conditions on roofs and road surfaces. This system uses brightness information on the image to determine snow accumulation on target roofs and road surfaces.

特開２０１４－２９９１５号公報Japanese Patent Application Publication No. 2014-29915 特開平１０－２１３６７４号公報Japanese Patent Application Publication No. 10-213674 特開２０１９－１５４３２１号公報Japanese Patent Application Publication No. 2019-154321

従来の太陽光パネル上の積雪を判定するシステムでは、複数の太陽光パネルが連結した、ストリング単位で発電を行う大規模発電施設に適用することは考えられていない。また、大規模な太陽光発電施設では片面のみ発電する太陽光パネルが設置されていることが多く、そのような場合は適用が困難である。 Conventional systems for determining snowfall on solar panels have not been considered applicable to large-scale power generation facilities where multiple solar panels are connected and generate power in string units. Furthermore, in large-scale solar power generation facilities, solar panels that generate power only on one side are often installed, making it difficult to apply in such cases.

従来のカメラ画像を用いて路面の積雪状態について判定するシステムでは、屋外に設置された太陽光パネルに発生する白飛び、ハレーションまたは影などの外乱の影響が考慮されておらず、輝度情報だけでは高精度な積雪の状態の判定は困難である。 Conventional systems that use camera images to judge the state of snow on the road surface do not take into account the effects of external disturbances such as whiteout, halation, or shadows that occur on solar panels installed outdoors, and cannot rely on brightness information alone. It is difficult to judge snow cover conditions with high precision.

そこで、本発明の実施形態は、太陽光パネル上に存在する積雪の状態を効果的に判定することが可能な積雪判定装置、積雪判定方法およびプログラムを提供する。 Therefore, embodiments of the present invention provide a snow cover determination device, a snow cover determination method, and a program that can effectively determine the state of snow cover existing on a solar panel.

一つの実施形態によれば、積雪判定システムは、画像を取得する取得部を備える。さらに、前記システムは、前記画像から、太陽光パネル上にて積雪が存在する領域を検出する検出部を備える。さらに、前記システムは、前記領域に基づいて、前記太陽光パネル上における積雪の状態を判定する判定部を備える。 According to one embodiment, a snowfall determination system includes an acquisition unit that acquires an image. Furthermore, the system includes a detection unit that detects an area where snow is present on the solar panel from the image. Furthermore, the system includes a determination unit that determines the state of snow on the solar panel based on the area.

第１実施形態における積雪判定システムの概略構成図である。FIG. 1 is a schematic configuration diagram of a snowfall determination system in a first embodiment. 第１実施形態における積雪判定システムの構成を示すブロック図である。FIG. 1 is a block diagram showing the configuration of a snowfall determination system in a first embodiment. 第１実施形態における積雪判定システムの動作を示すフローチャートである。It is a flowchart showing the operation of the snowfall determination system in the first embodiment. 第１実施形態の変形例における積雪判定システムの概略構成図である。It is a schematic block diagram of the snowfall determination system in the modification of 1st Embodiment. 第２実施形態における積雪判定システムの動作を示すフローチャートである。It is a flowchart which shows operation of the snow accumulation judgment system in a 2nd embodiment. 第２実施形態において撮影装置３により撮影された画像の例である。This is an example of an image photographed by the photographing device 3 in the second embodiment. 第２実施形態において図６の画像から第１特徴データを算出した画像の例である。This is an example of an image in which the first feature data is calculated from the image of FIG. 6 in the second embodiment. 第２実施形態において撮影装置３により撮影された画像の別の例である。This is another example of an image photographed by the photographing device 3 in the second embodiment. 第２実施形態において図８の画像から第１特徴データを算出した画像の例である。This is an example of an image in which first feature data is calculated from the image in FIG. 8 in the second embodiment. 第３実施形態における積雪判定システムの構成を示すブロック図である。It is a block diagram showing the composition of the snow accumulation judgment system in a 3rd embodiment. 第３実施形態における積雪判定システムの動作を示すフローチャートである。It is a flowchart which shows the operation of the snow accumulation judgment system in a 3rd embodiment. 第４実施形態における積雪判定プログラムのハードウェア構成図である。It is a hardware block diagram of the snow accumulation determination program in 4th Embodiment.

以下、本発明の実施形態を、図面を参照して説明する。図１～図１２では、同一の構成に同一の符号を付し、重複する説明は省略する。 Embodiments of the present invention will be described below with reference to the drawings. In FIGS. 1 to 12, the same components are denoted by the same reference numerals, and redundant explanations will be omitted.

（第１実施形態）
図１は、第１実施形態における積雪判定システム１の概略構成図である。 (First embodiment)
FIG. 1 is a schematic configuration diagram of a snowfall determination system 1 according to the first embodiment.

積雪判定システム１は例えば、太陽光発電施設３００に設置され、太陽光発電施設３００内の太陽光パネル１００上の積雪状況を判定する。図１では、太陽光パネル１００のストリング構成５００が、互いに直列に接続された複数の太陽光パネル１００を含んでいる。さらに図１では、太陽光パネル１００のアレイ構成７００が、互いに並列に接続された複数のストリング構成５００を含んでいる。図１に示すアレイ構成７００は、横方向に延び奥行き方向に隣り合う複数のストリング構成５００を含んでおり、各ストリング構成５００は、横方向に一列に並ぶ複数の太陽光パネル１００を含んでいる。本実施形態における積雪の状態の判定は、太陽光パネル１００単位だけではなく、ストリング構成５００単位またはアレイ構成７００単位についても適用が可能である。 The snowfall determination system 1 is installed, for example, in a solar power generation facility 300 and determines the snowfall situation on the solar panels 100 within the solar power generation facility 300. In FIG. 1, a string arrangement 500 of solar panels 100 includes a plurality of solar panels 100 connected in series with each other. Furthermore, in FIG. 1, the array configuration 700 of the solar panel 100 includes a plurality of string configurations 500 connected in parallel with each other. The array configuration 700 shown in FIG. 1 includes a plurality of string configurations 500 extending laterally and adjacent in the depth direction, each string configuration 500 including a plurality of solar panels 100 aligned laterally. . The determination of the state of snowfall in this embodiment can be applied not only to 100 units of solar panels but also to 500 units of string configuration or 700 units of array configuration.

積雪判定システム１は、積雪判定装置２、撮影装置３、記憶部４および表示部５を備える。撮影装置３、記憶部４および表示部５は、積雪判定装置２と電気的に接続される。 The snowfall determination system 1 includes a snowfall determination device 2, a photographing device 3, a storage section 4, and a display section 5. The photographing device 3, the storage section 4, and the display section 5 are electrically connected to the snowfall determination device 2.

積雪判定装置２は、積雪判定システム１における種々の情報処理を行う。積雪判定装置２に含まれる機能ブロック（取得部６、検出部７および判定部８）については、図２を参照して後述する。 The snow cover determination device 2 performs various information processing in the snow cover determination system 1. The functional blocks (the acquisition unit 6, the detection unit 7, and the determination unit 8) included in the snow cover determination device 2 will be described later with reference to FIG. 2.

撮影装置３は、太陽光パネル１００上に存在する積雪を撮影する。撮影装置３は、例えば、家屋の屋上や発電所に配置される少なくとも１台以上の監視カメラである。また、撮影装置３は、例えば、ロボットやドローンのような移動体などに設置される。その場合、撮影装置３と積雪判定装置２は、無線接続によって電気的に接続される構成としてもよい。また、撮影装置３は、例えば、レンズおよびイメージセンサを備える単眼カメラまたは魚眼カメラである。また、撮影装置３は、例えば、可視光による反射光を撮影する可視光カメラのほか、赤外カメラやデプスマップを取得可能なカメラおよび距離センサなどを用いて撮影するカメラである。撮影装置３により撮影される画像は、動画像または静止画像いずれであってもよい。動画像を撮影する場合は、フレームごとにその後の処理が実行されてもよく、または複数のフレームのうち、少なくとも１フレーム以上の任意の１フレームに基づいてその後の処理が実行されてもよい。また、複数のフレームに平均化処理等の演算処理を施した画像や、複数台の監視カメラから取得した複数枚の画像にパノラマ合成等の演算処理を施した画像に基づいてその後の処理が実行されてもよい。また、撮影装置３によって撮影した画像は、Ｒ画像、Ｇ画像およびＢ画像で構成された３チャネルのカラー画像のほか、１チャネルのモノクロ画像であってもよい。 The photographing device 3 photographs the snowfall present on the solar panel 100. The photographing device 3 is, for example, at least one surveillance camera placed on the roof of a house or at a power plant. Further, the photographing device 3 is installed, for example, in a moving object such as a robot or a drone. In that case, the photographing device 3 and the snowfall determining device 2 may be configured to be electrically connected via wireless connection. Further, the photographing device 3 is, for example, a monocular camera or a fisheye camera equipped with a lens and an image sensor. Further, the photographing device 3 is, for example, a visible light camera that photographs reflected light of visible light, an infrared camera, a camera that can acquire a depth map, a distance sensor, and the like. The image photographed by the photographing device 3 may be either a moving image or a still image. When photographing a moving image, subsequent processing may be performed for each frame, or based on at least one arbitrary frame among a plurality of frames. In addition, subsequent processing is performed based on images that have undergone calculation processing such as averaging processing on multiple frames, or images that have undergone calculation processing such as panoramic composition on multiple images obtained from multiple surveillance cameras. may be done. Moreover, the image photographed by the photographing device 3 may be a 1-channel monochrome image in addition to a 3-channel color image composed of an R image, a G image, and a B image.

記憶部４は、各処理で参照されるデータを記憶する。例えば、記憶部４は、取得部６で取得した画像、検出部７により検出した太陽光パネル１００上に存在する積雪の領域の検出結果または判定部８で判定した積雪の状態の判定結果をそれぞれ任意に紐付けて記憶してもよい。 The storage unit 4 stores data referenced in each process. For example, the storage unit 4 stores the image acquired by the acquisition unit 6, the detection result of the snow area on the solar panel 100 detected by the detection unit 7, or the determination result of the state of the snow accumulation determined by the determination unit 8, respectively. It may be arbitrarily linked and stored.

表示部５は、積雪判定システム１により判定された積雪の状態の判定結果を表示する。ユーザは、積雪判定システム１により判定された結果を確認することができる。ユーザの例は、「太陽光発電施設の運転者、保守者」または「太陽光発電施設の管理者」である。 The display unit 5 displays the determination result of the snow cover state determined by the snow cover determination system 1. The user can check the results determined by the snow accumulation determination system 1. An example of the user is "operator or maintainer of a solar power generation facility" or "manager of a solar power generation facility."

図２は、第１実施形態における積雪判定システム１の構成を示すブロック図である。図２に示すように、積雪判定装置２は、取得部６、検出部７および判定部８を備える。また、検出部７は、算出部９および特定部１０を備える。 FIG. 2 is a block diagram showing the configuration of the snowfall determination system 1 in the first embodiment. As shown in FIG. 2, the snowfall determination device 2 includes an acquisition section 6, a detection section 7, and a determination section 8. Further, the detection unit 7 includes a calculation unit 9 and a specification unit 10.

取得部６は、撮影装置３から少なくとも１枚以上の画像を取得する。また、画像が記憶部４に蓄積されている場合、取得部６は記憶部４から少なくとも１枚以上の画像を取得してもよい。 The acquisition unit 6 acquires at least one image from the photographing device 3. Further, when images are stored in the storage unit 4, the acquisition unit 6 may acquire at least one image from the storage unit 4.

検出部７は、取得部６により取得した少なくとも１枚以上の画像（取得画像）から、太陽光パネル１００上に存在する積雪の領域を検出する。検出部７は、算出部９と特定部１０とを備える。 The detection unit 7 detects the area of snow that exists on the solar panel 100 from at least one image (acquired image) acquired by the acquisition unit 6. The detection unit 7 includes a calculation unit 9 and a specification unit 10.

算出部９は、上記の取得画像に基づいて、太陽光パネル１００上における積雪の特徴を表す「第１特徴データ」を算出する。第１特徴データは例えば、太陽光パネル１００上における積雪の画素の領域に関するデータであり、領域分割（セマンティックセグメンテーション）に基づいて算出される。領域分割は、処理対象の画像について、どの領域がどのクラスに属するかを推定する手段の一つである。本実施形態において、処理対象の画像とは、上記の取得画像や、後述する教示画像である。 The calculation unit 9 calculates "first characteristic data" representing the characteristics of the snowfall on the solar panel 100 based on the above-mentioned acquired image. The first feature data is, for example, data regarding the snow pixel area on the solar panel 100, and is calculated based on area division (semantic segmentation). Region segmentation is one of the means for estimating which region belongs to which class in an image to be processed. In this embodiment, the images to be processed are the above-mentioned acquired images and the teaching images described below.

第１特徴データの算出にあたり、積雪判定システム１は例えば、太陽光パネル１００上に存在する積雪を教示対象とする１つ以上の画像（教示画像）を用いて学習を行う。これらの教示画像を、第１教示画像と呼ぶ。算出部９は例えば、各々の教示画像に対して、畳み込み演算を行う。算出部９は、畳み込み演算結果である特徴マップに基づき、教示画像上の各画素がどのクラスに属するかを確率で表現する。算出部９は、最も確率の高いクラスとして判別した際に生じる教示と正しい教示との誤差に基づいて、畳み込み演算時に使用するカーネルやバイアスなどのパラメータを更新し、記憶部４に結果を格納する。例えば、算出部９は、更新したパラメータを用いて、取得画像に対して畳み込み演算を実施することにより特徴マップを得ることができる。算出部９は、取得画像の特徴マップを構成するデータを、第１特徴データとして算出することができる。教示画像や取得画像の特徴マップを構成するデータは、スカラー量であっても、ベクトル量であってもよい。 In calculating the first feature data, the snowfall determination system 1 performs learning using, for example, one or more images (teaching images) in which the snowfall present on the solar panel 100 is the teaching target. These teaching images are called first teaching images. For example, the calculation unit 9 performs a convolution operation on each teaching image. The calculation unit 9 expresses in probability which class each pixel on the teaching image belongs to, based on the feature map that is the result of the convolution calculation. The calculation unit 9 updates parameters such as the kernel and bias used during the convolution calculation based on the error between the teaching that occurs when the class is determined as the most probable class and the correct teaching, and stores the results in the storage unit 4. . For example, the calculation unit 9 can obtain a feature map by performing a convolution operation on the acquired image using the updated parameters. The calculation unit 9 can calculate data forming the feature map of the acquired image as the first feature data. The data constituting the feature map of the taught image or the acquired image may be a scalar quantity or a vector quantity.

また、第１特徴データは例えば、太陽光パネル１００上の積雪率として算出してもよい。太陽光パネル１００上の積雪率は、太陽光パネル１００に該当する画素の領域に対する、太陽光パネル１００上に存在する積雪に該当する画素の領域の割合である。太陽光パネル１００上に存在する積雪に該当する画素の領域は、取得画像に対して領域分割を行うことにより算出される。一方で、固定式のカメラにおいて、太陽光パネル１００に該当する画素の領域は、例えば、人による教示作業やアフィン変換を用いて、あらかじめ積雪判定システム１に認識させ、記憶部４に格納することで算出することができる。これら２つの値により積雪率を算出することができる。 Further, the first characteristic data may be calculated as the snowfall rate on the solar panel 100, for example. The snow coverage rate on the solar panel 100 is the ratio of the pixel area corresponding to the snow existing on the solar panel 100 to the pixel area corresponding to the solar panel 100. The region of pixels corresponding to snow on the solar panel 100 is calculated by performing region division on the acquired image. On the other hand, in a fixed camera, the pixel area corresponding to the solar panel 100 can be recognized in advance by the snowfall determination system 1 using, for example, human teaching or affine transformation, and stored in the storage unit 4. It can be calculated as follows. The snow coverage rate can be calculated using these two values.

上記の他、第１特徴データは、太陽光パネル１００の積雪に該当する画素数または輝度として算出してもよい。第１特徴データは、太陽光パネル１００上における積雪の特徴を表すデータであれば、任意のデータを採用することができる。例えば、第１特徴データは、上記の積雪率のような何らかの量（特徴量）であってもよく、この量は、スカラー量であっても、ベクトル量であってもよい。前述した「特徴マップを構成するデータ」も、特徴量の一例に相当する。 In addition to the above, the first feature data may be calculated as the number of pixels or brightness of the solar panel 100 corresponding to the snowfall. Any data can be used as the first characteristic data as long as it represents the characteristics of the snowfall on the solar panel 100. For example, the first feature data may be some amount (feature amount) such as the above-mentioned snow coverage rate, and this amount may be a scalar amount or a vector amount. The aforementioned "data constituting the feature map" also corresponds to an example of the feature amount.

算出部９は、第１特徴データの算出のために、カーネルのサイズ、数およびバイアスの有無など、演算式を任意に変更することができる。算出部９は、畳み込み演算の際に、パディングを行ってもよい。また、最大プーリングや平均プーリングなどのプーリング演算を行ってもよい。また、３チャネルのカラー画像の場合、算出部９は、畳み込み演算をＲ画像、Ｇ画像およびＢ画像それぞれに対して行い、例えば、各要素の総和を取るなど、各演算結果を組み合わせてもよい。 The calculation unit 9 can arbitrarily change the calculation formula, such as the size and number of kernels and the presence or absence of bias, in order to calculate the first feature data. The calculation unit 9 may perform padding during the convolution operation. Additionally, pooling calculations such as maximum pooling and average pooling may be performed. Furthermore, in the case of a three-channel color image, the calculation unit 9 may perform a convolution operation on each of the R image, G image, and B image, and may combine the results of each operation, for example, by taking the sum of each element. .

特定部１０は、算出部９において算出した第１特徴データに基づいて、例えば、転置畳み込み演算を行うことで、太陽光パネル１００上の積雪の領域を特定する。これらの領域は、積雪の領域を画素単位で特定することができる。 The identifying unit 10 identifies the area of snow on the solar panel 100 by performing, for example, a transpose and convolution operation based on the first feature data calculated by the calculating unit 9. In these areas, snow areas can be specified pixel by pixel.

判定部８は、検出部７において検出した太陽光パネル１００上に存在する積雪の領域に基づいて、太陽光パネル１００上の積雪の状態を判定する。例えば、太陽光パネル１００上の積雪の状態は、積雪率に基づいて判定される。算出した積雪率が閾値を超えた場合に、太陽光パネル１００上に積雪があるものと判定することができる。 The determining unit 8 determines the state of snow on the solar panel 100 based on the area of snow on the solar panel 100 detected by the detecting unit 7 . For example, the state of snowfall on the solar panel 100 is determined based on the snowfall rate. When the calculated snowfall rate exceeds the threshold value, it can be determined that there is snowfall on the solar panel 100.

また、別の方法によれば、例えば、第１教示画像を用いることで太陽光パネル１００における積雪を把握できるため、判定部８は、積雪の領域についての画素数が一定の値を超えたときに積雪があると判定してもよい。 According to another method, for example, snowfall in the solar panel 100 can be grasped by using the first teaching image, so that when the number of pixels in the snowfall area exceeds a certain value, the determination unit 8 It may be determined that there is snowfall.

積雪判定システム１により、太陽光パネル１００上に積雪があると判定された場合、判定部８が、積雪の状態の判定に基づく信号を出力する構成としてもよい。積雪の発生に基づく信号の例は警報信号である。出力された警報信号は、表示部５に表示してもよい。また、出力された警報信号は、表示部５に表示する代わりに、インジケータや警告灯などの画面に表示する以外の警報装置（不図示）に出力してもよい。 When the snowfall determination system 1 determines that there is snow on the solar panel 100, the determination unit 8 may be configured to output a signal based on the determination of the state of the snowfall. An example of a signal based on the occurrence of snowfall is a warning signal. The output alarm signal may be displayed on the display unit 5. Further, instead of displaying the output alarm signal on the display unit 5, the output alarm signal may be output to an alarm device (not shown) other than the display on the screen, such as an indicator or a warning light.

図３は、第１実施形態における積雪判定システム１の動作を示すフローチャートである。 FIG. 3 is a flowchart showing the operation of the snowfall determination system 1 in the first embodiment.

ステップＳ１１では、取得部６が、撮影装置３から画像を取得する。ステップＳ１２では、算出部９が、第１特徴データを算出する。ステップＳ１３では、特定部１０が、第１特徴データに基づき、太陽光パネル１００上の積雪の領域を特定する。 In step S11, the acquisition unit 6 acquires an image from the photographing device 3. In step S12, the calculation unit 9 calculates first feature data. In step S13, the identifying unit 10 identifies the area of snow on the solar panel 100 based on the first feature data.

ステップＳ１４では、判定部８が、ステップＳ１３により特定された太陽光パネル１００上の積雪の領域に基づいて、太陽光パネル１００上に積雪があるかどうか判定する。積雪があると判定された場合、警報信号を出力するなどにより、ユーザに対し積雪の発生を知らせる。 In step S14, the determining unit 8 determines whether there is snow on the solar panel 100 based on the area of snow on the solar panel 100 identified in step S13. If it is determined that there is snowfall, the user is notified of the snowfall by outputting an alarm signal or the like.

本実施形態によれば、積雪判定システム１が積雪の状態を判定することで、都度、ユーザがカメラ映像を確認することなく、積雪の状態を判定することが可能となり、人為的な積雪判定作業を削減することができる。 According to the present embodiment, the snow accumulation determination system 1 determines the snow accumulation condition, making it possible to judge the snow accumulation condition without the user checking the camera image each time, thereby eliminating the need for artificial snow accumulation determination work. can be reduced.

また、本実施形態によれば、積雪判定システム１が太陽光パネル１００上に占める積雪の割合を算出することで、ユーザが太陽光パネル１００上の積雪の状態を定量的に判定することができる。そのため、ユーザが、判定結果について、積雪時において発電量保証から除外するための判断材料として活用することができる。また、同様に、ユーザが、判定結果について、除雪作業の判断材料として活用することができる。 Furthermore, according to the present embodiment, the snowfall determination system 1 calculates the proportion of snowfall on the solar panel 100, thereby allowing the user to quantitatively determine the state of snowfall on the solar panel 100. . Therefore, the user can utilize the determination result as a basis for making a decision to exclude the power generation amount from being guaranteed during snowfall. Similarly, the user can utilize the determination results as material for making decisions regarding snow removal work.

図４は、第１実施形態の積雪判定システム１の変形例における概略構成図を示す。 FIG. 4 shows a schematic configuration diagram of a modification of the snowfall determination system 1 of the first embodiment.

本変形例では、太陽光発電施設３００に設置される既設の監視システム２０の一部を用いて積雪判定システム１を構築する。一般的に、太陽光発電施設３００などの発電施設では、侵入者の有無や設備の状態を遠隔で監視するために、監視システム２０が導入されている。この監視システム２０では、太陽光発電施設３００に設置された撮影装置３によって、発電施設内の状況を撮影する。撮影した画像は、ネットワーク機器４０やネットワーク３０を介して、管理所４００に伝送される。ユーザは、監視システム表示部２１により、発電施設内の状況を遠隔で確認することができる。 In this modification, the snowfall determination system 1 is constructed using a part of the existing monitoring system 20 installed in the solar power generation facility 300. Generally, in a power generation facility such as the solar power generation facility 300, a monitoring system 20 is introduced in order to remotely monitor the presence or absence of an intruder and the status of the facility. In this monitoring system 20, the photographing device 3 installed in the solar power generation facility 300 photographs the situation inside the power generation facility. The captured images are transmitted to the management center 400 via the network device 40 and the network 30. The user can remotely check the situation inside the power generation facility using the monitoring system display section 21.

ネットワーク３０は、例えば、光ケーブルやメタルケーブルといった有線回線や、衛星回線やマイクロ無線といった無線回線による伝送媒体により構築される。また、ネットワーク機器４０は、例えば、ルータ、スイッチ、メディアコンバータなど、伝送媒体の種類に応じて、画像を伝送するために必要な設備により構築される。 The network 30 is constructed using transmission media such as wired lines such as optical cables and metal cables, and wireless lines such as satellite lines and micro wireless lines. Further, the network device 40 is constructed of equipment necessary for transmitting images depending on the type of transmission medium, such as a router, a switch, a media converter, etc., for example.

図４の例では、積雪判定装置２は、既設の撮影装置３、ネットワーク機器４０およびネットワーク３０などの共用可能な設備を利用する。積雪判定装置２内の取得部６は、ネットワーク３０およびネットワーク機器４０を介して、撮影装置３から画像を取得する。また、画像が、監視システム記憶部２２に蓄積されている場合、取得部６は、監視システム記憶部２２から画像を取得してもよい。 In the example of FIG. 4, the snowfall determination device 2 uses shared equipment such as the existing photographing device 3, network device 40, and network 30. The acquisition unit 6 in the snow cover determination device 2 acquires images from the photographing device 3 via the network 30 and network equipment 40. Further, if the images are stored in the monitoring system storage unit 22, the acquisition unit 6 may acquire the images from the monitoring system storage unit 22.

図４では、積雪判定装置２や既設の監視システム２０は、管理所４００に設置される例を示しているが、これらの設備は太陽光発電施設３００内に設置されてもよい。その場合、積雪判定装置２により検出した積雪の領域や、判定した積雪の状態などの情報は、ネットワーク３０を介して管理所に伝送される。 Although FIG. 4 shows an example in which the snow cover determination device 2 and the existing monitoring system 20 are installed in the management center 400, these facilities may be installed in the solar power generation facility 300. In that case, information such as the snow area detected by the snow cover determining device 2 and the determined snow cover state is transmitted to the management center via the network 30.

本変形例によれば、既設の設備を利用することにより、積雪判定システム１の導入費用を抑えることができる。また、既設の設備を利用することにより、設備数の増加を抑えることができるため、保守費用を抑えることができる。 According to this modification, the cost of introducing the snowfall determination system 1 can be suppressed by using existing equipment. Furthermore, by using existing equipment, it is possible to suppress an increase in the number of equipment, thereby reducing maintenance costs.

（第２実施形態）
次に、第２実施形態について説明する。本実施形態では、第１実施形態と同様のブロック図など（図１および図２）を用いることができる。 (Second embodiment)
Next, a second embodiment will be described. In this embodiment, the same block diagram as in the first embodiment (FIGS. 1 and 2) can be used.

第２実施形態では、第１特徴データの算出にあたり「第２特徴データ」を用いる。第１特徴データは、太陽光パネル１００上における積雪の特徴を表すデータであるのに対し、第２特徴データは、画像上に含まれる被写体の特徴を表すデータである。第２特徴データは例えば、被写体の画素の領域に関するデータであり、領域分割（セマンティックセグメンテーション）に基づいて算出される。被写体の例は、「太陽光パネル」、「架台」、「空、地面などの背景」および「白飛び、ゴースト、レンズフレア、ハレーションまたは影などの外乱」である。 In the second embodiment, "second feature data" is used in calculating the first feature data. The first characteristic data is data representing the characteristics of the snowfall on the solar panel 100, whereas the second characteristic data is data representing the characteristics of the subject included on the image. The second feature data is, for example, data regarding the pixel region of the subject, and is calculated based on region division (semantic segmentation). Examples of objects are "solar panels," "mounts," "backgrounds such as the sky and the ground," and "disturbances such as overexposure, ghosts, lens flares, halation, or shadows."

第２特徴データの算出にあたり、積雪判定システム１は例えば、画像に含まれる被写体を教示対象とする画像（教示画像）を用いて学習を行う。これらの教示画像を、第２教示画像と呼ぶ。算出部９は例えば、各々の教示画像に対して畳み込み演算を行う。算出部９は、畳み込み演算結果である特徴マップに基づき、教示画像上の各画素がどのクラスに属するかを確率で表現する。算出部９は、最も確率の高いクラスとして判別した際に生じる教示と正しい教示との誤差に基づいて、畳み込み演算時に使用するカーネルやバイアスなどのパラメータを更新し、記憶部４に結果を格納する。例えば、算出部９は、更新したパラメータを用いて、取得画像に対して畳み込み演算を実施することにより、特徴マップを得ることができる。算出部９は、取得画像の特徴マップを構成するデータを第２特徴データとして算出することができる。教示画像や取得画像の特徴マップを構成するデータは、スカラー量であっても、ベクトル量であってもよい。 In calculating the second feature data, the snowfall determination system 1 performs learning using, for example, an image (teaching image) in which a subject included in the image is a teaching target. These teaching images are called second teaching images. For example, the calculation unit 9 performs a convolution operation on each teaching image. The calculation unit 9 expresses in probability which class each pixel on the teaching image belongs to, based on the feature map that is the result of the convolution calculation. The calculation unit 9 updates parameters such as the kernel and bias used during the convolution calculation based on the error between the teaching that occurs when the class is determined as the most probable class and the correct teaching, and stores the results in the storage unit 4. . For example, the calculation unit 9 can obtain a feature map by performing a convolution operation on the acquired image using the updated parameters. The calculation unit 9 can calculate data forming the feature map of the acquired image as second feature data. The data constituting the feature map of the taught image or the acquired image may be a scalar amount or a vector amount.

算出部９は、第２特徴データを用いて、第１特徴データを算出する。これにより、算出部９は、太陽光パネル１００上における積雪の特徴だけでなく、被写体の特徴を含んだ第１特徴データを算出することができる。 The calculation unit 9 calculates first feature data using the second feature data. Thereby, the calculation unit 9 can calculate the first feature data including not only the features of the snowfall on the solar panel 100 but also the features of the subject.

また、第１特徴データは、例えば、積雪率として算出してもよい。本実施形態では、積雪判定システム１が第１教示画像および第２教示画像により学習を行っている。そのため、取得画像に対して領域分割を行うことにより、太陽光パネル１００に該当する画素の領域と、太陽光パネル１００上に存在する積雪に該当する画素の領域の両方を算出することができる。これら２つの値により、積雪率を算出することができる。 Further, the first feature data may be calculated as, for example, the snow coverage rate. In this embodiment, the snowfall determination system 1 performs learning using the first teaching image and the second teaching image. Therefore, by region-dividing the acquired image, both the pixel region corresponding to the solar panel 100 and the pixel region corresponding to the snowfall present on the solar panel 100 can be calculated. These two values allow the snow coverage rate to be calculated.

特定部１０は、算出部９において算出した第１特徴データに基づいて、例えば、転置畳み込み演算を行うことで、太陽光パネル１００上の積雪の領域を特定する。 The identifying unit 10 identifies the area of snow on the solar panel 100 by performing, for example, a transpose and convolution operation based on the first feature data calculated by the calculating unit 9.

判定部８は、検出部７において検出した太陽光パネル１００上に存在する積雪の領域に基づいて、太陽光パネル１００上の積雪の状態を判定する。例えば、太陽光パネル１００上の積雪の状態の判定は、積雪率に基づいて算出される。算出した積雪率が閾値を超えた場合に、太陽光パネル１００上に積雪があるものと判定することができる。 The determining unit 8 determines the state of snow on the solar panel 100 based on the area of snow on the solar panel 100 detected by the detecting unit 7 . For example, determination of the state of snowfall on the solar panel 100 is calculated based on the snowfall rate. When the calculated snowfall rate exceeds the threshold value, it can be determined that there is snowfall on the solar panel 100.

図５は、第２実施形態における積雪判定システム１の動作を示すフローチャートである。 FIG. 5 is a flowchart showing the operation of the snowfall determination system 1 in the second embodiment.

ステップＳ２１では、取得部６が、撮影装置３から画像を取得する。ステップＳ２２では、算出部９が、第２特徴データを算出する。ステップＳ２３では、算出部９が、第２特徴データを用いて、第１特徴データを算出する。ステップＳ２４では、特定部１０が、第１特徴データに基づき、太陽光パネル１００上の積雪の領域を特定する。 In step S21, the acquisition unit 6 acquires an image from the photographing device 3. In step S22, the calculation unit 9 calculates second feature data. In step S23, the calculation unit 9 calculates first feature data using the second feature data. In step S24, the identification unit 10 identifies the area of snow on the solar panel 100 based on the first feature data.

ステップＳ２５では、判定部８が、ステップＳ２４により特定された太陽光パネル１００上の積雪の領域に基づいて、太陽光パネル１００上に積雪があるかどうか判定する。積雪があると判定された場合、警報信号を出力するなどの方法により、ユーザに対し積雪の発生を知らせる。 In step S25, the determining unit 8 determines whether there is snow on the solar panel 100 based on the area of snow on the solar panel 100 identified in step S24. If it is determined that there is snowfall, the user is notified of the snowfall by outputting an alarm signal or the like.

太陽光パネル１００上に存在する積雪の領域の検出結果または積雪の状態の判定結果は、表示部５に表示してもよい。また、インターネットを介してストリーミング配信してもよい。これにより、積雪の領域の検出結果や判定結果を視覚的にユーザに提示することができる。 The detection result of the snowy area existing on the solar panel 100 or the determination result of the snowy state may be displayed on the display unit 5. Alternatively, streaming distribution may be performed via the Internet. Thereby, the detection result and determination result of the snow area can be visually presented to the user.

画像を撮影する環境によっては、季節や時間帯の影響により、レンズフレアなどの外乱が大きくなる場合がある。この場合、積雪判定システム１が積雪や被写体の状態を確認できないことが考えられる。そのため、例えば、判定部８が、画像における外乱に該当する画素の領域に基づいて、積雪判定が不能である旨のエラーを出力するような構成にしてもよい。例えば、外乱に該当する画素数が閾値を超えた場合、ユーザに対して積雪判定が不能である旨のエラーを出力する。この構成により、積雪判定が不能である場合には、ユーザが目視で太陽光パネル１００上の積雪の状態を確認することにより、積雪の状態についての監視体制を強化することができる。 Depending on the environment in which images are taken, disturbances such as lens flare may become large due to the influence of the season and time of day. In this case, it is conceivable that the snowfall determination system 1 cannot confirm the snowfall or the condition of the subject. Therefore, for example, the determination unit 8 may be configured to output an error indicating that snowfall determination is impossible based on the area of pixels corresponding to the disturbance in the image. For example, if the number of pixels corresponding to the disturbance exceeds a threshold value, an error message indicating that snowfall determination is impossible is output to the user. With this configuration, when snowfall determination is impossible, the user can visually check the snowfall condition on the solar panel 100, thereby strengthening the monitoring system for the snowfall condition.

また、撮影装置３が監視カメラである場合、監視カメラには、撮影位置や倍率を変更するためのＰＴＺ機能を備えているものがある。撮影装置３の撮影位置や倍率を変更した場合でも、算出部９は第１および第２教示画像から、太陽光パネル１００における積雪の領域を検出することができる。監視カメラでは、撮影箇所があらかじめ決まっている場合、プリセット機能を使用することがある。例えば、撮影装置３のそれぞれのプリセットポジションごとに、第１および第２教示画像を用意し、記憶部４が学習を行うことで、第１特徴データの精度を向上させることができる。 Further, when the photographing device 3 is a surveillance camera, some surveillance cameras are equipped with a PTZ function for changing the photographing position and magnification. Even when the photographing position and magnification of the photographing device 3 are changed, the calculation unit 9 can detect the snow covered area on the solar panel 100 from the first and second teaching images. Surveillance cameras sometimes use a preset function when the location to be photographed is determined in advance. For example, the accuracy of the first feature data can be improved by preparing first and second teaching images for each preset position of the photographing device 3 and having the storage unit 4 perform learning.

また、本実施形態によれば、積雪判定システム１が太陽光パネル１００上に占める積雪の割合を算出することで、ユーザが太陽光パネル１００上の積雪の状態を定量的に判定することができる。そのため、ユーザが、判定結果について、積雪時において発電量保証から除外するための判断材料として活用することができる。また、同様に、ユーザが、判定結果について、除雪作業の判断材料として活用することができる。 Further, according to the present embodiment, the snow cover determination system 1 calculates the proportion of snow cover on the solar panel 100, thereby allowing the user to quantitatively determine the state of the snow cover on the solar panel 100. . Therefore, the user can utilize the determination result as a basis for making a decision to exclude the power generation amount from being guaranteed during snowfall. Similarly, the user can utilize the determination results as material for making decisions regarding snow removal work.

また、本実施形態によれば、外乱などの被写体を教示した画像を用いるため、積雪判定システム１は、外乱と太陽光パネル１００における積雪との区別が可能となり、外乱に強い第１特徴データを算出することができる。 Further, according to the present embodiment, since an image in which a subject such as a disturbance is taught is used, the snowfall determination system 1 can distinguish between the disturbance and the snowfall on the solar panel 100, and the first feature data that is resistant to disturbances can be used. It can be calculated.

次に、図６～９により、領域分割の例について説明する。 Next, examples of region division will be described with reference to FIGS. 6 to 9.

図６は、取得部６が取得した取得画像２００の例である。取得画像２００には、積雪１１０に加え、被写体の例である太陽光パネル１００、白飛び１２０、地面１３０、空１４０および架台１５０が撮影されている。 FIG. 6 is an example of an acquired image 200 acquired by the acquisition unit 6. In addition to the snowfall 110, the acquired image 200 includes a solar panel 100, an overexposure 120, the ground 130, the sky 140, and a pedestal 150, which are examples of objects.

図７は、この画像に対し、検出部７が領域分割を実施することにより得られた画像の例である。領域分割に伴い、あらかじめ定義したクラスに基づいて、各被写体が色分けされる。例えば、積雪１１０が青色に色分けされ、太陽光パネル１００が緑色に色分けされ、白飛び１２０が黄色に色分けされるなど、クラスに応じて色分けされる。この図では、理解を促すために、青色は太い斜線のハッチングで示し、緑色はドットのハッチングで示し、黄色は細い斜線のハッチングで示す。また、その他のクラスについては色分けを省略している。この例のように、第２教示画像において、太陽光パネル１００および外乱である白飛び１２０を教示することにより、太陽光パネル１００上における積雪１１０と白飛び１２０との区別が可能となる。 FIG. 7 is an example of an image obtained by the detection unit 7 performing area division on this image. Along with region segmentation, each subject is color-coded based on a predefined class. For example, the snow cover 110 is color-coded blue, the solar panel 100 is color-coded green, and the overexposure 120 is color-coded yellow, and so on. In this figure, to facilitate understanding, blue is shown by thick diagonal hatching, green is shown by dotted hatching, and yellow is shown by thin diagonal hatching. In addition, color coding is omitted for other classes. As in this example, by teaching the solar panel 100 and the overexposure 120, which is a disturbance, in the second teaching image, it becomes possible to distinguish between the snowfall 110 and the overexposure 120 on the solar panel 100.

図８は、取得部６が取得した取得画像２００の別の例である。図６とは異なり、１つの太陽光パネル１００だけでなく、複数の太陽光パネル１００を含むストリング構成５００が撮影されている。 FIG. 8 is another example of an acquired image 200 acquired by the acquisition unit 6. Unlike FIG. 6, a string configuration 500 including not only one solar panel 100 but a plurality of solar panels 100 is photographed.

図９は、この画像に対し、検出部７が領域分割を実施することにより得られた画像の例である。例えば、積雪１１０が青色に色分けされ、太陽光パネル１００のストリング構成５００が緑色に色分けされる。この図では、理解を促すために、青色は太い斜線のハッチングで示し、緑色はドットのハッチングで示している。また、その他のクラスについては色分けを省略している。この例のように、第２教示画像において、太陽光パネル１００のストリング構成５００単位で教示することにより、太陽光パネル１００単体ではなく、太陽光パネル１００のストリング構成５００を一つの領域として検出することができる。この場合、積雪率は、ストリング構成５００単位で算出することができる。また、積雪率は、例えば、上述した方法により太陽光パネル１００単位で算出してもよく、積雪判定システム１が、積雪率の判定方法について、任意に切り替えができるような機能を有していてもよい。 FIG. 9 is an example of an image obtained by the detection unit 7 performing area division on this image. For example, snowfall 110 is colored blue, and string configuration 500 of solar panel 100 is colored green. In this figure, to facilitate understanding, blue is indicated by thick diagonal hatching, and green is indicated by dotted hatching. In addition, color coding is omitted for other classes. As in this example, by teaching in units of 500 string configurations of the solar panels 100 in the second teaching image, the string configuration 500 of the solar panels 100 is detected as one region instead of the solar panel 100 alone. be able to. In this case, the snowfall rate can be calculated in units of 500 string configurations. Furthermore, the snow coverage rate may be calculated in units of 100 solar panels using the method described above, for example, and the snow coverage determination system 1 has a function that allows the snow coverage rate determination method to be switched arbitrarily. Good too.

本実施形態によれば、第２教示画像を与えることにより、太陽光パネル１００を白飛び１２０などの外乱の影響を受ける場所に設置した場合でも、検出部７が外乱と区別して積雪１１０の領域を検出することができる。また、検出部７が太陽光パネル１００をストリング単位で検出することができる。そのため、太陽光パネル１００の設置場所や設置数に制限を受けることなく、積雪の領域を検出することが可能である。 According to the present embodiment, by providing the second teaching image, even when the solar panel 100 is installed in a place affected by a disturbance such as whiteout 120, the detection unit 7 can distinguish the area of the snow 110 from the disturbance. can be detected. Furthermore, the detection unit 7 can detect the solar panels 100 in string units. Therefore, it is possible to detect snow covered areas without being restricted by the installation location or the number of solar panels 100 installed.

第１教示画像および第２教示画像は、適宜、積雪判定システム１に追加することができる。例えば、第２教示画像において、動物や植物を教示するなど、太陽光パネル１００を設置した環境に応じて追加することが考えられる。 The first teaching image and the second teaching image can be added to the snowfall determination system 1 as appropriate. For example, in the second teaching image, teaching animals and plants may be added depending on the environment in which the solar panel 100 is installed.

また、第２実施形態では、第１教示画像と第２教示画像は、別々に教示画像を作成する例を説明したが、第１教示画像において、積雪と被写体を教示してもよい。 Further, in the second embodiment, an example has been described in which the first teaching image and the second teaching image are created separately, but snowfall and the subject may be taught in the first teaching image.

（第３実施形態）
図１０は、第３実施形態における積雪判定システム１の構成を示すブロック図である。 (Third embodiment)
FIG. 10 is a block diagram showing the configuration of a snowfall determination system 1 in the third embodiment.

本実施形態の積雪判定装置２は、図２に示すブロックに加えて第２取得部１２をさらに備える。図１０はさらに、図２に示す取得部６を「第１取得部１１」と表記している。 The snow cover determination device 2 of this embodiment further includes a second acquisition unit 12 in addition to the blocks shown in FIG. 2 . In FIG. 10, the acquisition section 6 shown in FIG. 2 is further referred to as a "first acquisition section 11."

第２取得部１２は、第１取得部１１で取得した画像を撮影した際の環境データを取得する。例えば、環境データは外部センサ（不図示）から取得してもよく、記憶部４に格納されている場合、そこから取得してもよい。環境データは、例えば「温度や湿度などの気象データ」、「日付や時刻データ」、「画像に含まれている太陽光パネルの日射量」、「パネル温度および発電量などのパネルデータ」または「画像を撮影した撮影装置３と太陽光パネルとの位置関係を示す位置データ」などの環境に関するデータである。 The second acquisition unit 12 acquires environmental data when the image acquired by the first acquisition unit 11 was photographed. For example, the environmental data may be acquired from an external sensor (not shown), or if stored in the storage unit 4, it may be acquired from there. Environmental data includes, for example, "weather data such as temperature and humidity", "date and time data", "solar radiation amount of solar panels included in the image", "panel data such as panel temperature and power generation amount", or " This is data related to the environment, such as "position data indicating the positional relationship between the photographing device 3 that took the image and the solar panel."

検出部７は、第１取得部１１で取得した画像に加え、環境データを含めて、太陽光パネル１００上に存在する積雪の領域を検出する。図１０に示すように、検出部７は、第１実施形態と同様に、算出部９と特定部１０とを備える。算出部９は、画像から太陽光パネル１００上の積雪の特徴を表す第１特徴データを算出する。算出部９は、第１特徴データを算出するにあたり、画像に含まれる環境データを用いることが可能である。 In addition to the image acquired by the first acquisition unit 11, the detection unit 7 includes environmental data to detect the area of snow that exists on the solar panel 100. As shown in FIG. 10, the detection unit 7 includes a calculation unit 9 and a specification unit 10, as in the first embodiment. The calculation unit 9 calculates first feature data representing the characteristics of the snowfall on the solar panel 100 from the image. The calculation unit 9 can use environmental data included in the image when calculating the first feature data.

特定部１０は、算出部９において算出した第１特徴データに基づいて、積雪の領域を特定する。 The identifying unit 10 identifies the area of snow cover based on the first feature data calculated by the calculating unit 9.

判定部８は、検出部７において検出した太陽光パネル１００上の積雪の領域から、太陽光パネル１００上の積雪の状態を判定する。 The determining unit 8 determines the state of snow on the solar panel 100 from the area of snow on the solar panel 100 detected by the detecting unit 7 .

撮影装置３のレンズに雪や水滴が付着した場合、第１取得部１１が鮮明な画像を取得できず、画像だけでは積雪の領域を検出することが困難な場合がある。そのような場合に対応するために、環境データを用いる。 If snow or water droplets adhere to the lens of the photographing device 3, the first acquisition unit 11 may not be able to acquire a clear image, and it may be difficult to detect the snowy area using only the image. Environmental data is used to deal with such cases.

一般的に、太陽光パネル１００は、曇りや雨といった気候でも、日射があれば発電が可能である。第２取得部１２は、例えば、環境データとして、画像に含まれている太陽光パネル１００の日射量および時刻データを取得する。積雪判定システム１は、日中（この例では、午前９時から１８時まで）において、太陽光パネル１００の日射量がゼロであるような場合には、積雪の可能性を考慮する。算出部９は、日中であることと、日射量がゼロであることの両方を条件に、太陽光パネル１００全体に積雪があるものとして、第１特徴データを算出する。この際に算出される第１特徴データは、積雪率を１００パーセントとして算出することが考えられる。つまり、特定部１０により特定される積雪の領域は、太陽光パネル１００上の領域全体となる。環境データを用いた第１特徴データの算出は、精度を向上させるために、発電量や時刻データだけではなく、例えば、温度や湿度など、その他の環境データを組み合わせてもよい。また、環境データを用いた第１特徴データの算出は、閾値との比較により算出してもよい。 Generally, the solar panel 100 can generate electricity even in cloudy or rainy weather as long as there is sunlight. The second acquisition unit 12 acquires, for example, the amount of solar radiation and time data of the solar panel 100 included in the image as the environmental data. The snowfall determination system 1 considers the possibility of snowfall when the amount of solar radiation on the solar panel 100 is zero during the day (from 9 a.m. to 6 p.m. in this example). The calculation unit 9 calculates the first characteristic data on the assumption that there is snow over the entire solar panel 100 under both the conditions that it is daytime and that the amount of solar radiation is zero. It is conceivable that the first feature data calculated at this time is calculated assuming the snow coverage rate as 100%. In other words, the area of snowfall specified by the specifying unit 10 is the entire area on the solar panel 100. In calculating the first characteristic data using environmental data, in order to improve accuracy, not only power generation amount and time data but also other environmental data such as temperature and humidity may be combined. Further, the first feature data may be calculated using environmental data by comparison with a threshold value.

また、第１特徴データの算出にあたり、環境データに加えて、第２特徴データを用いてもよい。 Further, in calculating the first feature data, the second feature data may be used in addition to the environmental data.

図１１は、第３実施形態における積雪判定システム１の動作を示すフローチャートである。 FIG. 11 is a flowchart showing the operation of the snowfall determination system 1 in the third embodiment.

ステップＳ３１では、第１取得部１１が、撮影装置３から画像を取得する。ステップＳ３２では、第２取得部１２が、画像の環境データを取得する。ステップＳ３３では、算出部９が、第２特徴データを算出する。ステップＳ３４では、算出部９が、環境データおよび第２特徴データに基づいて第１特徴データを算出する。 In step S31, the first acquisition unit 11 acquires an image from the photographing device 3. In step S32, the second acquisition unit 12 acquires environmental data of the image. In step S33, the calculation unit 9 calculates second feature data. In step S34, the calculation unit 9 calculates the first feature data based on the environmental data and the second feature data.

本実施形態によれば、環境データを活用することにより、検出部７が太陽光パネル１００上における積雪の領域を画像だけで検出することが困難な場合でも積雪の状態を判定することができる。 According to the present embodiment, by utilizing the environmental data, the state of the snowfall can be determined even when it is difficult for the detection unit 7 to detect the snowfall area on the solar panel 100 using only images.

以上のように、第１～第３実施形態またはその変形例によれば、太陽光パネル１００上に存在する積雪の状態を効果的に判定することができる。 As described above, according to the first to third embodiments or their modifications, the state of the snowfall present on the solar panel 100 can be effectively determined.

第１～第３実施形態またはその変形例では、太陽光パネル１００上の積雪の領域を特定するにあたり、領域分割を用いる例を説明した。積雪判定システム１では、領域分割に代えて、インスタンスセグメンテーションなど、別の画像セグメンテーション手段を用いてもよい。 In the first to third embodiments or their modifications, examples have been described in which region division is used to specify the area of snow on the solar panel 100. In the snowfall determination system 1, other image segmentation means such as instance segmentation may be used instead of region division.

（第４実施形態）
図１２は、第４実施形態における積雪判定システム１の構成を示すブロック図である。 (Fourth embodiment)
FIG. 12 is a block diagram showing the configuration of the snowfall determination system 1 in the fourth embodiment.

図１２の積雪判定システム１は、ＣＰＵ（Central Processing Unit）などのプロセッサ５２と、ＲＡＭ（Random Access Memory）などの主記憶装置５３と、ＨＤＤ（Hard Disc Drive）などの補助記憶装置５４と、ＬＡＮ（Local Area Network）ボードなどのネットワークインタフェース５５と、メモリスロットやメモリポートなどのデバイスインタフェース５６と、これらの機器を互いに接続するバス５７とを備えている。積雪判定システム１は例えば、ＰＣ（Personal Computer）などのコンピュータであり、キーボードやマウスなどの入力装置や、ＬＣＤ（Liquid Crystal Display）モニタなどの表示装置を備えている。 The snowfall determination system 1 in FIG. 12 includes a processor 52 such as a CPU (Central Processing Unit), a main storage device 53 such as a RAM (Random Access Memory), an auxiliary storage device 54 such as an HDD (Hard Disc Drive), and a LAN. It includes a network interface 55 such as a (Local Area Network) board, a device interface 56 such as a memory slot or memory port, and a bus 57 that connects these devices to each other. The snow accumulation determination system 1 is, for example, a computer such as a PC (Personal Computer), and includes an input device such as a keyboard and a mouse, and a display device such as an LCD (Liquid Crystal Display) monitor.

本実施形態においては、第１～第３実施形態またはその変形例のうち、いずれかにおける積雪判定システム１の情報処理をコンピュータに実行させるための積雪検出プログラムが、補助記憶装置５４内にインストールされている。積雪判定システム１は、このプログラムを主記憶装置５３に展開して、プロセッサ５２により実行する。これにより、図１または図１０に示す各ブロックの機能を積雪判定システム１内で実現し、第１～第３実施形態またはその変形例で説明した太陽光パネル１００上における積雪の状態を判定することが可能となる。なお、この情報処理により生成されたデータは、主記憶装置５３に一時的に保持されるか、補助記憶装置５４内に格納され保存される。 In this embodiment, a snowfall detection program for causing a computer to execute information processing of the snowfall determination system 1 in any of the first to third embodiments or variations thereof is installed in the auxiliary storage device 54. ing. The snowfall determination system 1 loads this program into the main storage device 53 and executes it using the processor 52. As a result, the functions of each block shown in FIG. 1 or 10 are realized within the snowfall determination system 1, and the state of snowfall on the solar panel 100 described in the first to third embodiments or their modifications is determined. becomes possible. Note that the data generated by this information processing is temporarily held in the main storage device 53 or stored and saved in the auxiliary storage device 54.

積雪判定プログラムは例えば、このプログラムを記録した外部装置５８をデバイスインタフェース５６に装着し、このプログラムを外部装置５８から補助記憶装置５４に格納することでインストール可能である。外部装置５８の例は、コンピュータ読み取り可能な記録媒体や、このような記録媒体を内蔵する記録装置である。記録媒体の例はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）、ＣＤ－Ｒ（Compact Disk Recordable）、フレキシブルディスク、ＤＶＤ－ＲＯＭ(Digital Versatile Disk Read Only Memory)、ＤＶＤ－Ｒ (Digital Versatile Disk Recordable)であり、記録装置の例はＨＤＤである。また、積雪検出プログラムは例えば、このプログラムをネットワークインタフェース５５を介してダウンロードすることでインストール可能である。 The snowfall determination program can be installed, for example, by attaching the external device 58 that has recorded this program to the device interface 56 and storing this program from the external device 58 into the auxiliary storage device 54 . An example of the external device 58 is a computer-readable recording medium or a recording device containing such a recording medium. Examples of recording media are CD-ROM (Compact Disk Read Only Memory), CD-R (Compact Disk Recordable), flexible disk, DVD-ROM (Digital Versatile Disk Read Only Memory), and DVD-R (Digital Versatile Disk Recordable). Yes, and an example of a recording device is an HDD. Further, the snow detection program can be installed by downloading the program via the network interface 55, for example.

本実施形態によれば、第１、第２実施形態またはその変形例のうち、いずれかにおける積雪判定システムの機能をソフトウェアにより実現することが可能となる。 According to the present embodiment, the functions of the snowfall determination system in either the first or second embodiment or a modification thereof can be realized by software.

以上、いくつかの実施形態を説明したが、これらの実施形態は、例としてのみ提示したものであり、発明の範囲を限定することを意図したものではない。本明細書で説明した新規な装置、方法、およびプログラムは、その他の様々な形態で実施することができる。また、本明細書で説明した装置、方法、およびプログラムの形態に対し、発明の要旨を逸脱しない範囲内で、種々の省略、置換、変更を行うことができる。添付の特許請求の範囲およびこれに均等な範囲は、発明の範囲や要旨に含まれるこのような形態や変形例を含むように意図されている。 Although several embodiments have been described above, these embodiments are presented only as examples and are not intended to limit the scope of the invention. The novel devices, methods, and program products described herein can be implemented in a variety of other forms. Furthermore, various omissions, substitutions, and changes can be made to the apparatus, method, and program described in this specification without departing from the gist of the invention. The appended claims and their equivalents are intended to cover such forms and modifications as fall within the scope and spirit of the invention.

１：積雪判定システム、２：積雪判定装置、３：撮影装置、４：記憶部、５：表示部、
６：取得部、７：検出部、８：判定部、９：算出部、１０：特定部、
１１：第１取得部、１２：第２取得部、２０：監視システム、
２１：監視システム表示部、２２：監視システム記憶部、３０：ネットワーク、
４０：ネットワーク機器、５２：プロセッサ、５３：主記憶装置、
５４：補助記憶装置、５５：ネットワークインタフェース、
５６：デバイスインタフェース、５７：バス、５８：外部装置、
１００：太陽光パネル、１１０：積雪、１２０：白飛び、１３０：地面、１４０：空、
１５０：架台、２００：取得画像、３００：太陽光発電施設、
５００：ストリング構成、７００：アレイ構成 1: snowfall determination system, 2: snowfall determination device, 3: photographing device, 4: storage unit, 5: display unit,
6: acquisition unit, 7: detection unit, 8: determination unit, 9: calculation unit, 10: identification unit,
11: first acquisition unit, 12: second acquisition unit, 20: monitoring system,
21: Monitoring system display unit, 22: Monitoring system storage unit, 30: Network,
40: network equipment, 52: processor, 53: main storage device,
54: Auxiliary storage device, 55: Network interface,
56: device interface, 57: bus, 58: external device,
100: Solar panel, 110: Snowfall, 120: Overexposure, 130: Ground, 140: Sky,
150: mount, 200: acquired image, 300: solar power generation facility,
500: String configuration, 700: Array configuration

Claims (15)

画像を取得する取得部と、
前記画像から、太陽光パネル上にて積雪が存在する領域を検出する検出部と、
前記領域に基づいて、前記太陽光パネル上における積雪の状態を判定する判定部と、
を備える積雪判定装置。 an acquisition unit that acquires an image;
a detection unit that detects an area where snowfall is present on the solar panel from the image;
a determination unit that determines the state of snowfall on the solar panel based on the area;
A snowfall determination device comprising: 前記判定部は、前記太陽光パネルに該当する画素の領域に対する、前記太陽光パネル上に存在する積雪に該当する画素の領域の割合である積雪率に基づいて、前記太陽光パネル上における積雪の状態を判定する、請求項１に記載の積雪判定装置。 The determination unit determines the amount of snow on the solar panel based on a snow coverage rate, which is a ratio of the area of pixels corresponding to snow on the solar panel to the area of pixels corresponding to the solar panel. The snow accumulation determination device according to claim 1, which determines a state. 前記判定部は、前記積雪率と閾値とを比較することで、前記太陽光パネル上における積雪の状態を判定する、請求項２に記載の積雪判定装置。 The snowfall determination device according to claim 2, wherein the determination unit determines the state of snowfall on the solar panel by comparing the snowfall rate with a threshold value. 前記検出部は、
前記画像から、前記太陽光パネル上に存在する積雪の特徴を表す第１特徴データを算出する算出部と、
前記第１特徴データに基づいて、前記太陽光パネル上にて積雪が存在する領域を特定する特定部と、
を備える、請求項１に記載の積雪判定装置。 The detection unit includes:
a calculation unit that calculates first characteristic data representing characteristics of snowfall present on the solar panel from the image;
a specifying unit that specifies an area where snow is present on the solar panel based on the first characteristic data;
The snowfall determination device according to claim 1, comprising: 前記第１特徴データは、前記太陽光パネル上に存在する積雪を教示対象とする第１教示画像に基づいて算出される、請求項４に記載の積雪判定装置。 The snow accumulation determination device according to claim 4, wherein the first feature data is calculated based on a first teaching image that targets snow accumulation existing on the solar panel. 前記第１特徴データは、前記第１教示画像の特徴量に基づいて算出されるパラメータを用いて、前記画像に対する領域分割を実施することにより算出される、請求項５に記載の積雪判定装置。 The snow cover determination device according to claim 5, wherein the first feature data is calculated by performing region segmentation on the image using parameters calculated based on the feature amount of the first teaching image. 前記第１特徴データは、前記画像の撮影環境に関するデータである環境データをさらに用いて算出される、請求項４に記載の積雪判定装置。 5. The snowfall determination device according to claim 4, wherein the first feature data is calculated by further using environmental data that is data related to a shooting environment of the image. 前記第１特徴データは、前記画像に含まれる被写体の特徴を表す第２特徴データをさらに用いて算出される、請求項４に記載の積雪判定装置。 5. The snowfall determination device according to claim 4, wherein the first feature data is calculated by further using second feature data representing features of a subject included in the image. 前記第２特徴データは、前記画像に含まれる被写体を教示対象とする第２教示画像に基づいて算出される、請求項８に記載の積雪判定装置。 The snow accumulation determination device according to claim 8, wherein the second feature data is calculated based on a second teaching image in which a subject included in the image is a teaching target. 前記第２特徴データは、前記第２教示画像の特徴量に基づいて算出されるパラメータを用いて、前記画像に対する領域分割を実施することにより算出される、請求項９に記載の積雪判定装置。 10. The snowfall determination device according to claim 9, wherein the second feature data is calculated by performing region segmentation on the image using parameters calculated based on feature amounts of the second teaching image. 前記第２教示画像は、前記画像に含まれる外乱を教示対象とする教示画像を含む、請求項９に記載の積雪判定装置。 10. The snow accumulation determination device according to claim 9, wherein the second teaching image includes a teaching image whose teaching target is a disturbance included in the image. 前記判定部は、前記外乱に該当する画素の領域に基づいて、積雪判定が不能である旨のエラーを出力する、請求項１１に記載の積雪判定装置。 The snow accumulation determination device according to claim 11, wherein the determination unit outputs an error indicating that snow accumulation determination is impossible based on a pixel area corresponding to the disturbance. 前記判定部は、前記外乱に該当する画素の領域の大きさと閾値とを比較することで、積雪判定が不能である旨のエラーを出力する、請求項１１に記載の積雪判定装置。 The snow accumulation determination device according to claim 11, wherein the determination unit outputs an error indicating that snow accumulation determination is impossible by comparing the size of a pixel area corresponding to the disturbance with a threshold value. 画像を取得し、
前記画像から、太陽光パネル上にて積雪が存在する領域を検出し、
前記領域に基づいて、前記太陽光パネル上における積雪の状態を判定する、
ことを含む積雪検出方法。 Get the image and
From the image, detect an area where snowfall exists on the solar panel,
determining the state of snowfall on the solar panel based on the area;
A snowfall detection method including: 画像を取得し、
前記画像から、太陽光パネル上にて積雪が存在する領域を検出し、
前記領域に基づいて、前記太陽光パネル上における積雪の状態を判定する、
ことを含む積雪検出方法をコンピュータに実行させる積雪検出プログラム。 Get the image and
From the image, detect an area where snowfall exists on the solar panel,
determining the state of snowfall on the solar panel based on the area;
A snow detection program that causes a computer to execute a snow detection method including: