JP7428998B1 - Solar panel inspection method and equipment - Google Patents

Abstract

【課題】正常なソーラーパネルのパネル可視光画像に係る入力画像のみを訓練画像に用いた教師なし機械学習により生成した機械学習モデルに、検査対象ソーラーパネルの入力画像を入力して、その出力画像を出力させ、両画像の差分画像に基づいて検査対象ソーラーパネルについての異常の有無を判定する時の異常判定の精度を改善する。【解決手段】差分画像を元差分画像とし、該元差分画像に基づいて平行線除去フィルタを作成し、平行線除去フィルタを用いて元差分画像から平行線を除去した補正差分画像を生成し、補正差分画像に基づいて検査対象ソーラーパネルについての異常の有無を判定する。【選択図】図１２[Problem] Input the input image of the solar panel to be inspected into a machine learning model generated by unsupervised machine learning using only input images related to panel visible light images of normal solar panels as training images, and output the resulting image. This improves the accuracy of abnormality determination when determining the presence or absence of an abnormality in the solar panel to be inspected based on the difference image between both images. The method includes using a difference image as an original difference image, creating a parallel line removal filter based on the original difference image, and generating a corrected difference image in which parallel lines are removed from the original difference image using the parallel line removal filter. The presence or absence of an abnormality in the solar panel to be inspected is determined based on the corrected difference image. [Selection diagram] Figure 12

Description

本発明は、ＡＩ（Artificial Intelligence／人工知能）を用いたソーラーパネル検査方法および装置に関する。 The present invention relates to a solar panel inspection method and apparatus using AI (Artificial Intelligence).

地球温暖化対策として太陽光発電が注目されている。太陽光発電のソーラーファームでは、複数のソーラーパネルを装備するソーラーアレイが多数、設置されている。ソーラーパネルは、設置後、種々の異常が発生する。このような異常には、例えば、傷、割れ、汚れ、亀裂、さらには電柱や雑草による影などがある。これらの異常は、放置すると、ソーラーパネルの発電力の低下だけでなく、損傷の増大に繋がることもあるので、異常を監視し、異常が発見されたときには、速やかに対処する必要がある。 Solar power generation is attracting attention as a measure against global warming. A solar farm for solar power generation has many solar arrays equipped with multiple solar panels. After solar panels are installed, various abnormalities occur. Such abnormalities include, for example, scratches, cracks, dirt, cracks, and even shadows caused by utility poles or weeds. If these abnormalities are left untreated, they can lead not only to a decrease in the solar panel's power generation capacity but also to increased damage, so it is necessary to monitor the abnormalities and take prompt action when an abnormality is discovered.

特許文献１は、赤外線カメラを搭載した飛行体（例：ラジコンヘリコプター）をソーラーパネルのソーラーファームの上空に飛ばして、赤外線カメラから地上のソーラーパネルを撮影し、その赤外線撮影画像に基づいてソーラーパネルのホットスポットの有無を調べるソーラーパネル故障診断システムを開示している。 Patent Document 1 discloses that a flying object (e.g., a radio-controlled helicopter) equipped with an infrared camera is flown over a solar farm of solar panels, the infrared camera photographs the solar panels on the ground, and the solar panels are determined based on the infrared photographed images. discloses a solar panel failure diagnosis system that checks the presence or absence of hot spots.

特許文献２は、照射部と受信部と演算部とを搭載した飛行体（例：ドローン）をソーラーファームの上空に飛ばして、照射部から地上のソーラーパネルに向けて検査光を出射するとともに、ソーラーパネルからの反射光を受信部で受信し、演算装置で照射光光軸と反射光光軸との差分に基づいてソーラーパネルの破損の有無を検査する検査装置を開示する。 Patent Document 2 discloses that an aircraft (e.g., a drone) equipped with an irradiation unit, a reception unit, and a calculation unit is flown over a solar farm, and the irradiation unit emits inspection light toward a solar panel on the ground. An inspection device is disclosed in which a receiver receives reflected light from a solar panel, and an arithmetic unit inspects the solar panel for damage based on the difference between the optical axis of the irradiated light and the optical axis of the reflected light.

特許文献３は、ソーラーパネル外観監視装置を開示する。この装置では、地上に設置された監視カメラでソーラーパネルに異物（例：飛来物やつる草）が無い状態で一定期間撮影したソーラーパネル画像群と、異物を一定期間撮影した異物画像群とに基づいて識別器を構築し、監視時は、監視カメラの撮影画像を識別器により検査して、ソーラーパネルにおける異物の存否を判断する。識別器には、例えばＲａｎｄｏｍ Ｆｏｒｅｓｔｓが選択される。 Patent Document 3 discloses a solar panel appearance monitoring device. This device uses a surveillance camera installed on the ground to capture solar panel images for a certain period of time with no foreign objects (e.g. flying objects or vines) on the solar panel, and a group of foreign object images that capture foreign objects for a certain period of time. Based on this, a discriminator is constructed, and during monitoring, the discriminator inspects images taken by a surveillance camera to determine the presence or absence of foreign objects in the solar panel. For example, Random Forests is selected as the discriminator.

特開２０１５－１４６３７１号公報Japanese Patent Application Publication No. 2015-146371 特開２０１９－１００９５８号公報JP 2019-100958 Publication 特開２０１６－２０５９１０号公報JP2016-205910A

特許文献１のソーラーパネル故障診断システムは、赤外線画像からソーラーパネルのホットポイントの異常の有無は検査できるものの、物理的な損傷や草木の成長による影などは目視の検査が必要となる。 Although the solar panel failure diagnosis system disclosed in Patent Document 1 can check whether there is an abnormality in the hot points of the solar panel from an infrared image, visual inspection is required to check for physical damage or shadows caused by the growth of plants.

特許文献２の検査装置は、ソーラーパネルについて物理的な損傷や草木の成長による影などを検査できたとしても、複数のソーラーパネルを１つずつ狙いを定めて順番に検査光を照射していく必要があり、手間がかかるとともに、作業時間が長くなる。 Even if the inspection device of Patent Document 2 can inspect solar panels for physical damage or shadows caused by growth of plants, the inspection device targets multiple solar panels one by one and sequentially irradiates the inspection light with the inspection light. This is necessary, takes time, and increases the working time.

特許文献３のソーラーパネル外観監視装置は、識別器の構築のために、ソーラーパネルと異物とのそれぞれについて一定期間撮影した画像が必要となる。また、異物の種類は多いので、異物の種類別の画像を収集するために、手間がかかるとともに、ソーラーパネル自体の割れ目や曇りなどの、異物以外による異常の検出は困難である。 The solar panel appearance monitoring device disclosed in Patent Document 3 requires images taken over a certain period of time for each of the solar panel and the foreign object in order to construct a discriminator. Furthermore, since there are many types of foreign objects, it takes time and effort to collect images for each type of foreign object, and it is difficult to detect abnormalities other than foreign objects, such as cracks or cloudiness in the solar panel itself.

そこで、本発明者は、先の特願２０２３－０６６４３４において、正常なソーラーパネルのパネル可視光画像に係る入力画像のみを訓練画像に用いかつ出力画像の正解値は入力画像とする教師なし機械学習によりパラメータを調整した機械学習モデルに、検査対象ソーラーパネルの入力画像を入力して、その出力画像を出力させ、両画像の差分画像に基づいて検査対象ソーラーパネルについての異常の有無を判定するソーラーパネル検査方法を開示した。 Therefore, in the previous patent application No. 2023-066434, the present inventor proposed unsupervised machine learning in which only input images related to panel visible light images of normal solar panels are used as training images, and the correct value of the output image is used as the input image. The input image of the solar panel to be inspected is input to the machine learning model whose parameters have been adjusted by , and the output image is outputted, and the presence or absence of an abnormality in the solar panel to be inspected is determined based on the difference image between the two images. A panel testing method was disclosed.

本発明者は、次の知見を見出した。第１に、異常の有無を判定する基礎となる差分画像には、縦線および横線が存在するが、それが異常の有無の際の誤判定につながっている。第２に、ソーラーパネルは、縦横に格子状に配列された複数のセルから構成されており、差分画像の縦線および横線は、例えばセルの縦および横の枠線に由来したものであり、差分画像では、縦方向および横方向に等間隔で出現する傾向がある。第３に、差分画像内に等間隔で出現する縦線および横線をノイズとして除去すれば、誤判定の防止または減少につながり、異常の判定精度を改善することができる。さらに、第４として、等間隔の縦線および横線を除去することで、機械学習モデルが生成する画像に対する線の位置の精度を下げられるため、必要な学習データ量を少なくすることが可能となり、データ収集や学習に係るコストを抑えられる。 The present inventor discovered the following knowledge. First, vertical lines and horizontal lines exist in the difference image that is the basis for determining the presence or absence of an abnormality, which leads to erroneous determination of the presence or absence of an abnormality. Second, a solar panel is composed of a plurality of cells arranged in a grid pattern vertically and horizontally, and the vertical lines and horizontal lines of the difference image are derived from, for example, the vertical and horizontal frame lines of the cells, In a difference image, they tend to appear at equal intervals in the vertical and horizontal directions. Thirdly, if vertical lines and horizontal lines that appear at equal intervals in the difference image are removed as noise, false determinations can be prevented or reduced, and the accuracy of abnormality determination can be improved. Furthermore, fourthly, by removing equally spaced vertical and horizontal lines, the accuracy of the position of the lines relative to the image generated by the machine learning model can be lowered, making it possible to reduce the amount of training data required. Costs related to data collection and learning can be reduced.

本発明の目的は、上記知見に基づき機械学習モデルの異常判定の精度を改善したソーラーパネル検査方法および装置を提供することである。 An object of the present invention is to provide a solar panel inspection method and device that improves the accuracy of abnormality determination using a machine learning model based on the above findings.

本発明のソーラーパネル検査方法は、
ソーラーパネルが格子状に縦横に配列された複数のセルを備えており、各々が単一の正常なソーラーパネルのパネル可視光画像である複数の入力画像のみを訓練画像に用いかつ出力画像の正解値は前記入力画像とする教師なし機械学習によりパラメータを調整した機械学習モデルに、検査対象ソーラーパネルの入力画像を入力して、その出力画像を出力させ、両画像の差分画像に基づいて前記検査対象ソーラーパネルについての異常の有無を判定するソーラーパネル検査方法であって、
前記差分画像を元差分画像とし、該元差分画像に基づいて平行線除去フィルタを作成するフィルタ作成工程と、
前記平行線除去フィルタを用いて前記元差分画像から所定の閾値以上の頻度の等距離間隔で存在している平行線を除去した補正差分画像を生成する補正差分画像生成工程と、
前記補正差分画像に基づいて前記検査対象ソーラーパネルについての異常の有無を判定する判定工程と、
を備えている。 The solar panel inspection method of the present invention includes:
The solar panel has multiple cells arranged vertically and horizontally in a grid, and only multiple input images, each of which is a panel visible light image of a single normal solar panel, are used as training images, and the correct answer of the output image is used. The input image of the solar panel to be inspected is input to a machine learning model whose parameters have been adjusted using unsupervised machine learning, and the value is the input image, and the output image is output. A solar panel inspection method for determining the presence or absence of an abnormality in a target solar panel, comprising:
a filter creation step of using the difference image as an original difference image and creating a parallel line removal filter based on the original difference image;
a corrected difference image generation step of generating a corrected difference image in which parallel lines existing at equidistant intervals with a frequency equal to or higher than a predetermined threshold are removed from the original difference image using the parallel line removal filter;
a determination step of determining whether or not there is an abnormality in the solar panel to be inspected based on the corrected difference image;
It is equipped with

本発明のソーラーパネル検査装置は、
ソーラーパネルが格子状に縦横に配列された複数のセルを備えており、各々が単一の正常なソーラーパネルのパネル可視光画像である複数の入力画像のみを訓練画像に用いかつ出力画像の正解値は前記入力画像とする教師なし機械学習によりパラメータを調整した機械学習モデルに、検査対象ソーラーパネルの入力画像を入力して、その出力画像を出力させ、両画像の差分画像に基づいて前記検査対象ソーラーパネルについての異常の有無を判定するソーラーパネル検査装置であって、
前記差分画像を元差分画像とし、該元差分画像に基づいて平行線除去フィルタを作成するフィルタ作成部と、
前記平行線除去フィルタを用いて前記元差分画像から所定の閾値以上の頻度の等距離間隔で存在している平行線を除去した補正差分画像を生成する補正差分画像生成工程と、
前記補正差分画像に基づいて前記検査対象ソーラーパネルについての異常の有無を判定する判定部と、
を備えている。 The solar panel inspection device of the present invention includes:
The solar panel has multiple cells arranged vertically and horizontally in a grid, and only multiple input images, each of which is a panel visible light image of a single normal solar panel, are used as training images, and the correct answer of the output image is used. The input image of the solar panel to be inspected is input to a machine learning model whose parameters have been adjusted using unsupervised machine learning, and the value is the input image, and the output image is output. A solar panel inspection device that determines whether there is an abnormality in a target solar panel,
a filter creation unit that takes the difference image as an original difference image and creates a parallel line removal filter based on the original difference image;
a corrected difference image generation step of generating a corrected difference image in which parallel lines existing at equidistant intervals with a frequency equal to or higher than a predetermined threshold are removed from the original difference image using the parallel line removal filter;
a determination unit that determines whether or not there is an abnormality in the solar panel to be inspected based on the corrected difference image;
It is equipped with

本発明のソーラーパネル検査方法および装置によれば、差分画像に基づいて平行線除去フィルタを作成し、作成した平行線除去フィルタを用いて、差分画像から、所定の閾値以上の頻度の等距離間隔で存在している平行線を除去して補正差分画像を生成する。こうして、補正差分画像に基づいてソーラーパネルの異常判定を実施することにより判定精度を大幅に向上させることができる。 According to the solar panel inspection method and apparatus of the present invention, a parallel line removal filter is created based on the difference image, and using the created parallel line removal filter, an equidistant interval with a frequency equal to or higher than a predetermined threshold is detected from the difference image. A corrected difference image is generated by removing the existing parallel lines. In this way, by determining the abnormality of the solar panel based on the corrected difference image, the determination accuracy can be significantly improved.

空撮によるソーラーパネルの撮影形態を示している図である。FIG. 2 is a diagram illustrating an aerial photographing mode of a solar panel. パネル検出ロジックで生成される二値画像の一例とその拡大図である。3 is an example of a binary image generated by panel detection logic and an enlarged view thereof. FIG. 訓練中ＶＡＥモデルに対する教師なし学習の説明図である。FIG. 2 is an explanatory diagram of unsupervised learning for a VAE model during training. ソーラーパネル検査装置の構成図である。FIG. 1 is a configuration diagram of a solar panel inspection device. 異常検出部の誤判定についての説明図である。FIG. 3 is an explanatory diagram regarding erroneous determination by an abnormality detection unit. 縦線および横線の幅処理についての説明図である。FIG. 6 is an explanatory diagram of width processing of vertical lines and horizontal lines. 縦線および横線の長さ処理についての説明図である。FIG. 6 is an explanatory diagram of length processing of vertical lines and horizontal lines. 縦線の隣接線統合処理の画像説明図である。FIG. 7 is an image explanatory diagram of vertical line adjacent line integration processing. 横線の隣接線統合処理の画像説明図である。FIG. 7 is an image explanatory diagram of horizontal line adjacent line integration processing. 隣接線統合処理の具体的な手順を示している図である。FIG. 7 is a diagram showing a specific procedure of adjacent line integration processing. 重み付けの改良例についての説明図である。FIG. 7 is an explanatory diagram of an example of improved weighting. 距離頻度に基づく縦平行線除去フィルタおよび横平行線除去フィルタの作成説明図である。It is an explanatory diagram of creation of a vertical parallel line removal filter and a horizontal parallel line removal filter based on distance frequency. 元差分画像、縦線除去画像、横線除去画像、縦線除去適用領域画像および横線除去適用領域画像の対照図である。FIG. 7 is a contrast diagram of an original difference image, a vertical line removed image, a horizontal line removed image, a vertical line removed area image, and a horizontal line removed area image. 元差分画像と補正差分画像との対比図である。FIG. 3 is a comparison diagram between an original difference image and a corrected difference image. 元差分画像が異常を含む場合の元差分画像と補正差分画像との対比例を示す図である。FIG. 7 is a diagram illustrating an example of comparison between an original difference image and a corrected difference image when the original difference image includes an abnormality.

以下、本発明の実施形態について説明する。本発明は、実施形態に限定されないことは言うまでもない。全図を通して、同一または共通の要素は、同一の符号を用いる。 Embodiments of the present invention will be described below. It goes without saying that the present invention is not limited to the embodiments. Identical or common elements use the same reference numerals throughout the figures.

最初に、図１－図４を参照して、本発明の実施形態が適用されるソーラーパネル検査装置５３（図４）について説明する。 First, referring to FIGS. 1 to 4, a solar panel inspection device 53 (FIG. 4) to which an embodiment of the present invention is applied will be described.

（撮影画像）
図１は、空撮によるソーラーパネル１４の撮影形態を示している。ソーラーファーム１０には、多数のソーラーアレイ１２が設置されるとともに、作業員等が各ソーラーアレイ１２を点検および保守する際に通行する通路１１がソーラーアレイ１２間に確保されている。ドローン２４は、可視光カメラ２６を搭載し、ソーラーファーム１０の上空を飛び回って、上空からソーラーファーム１０内のソーラーアレイ１２を撮影する。 (Photographed image)
FIG. 1 shows how the solar panel 14 is photographed by aerial photography. A large number of solar arrays 12 are installed in the solar farm 10, and passages 11 are provided between the solar arrays 12 through which workers and the like pass when inspecting and maintaining each solar array 12. The drone 24 is equipped with a visible light camera 26, flies over the solar farm 10, and photographs the solar array 12 inside the solar farm 10 from above.

各ソーラーアレイ１２は、典型的には、表面側を水平面に対して所定の傾斜角度で南空に向けて、水平方向に延在して配置されている。各ソーラーアレイ１２の表面には、多数のソーラーパネル１４が格子状の配列パターンで取り付けられ、太陽光発電を行っている。典型的なソーラーパネル１４の形状は、正方形または矩形である。ソーラーアレイ１２において隣接するソーラーパネル１４の間の間隙１６は、ソーラーアレイ１２のボードパネル基板が露出したものである。各ソーラーパネル１４は、複数のセル１８を縦横の格子配列で有している。なお、ソーラーアレイ１２におけるボードパネル基板の露出部分は、ソーラーアレイ１２の撮像画像からソーラーパネル１４の画像部分を切り出しする際のソーラーパネル１４の枠線として利用される。 Each solar array 12 is typically arranged so as to extend in the horizontal direction, with the surface side facing the southern sky at a predetermined angle of inclination with respect to the horizontal plane. A large number of solar panels 14 are attached to the surface of each solar array 12 in a grid pattern to generate solar power. A typical solar panel 14 shape is square or rectangular. Gaps 16 between adjacent solar panels 14 in solar array 12 expose the board panel substrates of solar array 12 . Each solar panel 14 has a plurality of cells 18 arranged in a horizontal and vertical grid. Note that the exposed portion of the board panel substrate in the solar array 12 is used as a frame line of the solar panel 14 when cutting out the image portion of the solar panel 14 from the captured image of the solar array 12.

ドローン２４の飛行中、可視光カメラ２６により撮影されたソーラーアレイ１２の撮像画像の撮影データは、オンラインで例えば地上の遠隔操縦者の遠隔操縦器に送信されてもよいし、ドローン２４が着陸した後、可視光カメラ２６のメモリから回収されてもよい。なお、ドローン２４または可視光カメラ２６には、ＧＰＳが搭載されており、撮像画像のメタ情報には、撮影日時の他に、ＧＰＳから取得した撮影位置の情報も含まれている。 During the flight of the drone 24, the data of the captured image of the solar array 12 taken by the visible light camera 26 may be transmitted online to, for example, a remote controller of a remote controller on the ground, or when the drone 24 has landed. Afterwards, it may be retrieved from the memory of the visible light camera 26. Note that the drone 24 or the visible light camera 26 is equipped with a GPS, and the meta information of the captured image includes information on the shooting position obtained from the GPS in addition to the shooting date and time.

図２において、３つの図のうちの左端の図は、ドローン２４がソーラーファーム１０を上空から撮影した空撮画像３１であり、複数のソーラーアレイが含まれている。中央の図は、可視光画像（カラー画像）の空撮画像３１の二値化画像３３である。右端の図は、二値化画像３３の中の二値化画像３５の拡大図である。二値化画像３５は、単一のソーラーパネル１４の画像となっており、セル１８の枠線に相当する部分が白筋の縦線および横線として見えている。 In FIG. 2, the leftmost diagram among the three diagrams is an aerial image 31 taken by the drone 24 of the solar farm 10 from above, and includes a plurality of solar arrays. The central figure is a binarized image 33 of an aerial photographed image 31 of a visible light image (color image). The rightmost figure is an enlarged view of the binarized image 35 in the binarized image 33. The binarized image 35 is an image of a single solar panel 14, and portions corresponding to the frame lines of the cells 18 are visible as vertical and horizontal white lines.

後述の訓練画像及び検査画像の各々は、単一のソーラーパネル１４の可視光画像（カラー画像）となっている。このような単一のソーラーパネル１４の可視光画像は、例えば、複数のソーラーパネル１４が含まれている空撮画像３１等の可視光画像から矩形のソーラーパネル１４の４頂点に基づいて切り出して、作成される。４頂点の位置は、例えば、複数のソーラーパネル１４が含まれている可視光画像を二値化した二値化画像から抽出される。 Each of the training images and test images described below is a visible light image (color image) of a single solar panel 14. Such a visible light image of a single solar panel 14 is obtained by cutting out a visible light image such as an aerial image 31 that includes a plurality of solar panels 14 based on the four vertices of the rectangular solar panel 14. , created. The positions of the four vertices are extracted, for example, from a binarized image obtained by binarizing a visible light image including a plurality of solar panels 14.

（教師なし学習）
図３は、訓練中ＶＡＥ（Variational Autoencoder／変分自己符号化器）モデル４６に対する教師なし学習の説明図である。なお、図３の訓練中ＶＡＥモデル４６と、後述の図４の学習済みＶＡＥモデル５６とは、同一の機械学習モデルを説明の便宜のために呼び名を変えただけである。訓練中ＶＡＥモデル４６は、ＶＡＥから構成され、エンコーダ、Ｚ空間（潜在パラメータ生成部）およびデコーダを備えている。なお、図３以降、実施形態について、説明の便宜のために画像を示しているが、演算装置による処理は、画像そのものではなく、画像に対応するデータに対して行われることは言うまでもない。画像は、ディスプレイやスキャナー等のインターフェースを介して入出力される。したがって、画像に対して実施している処理は、当該画像に対応するデータに対する処理を当然に包含した意味で使用している。 (Unsupervised learning)
FIG. 3 is an explanatory diagram of unsupervised learning for the VAE (Variational Autoencoder) model 46 during training. Note that the under-training VAE model 46 in FIG. 3 and the learned VAE model 56 in FIG. 4, which will be described later, are the same machine learning model with different names for convenience of explanation. The training VAE model 46 is composed of a VAE and includes an encoder, a Z space (latent parameter generator), and a decoder. Note that from FIG. 3 onward, images are shown in the embodiments for convenience of explanation, but it goes without saying that the processing by the arithmetic device is performed on data corresponding to the images, not on the images themselves. Images are input and output via an interface such as a display or scanner. Therefore, the term "processing performed on an image" is used to include processing on data corresponding to the image.

正常パネル画像４０ａは、訓練中ＶＡＥモデル４６に対する教師なし学習時では、正常パネル画像４０ａが１枚ずつ訓練データ５２として入力されていく処理が十分な回数、実施される。正常パネル画像４０ａ自体は、人が正常なソーラーパネル画像であることを目視で判断したものである。訓練中ＶＡＥモデル４６が出力する生成画像５４の正解値は、正常パネル画像４０ａとなる。 During unsupervised learning of the VAE model under training 46, the normal panel images 40a are processed a sufficient number of times in which the normal panel images 40a are input one by one as the training data 52. The normal panel image 40a itself is an image visually determined by a person to be a normal solar panel image. The correct value of the generated image 54 output by the VAE model 46 during training is the normal panel image 40a.

損失演算部４８は、正常パネル画像４０ａに対する生成画像５４の差分量として所定の損失関数により算出される損失値(以降、単に「損失」として記載。例：最小二乗誤差)が減るように、訓練中ＶＡＥモデル４６の各パラメータを勾配降下法によって調整していく。損失を減らすと言うことは、生成画像５４が正解値としての正常パネル画像４０ａに近づくことを意味する。この結果、学習済みＶＡＥモデル５６では、検査対象の入力画像が与えられたならば、入力画像５６iが異常を有していても、正常である状態の出力画像５６oを出力することになる。 The loss calculation unit 48 performs training so that the loss value (hereinafter simply referred to as "loss"; e.g., least squares error) calculated by a predetermined loss function as the amount of difference between the generated image 54 and the normal panel image 40a is reduced. Each parameter of the medium VAE model 46 is adjusted using the gradient descent method. Reducing the loss means that the generated image 54 approaches the normal panel image 40a as the correct value. As a result, if the trained VAE model 56 is given an input image to be inspected, it will output a normal output image 56o even if the input image 56i has an abnormality.

なお、ソーラーパネル１４は、メーカーや型番によってサイズやアスペクト比が異なっている。ソーラーアレイ１２の撮像画像からソーラーパネル１４の画像部分を切り出す検出ロジックでは全てのパネルを統一されたサイズへ正規化し、正規化した画像を訓練画像に用いることで、ソーラーパネルのサイズやアスペクト比の違いがモデルの学習に影響を与えることを解消している。正規化は、具体的には、例えばパネルの４頂点を固定サイズの正方形の４頂点へ対応するように射影変換することにより行われる。検査時（推論時）の入力画像５６iも、学習時の正常パネル画像４０aと同様の正規化が施される。 Note that the solar panel 14 has different sizes and aspect ratios depending on the manufacturer and model number. The detection logic that cuts out the image of the solar panel 14 from the image captured by the solar array 12 normalizes all panels to a unified size, and uses the normalized image as a training image to determine the size and aspect ratio of the solar panel. This eliminates the possibility that differences affect model learning. Specifically, the normalization is performed by, for example, projectively transforming the four vertices of the panel so that they correspond to the four vertices of a fixed-sized square. The input image 56i at the time of inspection (at the time of inference) is also subjected to the same normalization as the normal panel image 40a at the time of learning.

（ソーラーパネル検査装置）
図４は、ソーラーパネル検査装置５３の構成図である。ソーラーパネル検査装置５３は、学習済みＶＡＥモデル５６および後処理部５８を含む。学習済みＶＡＥモデル５６は、図３の訓練中ＶＡＥモデル４６が訓練データ５２により所定の訓練を積んで損失演算部４８の演算結果の損失が所定の基準以下に達して所定の機械学習を修了したと判断された訓練中ＶＡＥモデル４６から構成される。学習済みＶＡＥモデル５６は、入力画像５６iの入力に対し出力画像５６ｏを出力する。差分解析部６０は、各画素の輝度（画素値）が入力画像５６iと出力画像５６ｏとの対応画素の輝度の差分となっている差分画像６０ｄを出力する。異常検出部６２は、差分画像６０ｄに基づいて検査対象のソーラーパネル１４の異常についての判定結果である判定画像６２ｅを出力する。 (Solar panel inspection device)
FIG. 4 is a configuration diagram of the solar panel inspection device 53. Solar panel inspection device 53 includes a learned VAE model 56 and a post-processing section 58. The trained VAE model 56 is the one in which the VAE model 46 during training in FIG. 3 has undergone predetermined training using the training data 52, and the loss of the calculation result of the loss calculation unit 48 has reached a predetermined standard or less and has completed the predetermined machine learning. The training VAE model 46 is determined as follows. The trained VAE model 56 outputs an output image 56o in response to an input image 56i. The difference analysis unit 60 outputs a difference image 60d in which the brightness (pixel value) of each pixel is the difference in brightness of corresponding pixels between the input image 56i and the output image 56o. The abnormality detection unit 62 outputs a determination image 62e that is a determination result regarding an abnormality in the solar panel 14 to be inspected based on the difference image 60d.

学習済みＶＡＥモデル５６は、入力画像５６ｉに対し、その入力画像５６ｉが正常なソーラーパネル１４のものである場合の画像（正常画像）を推論する。したがって、学習済みＶＡＥモデル５６は、入力が正常画像である場合は入力画像５６ｉに極めて近い出力画像５６ｏを出力する一方、入力が異常画像である場合は、入力画像５６ｉから異常箇所が除かれた画像に極めて近い出力画像５６ｏを出力する。 The trained VAE model 56 infers an image (normal image) when the input image 56i is of a normal solar panel 14, with respect to the input image 56i. Therefore, when the input is a normal image, the trained VAE model 56 outputs an output image 56o that is extremely close to the input image 56i, while when the input is an abnormal image, the abnormal part is removed from the input image 56i. An output image 56o that is extremely close to the image is output.

（異常の判定方法／基本例）
異常検出部６２が異常単位区画３９ｅに基づいて最終的にソーラーパネル１４が異常であるか否かの判定方法の基本例は、次のとおりである。 (Abnormality determination method/basic example)
A basic example of how the abnormality detection unit 62 ultimately determines whether or not the solar panel 14 is abnormal based on the abnormality unit section 39e is as follows.

ＳＴＥＰ１：異常検出部６２は、差分画像６０ｄを縦横共に等間隔の格子線で形状（例：正方形）および大きさ（サイズ）の等しい複数の単位区画（単位升目）に区画する。ここで、単位区画の総数はＮａとする。 STEP 1: The abnormality detection unit 62 divides the difference image 60d into a plurality of unit sections (unit squares) having the same shape (eg, square) and size (unit square) using grid lines equally spaced both vertically and horizontally. Here, the total number of unit sections is Na.

ＳＴＥＰ２：差分画像６０ｄにおいて単位区画ごとに、差分輝度値（差分輝度）が第１閾値以上である画素の総数Ｍａが第２閾値以上であるか否かを判定する。なお、差分画像６０ｄにおける各画素の輝度は、入力画像５６iと出力画像５６ｏとにおける対応画素同士の輝度の差分の絶対値である。 STEP 2: For each unit section in the differential image 60d, it is determined whether the total number Ma of pixels whose differential luminance value (differential luminance) is equal to or greater than a first threshold is equal to or greater than a second threshold. Note that the brightness of each pixel in the difference image 60d is the absolute value of the difference in brightness between corresponding pixels in the input image 56i and the output image 56o.

ＳＴＥＰ３：ＳＴＥＰ２の判定結果が肯定的であれば、当該単位区画は、異常区画と認定し、否定的であれば、正常区画と認定する。図４の判定画像６２ｅにおいて、黒は正常単位区画であり、白は、異常単位区画３９ｅである。 STEP 3: If the determination result in STEP 2 is positive, the unit division is recognized as an abnormal division, and if negative, it is recognized as a normal division. In the determination image 62e of FIG. 4, black indicates normal unit sections, and white indicates abnormal unit sections 39e.

ＳＴＥＰ４：異常単位区画の個数Ｎｂを計数する。 STEP 4: Count the number Nb of abnormal unit sections.

ＳＴＥＰ５：Ｎｂが第３閾値以上であれば、検査対象のソーラーパネル１４は異常であると判定する。Ｎｂが第３閾値未満であれば、検査対象のソーラーパネル１４は正常であると判定する。なお、Ｎｂに代えて、Ｎｂ／Ｎａを第３閾値と対比して、検査対象のソーラーパネル１４の正常および異常を判定することもできる。 STEP 5: If Nb is greater than or equal to the third threshold, it is determined that the solar panel 14 to be inspected is abnormal. If Nb is less than the third threshold value, it is determined that the solar panel 14 to be inspected is normal. Note that instead of Nb, it is also possible to compare Nb/Na with a third threshold value to determine whether the solar panel 14 to be inspected is normal or abnormal.

差分画像６０ｄで差分輝度値が第１閾値以上である画素の総数Ｍａが第２閾値以上であるか否かで検査対象のソーラーパネル１４が異常であるか否かを判定するのではなく、上記のように、ＳＴＥＰ１－ＳＴＥＰ５の手順を踏む意義は次のとおりである。 Rather than determining whether or not the solar panel 14 to be inspected is abnormal based on whether the total number Ma of pixels whose differential luminance values are equal to or greater than the first threshold value in the differential image 60d is equal to or greater than the second threshold value, The significance of following the steps STEP 1 to STEP 5 is as follows.

（ａ）ソーラーパネル１４の異常の程度を単位区画の数として計数できる。すなわち、多数のソーラーパネル１４を含むソーラーアレイ１２が映し出されているオルソ画像上で異常なソーラーパネル１４の位置にピンを立てる際などに「異常単位区画数が：５以上のソーラーパネル１４のみ表示」など異常の程度によって表示のフィルタリング（この場合、「５」は、第３閾値に相当し、第３閾値を適宜調整可能にしておく。）を行うことができる。 (a) The degree of abnormality in the solar panel 14 can be counted as the number of unit sections. In other words, when placing a pin at the position of an abnormal solar panel 14 on an orthogonal image showing a solar array 12 including a large number of solar panels 14, "Only solar panels 14 with an abnormal unit block number of 5 or more are displayed." Display filtering can be performed depending on the degree of abnormality, such as "5" (in this case, "5" corresponds to the third threshold, and the third threshold can be adjusted as appropriate).

（ｂ）ソーラーパネル１４の異常を抽象化することができる。すなわち、よりシンプルな方法で異常を表現しておくことで、別のパネル同士の異常形状類似度を推定することが容易になる。 (b) Abnormalities in the solar panel 14 can be abstracted. That is, by expressing an anomaly in a simpler way, it becomes easier to estimate the similarity of anomaly shapes between different panels.

（誤判定）
図５は、異常検出部６２の誤判定についての説明図である。図５において、オリジナル、ＶＡＥ出力、差分および検出結果は、それぞれ入力画像５６i、出力画像５６ｏ、差分画像６０ｄおよび判定画像６２ｅに対応している。図５の入力画像５６iは、正常なソーラーパネル１４の入力画像であり、図５の出力画像５６ｏは、学習済みＶＡＥモデル５６が該正常な入力画像５６iから生成して出力した画像を示している。しかしながら、差分解析部６０が出力した図５の差分画像６０ｄでは横線状の差分が画像全体に渡って生じており、その結果、異常検出部６２が出力した判定画像６２ｅには、異常単位区画２９eが現れている。 (false judgment)
FIG. 5 is an explanatory diagram of erroneous determination by the abnormality detection unit 62. In FIG. 5, the original, VAE output, difference, and detection result correspond to an input image 56i, an output image 56o, a difference image 60d, and a determination image 62e, respectively. The input image 56i in FIG. 5 is an input image of the normal solar panel 14, and the output image 56o in FIG. 5 shows the image generated and output by the learned VAE model 56 from the normal input image 56i. . However, in the difference image 60d of FIG. 5 outputted by the difference analysis section 60, a horizontal linear difference occurs over the entire image, and as a result, the determination image 62e outputted by the abnormality detection section 62 does not include the abnormality unit section 29e. is appearing.

入力画像５６iが、正常なソーラーパネル１４の入力画像であるにもかかわらず、判定画像６２ｅに異常単位区画３９ｅが現れている原因について、発明者は次のように推定している。
（ａ）学習済みＶＡＥモデル５６は、入力画像５６ｉに対応する正常パネル画像を生成できるようにはなったとしても、ソーラーパネル１４内の格子配列のセル１８の全ての格子線の位置や色の濃さまでも全くズレなく再現することは非常に困難である。
（ｂ）一方、正常なパネルの性質を学習した学習済みＶＡＥモデル５６は、格子構造が規則的（等間隔）に配置されるパネル画像を生成することから、入力画像との線の位置ずれが生じる場合は対応する線同士が等間隔でずれるので、等間隔の線状の差分が生じることになる。
（ｃ）また、格子線の色の濃さが入力画像と異なる場合も、格子線に沿った等間隔の線状の差分が生じることになる。 The inventor estimates the reason why the abnormal unit section 39e appears in the determination image 62e even though the input image 56i is an input image of a normal solar panel 14 as follows.
(a) Even if the trained VAE model 56 is able to generate a normal panel image corresponding to the input image 56i, the positions and colors of all the grid lines of the cells 18 in the grid array in the solar panel 14 It is extremely difficult to reproduce the density without any deviation.
(b) On the other hand, the trained VAE model 56 that has learned the properties of a normal panel generates a panel image in which the lattice structure is arranged regularly (equally spaced), so there is no line misalignment with the input image. When this occurs, the corresponding lines are shifted at equal intervals, resulting in equally spaced linear differences.
(c) Also, if the color density of the grid lines is different from that of the input image, linear differences at equal intervals along the grid lines will occur.

（平行線除去フィルタの作成）
図６～図１４を参照して、差分画像６０ｄから異常判定のノイズとなっている縦線および横線の平行線を除去する方法について説明する。なお、差分画像６０ｄからの縦線の平行線除去と横線の平行線除去とは、別々に実施して、除去後に画像を統合して補正差分画像１０２（図１４）を生成している。 (Creating parallel line removal filter)
With reference to FIGS. 6 to 14, a method for removing parallel vertical lines and horizontal lines that are noise for abnormality determination from the difference image 60d will be described. Note that vertical parallel line removal and horizontal parallel line removal from the difference image 60d are performed separately, and after the removal, the images are integrated to generate the corrected difference image 102 (FIG. 14).

（幅処理）
図６は、縦線および横線の幅処理についての説明図である。元差分画像８０から縦線幅処理画像８４ａ（本発明の「第１画像」の一例」）および横線幅処理画像８４ｂ（本発明の「第２画像」の一例」）が生成される。なお、元差分画像８０とは、差分解析部６０が出力する画像であり、図５の差分画像６０ｄは、元差分画像８０である。差分画像６０ｄの画素値は、出力画像５６ｏの画素値（＝輝度）（０～２５５）から入力画像５６iの画素値（０～２５５）を引いた画素値の絶対値としているので、正である。 (width processing)
FIG. 6 is an explanatory diagram of vertical line and horizontal line width processing. From the original difference image 80, a vertical line width processed image 84a (an example of the "first image" of the present invention) and a horizontal line width processed image 84b (an example of the "second image" of the present invention) are generated. Note that the original difference image 80 is an image output by the difference analysis unit 60, and the difference image 60d in FIG. 5 is the original difference image 80. The pixel value of the difference image 60d is the absolute value of the pixel value (=luminance) (0 to 255) of the output image 56o minus the pixel value (0 to 255) of the input image 56i, so it is positive. .

排他的縦線フィルタ８２ａおよび排他的横線フィルタ８２ｂのサイズは、縦横のマスの個数に換算して表すことにする。排他的縦線フィルタ８２ａおよび排他的横線フィルタ８２ｂのサイズは、縦および横共に複数となっており、サイズの大きい方を長さ、小さい方を幅と呼ぶことにする。すなわち、排他的縦線フィルタ８２ａの幅は横であり、排他的横線フィルタ８２ｂの幅は縦となる。マスについてフィルタ内の幅位置を指定してマスの値を説明したときは、該幅位置に属する長さ全体のマスについて適用されるものとする。 The sizes of the exclusive vertical line filter 82a and the exclusive horizontal line filter 82b will be expressed in terms of the number of vertical and horizontal squares. The exclusive vertical line filter 82a and the exclusive horizontal line filter 82b have a plurality of sizes both vertically and horizontally, and the larger size is called the length, and the smaller size is called the width. That is, the width of exclusive vertical line filter 82a is horizontal, and the width of exclusive horizontal line filter 82b is vertical. When the value of a square is explained by specifying the width position in the filter for a square, it is assumed that the value is applied to the whole length of the square belonging to the width position.

なお、排他的縦線フィルタ８２ａは、この例では、横サイズが奇数で、中心の１マスが１、中心マスに対して左右のそれぞれ２マスが０、中心マスから左右３マス目以上のマスが－１とされている。 In this example, the exclusive vertical line filter 82a has an odd horizontal size, 1 square in the center is 1, 2 squares on the left and right of the center square are 0, and 3 or more squares on the left and right from the center square. is considered to be -1.

値０が入るマス数によって「線として認識する許容幅」を決めることができる。中心の値１のマスによって物体が認識された際に値０の幅範囲内であれば、その物体が縦線幅処理画像８４ａにおいてマイナス値になることはない。一方、値０のマスを超えて値－１のマスまで到達するような物体は、値－１のマスを侵食した分だけ値がマイナスとなり、線としては認識されなくなる。 The "allowable width for recognition as a line" can be determined by the number of squares containing the value 0. If an object is recognized by the central square with a value of 1 and is within the width range of 0, the object will not have a negative value in the vertical line width processed image 84a. On the other hand, for an object that exceeds a square with a value of 0 and reaches a square with a value of -1, its value becomes negative by the amount that it erodes the square with a value of -1, and it is no longer recognized as a line.

実施例の排他的縦線フィルタ８２ａでは、値０のマスが値１の中央マスの両側に２マスずつなので、幅５ピクセルまでの物体を線として認識する。一方、物体の幅が６ピクセル以上になると、値０のマスの外側の値－１を踏むようになってしまうため、フィルタリング値としては小さくなり、線とは認識されなくなる。 In the exclusive vertical line filter 82a of the embodiment, since there are two squares with a value of 0 on each side of the central square with a value of 1, objects with a width of up to 5 pixels are recognized as a line. On the other hand, if the width of the object is 6 pixels or more, the value -1 outside the square with value 0 will be stepped on, so the filtering value will be small and it will not be recognized as a line.

こうして、元差分画像８０において、横幅が５ピクセル（本発明の「第１線幅」の一例）以下の縦線（物体の一例）は、縦線幅処理画像８４ａにおいて残存する。一方、横幅が６ピクセル以上の縦線（物体の一例）は、縦線幅処理画像８４ａから消失する。 In this way, in the original difference image 80, vertical lines (an example of an object) whose width is 5 pixels or less (an example of the "first line width" of the present invention) remain in the vertical line width processed image 84a. On the other hand, a vertical line (an example of an object) whose width is 6 pixels or more disappears from the vertical line width processed image 84a.

排他的縦線フィルタ８２ａでは、－１のマス数は、左右それぞれ３に設定されている。排他的縦線フィルタ８２ａでは、縦サイズは例えば横サイズと等数の１１である。排他的縦線フィルタ８２ａを元差分画像８０の左右両端範囲に適用する場合、排他的縦線フィルタ８２ａの中心マスに対して元差分画像８０における左または右のマスが欠落しているので、欠落しているマスに対して周知のゼロ埋め（ゼロパディング）を実施する。 In the exclusive vertical line filter 82a, the number of -1 squares is set to 3 on each of the left and right sides. In the exclusive vertical line filter 82a, the vertical size is, for example, 11, which is the same number as the horizontal size. When applying the exclusive vertical line filter 82a to both left and right end ranges of the original differential image 80, the squares to the left or right of the original differential image 80 are missing with respect to the center square of the exclusive vertical line filter 82a. Perform the well-known zero padding on the squares that are.

排他的横線フィルタ８２ｂは、排他的縦線フィルタ８２ａについての縦横を横縦に逆にしただけであるので、説明は割愛する。なお、排他的横線フィルタ８２ｂを元差分画像８０に適用したときには、縦幅が５ピクセル（本発明の「第２線幅」の一例）以下の横線（物体の一例）が、横線幅処理画像８４ｂにおいて残存することになる。第２線幅は、前述の第１線幅と等しくなくてもよい。 Since the exclusive horizontal line filter 82b is simply the vertical and horizontal directions of the exclusive vertical line filter 82a, its explanation will be omitted. Note that when the exclusive horizontal line filter 82b is applied to the original difference image 80, a horizontal line (an example of an object) whose vertical width is 5 pixels or less (an example of the "second line width" of the present invention) is converted into the horizontal line width processed image 84b. It will remain in the. The second line width may not be equal to the first line width described above.

（長さ処理）
図７は、縦線および横線の長さ処理についての説明図である。縦線結合画像８５ａおよび横線結合画像８５ｂは、図６の縦線幅処理画像８４ａおよび横線幅処理画像８４ｂについて、値０を閾値として、閾値以上を値１、閾値未満を値０に置き換える二値化処理を施したものである。縦線結合画像８５ａおよび横線結合画像８５ｂに対して、最初にオープニングを行ってから、次に、クロージングを行う。 (length processing)
FIG. 7 is an explanatory diagram of vertical line and horizontal line length processing. The vertical line combined image 85a and the horizontal line combined image 85b are created using binary values for the vertical line width processed image 84a and the horizontal line width processed image 84b in FIG. It has been subjected to chemical treatment. Opening is first performed for the vertical line combined image 85a and the horizontal line combined image 85b, and then closing is performed.

オープニングのフィルタのサイズは、幅１×長さ５である。これにより、長さ５以下の縦線および横線が、ノイズとして除去された縦線結合画像８６ａおよび横線結合画像８６ｂが縦線結合画像８５ａおよび横線結合画像８５ｂ（共に二値化画像）から生成される。 The size of the opening filter is 1 width x 5 length. As a result, a vertical line combined image 86a and a horizontal line combined image 86b are generated from the vertical line combined image 85a and the horizontal line combined image 85b (both binarized images), in which vertical lines and horizontal lines with a length of 5 or less are removed as noise. Ru.

次のクロージングのフィルタのサイズは、幅１×長さ２５である。これにより、同一画素列および同一行において２５画素離れた縦線および横線が結合された縦線結合二値化画像８８ａおよび横線結合二値化画像８８ｂが縦線結合画像８６ａおよび横線結合画像８６ｂからそれぞれ生成される。なお、オープニング及びクロージングの処理は周知のモルフォロジー変換が利用される。 The size of the next closing filter is 1 width x 25 length. As a result, a vertical line combined binarized image 88a and a horizontal line combined binarized image 88b, in which vertical lines and horizontal lines separated by 25 pixels in the same pixel column and same row are combined, are obtained from the vertical line combined image 86a and the horizontal line combined image 86b. generated respectively. Note that well-known morphological transformation is used for opening and closing processing.

（隣接線統合処理）
図８は、隣接する縦線を統合する画像説明図である。一部拡大画像８９ａは、縦線結合二値化画像８８ａの一部を拡大した画像である。長い縦線に隣接して短い縦線が存在している。長い縦線と短い縦線とは、横方向に隣接する画素列に存在している。 (Adjacent line integration processing)
FIG. 8 is an explanatory diagram of an image in which adjacent vertical lines are integrated. The partially enlarged image 89a is an image obtained by enlarging a part of the vertical line combined binarized image 88a. There are short vertical lines adjacent to long vertical lines. The long vertical line and the short vertical line exist in horizontally adjacent pixel columns.

隣接線統合処理では、縦線結合二値化画像８８ａから縦線統合画像９０ａ（本発明の「第３画像」の一例）を生成する。一部拡大画像９１ａは、縦線統合画像９０ａの一部を拡大した画像である。一部拡大画像８９ａと一部拡大画像９１ａとは、同一範囲を示している。一部拡大画像８９ａでは、隣接列にそれぞれ長い縦線と短い縦線が存在していたが、一部拡大画像９１ａでは、短い方の縦線が消失し、長い方の縦線にまとめられて（統合されて）いる。 In the adjacent line integration process, a vertical line integrated image 90a (an example of the "third image" of the present invention) is generated from the vertical line combined binary image 88a. The partially enlarged image 91a is an image obtained by enlarging a part of the vertical line integrated image 90a. The partially enlarged image 89a and the partially enlarged image 91a show the same range. In the partially enlarged image 89a, there were long vertical lines and short vertical lines in adjacent columns, but in the partially enlarged image 91a, the shorter vertical lines disappeared and were combined into the longer vertical lines. (integrated).

図９は、横線の隣接線統合処理の画像説明図である。横線結合二値化画像８８ｂが横線統合画像９０ｂ（本発明の「第４画像」の一例）に変換されている。横線結合二値化画像８８ｂおよび横線統合画像９０ｂは、それぞれ縦線結合二値化画像８８ａおよび縦線統合画像９０ａに対応している。横線結合二値化画像８８ｂおよび横線統合画像９０ｂでは、縦方向に隣接する横画素列において短い方の横線は、消失し、長い方の縦線にまとめられている。 FIG. 9 is an image explanatory diagram of horizontal line adjacent line integration processing. The horizontal line combined binarized image 88b has been converted into a horizontal line combined image 90b (an example of the "fourth image" of the present invention). The horizontal line combined binary image 88b and the horizontal line integrated image 90b correspond to the vertical line combined binary image 88a and the vertical line integrated image 90a, respectively. In the horizontal line combined binarized image 88b and the horizontal line integrated image 90b, shorter horizontal lines in vertically adjacent horizontal pixel columns disappear and are combined into longer vertical lines.

図１０は、隣接線統合処理の具体的な手順を示している。図１０における各表形式画像は、説明簡便化のために、対応画像の縦７×横４の画素範囲を抜き出して、各画素の画素値を数値で表示した仮想画像である。各表形式画像において、ブランクの画素は、その画素値が０であることを意味している。 FIG. 10 shows a specific procedure for adjacent line integration processing. Each tabular image in FIG. 10 is a virtual image in which a 7 vertical by 4 horizontal pixel range of the corresponding image is extracted and the pixel value of each pixel is displayed numerically for the purpose of simplifying the explanation. In each tabular image, a blank pixel means that the pixel value is 0.

ＳＴＥＰ１０２の表形式画像は、縦線結合二値化画像８８ａから抜き出している。ＳＴＥＰ１０２では、ＳＴＥＰ１０２の表形式画像の各画素に重み付けを行う。各画素列の画素に対する重みは、ＳＴＥＰ１０２の表形式画像の各画素列における１の個数に決定する。すなわち、ＳＴＥＰ１０２の表形式画像では、左の画素列から右の方へ順番に１の画素の個数が２，４，３，０となっている。したがって、ＳＴＥＰ１０２の表形式画像の各画素に重みを付けると、ＳＴＥＰ１０４の表形式画像が生成される。 The tabular image in STEP 102 is extracted from the vertical line combination binarized image 88a. In STEP 102, each pixel of the tabular image in STEP 102 is weighted. The weight for the pixels in each pixel column is determined to be the number of 1's in each pixel column of the tabular image in STEP102. That is, in the tabular image in STEP 102, the number of 1 pixels is 2, 4, 3, and 0 in order from the left pixel column to the right. Therefore, by weighting each pixel of the tabular image in STEP 102, the tabular image in STEP 104 is generated.

ＳＴＥＰ１０６の表形式画像は、ＳＴＥＰ１０４の表形式画像に対して横長フィルタで最大値フィルタリングを実施することにより生成される。すなわち、１×３の横長フィルタは、ＳＴＥＰ１０４の表形式画像に適用されると、横長フィルタの中心マスの画素を中心に含む横連続３画素の最大値が各画素の画素値に変更される最大値フィルタリングの表形式画像が生成される。 The tabular image in STEP 106 is generated by performing maximum value filtering on the tabular image in STEP 104 using a landscape filter. In other words, when the 1×3 horizontal filter is applied to the tabular image in STEP 104, the maximum value of three horizontally consecutive pixels including the pixel in the center square of the horizontal filter is changed to the pixel value of each pixel. A tabular image of value filtering is generated.

ＳＴＥＰ１０８では、ＳＴＥＰ１０６の表形式画像が二値化される。この二値化は、ＳＴＥＰ１０６の表形式画像の各画素において画素値≠０であれば、１とし、画素値= ０であれば、０に維持するように、変換して、ＳＴＥＰ１０８の表形式画像を生成する。 In STEP 108, the tabular image in STEP 106 is binarized. This binarization is performed by converting each pixel of the tabular image in STEP 106 so that if the pixel value ≠ 0, it is set to 1, and if the pixel value = 0, it is maintained at 0. generate.

ＳＴＥＰ１１０では、ＳＴＥＰ１０８の表形式画像に対して再度の重み付けを行う。重み付けの仕方は、ＳＴＥＰ１０４のときとほぼ同じである。詳細には、ＳＴＥＰ１０４の時点で各列に適用した重みを記録しておき、ＳＴＥＰ１１０では、その記録しておいた重みを再使用する。ただし、記録無し（重み０）の列に対しては、便宜上１を割り当てている。 In STEP 110, the tabular image in STEP 108 is weighted again. The weighting method is almost the same as in STEP104. Specifically, the weights applied to each column are recorded in STEP 104, and the recorded weights are reused in STEP 110. However, for convenience, 1 is assigned to columns with no records (weight 0).

ＳＴＥＰ１１２の表形式画像は、ＳＴＥＰ１１０の表形式画像に対して最大値フィルタリング（ＳＴＥＰ１０６の１×３の横長フィルタと同一の横長フィルタ）を施して生成したものである。 The tabular image in STEP 112 is generated by subjecting the tabular image in STEP 110 to maximum value filtering (the same horizontal filter as the 1×3 horizontal filter in STEP 106).

ＳＴＥＰ１１４では、まず、ＳＴＥＰ１１２の表形式画像とＳＴＥＰ１１４の表形式画像とで各画素列における一致性をみる。ＳＴＥＰ１１４の左の表示形式画像では、ＳＴＥＰ１１０の表形式画像とＳＴＥＰ１１２の表形式画像とで対応画素同士が一致するマスは、１、不一致のマスは０（ブランク）が入っている。 In STEP 114, first, the consistency in each pixel column is checked between the tabular image in STEP 112 and the tabular image in STEP 114. In the display format image on the left of STEP 114, cells where corresponding pixels match in the tabular image of STEP 110 and STEP 112 are filled with 1, and cells that do not match are filled with 0 (blank).

この後、ＳＴＥＰ１１４では、一致箇所の表形式画像と、ＳＴＥＰ１０８の二値化表形式画像とが、対応画素同士の数値で掛け合わされる。その結果として、ＳＴＥＰ１１６の表形式画像が生成される。ＳＴＥＰ１１６の１の画素が縦線を構成する画素となる。すなわち、ＳＴＥＰ１０２において、横方向に隣接する画素列間で長い線と短い線とが接触している場合は、長い方に統合される。また、横方向に隣接する画素列間で、縦方向には離れているものの、複数の縦線が存在しているときは、最初の重み付けで大きい重み付けを付与された縦線の画素列に、小さい重み付けを付与された方の縦線が移動する。 After this, in STEP 114, the tabular image of the matching portion and the binarized tabular image of STEP 108 are multiplied by the numerical values of the corresponding pixels. As a result, a tabular image in STEP 116 is generated. The 1 pixel in STEP 116 becomes a pixel forming a vertical line. That is, in STEP 102, if a long line and a short line are in contact with each other between horizontally adjacent pixel columns, the longer line is integrated. In addition, when there are multiple vertical lines between horizontally adjacent pixel columns, although they are separated in the vertical direction, the pixel column of the vertical line that was given a large weight in the first weighting is The vertical line given the smaller weight moves.

図１０のＳＴＥＰ１０４の重み付けの仕方では、横方向に隣接する画素列間で、１の個数が同一である場合、重みは等しい値となる。例えばＳＴＥＰ１０２の表形式画像において、左から３番目の画像列の１の個数が左から２番目の画素列の１の個数と同数の４である場合、左から２番目と３番目との画像列の重みは、共に４となる。これは、図１２の縦線間の距離の決定に支障となる。 In the weighting method of STEP 104 in FIG. 10, when the number of 1's is the same between horizontally adjacent pixel columns, the weights have the same value. For example, in the tabular image in STEP 102, if the number of 1's in the third image column from the left is 4, which is the same number of 1's in the second pixel column from the left, the second and third image columns from the left The weights of both are 4. This poses a problem in determining the distance between the vertical lines in FIG.

図１１は、重み付けの改良例である。図１１の重み付けでは、各重みは、 そこで、図１０の重み付けの仕方に対して、図１１の重み付けの仕方では、各重みは、整数部と小数部とから構成される。整数部は、各画素列の１の個数に設定される。これに対し、小数部は、例えば、画素列の総数をＵｔ、各画素列の番号をＵｎとしたとき、Ｕｎ／Ｕｔとする。これにより、重みは、１の個数が同一である画素列が連続しても、右側の画素列の重みが左側の画素列の重みよりも大きい値となって、ＳＴＥＰ１１４の一致画素列を一義に決め易くなる。 FIG. 11 is an example of improved weighting. In the weighting method of FIG. 11, each weight is: Therefore, in contrast to the weighting method of FIG. 10, in the weighting method of FIG. 11, each weight is composed of an integer part and a decimal part. The integer part is set to the number of 1's in each pixel column. On the other hand, the decimal part is, for example, Un/Ut, where the total number of pixel columns is Ut and the number of each pixel column is Un. As a result, even if pixel columns with the same number of 1's are consecutive, the weight of the pixel column on the right side becomes a larger value than the weight of the pixel column on the left side, and the matching pixel column in STEP 114 is uniquely determined. It becomes easier to decide.

隣接する横線の統合処理についての説明は省略するが、図１０および図１１の隣接する縦線の統合処理と同様である。隣接する横線の統合処理では、図１０及び図１１の各表形式画像の縦横が逆になるだけである。 Although a description of the process of integrating adjacent horizontal lines will be omitted, it is similar to the process of integrating adjacent vertical lines in FIGS. 10 and 11. In the process of integrating adjacent horizontal lines, only the vertical and horizontal directions of each tabular image in FIGS. 10 and 11 are reversed.

（距離頻度）
図１２は、距離頻度に基づいて縦平行線除去フィルタ９４ａおよび横平行線除去フィルタ９４ｂを完成させる説明図である。縦平行線除去フィルタ９４ａは、縦線統合画像９０ａに含まれる相互に平行な複数の縦線のうち一定の横方向距離で出現している縦平行線を差分画像６０ｄから除去するものである。横平行線除去フィルタ９４ｂは、横線統合画像９０ｂに含まれる相互に平行な複数の横線のうち一定の縦方向距離で出現している横平行線を差分画像６０ｄから除去するものである。 (distance frequency)
FIG. 12 is an explanatory diagram for completing the vertical parallel line removal filter 94a and the horizontal parallel line removal filter 94b based on the distance frequency. The vertical parallel line removal filter 94a removes, from the difference image 60d, vertical parallel lines that appear at a certain distance in the horizontal direction from among a plurality of mutually parallel vertical lines included in the vertical line integrated image 90a. The horizontal parallel line removal filter 94b removes, from the difference image 60d, horizontal parallel lines that appear at a certain distance in the vertical direction from among a plurality of mutually parallel horizontal lines included in the horizontal line integrated image 90b.

最初に縦平行線除去フィルタ９４ａが除去する平行縦線の横方向距離の決め方について説明する。縦線統合画像９０ａにおいて、長さが縦線統合画像９０ａの縦サイズの１／１０未満の短い縦線は、直線とみなさず、除外する。すなわち、縦線統合画像９０ａの縦サイズの１／１０以上の長さの縦線のみを横方向距離の検出対象とする。また、横方向距離について、ソーラーパネル１４およびセル１８の横サイズに応じて上限を設定し、上限以上の横方向距離は、検出しないことにする。 First, a method of determining the horizontal distance of parallel vertical lines to be removed by the vertical parallel line removal filter 94a will be explained. In the vertical line integrated image 90a, short vertical lines whose length is less than 1/10 of the vertical size of the vertical line integrated image 90a are not considered to be straight lines and are excluded. That is, only vertical lines whose length is 1/10 or more of the vertical size of the vertical line integrated image 90a are targeted for horizontal distance detection. Further, regarding the lateral distance, an upper limit is set according to the lateral size of the solar panel 14 and the cell 18, and a lateral distance exceeding the upper limit is not detected.

こうして、縦線統合画像９０ａ内に存在する２つの対象縦線の全部の組み合わせについて、横方向の距離を検出していく。この組み合わせは、２つの対象縦線の横方向範囲が重なっているか重なっていないかに関係なく選択される。 In this way, the horizontal distances are detected for all combinations of two target vertical lines existing in the vertical line integrated image 90a. This combination is selected regardless of whether the horizontal ranges of the two target vertical lines overlap or not.

検出した横方向距離の距離リストの例が、図１２の［２５，５０，２５］として検出順に並べられている。このリスト例では、検出距離が３つ記載されている。これは、前述したように、あらかじめ、長さが縦線統合画像９０ａの縦サイズの１／１０未満の短い縦線は、直線とみなさず、除外するので、除外されずに残った縦線の画素列は、３つしかなく、検出距離の組み合わせは３つしかないからである。 An example of a distance list of detected lateral distances is arranged in the order of detection as [25, 50, 25] in FIG. In this example list, three detection distances are listed. This is because, as mentioned above, short vertical lines whose length is less than 1/10 of the vertical size of the integrated vertical line image 90a are not considered to be straight lines and are excluded. This is because there are only three pixel columns and only three combinations of detection distances.

次に、距離リストに基づいて距離の多い順（出現頻度の大きい順）に並べた距離候補リストと、頻度リストが作成される。この例では、距離候補リストは、［２５，５０］となり、頻度リストは［２，１］となる。すなわち、検出リストにおいて、２５は、２つあって、頻度は２となる。５０は、１つあって、頻度は１となる。なお、この１は、本発明の「所定の閾値以上の頻度の等距離間隔」における「所定の閾値」に相当する。 Next, a distance candidate list arranged in descending order of distance (in descending order of appearance frequency) and a frequency list are created based on the distance list. In this example, the distance candidate list is [25, 50] and the frequency list is [2, 1]. That is, in the detection list, there are two 25s, and the frequency is 2. There is one number 50, and the frequency is 1. Note that this 1 corresponds to a "predetermined threshold" in "equidistant intervals with a frequency equal to or greater than a predetermined threshold" of the present invention.

次に、頻度順の１番の距離候補から採用距離を決めていく。最初は、採用距離リストは空である。各距離候補について採用距離リストにすでにその倍数または約数が存在するかをみる。頻度順の１番の距離候補２５のときは、採用距離リストは空であるため、２５は、そのまま採用距離リストに採用される。なお、各距離候補について採用距離リストにすでにその倍数または約数が存在するか否かを調べるとき、数値の完全一致する倍数および約数に限定せず、±１かある程度の差異は同一とみなすことができる。 Next, the adopted distance is determined from the first distance candidate in order of frequency. Initially, the recruitment distance list is empty. For each distance candidate, check whether its multiple or divisor already exists in the adopted distance list. When distance candidate 25 is number one in the frequency order, the adopted distance list is empty, so 25 is adopted as is in the adopted distance list. In addition, when checking whether a multiple or divisor of each distance candidate already exists in the adopted distance list, it is not limited to multiples and divisors whose numerical values completely match, and differences of ±1 or a certain degree are considered to be the same. be able to.

次に、頻度順の２番の距離候補の５０については、その約数である２５が採用距離リストに存在するので、採用距離リストへの採用が拒否される。こうして、距離候補の最後の距離まで、採用距離リストへの採用の可否が決められていく。 Next, regarding 50, which is the second distance candidate in the order of frequency, its divisor, 25, exists in the adopted distance list, so adoption in the adopted distance list is rejected. In this way, it is determined whether or not to include the distance candidates in the adoption distance list, up to the last distance of the distance candidates.

縦平行線除去フィルタ９４ａは、中心マスが１、中心マスから左右にそれぞれ２５、離れた列のマスが－０．１となっている。この２５は、縦線に係る採用距離リストの採用距離に基づいて設定されている。また、「－０．１」の０．１は、除去強度パラメータの値として使用している。 The vertical parallel line removal filter 94a has a central square of 1, 25 squares on each side of the central square, and -0.1 squares in distant columns. This 25 is set based on the adopted distance in the adopted distance list related to the vertical line. Further, 0.1 of "-0.1" is used as the value of the removal strength parameter.

除去強度パラメータとは、縦線または横線をノイズとして除去するときの除去する強さに関するパラメータと定義する。除去強度パラメータの値が大きいほど、除去効果が大きくなるように設定される。値の決め方は、例えば、初期値を「－１ / (フィルタの幅 × ２)」に設定して様子を見る。ここで「フィルタの幅」は縦平行線除去フィルタ９４ａの場合は縦幅となり、横平行線除去フィルタ９４ｂの場合は横幅となる。設定者は、除去効果が弱いと判断したとき値を減少し（値は負であるので、絶対値は増大する。）、除去効果が強過ぎると判断したときは、値を増大させる（但し、０より小さくなるよう（負の値）設定する。）。 The removal strength parameter is defined as a parameter related to the removal strength when removing vertical lines or horizontal lines as noise. It is set such that the larger the value of the removal strength parameter, the greater the removal effect. To determine the value, for example, set the initial value to "-1 / (filter width x 2)" and see how it goes. Here, the "filter width" is the vertical width in the case of the vertical parallel line removal filter 94a, and the horizontal width in the case of the horizontal parallel line removal filter 94b. The setter decreases the value when determining that the removal effect is weak (the value is negative, so the absolute value increases), and increases the value when determining that the removal effect is too strong (however, Set it so that it is smaller than 0 (a negative value).

縦平行線除去フィルタ９４ａは、元差分画像８０に対して適用される。縦平行線除去フィルタ９４ａの縦サイズが５以上とすると、中心マスが横方向に２５マスごとに出現する縦線の位置にあると、該中心マスに重なる画素の画素値は、１－０．１×５×２となって、０になる。よって、図面の画像上では色が白から黒へ変化する。 The vertical parallel line removal filter 94a is applied to the original difference image 80. When the vertical size of the vertical parallel line removal filter 94a is 5 or more, when the center square is at the position of a vertical line that appears every 25 squares in the horizontal direction, the pixel values of pixels overlapping the center square are 1-0. It becomes 1×5×2 and becomes 0. Therefore, the color changes from white to black on the drawing image.

縦平行線除去フィルタ９４ａは、両端が－０．１の図示のものと、両端が－０．２の不図示のものとの２つが用意されている。そして、中心マスが差分画像６０ｄの左右の端の列から１番から２４番までの範囲にあるときに限り、両端が－０．２の縦平行線除去フィルタ９４ａの方が使用される。 Two vertical parallel line removal filters 94a are available: one shown with -0.1 at both ends, and another not shown with -0.2 at both ends. The vertical parallel line removal filter 94a with −0.2 at both ends is used only when the center square is in the range from 1st to 24th from the left and right end rows of the difference image 60d.

横平行線除去フィルタ９４ｂが除去する平行横線の縦方向距離の決め方も、縦平行線除去フィルタ９４ａと同様に行う。横平行線除去フィルタ９４ｂの場合は、検出距離リストは、［１３，２７，３４，１３，２１，～］となる。距離候補リストは［１３，２１，２７．．～］であり、採用距離リストは［１３，２１］となる。２７が採用距離リストに含まれなかったのは、採用距離リストへの２７の可否を判定する時に、採用距離リストにはすでに１３が採用されており、２７は、１３の倍数である２６の±１の範囲内の数値であるからである。 The vertical distance of parallel horizontal lines to be removed by the horizontal parallel line removal filter 94b is determined in the same manner as the vertical parallel line removal filter 94a. In the case of the horizontal parallel line removal filter 94b, the detection distance list is [13, 27, 34, 13, 21, . . . ]. The distance candidate list is [13, 21, 27. ．． ~], and the adopted distance list is [13, 21]. The reason why 27 was not included in the adopted distance list is because 13 was already adopted in the adopted distance list when determining whether or not to include 27 in the adopted distance list, and 27 is a multiple of 13, which is ± of 26. This is because the value is within the range of 1.

横平行線除去フィルタ９４ｂでは、採用距離は、１３と２１との２つであるので、－０．１（縦平行線除去フィルタ９４ａのときと同様に、０．１は除去強度パラメータの値として使用）の行は横平行線除去フィルタ９４ｂにおいて、値１の中心マスに対して上下に２つずつ設定されることになる。元差分画像８０に対する横平行線除去フィルタ９４ｂの適用も、元差分画像８０に対して適用される。横線抽出画像に対する横平行線除去フィルタ９４ｂの適用は、縦線抽出画像に対する縦平行線除去フィルタ９４ａの適用と同一である。 In the horizontal parallel line removal filter 94b, the adopted distances are two, 13 and 21, so -0.1 (as in the case of the vertical parallel line removal filter 94a, 0.1 is the value of the removal strength parameter. In the horizontal parallel line removal filter 94b, two rows (used) are set above and below the center square with the value 1. Application of the horizontal parallel line removal filter 94b to the original difference image 80 is also applied to the original difference image 80. Application of the horizontal parallel line removal filter 94b to the horizontal line extraction image is the same as application of the vertical parallel line removal filter 94a to the vertical line extraction image.

（補正差分画像の生成）
図１３は、元差分画像８０、縦線除去画像１００ａ、横線除去画像１００ｂ、縦線除去適用領域画像９８ａおよび横線除去適用領域画像９８ｂの対照図である。 元差分画像８０から補正差分画像１０２（図１４）を生成する手順を順番に説明する。以下の説明では、縦補正差分画像の生成を横補正差分画像の生成の説明より先に説明しているが、生成の順番は逆であってもよい。 (Generation of corrected difference image)
FIG. 13 is a contrast diagram of the original difference image 80, the vertical line removed image 100a, the horizontal line removed image 100b, the vertical line removed area image 98a, and the horizontal line removed area image 98b. The procedure for generating the corrected difference image 102 (FIG. 14) from the original difference image 80 will be explained in order. In the following description, the generation of the vertically corrected difference image is explained before the generation of the horizontally corrected difference image, but the order of generation may be reversed.

先ず元差分画像８０に対して縦平行線除去フィルタ９４ａで処理して縦線除去画像１００ａを作成する。こうして生成された縦線除去画像１００ａでは、縦線以外の領域も過剰に除去されている可能性がある点に注意されたい。後述の縦線除去適用領域画像９８ａを縦線マスクとして用いるマスク処理は、過剰除去された縦線を回復させるためのものである。 First, the original difference image 80 is processed by a vertical parallel line removal filter 94a to create a vertical line removed image 100a. It should be noted that in the vertical line removed image 100a generated in this way, areas other than vertical lines may also be excessively removed. Mask processing using a vertical line removal application area image 98a as a vertical line mask, which will be described later, is for restoring excessively removed vertical lines.

なお、元差分画像８０の各画素値は差分解析部６０において、入力画像５６ｉと出力画像５６ｏとの対応画素の輝度を元に算出する。例えば（ａ）入力画像５６ｉと出力画像５６ｏとの対応画素の輝度差分の絶対値をとる、または（ｂ）対応画素ごとに入力画像５６ｉの輝度値から出力画像５６ｏの輝度値を引く、または（ｃ）対応画素ごとに出力画像５６ｏの輝度値から入力画像５６ｉの輝度値をひく、などの方法を選択できる。（ｂ）は異常物の輝度が周囲よりも大きい状況において有効であり、（ｃ）は逆に異常物の輝度が周囲よりも小さい状況で有効である。（ｂ）と（ｃ）は、各画素値の下限を０とするために負の値を０へ置き換える処理を追加しておくことで、異常物の特徴をより強調した元差分画像８０を生成することができる。 Note that each pixel value of the original difference image 80 is calculated by the difference analysis unit 60 based on the brightness of the corresponding pixel of the input image 56i and the output image 56o. For example, (a) take the absolute value of the brightness difference between corresponding pixels between the input image 56i and the output image 56o, or (b) subtract the brightness value of the output image 56o from the brightness value of the input image 56i for each corresponding pixel, or ( c) A method such as subtracting the brightness value of the input image 56i from the brightness value of the output image 56o for each corresponding pixel can be selected. (b) is effective in a situation where the brightness of the abnormal object is higher than the surroundings, and (c), conversely, is effective in a situation where the brightness of the abnormal object is lower than the surroundings. In (b) and (c), by adding processing to replace negative values with 0 in order to set the lower limit of each pixel value to 0, an original difference image 80 is generated that further emphasizes the characteristics of the abnormal object. can do.

縦線除去適用領域画像９８ａとしての縦線マスクは、縦線統合画像９０a（図８）に対し幅方向（縦線除去適用領域画像９８ａにおける幅方向は横方向である。）の膨張処理（Erosion／モルフォロジー変換）を施すことで作成する。膨張処理により縦線除去適用領域画像９８ａでは、縦線統合画像９０aより線が太くなっていることに注意されたい。 The vertical line mask as the vertical line removal application area image 98a is subjected to expansion processing (Erosion) in the width direction (the width direction in the vertical line removal application area image 98a is the horizontal direction) with respect to the vertical line integrated image 90a (FIG. 8). /morphological transformation). It should be noted that due to the dilation process, the lines in the vertical line removal application area image 98a are thicker than in the vertical line integrated image 90a.

縦線マスクは二値画像(０または１)になっており、縦線マスクにおいて膨張処理で膨らんだ縦線である縦線領域には、画素値が二値の第１値としての「１」が割り当てられ、縦線領域以外の領域には画素値が二値の第２値としての「０」が割り当てられている。元差分画像８０に縦線マスクを適用して、縦補正差分画像（不図示）が生成される。 The vertical line mask is a binary image (0 or 1), and in the vertical line area, which is the vertical line expanded by expansion processing, the pixel value is "1" as the first binary value. is assigned, and "0" as a second binary pixel value is assigned to areas other than the vertical line area. A vertical line mask is applied to the original difference image 80 to generate a vertically corrected difference image (not shown).

縦補正差分画像では、元差分画像８０において縦線マスクの対応画素が第１値である画素は、縦線除去画像１００ａの画素値に置き換えられている。一方、元差分画像８０において縦線マスクの対応画素が第２値である画素は、縦補正差分画像では、元差分画像８０の画素値がそのまま維持されている。 In the vertically corrected difference image, pixels whose corresponding pixels in the vertical line mask in the original difference image 80 have the first value are replaced with pixel values in the vertical line removed image 100a. On the other hand, for pixels whose corresponding pixels in the vertical line mask have the second value in the original difference image 80, the pixel values of the original difference image 80 are maintained as they are in the vertically corrected difference image.

この実施形態では、縦線領域には、第１値としての「１」が割り当てられ、当該縦線領域以外の領域には、第２値としての「０」が割り当てられているが、第１値および第２値として具体的にどのような数値を設定するかは、設計者の任意である。例えば、第１値および第２値として、それぞれ１，０とする以外に、例えば２５５，０のように、相互に異なる数値が割り当てられてもよい。 In this embodiment, the vertical line area is assigned a first value of 1, and areas other than the vertical line area are assigned a second value of 0. It is up to the designer what numerical values to specifically set as the value and the second value. For example, instead of assigning 1 and 0 to the first value and the second value, respectively, different numerical values such as 255 and 0 may be assigned.

横補正差分画像（不図示）も、縦補正差分画像と同様の手順で生成する。具体的には、横線除去適用領域画像９８ｂを、横線統合画像９０ｂ（図９）に対し幅方向（横線除去適用領域画像９８ｂにおける幅方向は縦方向である。）の膨張処理を施すことにより作成する。次に、横線除去適用領域画像９８ｂを横線マスクとして用いて、元差分画像８０に適用して、横補正差分画像が生成される。 A horizontally corrected difference image (not shown) is also generated using the same procedure as the vertically corrected difference image. Specifically, the horizontal line removal application area image 98b is created by performing expansion processing on the horizontal line integrated image 90b (FIG. 9) in the width direction (the width direction in the horizontal line removal application area image 98b is the vertical direction). do. Next, the horizontal line removal application area image 98b is used as a horizontal line mask and applied to the original difference image 80 to generate a horizontally corrected difference image.

横線マスクによる具体的なマスク処理では、横線マスクにおいて膨張処理で膨らんだ横線である横線領域には、第３値としての「１」が画素値として割り当てられ、横線領域以外の領域には、第４値としての「０」が画素値として割り当てられている。元差分画像８０に横線マスクを適用して生成される横補正差分画像では、元差分画像８０において横線マスクの対応画素が１である画素は、横線除去画像１００ｂの画素値に置き換えられ、元差分画像８０において横線マスクの対応画素が０である画素は、元差分画像８０の画素値をそのまま維持される。 In specific mask processing using a horizontal line mask, a third value of "1" is assigned as a pixel value to the horizontal line area, which is a horizontal line expanded by expansion processing, in the horizontal line mask, and a pixel value of "1" is assigned to areas other than the horizontal line area. A 4-value "0" is assigned as a pixel value. In the horizontally corrected difference image generated by applying a horizontal line mask to the original difference image 80, pixels for which the corresponding pixel of the horizontal line mask is 1 in the original difference image 80 are replaced with the pixel values of the horizontal line removed image 100b, and For pixels in the image 80 whose corresponding pixels in the horizontal line mask are 0, the pixel values of the original difference image 80 are maintained as they are.

しかしながら、横線マスクにおいても、縦線マスクのときと同様に、第３値および第４値として具体的にどのような数値を設定するかは、設計者の任意である。例えば、第３値および第４値として、それぞれ１，０とする以外に、例えば２５５，０のように、相互に異なる数値が割り当てられてもよい。 However, in the case of the horizontal line mask as well, as in the case of the vertical line mask, it is up to the designer to decide what numerical values to specifically set as the third value and the fourth value. For example, instead of 1 and 0, respectively, different numerical values such as 255 and 0 may be assigned as the third and fourth values.

図１４は、元差分画像８０と補正差分画像１０２とを対比して示す図である。元差分画像８０は差分画像６０ｄと同一である。補正差分画像１０２は、図１３で説明した縦線補正差分画像と横線補正差分画像とを合成して生成される。この合成では、補正差分画像１０２の各画素について画素値が縦線補正差分画像と横線補正差分画像とで同一である場合は、その同一値を選択するが、相違する場合は、小さい方の画素値（除去効果の大きい方の画素値）を選択する 。 FIG. 14 is a diagram showing a comparison between the original difference image 80 and the corrected difference image 102. The original difference image 80 is the same as the difference image 60d. The corrected difference image 102 is generated by combining the vertical line corrected difference image and the horizontal line corrected difference image described with reference to FIG. In this synthesis, if the pixel value of each pixel in the corrected difference image 102 is the same in the vertical line correction difference image and the horizontal line correction difference image, the same value is selected, but if they are different, the smaller pixel is selected. Select the pixel value (the pixel value with the greater removal effect).

図１５は、元差分画像８０が異常３９ｄを含む場合の元差分画像８０と補正差分画像１０２との対比図である。補正差分画像１０２では、元差分画像８０の異常３９ｄは、除去されずに残っていることが分かる。これにより、補正差分画像１０２を元差分画像８０に代替させて、異常検出部６２は、支障なく異常を判定することが理解できる。 FIG. 15 is a comparison diagram of the original difference image 80 and the corrected difference image 102 when the original difference image 80 includes the abnormality 39d. It can be seen that in the corrected difference image 102, the abnormality 39d of the original difference image 80 remains without being removed. As a result, it can be understood that the abnormality detection unit 62 can determine an abnormality without any trouble by replacing the corrected difference image 102 with the original difference image 80.

（ソーラーパネル検査装置）
ソーラーパネル検査装置５３は、差分画像６０ｄを元差分画像８０とし、元差分画像８０に基づいて平行線除去フィルタ（例：縦平行線除去フィルタ９４ａ及び横平行線除去フィルタ９４ｂ）を作成するフィルタ作成部（例：図１２の処理を実施する処理部）と、平行線除去フィルタを用いて元差分画像８０からセル１８の枠線に対応する平行線を除去した補正差分画像１０２を生成する補正差分画像生成部（例：図１３および図１４に対応する処理を実施する処理部）と、補正差分画像１０２に基づいて検査対象ソーラーパネルについての異常の有無を判定する判定部（例：異常検出部６２）と、を備えている。 (Solar panel inspection device)
The solar panel inspection device 53 uses the difference image 60d as the original difference image 80, and creates filters for creating parallel line removal filters (e.g. vertical parallel line removal filter 94a and horizontal parallel line removal filter 94b) based on the original difference image 80. (e.g., a processing unit that performs the processing in FIG. 12), and a corrected difference image 102 that generates a corrected difference image 102 in which parallel lines corresponding to the frame lines of cells 18 are removed from the original difference image 80 using a parallel line removal filter. An image generation unit (e.g., a processing unit that performs processing corresponding to FIGS. 13 and 14) and a determination unit (e.g., an abnormality detection unit) that determines whether or not there is an abnormality in the solar panel to be inspected based on the corrected difference image 102. 62).

１４・・・ソーラーパネル、１８・・・セル、２９ｅ・・・異常単位区画、３９ｄ・・・異常、４０・・・正常パネル画像、４６・・・未学習ＶＡＥモデル、４８・・・損失演算部、５２・・・訓練データ、５３・・・ソーラーパネル検査装置、５４・・・生成画像、５６・・・学習済みＶＡＥモデル、５６ｉ・・・入力画像、５６ｏ・・・出力画像、５８・・・後処理部、６０・・・差分解析部、６０ｄ・・・差分画像、６２・・・異常検出部、６２ｅ・・・判定画像、８０・・・元差分画像、８２ａ・・・排他的縦線フィルタ、８２ｂ・・・排他的横線フィルタ、８４ａ・・・縦線幅処理画像、８４ｂ・・・横線幅処理画像、８６ａ・・・不要縦線除去画像、８６ｂ・・・不要横線除去画像、８８ａ・・・縦線結合画像、８８ｂ・・・横線結合画像、９０ａ・・・縦線統合画像、９０ｂ・・・横線統合画像、９４ａ・・・縦平行線除去フィルタ、９４ｂ・・・横平行線除去フィルタ、１００ａ・・・縦線除去画像、１００ｂ・・・横線除去画像、１０２・・・補正差分画像。 14... Solar panel, 18... Cell, 29e... Abnormal unit section, 39d... Abnormal, 40... Normal panel image, 46... Unlearned VAE model, 48... Loss calculation Part, 52... Training data, 53... Solar panel inspection device, 54... Generated image, 56... Learned VAE model, 56i... Input image, 56o... Output image, 58... ... Post-processing unit, 60... Difference analysis unit, 60d... Difference image, 62... Abnormality detection unit, 62e... Judgment image, 80... Original difference image, 82a... Exclusive Vertical line filter, 82b... Exclusive horizontal line filter, 84a... Vertical line width processed image, 84b... Horizontal line width processed image, 86a... Unnecessary vertical line removed image, 86b... Unnecessary horizontal line removed image , 88a...Vertical line combined image, 88b...Horizontal line combined image, 90a...Vertical line integrated image, 90b...Horizontal line integrated image, 94a...Vertical parallel line removal filter, 94b...Horizontal Parallel line removal filter, 100a...vertical line removed image, 100b...horizontal line removed image, 102...corrected difference image.

Claims (13)

ソーラーパネルが格子状に縦横に配列された複数のセルを備えており、各々が単一の正常なソーラーパネルのパネル可視光画像である複数の入力画像のみを訓練画像に用いかつ出力画像の正解値は前記入力画像とする教師なし機械学習によりパラメータを調整した機械学習モデルに、検査対象ソーラーパネルの入力画像を入力して、その出力画像を出力させ、両画像の差分画像に基づいて前記検査対象ソーラーパネルについての異常の有無を判定するソーラーパネル検査方法であって、
前記差分画像を元差分画像とし、該元差分画像に基づいて平行線除去フィルタを作成するフィルタ作成工程と、
前記平行線除去フィルタを用いて前記元差分画像から所定の閾値以上の頻度の等距離間隔で存在している平行線を除去した補正差分画像を生成する補正差分画像生成工程と、
前記補正差分画像に基づいて前記検査対象ソーラーパネルについての異常の有無を判定する判定工程と、
を備えているソーラーパネル検査方法。 The solar panel has multiple cells arranged vertically and horizontally in a grid, and only multiple input images, each of which is a panel visible light image of a single normal solar panel, are used as training images, and the correct answer of the output image is used. The input image of the solar panel to be inspected is input to a machine learning model whose parameters have been adjusted using unsupervised machine learning, and the value is the input image, and the output image is output. A solar panel inspection method for determining the presence or absence of an abnormality in a target solar panel, comprising:
a filter creation step of using the difference image as an original difference image and creating a parallel line removal filter based on the original difference image;
a corrected difference image generation step of generating a corrected difference image in which parallel lines existing at equidistant intervals with a frequency equal to or higher than a predetermined threshold are removed from the original difference image using the parallel line removal filter;
a determination step of determining whether or not there is an abnormality in the solar panel to be inspected based on the corrected difference image;
Solar panel inspection method equipped with. 請求項１に記載のソーラーパネル検査方法において、
前記平行線除去フィルタは、前記フィルタ作成工程において、前記元差分画像（８０）における縦線間および横線間の各距離の頻度を算出し、前記頻度が前記閾値以上である距離で前記元差分画像に存在している縦線同士および横線同士を除去するフィルタとして作成される、ソーラーパネル検査方法。 In the solar panel inspection method according to claim 1,
In the filter creation step, the parallel line removal filter calculates the frequency of each distance between vertical lines and horizontal lines in the original difference image (80), and removes the distance from the original difference image at a distance where the frequency is equal to or greater than the threshold value. A solar panel inspection method that is created as a filter to remove vertical lines and horizontal lines that exist in . 請求項２に記載のソーラーパネル検査方法において、
前記フィルタ作成工程において、
前記補正差分画像は、前記元差分画像において第１線幅以下の縦線のみおよび第２線幅以下の横線のみをそれぞれ残存させた第１画像および第２画像に基づいて生成される、ソーラーパネル検査方法。 In the solar panel inspection method according to claim 2,
In the filter creation step,
The corrected difference image is generated based on a first image and a second image in which only vertical lines having a first line width or less and only horizontal lines having a second line width or less remain in the original difference image, respectively. Inspection method. 請求項３に記載のソーラーパネル検査方法において、
前記補正差分画像は、第３画像に基づいて生成され、
前記第３画像の生成工程は、
前記第１画像の二値化画像に対するモルフォロジー変換により生成した縦線結合二値化画像の各画素列に対し、該画素列に含まれる１の個数に基づいて重みを決定する工程と、
前記縦線結合二値化画像において複数の縦線が、横方向に連続する複数の画素列に存在しているときは、各画素列の重みに基づいて前記複数の画素列の中から単一の統合画素列を決め、前記複数の画素列の前記複数の縦線を前記統合画素列に移行して前記統合画素列の縦線として統合した縦線統合画像としての第３画像を生成する工程と、
を含む、ソーラーパネル検査方法。 In the solar panel inspection method according to claim 3,
The corrected difference image is generated based on the third image,
The step of generating the third image includes:
determining a weight for each pixel column of the vertical line combination binary image generated by morphological transformation of the binary image of the first image based on the number of 1's included in the pixel column;
When a plurality of vertical lines exist in a plurality of pixel columns consecutive in the horizontal direction in the vertical line combination binarized image, a single vertical line is selected from among the plurality of pixel columns based on the weight of each pixel column. determining an integrated pixel column, and generating a third image as a vertical line integrated image in which the plurality of vertical lines of the plurality of pixel columns are transferred to the integrated pixel column and integrated as the vertical lines of the integrated pixel column. and,
Solar panel inspection methods, including: 請求項４に記載のソーラーパネル検査方法において、
前記第３画像の生成工程では、
横方向に連続する画素列に含まれる１の個数が等数であるときは、横方向一側の画素列の重みを他側の画素列の重みより大きく設定する、ソーラーパネル検査方法。 In the solar panel inspection method according to claim 4,
In the third image generation step,
A solar panel inspection method that sets the weight of a pixel column on one side in the horizontal direction to be larger than the weight of a pixel column on the other side when the number of 1's included in pixel columns that are continuous in the horizontal direction is equal. 請求項５に記載のソーラーパネル検査方法において、
前記フィルタ作成工程では、前記第３画像に基づいて検出した縦線間の横方向距離と各横方向距離の頻度とに基づいて縦平行線除去フィルタを作成し、
前記補正差分画像生成工程では、前記元差分画像に対して前記縦平行線除去フィルタを適用して生成した縦線除去画像に基づいて前記補正差分画像を生成する、ソーラーパネル検査方法。 In the solar panel inspection method according to claim 5,
In the filter creation step, a vertical parallel line removal filter is created based on the horizontal distance between the vertical lines detected based on the third image and the frequency of each horizontal distance,
In the corrected difference image generation step, the corrected difference image is generated based on a vertical line removed image generated by applying the vertical parallel line removal filter to the original difference image. 請求項６に記載のソーラーパネル検査方法において、
前記第３画像の各縦線を横方向に膨張処理することにより得られる縦線領域を含む縦線除去適用領域画像を生成し、前記元差分画像に対して前記縦線除去適用領域画像を、当該縦線領域に割り当てられた第１値および当該縦線領域以外の領域に割り当てられた第２値の二値からなる縦線マスクとして用い、前記元差分画像において前記縦線マスクの対応画素が前記第１値である画素のみを、前記縦線除去画像の値に置き換えることにより縦補正差分画像を生成し、前記補正差分画像を前記縦補正差分画像に基づいて生成する、ソーラーパネル検査方法。 In the solar panel inspection method according to claim 6,
Generating a vertical line removal application area image including a vertical line area obtained by horizontally expanding each vertical line of the third image, and applying the vertical line removal application area image to the original difference image, It is used as a vertical line mask consisting of two values: a first value assigned to the vertical line area and a second value assigned to an area other than the vertical line area, and the corresponding pixels of the vertical line mask in the original difference image are A solar panel inspection method, wherein a vertically corrected difference image is generated by replacing only pixels having the first value with values of the vertical line removed image, and the corrected difference image is generated based on the vertically corrected difference image. 請求項３～７のいずれか１項に記載のソーラーパネル検査方法において、
前記補正差分画像は、第４画像に基づいて生成され、
前記第４画像の生成工程は、
前記第２画像の二値化画像に対するモルフォロジー変換により生成した横線結合二値化画像の各画素行に対し、該画素行に含まれる１の個数に基づいて重みを決定する工程と、
前記横線結合二値化画像において複数の横線が、縦方向に連続する複数の画素行に存在しているときは、各画素行の重みに基づいて前記複数の画素行の中から単一の統合画素行を決め、前記複数の画素行の前記複数の横線を前記統合画素行に移行して前記統合画素行の横線として統合した横線統合画像としての前記第４画像を生成する工程と、
を含む、ソーラーパネル検査方法。 In the solar panel inspection method according to any one of claims 3 to 7,
The corrected difference image is generated based on the fourth image,
The step of generating the fourth image includes:
determining a weight for each pixel row of the horizontal line combination binarized image generated by morphological transformation of the binarized image of the second image based on the number of 1's included in the pixel row;
When a plurality of horizontal lines exist in a plurality of pixel rows that are continuous in the vertical direction in the horizontal line combination binarized image, a single integration is performed from among the plurality of pixel rows based on the weight of each pixel row. determining a pixel row, and generating the fourth image as a horizontal line integrated image in which the plurality of horizontal lines of the plurality of pixel rows are transferred to the integrated pixel row and integrated as the horizontal lines of the integrated pixel row;
Solar panel inspection methods, including: 請求項８に記載のソーラーパネル検査方法において、
前記第４画像の生成工程では、
縦方向に連続する画素行に含まれる１の個数が等数であるときは、縦方向一側の画素行の重みを他側の画素行の重みより大きく設定する、ソーラーパネル検査方法。 In the solar panel inspection method according to claim 8,
In the step of generating the fourth image,
A solar panel inspection method that sets the weight of the pixel row on one side in the vertical direction to be larger than the weight of the pixel row on the other side when the number of 1's included in the pixel rows that are continuous in the vertical direction is equal. 請求項９に記載のソーラーパネル検査方法において、
前記フィルタ作成工程では、前記第４画像に基づいて検出した横線間の縦方向距離と各縦方向距離の頻度とに基づいて横平行線除去フィルタを作成し、
前記補正差分画像生成工程では、前記元差分画像に対して前記横平行線除去フィルタを適用して生成した横線除去画像に基づいて前記補正差分画像を生成する、ソーラーパネル検査方法。 The solar panel inspection method according to claim 9,
In the filter creation step, a horizontal parallel line removal filter is created based on the vertical distance between the horizontal lines detected based on the fourth image and the frequency of each vertical distance,
In the corrected difference image generation step, the corrected difference image is generated based on a horizontal line removed image generated by applying the horizontal parallel line removal filter to the original difference image. 請求項１０に記載のソーラーパネル検査方法において、
前記第４画像の各横線を縦方向に膨張処理することにより得られる横線領域を含む横線除去適用領域画像を生成し、前記元差分画像に対して前記横線除去適用領域画像を、当該横線領域に割り当てられた第３値および当該横線領域以外の領域に割り当てられた第４値の二値からなる横線マスクとして用い、前記元差分画像において前記横線マスクの対応画素が前記第３値である画素のみを、前記横線除去画像の値に置き換えることにより横補正差分画像を生成し、前記補正差分画像を前記横補正差分画像に基づいて生成する、ソーラーパネル検査方法。 In the solar panel inspection method according to claim 10,
A horizontal line removal application area image including a horizontal line area obtained by vertically expanding each horizontal line of the fourth image is generated, and the horizontal line removal application area image is applied to the horizontal line area with respect to the original difference image. Used as a horizontal line mask consisting of two values: an assigned third value and a fourth value assigned to an area other than the horizontal line area, and only pixels in the original difference image for which the corresponding pixels of the horizontal line mask have the third value. A solar panel inspection method, wherein a horizontally corrected difference image is generated by replacing the value of the horizontal line removed image with a value of the horizontal line removed image, and the corrected difference image is generated based on the horizontally corrected difference image. 請求項１１に記載のソーラーパネル検査方法において、
前記補正差分画像の各画素の画素値は、該画素に対応する縦補正差分画像の画素の画素値と前記横補正差分画像の画素の画素値とが同一であるときはその同一の画素値となり、相違するときは両画素値のうち小さい方の画素値となるように、前記補正差分画像を生成する、ソーラーパネル検査方法。 In the solar panel inspection method according to claim 11,
The pixel value of each pixel of the corrected difference image is the same pixel value when the pixel value of the pixel of the vertically corrected difference image and the pixel value of the pixel of the horizontally corrected difference image corresponding to the pixel are the same. , the solar panel inspection method generates the corrected difference image so that the smaller pixel value of both pixel values is used when the two pixel values are different. ソーラーパネルが格子状に縦横に配列された複数のセルを備えており、各々が単一の正常なソーラーパネルのパネル可視光画像である複数の入力画像のみを訓練画像に用いかつ出力画像の正解値は前記入力画像とする教師なし機械学習によりパラメータを調整した機械学習モデルに、検査対象ソーラーパネルの入力画像を入力して、その出力画像を出力させ、両画像の差分画像に基づいて前記検査対象ソーラーパネルについての異常の有無を判定するソーラーパネル検査装置であって、
前記差分画像を元差分画像とし、該元差分画像に基づいて平行線除去フィルタを作成するフィルタ作成部と、
前記平行線除去フィルタを用いて前記元差分画像から所定の閾値以上の頻度の等距離間隔で存在している平行線を除去した補正差分画像を生成する補正差分画像生成工程と、
前記補正差分画像に基づいて前記検査対象ソーラーパネルについての異常の有無を判定する判定部と、
を備えているソーラーパネル検査装置。 The solar panel has multiple cells arranged vertically and horizontally in a grid, and only multiple input images, each of which is a panel visible light image of a single normal solar panel, are used as training images, and the correct answer of the output image is used. The input image of the solar panel to be inspected is input to a machine learning model whose parameters have been adjusted using unsupervised machine learning, and the value is the input image, and the output image is output. A solar panel inspection device that determines whether there is an abnormality in a target solar panel,
a filter creation unit that takes the difference image as an original difference image and creates a parallel line removal filter based on the original difference image;
a corrected difference image generation step of generating a corrected difference image in which parallel lines existing at equidistant intervals with a frequency equal to or higher than a predetermined threshold are removed from the original difference image using the parallel line removal filter;
a determination unit that determines whether or not there is an abnormality in the solar panel to be inspected based on the corrected difference image;
Solar panel inspection equipment equipped with