JP7428998B1 - Solar panel inspection method and equipment - Google Patents
Solar panel inspection method and equipment Download PDFInfo
- Publication number
- JP7428998B1 JP7428998B1 JP2023197653A JP2023197653A JP7428998B1 JP 7428998 B1 JP7428998 B1 JP 7428998B1 JP 2023197653 A JP2023197653 A JP 2023197653A JP 2023197653 A JP2023197653 A JP 2023197653A JP 7428998 B1 JP7428998 B1 JP 7428998B1
- Authority
- JP
- Japan
- Prior art keywords
- image
- solar panel
- difference image
- pixel
- vertical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000007689 inspection Methods 0.000 title claims description 47
- 230000005856 abnormality Effects 0.000 claims abstract description 47
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000010801 machine learning Methods 0.000 claims abstract description 16
- 230000010354 integration Effects 0.000 claims description 8
- 230000006740 morphological transformation Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 abstract description 28
- 238000012545 processing Methods 0.000 description 27
- 238000001514 detection method Methods 0.000 description 18
- 230000002159 abnormal effect Effects 0.000 description 17
- 238000004458 analytical method Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000003491 array Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000010248 power generation Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008635 plant growth Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000007115 recruitment Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- 238000010792 warming Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E10/00—Energy generation through renewable energy sources
- Y02E10/50—Photovoltaic [PV] energy
Landscapes
- Image Processing (AREA)
Abstract
【課題】正常なソーラーパネルのパネル可視光画像に係る入力画像のみを訓練画像に用いた教師なし機械学習により生成した機械学習モデルに、検査対象ソーラーパネルの入力画像を入力して、その出力画像を出力させ、両画像の差分画像に基づいて検査対象ソーラーパネルについての異常の有無を判定する時の異常判定の精度を改善する。【解決手段】差分画像を元差分画像とし、該元差分画像に基づいて平行線除去フィルタを作成し、平行線除去フィルタを用いて元差分画像から平行線を除去した補正差分画像を生成し、補正差分画像に基づいて検査対象ソーラーパネルについての異常の有無を判定する。【選択図】図12[Problem] Input the input image of the solar panel to be inspected into a machine learning model generated by unsupervised machine learning using only input images related to panel visible light images of normal solar panels as training images, and output the resulting image. This improves the accuracy of abnormality determination when determining the presence or absence of an abnormality in the solar panel to be inspected based on the difference image between both images. The method includes using a difference image as an original difference image, creating a parallel line removal filter based on the original difference image, and generating a corrected difference image in which parallel lines are removed from the original difference image using the parallel line removal filter. The presence or absence of an abnormality in the solar panel to be inspected is determined based on the corrected difference image. [Selection diagram] Figure 12
Description
本発明は、AI(Artificial Intelligence/人工知能)を用いたソーラーパネル検査方法および装置に関する。 The present invention relates to a solar panel inspection method and apparatus using AI (Artificial Intelligence).
地球温暖化対策として太陽光発電が注目されている。太陽光発電のソーラーファームでは、複数のソーラーパネルを装備するソーラーアレイが多数、設置されている。ソーラーパネルは、設置後、種々の異常が発生する。このような異常には、例えば、傷、割れ、汚れ、亀裂、さらには電柱や雑草による影などがある。これらの異常は、放置すると、ソーラーパネルの発電力の低下だけでなく、損傷の増大に繋がることもあるので、異常を監視し、異常が発見されたときには、速やかに対処する必要がある。 Solar power generation is attracting attention as a measure against global warming. A solar farm for solar power generation has many solar arrays equipped with multiple solar panels. After solar panels are installed, various abnormalities occur. Such abnormalities include, for example, scratches, cracks, dirt, cracks, and even shadows caused by utility poles or weeds. If these abnormalities are left untreated, they can lead not only to a decrease in the solar panel's power generation capacity but also to increased damage, so it is necessary to monitor the abnormalities and take prompt action when an abnormality is discovered.
特許文献1は、赤外線カメラを搭載した飛行体(例:ラジコンヘリコプター)をソーラーパネルのソーラーファームの上空に飛ばして、赤外線カメラから地上のソーラーパネルを撮影し、その赤外線撮影画像に基づいてソーラーパネルのホットスポットの有無を調べるソーラーパネル故障診断システムを開示している。 Patent Document 1 discloses that a flying object (e.g., a radio-controlled helicopter) equipped with an infrared camera is flown over a solar farm of solar panels, the infrared camera photographs the solar panels on the ground, and the solar panels are determined based on the infrared photographed images. discloses a solar panel failure diagnosis system that checks the presence or absence of hot spots.
特許文献2は、照射部と受信部と演算部とを搭載した飛行体(例:ドローン)をソーラーファームの上空に飛ばして、照射部から地上のソーラーパネルに向けて検査光を出射するとともに、ソーラーパネルからの反射光を受信部で受信し、演算装置で照射光光軸と反射光光軸との差分に基づいてソーラーパネルの破損の有無を検査する検査装置を開示する。 Patent Document 2 discloses that an aircraft (e.g., a drone) equipped with an irradiation unit, a reception unit, and a calculation unit is flown over a solar farm, and the irradiation unit emits inspection light toward a solar panel on the ground. An inspection device is disclosed in which a receiver receives reflected light from a solar panel, and an arithmetic unit inspects the solar panel for damage based on the difference between the optical axis of the irradiated light and the optical axis of the reflected light.
特許文献3は、ソーラーパネル外観監視装置を開示する。この装置では、地上に設置された監視カメラでソーラーパネルに異物(例:飛来物やつる草)が無い状態で一定期間撮影したソーラーパネル画像群と、異物を一定期間撮影した異物画像群とに基づいて識別器を構築し、監視時は、監視カメラの撮影画像を識別器により検査して、ソーラーパネルにおける異物の存否を判断する。識別器には、例えばRandom Forestsが選択される。 Patent Document 3 discloses a solar panel appearance monitoring device. This device uses a surveillance camera installed on the ground to capture solar panel images for a certain period of time with no foreign objects (e.g. flying objects or vines) on the solar panel, and a group of foreign object images that capture foreign objects for a certain period of time. Based on this, a discriminator is constructed, and during monitoring, the discriminator inspects images taken by a surveillance camera to determine the presence or absence of foreign objects in the solar panel. For example, Random Forests is selected as the discriminator.
特許文献1のソーラーパネル故障診断システムは、赤外線画像からソーラーパネルのホットポイントの異常の有無は検査できるものの、物理的な損傷や草木の成長による影などは目視の検査が必要となる。 Although the solar panel failure diagnosis system disclosed in Patent Document 1 can check whether there is an abnormality in the hot points of the solar panel from an infrared image, visual inspection is required to check for physical damage or shadows caused by the growth of plants.
特許文献2の検査装置は、ソーラーパネルについて物理的な損傷や草木の成長による影などを検査できたとしても、複数のソーラーパネルを1つずつ狙いを定めて順番に検査光を照射していく必要があり、手間がかかるとともに、作業時間が長くなる。 Even if the inspection device of Patent Document 2 can inspect solar panels for physical damage or shadows caused by growth of plants, the inspection device targets multiple solar panels one by one and sequentially irradiates the inspection light with the inspection light. This is necessary, takes time, and increases the working time.
特許文献3のソーラーパネル外観監視装置は、識別器の構築のために、ソーラーパネルと異物とのそれぞれについて一定期間撮影した画像が必要となる。また、異物の種類は多いので、異物の種類別の画像を収集するために、手間がかかるとともに、ソーラーパネル自体の割れ目や曇りなどの、異物以外による異常の検出は困難である。 The solar panel appearance monitoring device disclosed in Patent Document 3 requires images taken over a certain period of time for each of the solar panel and the foreign object in order to construct a discriminator. Furthermore, since there are many types of foreign objects, it takes time and effort to collect images for each type of foreign object, and it is difficult to detect abnormalities other than foreign objects, such as cracks or cloudiness in the solar panel itself.
そこで、本発明者は、先の特願2023-066434において、正常なソーラーパネルのパネル可視光画像に係る入力画像のみを訓練画像に用いかつ出力画像の正解値は入力画像とする教師なし機械学習によりパラメータを調整した機械学習モデルに、検査対象ソーラーパネルの入力画像を入力して、その出力画像を出力させ、両画像の差分画像に基づいて検査対象ソーラーパネルについての異常の有無を判定するソーラーパネル検査方法を開示した。 Therefore, in the previous patent application No. 2023-066434, the present inventor proposed unsupervised machine learning in which only input images related to panel visible light images of normal solar panels are used as training images, and the correct value of the output image is used as the input image. The input image of the solar panel to be inspected is input to the machine learning model whose parameters have been adjusted by , and the output image is outputted, and the presence or absence of an abnormality in the solar panel to be inspected is determined based on the difference image between the two images. A panel testing method was disclosed.
本発明者は、次の知見を見出した。第1に、異常の有無を判定する基礎となる差分画像には、縦線および横線が存在するが、それが異常の有無の際の誤判定につながっている。第2に、ソーラーパネルは、縦横に格子状に配列された複数のセルから構成されており、差分画像の縦線および横線は、例えばセルの縦および横の枠線に由来したものであり、差分画像では、縦方向および横方向に等間隔で出現する傾向がある。第3に、差分画像内に等間隔で出現する縦線および横線をノイズとして除去すれば、誤判定の防止または減少につながり、異常の判定精度を改善することができる。さらに、第4として、等間隔の縦線および横線を除去することで、機械学習モデルが生成する画像に対する線の位置の精度を下げられるため、必要な学習データ量を少なくすることが可能となり、データ収集や学習に係るコストを抑えられる。 The present inventor discovered the following knowledge. First, vertical lines and horizontal lines exist in the difference image that is the basis for determining the presence or absence of an abnormality, which leads to erroneous determination of the presence or absence of an abnormality. Second, a solar panel is composed of a plurality of cells arranged in a grid pattern vertically and horizontally, and the vertical lines and horizontal lines of the difference image are derived from, for example, the vertical and horizontal frame lines of the cells, In a difference image, they tend to appear at equal intervals in the vertical and horizontal directions. Thirdly, if vertical lines and horizontal lines that appear at equal intervals in the difference image are removed as noise, false determinations can be prevented or reduced, and the accuracy of abnormality determination can be improved. Furthermore, fourthly, by removing equally spaced vertical and horizontal lines, the accuracy of the position of the lines relative to the image generated by the machine learning model can be lowered, making it possible to reduce the amount of training data required. Costs related to data collection and learning can be reduced.
本発明の目的は、上記知見に基づき機械学習モデルの異常判定の精度を改善したソーラーパネル検査方法および装置を提供することである。 An object of the present invention is to provide a solar panel inspection method and device that improves the accuracy of abnormality determination using a machine learning model based on the above findings.
本発明のソーラーパネル検査方法は、
ソーラーパネルが格子状に縦横に配列された複数のセルを備えており、各々が単一の正常なソーラーパネルのパネル可視光画像である複数の入力画像のみを訓練画像に用いかつ出力画像の正解値は前記入力画像とする教師なし機械学習によりパラメータを調整した機械学習モデルに、検査対象ソーラーパネルの入力画像を入力して、その出力画像を出力させ、両画像の差分画像に基づいて前記検査対象ソーラーパネルについての異常の有無を判定するソーラーパネル検査方法であって、
前記差分画像を元差分画像とし、該元差分画像に基づいて平行線除去フィルタを作成するフィルタ作成工程と、
前記平行線除去フィルタを用いて前記元差分画像から所定の閾値以上の頻度の等距離間隔で存在している平行線を除去した補正差分画像を生成する補正差分画像生成工程と、
前記補正差分画像に基づいて前記検査対象ソーラーパネルについての異常の有無を判定する判定工程と、
を備えている。
The solar panel inspection method of the present invention includes:
The solar panel has multiple cells arranged vertically and horizontally in a grid, and only multiple input images, each of which is a panel visible light image of a single normal solar panel, are used as training images, and the correct answer of the output image is used. The input image of the solar panel to be inspected is input to a machine learning model whose parameters have been adjusted using unsupervised machine learning, and the value is the input image, and the output image is output. A solar panel inspection method for determining the presence or absence of an abnormality in a target solar panel, comprising:
a filter creation step of using the difference image as an original difference image and creating a parallel line removal filter based on the original difference image;
a corrected difference image generation step of generating a corrected difference image in which parallel lines existing at equidistant intervals with a frequency equal to or higher than a predetermined threshold are removed from the original difference image using the parallel line removal filter;
a determination step of determining whether or not there is an abnormality in the solar panel to be inspected based on the corrected difference image;
It is equipped with
本発明のソーラーパネル検査装置は、
ソーラーパネルが格子状に縦横に配列された複数のセルを備えており、各々が単一の正常なソーラーパネルのパネル可視光画像である複数の入力画像のみを訓練画像に用いかつ出力画像の正解値は前記入力画像とする教師なし機械学習によりパラメータを調整した機械学習モデルに、検査対象ソーラーパネルの入力画像を入力して、その出力画像を出力させ、両画像の差分画像に基づいて前記検査対象ソーラーパネルについての異常の有無を判定するソーラーパネル検査装置であって、
前記差分画像を元差分画像とし、該元差分画像に基づいて平行線除去フィルタを作成するフィルタ作成部と、
前記平行線除去フィルタを用いて前記元差分画像から所定の閾値以上の頻度の等距離間隔で存在している平行線を除去した補正差分画像を生成する補正差分画像生成工程と、
前記補正差分画像に基づいて前記検査対象ソーラーパネルについての異常の有無を判定する判定部と、
を備えている。
The solar panel inspection device of the present invention includes:
The solar panel has multiple cells arranged vertically and horizontally in a grid, and only multiple input images, each of which is a panel visible light image of a single normal solar panel, are used as training images, and the correct answer of the output image is used. The input image of the solar panel to be inspected is input to a machine learning model whose parameters have been adjusted using unsupervised machine learning, and the value is the input image, and the output image is output. A solar panel inspection device that determines whether there is an abnormality in a target solar panel,
a filter creation unit that takes the difference image as an original difference image and creates a parallel line removal filter based on the original difference image;
a corrected difference image generation step of generating a corrected difference image in which parallel lines existing at equidistant intervals with a frequency equal to or higher than a predetermined threshold are removed from the original difference image using the parallel line removal filter;
a determination unit that determines whether or not there is an abnormality in the solar panel to be inspected based on the corrected difference image;
It is equipped with
本発明のソーラーパネル検査方法および装置によれば、差分画像に基づいて平行線除去フィルタを作成し、作成した平行線除去フィルタを用いて、差分画像から、所定の閾値以上の頻度の等距離間隔で存在している平行線を除去して補正差分画像を生成する。こうして、補正差分画像に基づいてソーラーパネルの異常判定を実施することにより判定精度を大幅に向上させることができる。 According to the solar panel inspection method and apparatus of the present invention, a parallel line removal filter is created based on the difference image, and using the created parallel line removal filter, an equidistant interval with a frequency equal to or higher than a predetermined threshold is detected from the difference image. A corrected difference image is generated by removing the existing parallel lines. In this way, by determining the abnormality of the solar panel based on the corrected difference image, the determination accuracy can be significantly improved.
以下、本発明の実施形態について説明する。本発明は、実施形態に限定されないことは言うまでもない。全図を通して、同一または共通の要素は、同一の符号を用いる。 Embodiments of the present invention will be described below. It goes without saying that the present invention is not limited to the embodiments. Identical or common elements use the same reference numerals throughout the figures.
最初に、図1-図4を参照して、本発明の実施形態が適用されるソーラーパネル検査装置53(図4)について説明する。 First, referring to FIGS. 1 to 4, a solar panel inspection device 53 (FIG. 4) to which an embodiment of the present invention is applied will be described.
(撮影画像)
図1は、空撮によるソーラーパネル14の撮影形態を示している。ソーラーファーム10には、多数のソーラーアレイ12が設置されるとともに、作業員等が各ソーラーアレイ12を点検および保守する際に通行する通路11がソーラーアレイ12間に確保されている。ドローン24は、可視光カメラ26を搭載し、ソーラーファーム10の上空を飛び回って、上空からソーラーファーム10内のソーラーアレイ12を撮影する。
(Photographed image)
FIG. 1 shows how the solar panel 14 is photographed by aerial photography. A large number of solar arrays 12 are installed in the solar farm 10, and passages 11 are provided between the solar arrays 12 through which workers and the like pass when inspecting and maintaining each solar array 12. The drone 24 is equipped with a visible light camera 26, flies over the solar farm 10, and photographs the solar array 12 inside the solar farm 10 from above.
各ソーラーアレイ12は、典型的には、表面側を水平面に対して所定の傾斜角度で南空に向けて、水平方向に延在して配置されている。各ソーラーアレイ12の表面には、多数のソーラーパネル14が格子状の配列パターンで取り付けられ、太陽光発電を行っている。典型的なソーラーパネル14の形状は、正方形または矩形である。ソーラーアレイ12において隣接するソーラーパネル14の間の間隙16は、ソーラーアレイ12のボードパネル基板が露出したものである。各ソーラーパネル14は、複数のセル18を縦横の格子配列で有している。なお、ソーラーアレイ12におけるボードパネル基板の露出部分は、ソーラーアレイ12の撮像画像からソーラーパネル14の画像部分を切り出しする際のソーラーパネル14の枠線として利用される。 Each solar array 12 is typically arranged so as to extend in the horizontal direction, with the surface side facing the southern sky at a predetermined angle of inclination with respect to the horizontal plane. A large number of solar panels 14 are attached to the surface of each solar array 12 in a grid pattern to generate solar power. A typical solar panel 14 shape is square or rectangular. Gaps 16 between adjacent solar panels 14 in solar array 12 expose the board panel substrates of solar array 12 . Each solar panel 14 has a plurality of cells 18 arranged in a horizontal and vertical grid. Note that the exposed portion of the board panel substrate in the solar array 12 is used as a frame line of the solar panel 14 when cutting out the image portion of the solar panel 14 from the captured image of the solar array 12.
ドローン24の飛行中、可視光カメラ26により撮影されたソーラーアレイ12の撮像画像の撮影データは、オンラインで例えば地上の遠隔操縦者の遠隔操縦器に送信されてもよいし、ドローン24が着陸した後、可視光カメラ26のメモリから回収されてもよい。なお、ドローン24または可視光カメラ26には、GPSが搭載されており、撮像画像のメタ情報には、撮影日時の他に、GPSから取得した撮影位置の情報も含まれている。 During the flight of the drone 24, the data of the captured image of the solar array 12 taken by the visible light camera 26 may be transmitted online to, for example, a remote controller of a remote controller on the ground, or when the drone 24 has landed. Afterwards, it may be retrieved from the memory of the visible light camera 26. Note that the drone 24 or the visible light camera 26 is equipped with a GPS, and the meta information of the captured image includes information on the shooting position obtained from the GPS in addition to the shooting date and time.
図2において、3つの図のうちの左端の図は、ドローン24がソーラーファーム10を上空から撮影した空撮画像31であり、複数のソーラーアレイが含まれている。中央の図は、可視光画像(カラー画像)の空撮画像31の二値化画像33である。右端の図は、二値化画像33の中の二値化画像35の拡大図である。二値化画像35は、単一のソーラーパネル14の画像となっており、セル18の枠線に相当する部分が白筋の縦線および横線として見えている。 In FIG. 2, the leftmost diagram among the three diagrams is an aerial image 31 taken by the drone 24 of the solar farm 10 from above, and includes a plurality of solar arrays. The central figure is a binarized image 33 of an aerial photographed image 31 of a visible light image (color image). The rightmost figure is an enlarged view of the binarized image 35 in the binarized image 33. The binarized image 35 is an image of a single solar panel 14, and portions corresponding to the frame lines of the cells 18 are visible as vertical and horizontal white lines.
後述の訓練画像及び検査画像の各々は、単一のソーラーパネル14の可視光画像(カラー画像)となっている。このような単一のソーラーパネル14の可視光画像は、例えば、複数のソーラーパネル14が含まれている空撮画像31等の可視光画像から矩形のソーラーパネル14の4頂点に基づいて切り出して、作成される。4頂点の位置は、例えば、複数のソーラーパネル14が含まれている可視光画像を二値化した二値化画像から抽出される。 Each of the training images and test images described below is a visible light image (color image) of a single solar panel 14. Such a visible light image of a single solar panel 14 is obtained by cutting out a visible light image such as an aerial image 31 that includes a plurality of solar panels 14 based on the four vertices of the rectangular solar panel 14. , created. The positions of the four vertices are extracted, for example, from a binarized image obtained by binarizing a visible light image including a plurality of solar panels 14.
(教師なし学習)
図3は、訓練中VAE(Variational Autoencoder/変分自己符号化器)モデル46に対する教師なし学習の説明図である。なお、図3の訓練中VAEモデル46と、後述の図4の学習済みVAEモデル56とは、同一の機械学習モデルを説明の便宜のために呼び名を変えただけである。訓練中VAEモデル46は、VAEから構成され、エンコーダ、Z空間(潜在パラメータ生成部)およびデコーダを備えている。なお、図3以降、実施形態について、説明の便宜のために画像を示しているが、演算装置による処理は、画像そのものではなく、画像に対応するデータに対して行われることは言うまでもない。画像は、ディスプレイやスキャナー等のインターフェースを介して入出力される。したがって、画像に対して実施している処理は、当該画像に対応するデータに対する処理を当然に包含した意味で使用している。
(Unsupervised learning)
FIG. 3 is an explanatory diagram of unsupervised learning for the VAE (Variational Autoencoder) model 46 during training. Note that the under-training VAE model 46 in FIG. 3 and the learned VAE model 56 in FIG. 4, which will be described later, are the same machine learning model with different names for convenience of explanation. The training VAE model 46 is composed of a VAE and includes an encoder, a Z space (latent parameter generator), and a decoder. Note that from FIG. 3 onward, images are shown in the embodiments for convenience of explanation, but it goes without saying that the processing by the arithmetic device is performed on data corresponding to the images, not on the images themselves. Images are input and output via an interface such as a display or scanner. Therefore, the term "processing performed on an image" is used to include processing on data corresponding to the image.
正常パネル画像40aは、訓練中VAEモデル46に対する教師なし学習時では、正常パネル画像40aが1枚ずつ訓練データ52として入力されていく処理が十分な回数、実施される。正常パネル画像40a自体は、人が正常なソーラーパネル画像であることを目視で判断したものである。訓練中VAEモデル46が出力する生成画像54の正解値は、正常パネル画像40aとなる。 During unsupervised learning of the VAE model under training 46, the normal panel images 40a are processed a sufficient number of times in which the normal panel images 40a are input one by one as the training data 52. The normal panel image 40a itself is an image visually determined by a person to be a normal solar panel image. The correct value of the generated image 54 output by the VAE model 46 during training is the normal panel image 40a.
損失演算部48は、正常パネル画像40aに対する生成画像54の差分量として所定の損失関数により算出される損失値(以降、単に「損失」として記載。例:最小二乗誤差)が減るように、訓練中VAEモデル46の各パラメータを勾配降下法によって調整していく。損失を減らすと言うことは、生成画像54が正解値としての正常パネル画像40aに近づくことを意味する。この結果、学習済みVAEモデル56では、検査対象の入力画像が与えられたならば、入力画像56iが異常を有していても、正常である状態の出力画像56oを出力することになる。 The loss calculation unit 48 performs training so that the loss value (hereinafter simply referred to as "loss"; e.g., least squares error) calculated by a predetermined loss function as the amount of difference between the generated image 54 and the normal panel image 40a is reduced. Each parameter of the medium VAE model 46 is adjusted using the gradient descent method. Reducing the loss means that the generated image 54 approaches the normal panel image 40a as the correct value. As a result, if the trained VAE model 56 is given an input image to be inspected, it will output a normal output image 56o even if the input image 56i has an abnormality.
なお、ソーラーパネル14は、メーカーや型番によってサイズやアスペクト比が異なっている。ソーラーアレイ12の撮像画像からソーラーパネル14の画像部分を切り出す検出ロジックでは全てのパネルを統一されたサイズへ正規化し、正規化した画像を訓練画像に用いることで、ソーラーパネルのサイズやアスペクト比の違いがモデルの学習に影響を与えることを解消している。正規化は、具体的には、例えばパネルの4頂点を固定サイズの正方形の4頂点へ対応するように射影変換することにより行われる。検査時(推論時)の入力画像56iも、学習時の正常パネル画像40aと同様の正規化が施される。 Note that the solar panel 14 has different sizes and aspect ratios depending on the manufacturer and model number. The detection logic that cuts out the image of the solar panel 14 from the image captured by the solar array 12 normalizes all panels to a unified size, and uses the normalized image as a training image to determine the size and aspect ratio of the solar panel. This eliminates the possibility that differences affect model learning. Specifically, the normalization is performed by, for example, projectively transforming the four vertices of the panel so that they correspond to the four vertices of a fixed-sized square. The input image 56i at the time of inspection (at the time of inference) is also subjected to the same normalization as the normal panel image 40a at the time of learning.
(ソーラーパネル検査装置)
図4は、ソーラーパネル検査装置53の構成図である。ソーラーパネル検査装置53は、学習済みVAEモデル56および後処理部58を含む。学習済みVAEモデル56は、図3の訓練中VAEモデル46が訓練データ52により所定の訓練を積んで損失演算部48の演算結果の損失が所定の基準以下に達して所定の機械学習を修了したと判断された訓練中VAEモデル46から構成される。学習済みVAEモデル56は、入力画像56iの入力に対し出力画像56oを出力する。差分解析部60は、各画素の輝度(画素値)が入力画像56iと出力画像56oとの対応画素の輝度の差分となっている差分画像60dを出力する。異常検出部62は、差分画像60dに基づいて検査対象のソーラーパネル14の異常についての判定結果である判定画像62eを出力する。
(Solar panel inspection device)
FIG. 4 is a configuration diagram of the solar panel inspection device 53. Solar panel inspection device 53 includes a learned VAE model 56 and a post-processing section 58. The trained VAE model 56 is the one in which the VAE model 46 during training in FIG. 3 has undergone predetermined training using the training data 52, and the loss of the calculation result of the loss calculation unit 48 has reached a predetermined standard or less and has completed the predetermined machine learning. The training VAE model 46 is determined as follows. The trained VAE model 56 outputs an output image 56o in response to an input image 56i. The difference analysis unit 60 outputs a difference image 60d in which the brightness (pixel value) of each pixel is the difference in brightness of corresponding pixels between the input image 56i and the output image 56o. The abnormality detection unit 62 outputs a determination image 62e that is a determination result regarding an abnormality in the solar panel 14 to be inspected based on the difference image 60d.
学習済みVAEモデル56は、入力画像56iに対し、その入力画像56iが正常なソーラーパネル14のものである場合の画像(正常画像)を推論する。したがって、学習済みVAEモデル56は、入力が正常画像である場合は入力画像56iに極めて近い出力画像56oを出力する一方、入力が異常画像である場合は、入力画像56iから異常箇所が除かれた画像に極めて近い出力画像56oを出力する。 The trained VAE model 56 infers an image (normal image) when the input image 56i is of a normal solar panel 14, with respect to the input image 56i. Therefore, when the input is a normal image, the trained VAE model 56 outputs an output image 56o that is extremely close to the input image 56i, while when the input is an abnormal image, the abnormal part is removed from the input image 56i. An output image 56o that is extremely close to the image is output.
(異常の判定方法/基本例)
異常検出部62が異常単位区画39eに基づいて最終的にソーラーパネル14が異常であるか否かの判定方法の基本例は、次のとおりである。
(Abnormality determination method/basic example)
A basic example of how the abnormality detection unit 62 ultimately determines whether or not the solar panel 14 is abnormal based on the abnormality unit section 39e is as follows.
STEP1:異常検出部62は、差分画像60dを縦横共に等間隔の格子線で形状(例:正方形)および大きさ(サイズ)の等しい複数の単位区画(単位升目)に区画する。ここで、単位区画の総数はNaとする。 STEP 1: The abnormality detection unit 62 divides the difference image 60d into a plurality of unit sections (unit squares) having the same shape (eg, square) and size (unit square) using grid lines equally spaced both vertically and horizontally. Here, the total number of unit sections is Na.
STEP2:差分画像60dにおいて単位区画ごとに、差分輝度値(差分輝度)が第1閾値以上である画素の総数Maが第2閾値以上であるか否かを判定する。なお、差分画像60dにおける各画素の輝度は、入力画像56iと出力画像56oとにおける対応画素同士の輝度の差分の絶対値である。 STEP 2: For each unit section in the differential image 60d, it is determined whether the total number Ma of pixels whose differential luminance value (differential luminance) is equal to or greater than a first threshold is equal to or greater than a second threshold. Note that the brightness of each pixel in the difference image 60d is the absolute value of the difference in brightness between corresponding pixels in the input image 56i and the output image 56o.
STEP3:STEP2の判定結果が肯定的であれば、当該単位区画は、異常区画と認定し、否定的であれば、正常区画と認定する。図4の判定画像62eにおいて、黒は正常単位区画であり、白は、異常単位区画39eである。 STEP 3: If the determination result in STEP 2 is positive, the unit division is recognized as an abnormal division, and if negative, it is recognized as a normal division. In the determination image 62e of FIG. 4, black indicates normal unit sections, and white indicates abnormal unit sections 39e.
STEP4:異常単位区画の個数Nbを計数する。 STEP 4: Count the number Nb of abnormal unit sections.
STEP5:Nbが第3閾値以上であれば、検査対象のソーラーパネル14は異常であると判定する。Nbが第3閾値未満であれば、検査対象のソーラーパネル14は正常であると判定する。なお、Nbに代えて、Nb/Naを第3閾値と対比して、検査対象のソーラーパネル14の正常および異常を判定することもできる。 STEP 5: If Nb is greater than or equal to the third threshold, it is determined that the solar panel 14 to be inspected is abnormal. If Nb is less than the third threshold value, it is determined that the solar panel 14 to be inspected is normal. Note that instead of Nb, it is also possible to compare Nb/Na with a third threshold value to determine whether the solar panel 14 to be inspected is normal or abnormal.
差分画像60dで差分輝度値が第1閾値以上である画素の総数Maが第2閾値以上であるか否かで検査対象のソーラーパネル14が異常であるか否かを判定するのではなく、上記のように、STEP1-STEP5の手順を踏む意義は次のとおりである。 Rather than determining whether or not the solar panel 14 to be inspected is abnormal based on whether the total number Ma of pixels whose differential luminance values are equal to or greater than the first threshold value in the differential image 60d is equal to or greater than the second threshold value, The significance of following the steps STEP 1 to STEP 5 is as follows.
(a)ソーラーパネル14の異常の程度を単位区画の数として計数できる。すなわち、多数のソーラーパネル14を含むソーラーアレイ12が映し出されているオルソ画像上で異常なソーラーパネル14の位置にピンを立てる際などに「異常単位区画数が:5以上のソーラーパネル14のみ表示」など異常の程度によって表示のフィルタリング(この場合、「5」は、第3閾値に相当し、第3閾値を適宜調整可能にしておく。)を行うことができる。 (a) The degree of abnormality in the solar panel 14 can be counted as the number of unit sections. In other words, when placing a pin at the position of an abnormal solar panel 14 on an orthogonal image showing a solar array 12 including a large number of solar panels 14, "Only solar panels 14 with an abnormal unit block number of 5 or more are displayed." Display filtering can be performed depending on the degree of abnormality, such as "5" (in this case, "5" corresponds to the third threshold, and the third threshold can be adjusted as appropriate).
(b)ソーラーパネル14の異常を抽象化することができる。すなわち、よりシンプルな方法で異常を表現しておくことで、別のパネル同士の異常形状類似度を推定することが容易になる。 (b) Abnormalities in the solar panel 14 can be abstracted. That is, by expressing an anomaly in a simpler way, it becomes easier to estimate the similarity of anomaly shapes between different panels.
(誤判定)
図5は、異常検出部62の誤判定についての説明図である。図5において、オリジナル、VAE出力、差分および検出結果は、それぞれ入力画像56i、出力画像56o、差分画像60dおよび判定画像62eに対応している。図5の入力画像56iは、正常なソーラーパネル14の入力画像であり、図5の出力画像56oは、学習済みVAEモデル56が該正常な入力画像56iから生成して出力した画像を示している。しかしながら、差分解析部60が出力した図5の差分画像60dでは横線状の差分が画像全体に渡って生じており、その結果、異常検出部62が出力した判定画像62eには、異常単位区画29eが現れている。
(false judgment)
FIG. 5 is an explanatory diagram of erroneous determination by the abnormality detection unit 62. In FIG. 5, the original, VAE output, difference, and detection result correspond to an input image 56i, an output image 56o, a difference image 60d, and a determination image 62e, respectively. The input image 56i in FIG. 5 is an input image of the normal solar panel 14, and the output image 56o in FIG. 5 shows the image generated and output by the learned VAE model 56 from the normal input image 56i. . However, in the difference image 60d of FIG. 5 outputted by the difference analysis section 60, a horizontal linear difference occurs over the entire image, and as a result, the determination image 62e outputted by the abnormality detection section 62 does not include the abnormality unit section 29e. is appearing.
入力画像56iが、正常なソーラーパネル14の入力画像であるにもかかわらず、判定画像62eに異常単位区画39eが現れている原因について、発明者は次のように推定している。
(a)学習済みVAEモデル56は、入力画像56iに対応する正常パネル画像を生成できるようにはなったとしても、ソーラーパネル14内の格子配列のセル18の全ての格子線の位置や色の濃さまでも全くズレなく再現することは非常に困難である。
(b)一方、正常なパネルの性質を学習した学習済みVAEモデル56は、格子構造が規則的(等間隔)に配置されるパネル画像を生成することから、入力画像との線の位置ずれが生じる場合は対応する線同士が等間隔でずれるので、等間隔の線状の差分が生じることになる。
(c)また、格子線の色の濃さが入力画像と異なる場合も、格子線に沿った等間隔の線状の差分が生じることになる。
The inventor estimates the reason why the abnormal unit section 39e appears in the determination image 62e even though the input image 56i is an input image of a normal solar panel 14 as follows.
(a) Even if the trained VAE model 56 is able to generate a normal panel image corresponding to the input image 56i, the positions and colors of all the grid lines of the cells 18 in the grid array in the solar panel 14 It is extremely difficult to reproduce the density without any deviation.
(b) On the other hand, the trained VAE model 56 that has learned the properties of a normal panel generates a panel image in which the lattice structure is arranged regularly (equally spaced), so there is no line misalignment with the input image. When this occurs, the corresponding lines are shifted at equal intervals, resulting in equally spaced linear differences.
(c) Also, if the color density of the grid lines is different from that of the input image, linear differences at equal intervals along the grid lines will occur.
(平行線除去フィルタの作成)
図6~図14を参照して、差分画像60dから異常判定のノイズとなっている縦線および横線の平行線を除去する方法について説明する。なお、差分画像60dからの縦線の平行線除去と横線の平行線除去とは、別々に実施して、除去後に画像を統合して補正差分画像102(図14)を生成している。
(Creating parallel line removal filter)
With reference to FIGS. 6 to 14, a method for removing parallel vertical lines and horizontal lines that are noise for abnormality determination from the difference image 60d will be described. Note that vertical parallel line removal and horizontal parallel line removal from the difference image 60d are performed separately, and after the removal, the images are integrated to generate the corrected difference image 102 (FIG. 14).
(幅処理)
図6は、縦線および横線の幅処理についての説明図である。元差分画像80から縦線幅処理画像84a(本発明の「第1画像」の一例」)および横線幅処理画像84b(本発明の「第2画像」の一例」)が生成される。なお、元差分画像80とは、差分解析部60が出力する画像であり、図5の差分画像60dは、元差分画像80である。差分画像60dの画素値は、出力画像56oの画素値(=輝度)(0~255)から入力画像56iの画素値(0~255)を引いた画素値の絶対値としているので、正である。
(width processing)
FIG. 6 is an explanatory diagram of vertical line and horizontal line width processing. From the original difference image 80, a vertical line width processed image 84a (an example of the "first image" of the present invention) and a horizontal line width processed image 84b (an example of the "second image" of the present invention) are generated. Note that the original difference image 80 is an image output by the difference analysis unit 60, and the difference image 60d in FIG. 5 is the original difference image 80. The pixel value of the difference image 60d is the absolute value of the pixel value (=luminance) (0 to 255) of the output image 56o minus the pixel value (0 to 255) of the input image 56i, so it is positive. .
排他的縦線フィルタ82aおよび排他的横線フィルタ82bのサイズは、縦横のマスの個数に換算して表すことにする。排他的縦線フィルタ82aおよび排他的横線フィルタ82bのサイズは、縦および横共に複数となっており、サイズの大きい方を長さ、小さい方を幅と呼ぶことにする。すなわち、排他的縦線フィルタ82aの幅は横であり、排他的横線フィルタ82bの幅は縦となる。マスについてフィルタ内の幅位置を指定してマスの値を説明したときは、該幅位置に属する長さ全体のマスについて適用されるものとする。 The sizes of the exclusive vertical line filter 82a and the exclusive horizontal line filter 82b will be expressed in terms of the number of vertical and horizontal squares. The exclusive vertical line filter 82a and the exclusive horizontal line filter 82b have a plurality of sizes both vertically and horizontally, and the larger size is called the length, and the smaller size is called the width. That is, the width of exclusive vertical line filter 82a is horizontal, and the width of exclusive horizontal line filter 82b is vertical. When the value of a square is explained by specifying the width position in the filter for a square, it is assumed that the value is applied to the whole length of the square belonging to the width position.
なお、排他的縦線フィルタ82aは、この例では、横サイズが奇数で、中心の1マスが1、中心マスに対して左右のそれぞれ2マスが0、中心マスから左右3マス目以上のマスが-1とされている。 In this example, the exclusive vertical line filter 82a has an odd horizontal size, 1 square in the center is 1, 2 squares on the left and right of the center square are 0, and 3 or more squares on the left and right from the center square. is considered to be -1.
値0が入るマス数によって「線として認識する許容幅」を決めることができる。中心の値1のマスによって物体が認識された際に値0の幅範囲内であれば、その物体が縦線幅処理画像84aにおいてマイナス値になることはない。一方、値0のマスを超えて値-1のマスまで到達するような物体は、値-1のマスを侵食した分だけ値がマイナスとなり、線としては認識されなくなる。 The "allowable width for recognition as a line" can be determined by the number of squares containing the value 0. If an object is recognized by the central square with a value of 1 and is within the width range of 0, the object will not have a negative value in the vertical line width processed image 84a. On the other hand, for an object that exceeds a square with a value of 0 and reaches a square with a value of -1, its value becomes negative by the amount that it erodes the square with a value of -1, and it is no longer recognized as a line.
実施例の排他的縦線フィルタ82aでは、値0のマスが値1の中央マスの両側に2マスずつなので、幅5ピクセルまでの物体を線として認識する。一方、物体の幅が6ピクセル以上になると、値0のマスの外側の値-1を踏むようになってしまうため、フィルタリング値としては小さくなり、線とは認識されなくなる。 In the exclusive vertical line filter 82a of the embodiment, since there are two squares with a value of 0 on each side of the central square with a value of 1, objects with a width of up to 5 pixels are recognized as a line. On the other hand, if the width of the object is 6 pixels or more, the value -1 outside the square with value 0 will be stepped on, so the filtering value will be small and it will not be recognized as a line.
こうして、元差分画像80において、横幅が5ピクセル(本発明の「第1線幅」の一例)以下の縦線(物体の一例)は、縦線幅処理画像84aにおいて残存する。一方、横幅が6ピクセル以上の縦線(物体の一例)は、縦線幅処理画像84aから消失する。 In this way, in the original difference image 80, vertical lines (an example of an object) whose width is 5 pixels or less (an example of the "first line width" of the present invention) remain in the vertical line width processed image 84a. On the other hand, a vertical line (an example of an object) whose width is 6 pixels or more disappears from the vertical line width processed image 84a.
排他的縦線フィルタ82aでは、-1のマス数は、左右それぞれ3に設定されている。排他的縦線フィルタ82aでは、縦サイズは例えば横サイズと等数の11である。排他的縦線フィルタ82aを元差分画像80の左右両端範囲に適用する場合、排他的縦線フィルタ82aの中心マスに対して元差分画像80における左または右のマスが欠落しているので、欠落しているマスに対して周知のゼロ埋め(ゼロパディング)を実施する。 In the exclusive vertical line filter 82a, the number of -1 squares is set to 3 on each of the left and right sides. In the exclusive vertical line filter 82a, the vertical size is, for example, 11, which is the same number as the horizontal size. When applying the exclusive vertical line filter 82a to both left and right end ranges of the original differential image 80, the squares to the left or right of the original differential image 80 are missing with respect to the center square of the exclusive vertical line filter 82a. Perform the well-known zero padding on the squares that are.
排他的横線フィルタ82bは、排他的縦線フィルタ82aについての縦横を横縦に逆にしただけであるので、説明は割愛する。なお、排他的横線フィルタ82bを元差分画像80に適用したときには、縦幅が5ピクセル(本発明の「第2線幅」の一例)以下の横線(物体の一例)が、横線幅処理画像84bにおいて残存することになる。第2線幅は、前述の第1線幅と等しくなくてもよい。 Since the exclusive horizontal line filter 82b is simply the vertical and horizontal directions of the exclusive vertical line filter 82a, its explanation will be omitted. Note that when the exclusive horizontal line filter 82b is applied to the original difference image 80, a horizontal line (an example of an object) whose vertical width is 5 pixels or less (an example of the "second line width" of the present invention) is converted into the horizontal line width processed image 84b. It will remain in the. The second line width may not be equal to the first line width described above.
(長さ処理)
図7は、縦線および横線の長さ処理についての説明図である。縦線結合画像85aおよび横線結合画像85bは、図6の縦線幅処理画像84aおよび横線幅処理画像84bについて、値0を閾値として、閾値以上を値1、閾値未満を値0に置き換える二値化処理を施したものである。縦線結合画像85aおよび横線結合画像85bに対して、最初にオープニングを行ってから、次に、クロージングを行う。
(length processing)
FIG. 7 is an explanatory diagram of vertical line and horizontal line length processing. The vertical line combined image 85a and the horizontal line combined image 85b are created using binary values for the vertical line width processed image 84a and the horizontal line width processed image 84b in FIG. It has been subjected to chemical treatment. Opening is first performed for the vertical line combined image 85a and the horizontal line combined image 85b, and then closing is performed.
オープニングのフィルタのサイズは、幅1×長さ5である。これにより、長さ5以下の縦線および横線が、ノイズとして除去された縦線結合画像86aおよび横線結合画像86bが縦線結合画像85aおよび横線結合画像85b(共に二値化画像)から生成される。 The size of the opening filter is 1 width x 5 length. As a result, a vertical line combined image 86a and a horizontal line combined image 86b are generated from the vertical line combined image 85a and the horizontal line combined image 85b (both binarized images), in which vertical lines and horizontal lines with a length of 5 or less are removed as noise. Ru.
次のクロージングのフィルタのサイズは、幅1×長さ25である。これにより、同一画素列および同一行において25画素離れた縦線および横線が結合された縦線結合二値化画像88aおよび横線結合二値化画像88bが縦線結合画像86aおよび横線結合画像86bからそれぞれ生成される。なお、オープニング及びクロージングの処理は周知のモルフォロジー変換が利用される。 The size of the next closing filter is 1 width x 25 length. As a result, a vertical line combined binarized image 88a and a horizontal line combined binarized image 88b, in which vertical lines and horizontal lines separated by 25 pixels in the same pixel column and same row are combined, are obtained from the vertical line combined image 86a and the horizontal line combined image 86b. generated respectively. Note that well-known morphological transformation is used for opening and closing processing.
(隣接線統合処理)
図8は、隣接する縦線を統合する画像説明図である。一部拡大画像89aは、縦線結合二値化画像88aの一部を拡大した画像である。長い縦線に隣接して短い縦線が存在している。長い縦線と短い縦線とは、横方向に隣接する画素列に存在している。
(Adjacent line integration processing)
FIG. 8 is an explanatory diagram of an image in which adjacent vertical lines are integrated. The partially enlarged image 89a is an image obtained by enlarging a part of the vertical line combined binarized image 88a. There are short vertical lines adjacent to long vertical lines. The long vertical line and the short vertical line exist in horizontally adjacent pixel columns.
隣接線統合処理では、縦線結合二値化画像88aから縦線統合画像90a(本発明の「第3画像」の一例)を生成する。一部拡大画像91aは、縦線統合画像90aの一部を拡大した画像である。一部拡大画像89aと一部拡大画像91aとは、同一範囲を示している。一部拡大画像89aでは、隣接列にそれぞれ長い縦線と短い縦線が存在していたが、一部拡大画像91aでは、短い方の縦線が消失し、長い方の縦線にまとめられて(統合されて)いる。 In the adjacent line integration process, a vertical line integrated image 90a (an example of the "third image" of the present invention) is generated from the vertical line combined binary image 88a. The partially enlarged image 91a is an image obtained by enlarging a part of the vertical line integrated image 90a. The partially enlarged image 89a and the partially enlarged image 91a show the same range. In the partially enlarged image 89a, there were long vertical lines and short vertical lines in adjacent columns, but in the partially enlarged image 91a, the shorter vertical lines disappeared and were combined into the longer vertical lines. (integrated).
図9は、横線の隣接線統合処理の画像説明図である。横線結合二値化画像88bが横線統合画像90b(本発明の「第4画像」の一例)に変換されている。横線結合二値化画像88bおよび横線統合画像90bは、それぞれ縦線結合二値化画像88aおよび縦線統合画像90aに対応している。横線結合二値化画像88bおよび横線統合画像90bでは、縦方向に隣接する横画素列において短い方の横線は、消失し、長い方の縦線にまとめられている。 FIG. 9 is an image explanatory diagram of horizontal line adjacent line integration processing. The horizontal line combined binarized image 88b has been converted into a horizontal line combined image 90b (an example of the "fourth image" of the present invention). The horizontal line combined binary image 88b and the horizontal line integrated image 90b correspond to the vertical line combined binary image 88a and the vertical line integrated image 90a, respectively. In the horizontal line combined binarized image 88b and the horizontal line integrated image 90b, shorter horizontal lines in vertically adjacent horizontal pixel columns disappear and are combined into longer vertical lines.
図10は、隣接線統合処理の具体的な手順を示している。図10における各表形式画像は、説明簡便化のために、対応画像の縦7×横4の画素範囲を抜き出して、各画素の画素値を数値で表示した仮想画像である。各表形式画像において、ブランクの画素は、その画素値が0であることを意味している。 FIG. 10 shows a specific procedure for adjacent line integration processing. Each tabular image in FIG. 10 is a virtual image in which a 7 vertical by 4 horizontal pixel range of the corresponding image is extracted and the pixel value of each pixel is displayed numerically for the purpose of simplifying the explanation. In each tabular image, a blank pixel means that the pixel value is 0.
STEP102の表形式画像は、縦線結合二値化画像88aから抜き出している。STEP102では、STEP102の表形式画像の各画素に重み付けを行う。各画素列の画素に対する重みは、STEP102の表形式画像の各画素列における1の個数に決定する。すなわち、STEP102の表形式画像では、左の画素列から右の方へ順番に1の画素の個数が2,4,3,0となっている。したがって、STEP102の表形式画像の各画素に重みを付けると、STEP104の表形式画像が生成される。 The tabular image in STEP 102 is extracted from the vertical line combination binarized image 88a. In STEP 102, each pixel of the tabular image in STEP 102 is weighted. The weight for the pixels in each pixel column is determined to be the number of 1's in each pixel column of the tabular image in STEP102. That is, in the tabular image in STEP 102, the number of 1 pixels is 2, 4, 3, and 0 in order from the left pixel column to the right. Therefore, by weighting each pixel of the tabular image in STEP 102, the tabular image in STEP 104 is generated.
STEP106の表形式画像は、STEP104の表形式画像に対して横長フィルタで最大値フィルタリングを実施することにより生成される。すなわち、1×3の横長フィルタは、STEP104の表形式画像に適用されると、横長フィルタの中心マスの画素を中心に含む横連続3画素の最大値が各画素の画素値に変更される最大値フィルタリングの表形式画像が生成される。 The tabular image in STEP 106 is generated by performing maximum value filtering on the tabular image in STEP 104 using a landscape filter. In other words, when the 1×3 horizontal filter is applied to the tabular image in STEP 104, the maximum value of three horizontally consecutive pixels including the pixel in the center square of the horizontal filter is changed to the pixel value of each pixel. A tabular image of value filtering is generated.
STEP108では、STEP106の表形式画像が二値化される。この二値化は、STEP106の表形式画像の各画素において画素値≠0であれば、1とし、画素値= 0であれば、0に維持するように、変換して、STEP108の表形式画像を生成する。 In STEP 108, the tabular image in STEP 106 is binarized. This binarization is performed by converting each pixel of the tabular image in STEP 106 so that if the pixel value ≠ 0, it is set to 1, and if the pixel value = 0, it is maintained at 0. generate.
STEP110では、STEP108の表形式画像に対して再度の重み付けを行う。重み付けの仕方は、STEP104のときとほぼ同じである。詳細には、STEP104の時点で各列に適用した重みを記録しておき、STEP110では、その記録しておいた重みを再使用する。ただし、記録無し(重み0)の列に対しては、便宜上1を割り当てている。 In STEP 110, the tabular image in STEP 108 is weighted again. The weighting method is almost the same as in STEP104. Specifically, the weights applied to each column are recorded in STEP 104, and the recorded weights are reused in STEP 110. However, for convenience, 1 is assigned to columns with no records (weight 0).
STEP112の表形式画像は、STEP110の表形式画像に対して最大値フィルタリング(STEP106の1×3の横長フィルタと同一の横長フィルタ)を施して生成したものである。 The tabular image in STEP 112 is generated by subjecting the tabular image in STEP 110 to maximum value filtering (the same horizontal filter as the 1×3 horizontal filter in STEP 106).
STEP114では、まず、STEP112の表形式画像とSTEP114の表形式画像とで各画素列における一致性をみる。STEP114の左の表示形式画像では、STEP110の表形式画像とSTEP112の表形式画像とで対応画素同士が一致するマスは、1、不一致のマスは0(ブランク)が入っている。 In STEP 114, first, the consistency in each pixel column is checked between the tabular image in STEP 112 and the tabular image in STEP 114. In the display format image on the left of STEP 114, cells where corresponding pixels match in the tabular image of STEP 110 and STEP 112 are filled with 1, and cells that do not match are filled with 0 (blank).
この後、STEP114では、一致箇所の表形式画像と、STEP108の二値化表形式画像とが、対応画素同士の数値で掛け合わされる。その結果として、STEP116の表形式画像が生成される。STEP116の1の画素が縦線を構成する画素となる。すなわち、STEP102において、横方向に隣接する画素列間で長い線と短い線とが接触している場合は、長い方に統合される。また、横方向に隣接する画素列間で、縦方向には離れているものの、複数の縦線が存在しているときは、最初の重み付けで大きい重み付けを付与された縦線の画素列に、小さい重み付けを付与された方の縦線が移動する。 After this, in STEP 114, the tabular image of the matching portion and the binarized tabular image of STEP 108 are multiplied by the numerical values of the corresponding pixels. As a result, a tabular image in STEP 116 is generated. The 1 pixel in STEP 116 becomes a pixel forming a vertical line. That is, in STEP 102, if a long line and a short line are in contact with each other between horizontally adjacent pixel columns, the longer line is integrated. In addition, when there are multiple vertical lines between horizontally adjacent pixel columns, although they are separated in the vertical direction, the pixel column of the vertical line that was given a large weight in the first weighting is The vertical line given the smaller weight moves.
図10のSTEP104の重み付けの仕方では、横方向に隣接する画素列間で、1の個数が同一である場合、重みは等しい値となる。例えばSTEP102の表形式画像において、左から3番目の画像列の1の個数が左から2番目の画素列の1の個数と同数の4である場合、左から2番目と3番目との画像列の重みは、共に4となる。これは、図12の縦線間の距離の決定に支障となる。 In the weighting method of STEP 104 in FIG. 10, when the number of 1's is the same between horizontally adjacent pixel columns, the weights have the same value. For example, in the tabular image in STEP 102, if the number of 1's in the third image column from the left is 4, which is the same number of 1's in the second pixel column from the left, the second and third image columns from the left The weights of both are 4. This poses a problem in determining the distance between the vertical lines in FIG.
図11は、重み付けの改良例である。図11の重み付けでは、各重みは、 そこで、図10の重み付けの仕方に対して、図11の重み付けの仕方では、各重みは、整数部と小数部とから構成される。整数部は、各画素列の1の個数に設定される。これに対し、小数部は、例えば、画素列の総数をUt、各画素列の番号をUnとしたとき、Un/Utとする。これにより、重みは、1の個数が同一である画素列が連続しても、右側の画素列の重みが左側の画素列の重みよりも大きい値となって、STEP114の一致画素列を一義に決め易くなる。 FIG. 11 is an example of improved weighting. In the weighting method of FIG. 11, each weight is: Therefore, in contrast to the weighting method of FIG. 10, in the weighting method of FIG. 11, each weight is composed of an integer part and a decimal part. The integer part is set to the number of 1's in each pixel column. On the other hand, the decimal part is, for example, Un/Ut, where the total number of pixel columns is Ut and the number of each pixel column is Un. As a result, even if pixel columns with the same number of 1's are consecutive, the weight of the pixel column on the right side becomes a larger value than the weight of the pixel column on the left side, and the matching pixel column in STEP 114 is uniquely determined. It becomes easier to decide.
隣接する横線の統合処理についての説明は省略するが、図10および図11の隣接する縦線の統合処理と同様である。隣接する横線の統合処理では、図10及び図11の各表形式画像の縦横が逆になるだけである。 Although a description of the process of integrating adjacent horizontal lines will be omitted, it is similar to the process of integrating adjacent vertical lines in FIGS. 10 and 11. In the process of integrating adjacent horizontal lines, only the vertical and horizontal directions of each tabular image in FIGS. 10 and 11 are reversed.
(距離頻度)
図12は、距離頻度に基づいて縦平行線除去フィルタ94aおよび横平行線除去フィルタ94bを完成させる説明図である。縦平行線除去フィルタ94aは、縦線統合画像90aに含まれる相互に平行な複数の縦線のうち一定の横方向距離で出現している縦平行線を差分画像60dから除去するものである。横平行線除去フィルタ94bは、横線統合画像90bに含まれる相互に平行な複数の横線のうち一定の縦方向距離で出現している横平行線を差分画像60dから除去するものである。
(distance frequency)
FIG. 12 is an explanatory diagram for completing the vertical parallel line removal filter 94a and the horizontal parallel line removal filter 94b based on the distance frequency. The vertical parallel line removal filter 94a removes, from the difference image 60d, vertical parallel lines that appear at a certain distance in the horizontal direction from among a plurality of mutually parallel vertical lines included in the vertical line integrated image 90a. The horizontal parallel line removal filter 94b removes, from the difference image 60d, horizontal parallel lines that appear at a certain distance in the vertical direction from among a plurality of mutually parallel horizontal lines included in the horizontal line integrated image 90b.
最初に縦平行線除去フィルタ94aが除去する平行縦線の横方向距離の決め方について説明する。縦線統合画像90aにおいて、長さが縦線統合画像90aの縦サイズの1/10未満の短い縦線は、直線とみなさず、除外する。すなわち、縦線統合画像90aの縦サイズの1/10以上の長さの縦線のみを横方向距離の検出対象とする。また、横方向距離について、ソーラーパネル14およびセル18の横サイズに応じて上限を設定し、上限以上の横方向距離は、検出しないことにする。 First, a method of determining the horizontal distance of parallel vertical lines to be removed by the vertical parallel line removal filter 94a will be explained. In the vertical line integrated image 90a, short vertical lines whose length is less than 1/10 of the vertical size of the vertical line integrated image 90a are not considered to be straight lines and are excluded. That is, only vertical lines whose length is 1/10 or more of the vertical size of the vertical line integrated image 90a are targeted for horizontal distance detection. Further, regarding the lateral distance, an upper limit is set according to the lateral size of the solar panel 14 and the cell 18, and a lateral distance exceeding the upper limit is not detected.
こうして、縦線統合画像90a内に存在する2つの対象縦線の全部の組み合わせについて、横方向の距離を検出していく。この組み合わせは、2つの対象縦線の横方向範囲が重なっているか重なっていないかに関係なく選択される。 In this way, the horizontal distances are detected for all combinations of two target vertical lines existing in the vertical line integrated image 90a. This combination is selected regardless of whether the horizontal ranges of the two target vertical lines overlap or not.
検出した横方向距離の距離リストの例が、図12の[25,50,25]として検出順に並べられている。このリスト例では、検出距離が3つ記載されている。これは、前述したように、あらかじめ、長さが縦線統合画像90aの縦サイズの1/10未満の短い縦線は、直線とみなさず、除外するので、除外されずに残った縦線の画素列は、3つしかなく、検出距離の組み合わせは3つしかないからである。 An example of a distance list of detected lateral distances is arranged in the order of detection as [25, 50, 25] in FIG. In this example list, three detection distances are listed. This is because, as mentioned above, short vertical lines whose length is less than 1/10 of the vertical size of the integrated vertical line image 90a are not considered to be straight lines and are excluded. This is because there are only three pixel columns and only three combinations of detection distances.
次に、距離リストに基づいて距離の多い順(出現頻度の大きい順)に並べた距離候補リストと、頻度リストが作成される。この例では、距離候補リストは、[25,50]となり、頻度リストは[2,1]となる。すなわち、検出リストにおいて、25は、2つあって、頻度は2となる。50は、1つあって、頻度は1となる。なお、この1は、本発明の「所定の閾値以上の頻度の等距離間隔」における「所定の閾値」に相当する。 Next, a distance candidate list arranged in descending order of distance (in descending order of appearance frequency) and a frequency list are created based on the distance list. In this example, the distance candidate list is [25, 50] and the frequency list is [2, 1]. That is, in the detection list, there are two 25s, and the frequency is 2. There is one number 50, and the frequency is 1. Note that this 1 corresponds to a "predetermined threshold" in "equidistant intervals with a frequency equal to or greater than a predetermined threshold" of the present invention.
次に、頻度順の1番の距離候補から採用距離を決めていく。最初は、採用距離リストは空である。各距離候補について採用距離リストにすでにその倍数または約数が存在するかをみる。頻度順の1番の距離候補25のときは、採用距離リストは空であるため、25は、そのまま採用距離リストに採用される。なお、各距離候補について採用距離リストにすでにその倍数または約数が存在するか否かを調べるとき、数値の完全一致する倍数および約数に限定せず、±1かある程度の差異は同一とみなすことができる。 Next, the adopted distance is determined from the first distance candidate in order of frequency. Initially, the recruitment distance list is empty. For each distance candidate, check whether its multiple or divisor already exists in the adopted distance list. When distance candidate 25 is number one in the frequency order, the adopted distance list is empty, so 25 is adopted as is in the adopted distance list. In addition, when checking whether a multiple or divisor of each distance candidate already exists in the adopted distance list, it is not limited to multiples and divisors whose numerical values completely match, and differences of ±1 or a certain degree are considered to be the same. be able to.
次に、頻度順の2番の距離候補の50については、その約数である25が採用距離リストに存在するので、採用距離リストへの採用が拒否される。こうして、距離候補の最後の距離まで、採用距離リストへの採用の可否が決められていく。 Next, regarding 50, which is the second distance candidate in the order of frequency, its divisor, 25, exists in the adopted distance list, so adoption in the adopted distance list is rejected. In this way, it is determined whether or not to include the distance candidates in the adoption distance list, up to the last distance of the distance candidates.
縦平行線除去フィルタ94aは、中心マスが1、中心マスから左右にそれぞれ25、離れた列のマスが-0.1となっている。この25は、縦線に係る採用距離リストの採用距離に基づいて設定されている。また、「-0.1」の0.1は、除去強度パラメータの値として使用している。 The vertical parallel line removal filter 94a has a central square of 1, 25 squares on each side of the central square, and -0.1 squares in distant columns. This 25 is set based on the adopted distance in the adopted distance list related to the vertical line. Further, 0.1 of "-0.1" is used as the value of the removal strength parameter.
除去強度パラメータとは、縦線または横線をノイズとして除去するときの除去する強さに関するパラメータと定義する。除去強度パラメータの値が大きいほど、除去効果が大きくなるように設定される。値の決め方は、例えば、初期値を「-1 / (フィルタの幅 × 2)」に設定して様子を見る。ここで「フィルタの幅」は縦平行線除去フィルタ94aの場合は縦幅となり、横平行線除去フィルタ94bの場合は横幅となる。設定者は、除去効果が弱いと判断したとき値を減少し(値は負であるので、絶対値は増大する。)、除去効果が強過ぎると判断したときは、値を増大させる(但し、0より小さくなるよう(負の値)設定する。)。 The removal strength parameter is defined as a parameter related to the removal strength when removing vertical lines or horizontal lines as noise. It is set such that the larger the value of the removal strength parameter, the greater the removal effect. To determine the value, for example, set the initial value to "-1 / (filter width x 2)" and see how it goes. Here, the "filter width" is the vertical width in the case of the vertical parallel line removal filter 94a, and the horizontal width in the case of the horizontal parallel line removal filter 94b. The setter decreases the value when determining that the removal effect is weak (the value is negative, so the absolute value increases), and increases the value when determining that the removal effect is too strong (however, Set it so that it is smaller than 0 (a negative value).
縦平行線除去フィルタ94aは、元差分画像80に対して適用される。縦平行線除去フィルタ94aの縦サイズが5以上とすると、中心マスが横方向に25マスごとに出現する縦線の位置にあると、該中心マスに重なる画素の画素値は、1-0.1×5×2となって、0になる。よって、図面の画像上では色が白から黒へ変化する。 The vertical parallel line removal filter 94a is applied to the original difference image 80. When the vertical size of the vertical parallel line removal filter 94a is 5 or more, when the center square is at the position of a vertical line that appears every 25 squares in the horizontal direction, the pixel values of pixels overlapping the center square are 1-0. It becomes 1×5×2 and becomes 0. Therefore, the color changes from white to black on the drawing image.
縦平行線除去フィルタ94aは、両端が-0.1の図示のものと、両端が-0.2の不図示のものとの2つが用意されている。そして、中心マスが差分画像60dの左右の端の列から1番から24番までの範囲にあるときに限り、両端が-0.2の縦平行線除去フィルタ94aの方が使用される。 Two vertical parallel line removal filters 94a are available: one shown with -0.1 at both ends, and another not shown with -0.2 at both ends. The vertical parallel line removal filter 94a with −0.2 at both ends is used only when the center square is in the range from 1st to 24th from the left and right end rows of the difference image 60d.
横平行線除去フィルタ94bが除去する平行横線の縦方向距離の決め方も、縦平行線除去フィルタ94aと同様に行う。横平行線除去フィルタ94bの場合は、検出距離リストは、[13,27,34,13,21,~]となる。距離候補リストは[13,21,27..~]であり、採用距離リストは[13,21]となる。27が採用距離リストに含まれなかったのは、採用距離リストへの27の可否を判定する時に、採用距離リストにはすでに13が採用されており、27は、13の倍数である26の±1の範囲内の数値であるからである。 The vertical distance of parallel horizontal lines to be removed by the horizontal parallel line removal filter 94b is determined in the same manner as the vertical parallel line removal filter 94a. In the case of the horizontal parallel line removal filter 94b, the detection distance list is [13, 27, 34, 13, 21, . . . ]. The distance candidate list is [13, 21, 27. .. ~], and the adopted distance list is [13, 21]. The reason why 27 was not included in the adopted distance list is because 13 was already adopted in the adopted distance list when determining whether or not to include 27 in the adopted distance list, and 27 is a multiple of 13, which is ± of 26. This is because the value is within the range of 1.
横平行線除去フィルタ94bでは、採用距離は、13と21との2つであるので、-0.1(縦平行線除去フィルタ94aのときと同様に、0.1は除去強度パラメータの値として使用)の行は横平行線除去フィルタ94bにおいて、値1の中心マスに対して上下に2つずつ設定されることになる。元差分画像80に対する横平行線除去フィルタ94bの適用も、元差分画像80に対して適用される。横線抽出画像に対する横平行線除去フィルタ94bの適用は、縦線抽出画像に対する縦平行線除去フィルタ94aの適用と同一である。 In the horizontal parallel line removal filter 94b, the adopted distances are two, 13 and 21, so -0.1 (as in the case of the vertical parallel line removal filter 94a, 0.1 is the value of the removal strength parameter. In the horizontal parallel line removal filter 94b, two rows (used) are set above and below the center square with the value 1. Application of the horizontal parallel line removal filter 94b to the original difference image 80 is also applied to the original difference image 80. Application of the horizontal parallel line removal filter 94b to the horizontal line extraction image is the same as application of the vertical parallel line removal filter 94a to the vertical line extraction image.
(補正差分画像の生成)
図13は、元差分画像80、縦線除去画像100a、横線除去画像100b、縦線除去適用領域画像98aおよび横線除去適用領域画像98bの対照図である。 元差分画像80から補正差分画像102(図14)を生成する手順を順番に説明する。以下の説明では、縦補正差分画像の生成を横補正差分画像の生成の説明より先に説明しているが、生成の順番は逆であってもよい。
(Generation of corrected difference image)
FIG. 13 is a contrast diagram of the original difference image 80, the vertical line removed image 100a, the horizontal line removed image 100b, the vertical line removed area image 98a, and the horizontal line removed area image 98b. The procedure for generating the corrected difference image 102 (FIG. 14) from the original difference image 80 will be explained in order. In the following description, the generation of the vertically corrected difference image is explained before the generation of the horizontally corrected difference image, but the order of generation may be reversed.
先ず元差分画像80に対して縦平行線除去フィルタ94aで処理して縦線除去画像100aを作成する。こうして生成された縦線除去画像100aでは、縦線以外の領域も過剰に除去されている可能性がある点に注意されたい。後述の縦線除去適用領域画像98aを縦線マスクとして用いるマスク処理は、過剰除去された縦線を回復させるためのものである。 First, the original difference image 80 is processed by a vertical parallel line removal filter 94a to create a vertical line removed image 100a. It should be noted that in the vertical line removed image 100a generated in this way, areas other than vertical lines may also be excessively removed. Mask processing using a vertical line removal application area image 98a as a vertical line mask, which will be described later, is for restoring excessively removed vertical lines.
なお、元差分画像80の各画素値は差分解析部60において、入力画像56iと出力画像56oとの対応画素の輝度を元に算出する。例えば(a)入力画像56iと出力画像56oとの対応画素の輝度差分の絶対値をとる、または(b)対応画素ごとに入力画像56iの輝度値から出力画像56oの輝度値を引く、または(c)対応画素ごとに出力画像56oの輝度値から入力画像56iの輝度値をひく、などの方法を選択できる。(b)は異常物の輝度が周囲よりも大きい状況において有効であり、(c)は逆に異常物の輝度が周囲よりも小さい状況で有効である。(b)と(c)は、各画素値の下限を0とするために負の値を0へ置き換える処理を追加しておくことで、異常物の特徴をより強調した元差分画像80を生成することができる。 Note that each pixel value of the original difference image 80 is calculated by the difference analysis unit 60 based on the brightness of the corresponding pixel of the input image 56i and the output image 56o. For example, (a) take the absolute value of the brightness difference between corresponding pixels between the input image 56i and the output image 56o, or (b) subtract the brightness value of the output image 56o from the brightness value of the input image 56i for each corresponding pixel, or ( c) A method such as subtracting the brightness value of the input image 56i from the brightness value of the output image 56o for each corresponding pixel can be selected. (b) is effective in a situation where the brightness of the abnormal object is higher than the surroundings, and (c), conversely, is effective in a situation where the brightness of the abnormal object is lower than the surroundings. In (b) and (c), by adding processing to replace negative values with 0 in order to set the lower limit of each pixel value to 0, an original difference image 80 is generated that further emphasizes the characteristics of the abnormal object. can do.
縦線除去適用領域画像98aとしての縦線マスクは、縦線統合画像90a(図8)に対し幅方向(縦線除去適用領域画像98aにおける幅方向は横方向である。)の膨張処理(Erosion/モルフォロジー変換)を施すことで作成する。膨張処理により縦線除去適用領域画像98aでは、縦線統合画像90aより線が太くなっていることに注意されたい。 The vertical line mask as the vertical line removal application area image 98a is subjected to expansion processing (Erosion) in the width direction (the width direction in the vertical line removal application area image 98a is the horizontal direction) with respect to the vertical line integrated image 90a (FIG. 8). /morphological transformation). It should be noted that due to the dilation process, the lines in the vertical line removal application area image 98a are thicker than in the vertical line integrated image 90a.
縦線マスクは二値画像(0または1)になっており、縦線マスクにおいて膨張処理で膨らんだ縦線である縦線領域には、画素値が二値の第1値としての「1」が割り当てられ、縦線領域以外の領域には画素値が二値の第2値としての「0」が割り当てられている。元差分画像80に縦線マスクを適用して、縦補正差分画像(不図示)が生成される。 The vertical line mask is a binary image (0 or 1), and in the vertical line area, which is the vertical line expanded by expansion processing, the pixel value is "1" as the first binary value. is assigned, and "0" as a second binary pixel value is assigned to areas other than the vertical line area. A vertical line mask is applied to the original difference image 80 to generate a vertically corrected difference image (not shown).
縦補正差分画像では、元差分画像80において縦線マスクの対応画素が第1値である画素は、縦線除去画像100aの画素値に置き換えられている。一方、元差分画像80において縦線マスクの対応画素が第2値である画素は、縦補正差分画像では、元差分画像80の画素値がそのまま維持されている。 In the vertically corrected difference image, pixels whose corresponding pixels in the vertical line mask in the original difference image 80 have the first value are replaced with pixel values in the vertical line removed image 100a. On the other hand, for pixels whose corresponding pixels in the vertical line mask have the second value in the original difference image 80, the pixel values of the original difference image 80 are maintained as they are in the vertically corrected difference image.
この実施形態では、縦線領域には、第1値としての「1」が割り当てられ、当該縦線領域以外の領域には、第2値としての「0」が割り当てられているが、第1値および第2値として具体的にどのような数値を設定するかは、設計者の任意である。例えば、第1値および第2値として、それぞれ1,0とする以外に、例えば255,0のように、相互に異なる数値が割り当てられてもよい。 In this embodiment, the vertical line area is assigned a first value of 1, and areas other than the vertical line area are assigned a second value of 0. It is up to the designer what numerical values to specifically set as the value and the second value. For example, instead of assigning 1 and 0 to the first value and the second value, respectively, different numerical values such as 255 and 0 may be assigned.
横補正差分画像(不図示)も、縦補正差分画像と同様の手順で生成する。具体的には、横線除去適用領域画像98bを、横線統合画像90b(図9)に対し幅方向(横線除去適用領域画像98bにおける幅方向は縦方向である。)の膨張処理を施すことにより作成する。次に、横線除去適用領域画像98bを横線マスクとして用いて、元差分画像80に適用して、横補正差分画像が生成される。 A horizontally corrected difference image (not shown) is also generated using the same procedure as the vertically corrected difference image. Specifically, the horizontal line removal application area image 98b is created by performing expansion processing on the horizontal line integrated image 90b (FIG. 9) in the width direction (the width direction in the horizontal line removal application area image 98b is the vertical direction). do. Next, the horizontal line removal application area image 98b is used as a horizontal line mask and applied to the original difference image 80 to generate a horizontally corrected difference image.
横線マスクによる具体的なマスク処理では、横線マスクにおいて膨張処理で膨らんだ横線である横線領域には、第3値としての「1」が画素値として割り当てられ、横線領域以外の領域には、第4値としての「0」が画素値として割り当てられている。元差分画像80に横線マスクを適用して生成される横補正差分画像では、元差分画像80において横線マスクの対応画素が1である画素は、横線除去画像100bの画素値に置き換えられ、元差分画像80において横線マスクの対応画素が0である画素は、元差分画像80の画素値をそのまま維持される。 In specific mask processing using a horizontal line mask, a third value of "1" is assigned as a pixel value to the horizontal line area, which is a horizontal line expanded by expansion processing, in the horizontal line mask, and a pixel value of "1" is assigned to areas other than the horizontal line area. A 4-value "0" is assigned as a pixel value. In the horizontally corrected difference image generated by applying a horizontal line mask to the original difference image 80, pixels for which the corresponding pixel of the horizontal line mask is 1 in the original difference image 80 are replaced with the pixel values of the horizontal line removed image 100b, and For pixels in the image 80 whose corresponding pixels in the horizontal line mask are 0, the pixel values of the original difference image 80 are maintained as they are.
しかしながら、横線マスクにおいても、縦線マスクのときと同様に、第3値および第4値として具体的にどのような数値を設定するかは、設計者の任意である。例えば、第3値および第4値として、それぞれ1,0とする以外に、例えば255,0のように、相互に異なる数値が割り当てられてもよい。 However, in the case of the horizontal line mask as well, as in the case of the vertical line mask, it is up to the designer to decide what numerical values to specifically set as the third value and the fourth value. For example, instead of 1 and 0, respectively, different numerical values such as 255 and 0 may be assigned as the third and fourth values.
図14は、元差分画像80と補正差分画像102とを対比して示す図である。元差分画像80は差分画像60dと同一である。補正差分画像102は、図13で説明した縦線補正差分画像と横線補正差分画像とを合成して生成される。この合成では、補正差分画像102の各画素について画素値が縦線補正差分画像と横線補正差分画像とで同一である場合は、その同一値を選択するが、相違する場合は、小さい方の画素値(除去効果の大きい方の画素値)を選択する 。 FIG. 14 is a diagram showing a comparison between the original difference image 80 and the corrected difference image 102. The original difference image 80 is the same as the difference image 60d. The corrected difference image 102 is generated by combining the vertical line corrected difference image and the horizontal line corrected difference image described with reference to FIG. In this synthesis, if the pixel value of each pixel in the corrected difference image 102 is the same in the vertical line correction difference image and the horizontal line correction difference image, the same value is selected, but if they are different, the smaller pixel is selected. Select the pixel value (the pixel value with the greater removal effect).
図15は、元差分画像80が異常39dを含む場合の元差分画像80と補正差分画像102との対比図である。補正差分画像102では、元差分画像80の異常39dは、除去されずに残っていることが分かる。これにより、補正差分画像102を元差分画像80に代替させて、異常検出部62は、支障なく異常を判定することが理解できる。 FIG. 15 is a comparison diagram of the original difference image 80 and the corrected difference image 102 when the original difference image 80 includes the abnormality 39d. It can be seen that in the corrected difference image 102, the abnormality 39d of the original difference image 80 remains without being removed. As a result, it can be understood that the abnormality detection unit 62 can determine an abnormality without any trouble by replacing the corrected difference image 102 with the original difference image 80.
(ソーラーパネル検査装置)
ソーラーパネル検査装置53は、差分画像60dを元差分画像80とし、元差分画像80に基づいて平行線除去フィルタ(例:縦平行線除去フィルタ94a及び横平行線除去フィルタ94b)を作成するフィルタ作成部(例:図12の処理を実施する処理部)と、平行線除去フィルタを用いて元差分画像80からセル18の枠線に対応する平行線を除去した補正差分画像102を生成する補正差分画像生成部(例:図13および図14に対応する処理を実施する処理部)と、補正差分画像102に基づいて検査対象ソーラーパネルについての異常の有無を判定する判定部(例:異常検出部62)と、を備えている。
(Solar panel inspection device)
The solar panel inspection device 53 uses the difference image 60d as the original difference image 80, and creates filters for creating parallel line removal filters (e.g. vertical parallel line removal filter 94a and horizontal parallel line removal filter 94b) based on the original difference image 80. (e.g., a processing unit that performs the processing in FIG. 12), and a corrected difference image 102 that generates a corrected difference image 102 in which parallel lines corresponding to the frame lines of cells 18 are removed from the original difference image 80 using a parallel line removal filter. An image generation unit (e.g., a processing unit that performs processing corresponding to FIGS. 13 and 14) and a determination unit (e.g., an abnormality detection unit) that determines whether or not there is an abnormality in the solar panel to be inspected based on the corrected difference image 102. 62).
14・・・ソーラーパネル、18・・・セル、29e・・・異常単位区画、39d・・・異常、40・・・正常パネル画像、46・・・未学習VAEモデル、48・・・損失演算部、52・・・訓練データ、53・・・ソーラーパネル検査装置、54・・・生成画像、56・・・学習済みVAEモデル、56i・・・入力画像、56o・・・出力画像、58・・・後処理部、60・・・差分解析部、60d・・・差分画像、62・・・異常検出部、62e・・・判定画像、80・・・元差分画像、82a・・・排他的縦線フィルタ、82b・・・排他的横線フィルタ、84a・・・縦線幅処理画像、84b・・・横線幅処理画像、86a・・・不要縦線除去画像、86b・・・不要横線除去画像、88a・・・縦線結合画像、88b・・・横線結合画像、90a・・・縦線統合画像、90b・・・横線統合画像、94a・・・縦平行線除去フィルタ、94b・・・横平行線除去フィルタ、100a・・・縦線除去画像、100b・・・横線除去画像、102・・・補正差分画像。 14... Solar panel, 18... Cell, 29e... Abnormal unit section, 39d... Abnormal, 40... Normal panel image, 46... Unlearned VAE model, 48... Loss calculation Part, 52... Training data, 53... Solar panel inspection device, 54... Generated image, 56... Learned VAE model, 56i... Input image, 56o... Output image, 58... ... Post-processing unit, 60... Difference analysis unit, 60d... Difference image, 62... Abnormality detection unit, 62e... Judgment image, 80... Original difference image, 82a... Exclusive Vertical line filter, 82b... Exclusive horizontal line filter, 84a... Vertical line width processed image, 84b... Horizontal line width processed image, 86a... Unnecessary vertical line removed image, 86b... Unnecessary horizontal line removed image , 88a...Vertical line combined image, 88b...Horizontal line combined image, 90a...Vertical line integrated image, 90b...Horizontal line integrated image, 94a...Vertical parallel line removal filter, 94b...Horizontal Parallel line removal filter, 100a...vertical line removed image, 100b...horizontal line removed image, 102...corrected difference image.
Claims (13)
前記差分画像を元差分画像とし、該元差分画像に基づいて平行線除去フィルタを作成するフィルタ作成工程と、
前記平行線除去フィルタを用いて前記元差分画像から所定の閾値以上の頻度の等距離間隔で存在している平行線を除去した補正差分画像を生成する補正差分画像生成工程と、
前記補正差分画像に基づいて前記検査対象ソーラーパネルについての異常の有無を判定する判定工程と、
を備えているソーラーパネル検査方法。 The solar panel has multiple cells arranged vertically and horizontally in a grid, and only multiple input images, each of which is a panel visible light image of a single normal solar panel, are used as training images, and the correct answer of the output image is used. The input image of the solar panel to be inspected is input to a machine learning model whose parameters have been adjusted using unsupervised machine learning, and the value is the input image, and the output image is output. A solar panel inspection method for determining the presence or absence of an abnormality in a target solar panel, comprising:
a filter creation step of using the difference image as an original difference image and creating a parallel line removal filter based on the original difference image;
a corrected difference image generation step of generating a corrected difference image in which parallel lines existing at equidistant intervals with a frequency equal to or higher than a predetermined threshold are removed from the original difference image using the parallel line removal filter;
a determination step of determining whether or not there is an abnormality in the solar panel to be inspected based on the corrected difference image;
Solar panel inspection method equipped with.
前記平行線除去フィルタは、前記フィルタ作成工程において、前記元差分画像(80)における縦線間および横線間の各距離の頻度を算出し、前記頻度が前記閾値以上である距離で前記元差分画像に存在している縦線同士および横線同士を除去するフィルタとして作成される、ソーラーパネル検査方法。 In the solar panel inspection method according to claim 1,
In the filter creation step, the parallel line removal filter calculates the frequency of each distance between vertical lines and horizontal lines in the original difference image (80), and removes the distance from the original difference image at a distance where the frequency is equal to or greater than the threshold value. A solar panel inspection method that is created as a filter to remove vertical lines and horizontal lines that exist in .
前記フィルタ作成工程において、
前記補正差分画像は、前記元差分画像において第1線幅以下の縦線のみおよび第2線幅以下の横線のみをそれぞれ残存させた第1画像および第2画像に基づいて生成される、ソーラーパネル検査方法。 In the solar panel inspection method according to claim 2,
In the filter creation step,
The corrected difference image is generated based on a first image and a second image in which only vertical lines having a first line width or less and only horizontal lines having a second line width or less remain in the original difference image, respectively. Inspection method.
前記補正差分画像は、第3画像に基づいて生成され、
前記第3画像の生成工程は、
前記第1画像の二値化画像に対するモルフォロジー変換により生成した縦線結合二値化画像の各画素列に対し、該画素列に含まれる1の個数に基づいて重みを決定する工程と、
前記縦線結合二値化画像において複数の縦線が、横方向に連続する複数の画素列に存在しているときは、各画素列の重みに基づいて前記複数の画素列の中から単一の統合画素列を決め、前記複数の画素列の前記複数の縦線を前記統合画素列に移行して前記統合画素列の縦線として統合した縦線統合画像としての第3画像を生成する工程と、
を含む、ソーラーパネル検査方法。 In the solar panel inspection method according to claim 3,
The corrected difference image is generated based on the third image,
The step of generating the third image includes:
determining a weight for each pixel column of the vertical line combination binary image generated by morphological transformation of the binary image of the first image based on the number of 1's included in the pixel column;
When a plurality of vertical lines exist in a plurality of pixel columns consecutive in the horizontal direction in the vertical line combination binarized image, a single vertical line is selected from among the plurality of pixel columns based on the weight of each pixel column. determining an integrated pixel column, and generating a third image as a vertical line integrated image in which the plurality of vertical lines of the plurality of pixel columns are transferred to the integrated pixel column and integrated as the vertical lines of the integrated pixel column. and,
Solar panel inspection methods, including:
前記第3画像の生成工程では、
横方向に連続する画素列に含まれる1の個数が等数であるときは、横方向一側の画素列の重みを他側の画素列の重みより大きく設定する、ソーラーパネル検査方法。 In the solar panel inspection method according to claim 4,
In the third image generation step,
A solar panel inspection method that sets the weight of a pixel column on one side in the horizontal direction to be larger than the weight of a pixel column on the other side when the number of 1's included in pixel columns that are continuous in the horizontal direction is equal.
前記フィルタ作成工程では、前記第3画像に基づいて検出した縦線間の横方向距離と各横方向距離の頻度とに基づいて縦平行線除去フィルタを作成し、
前記補正差分画像生成工程では、前記元差分画像に対して前記縦平行線除去フィルタを適用して生成した縦線除去画像に基づいて前記補正差分画像を生成する、ソーラーパネル検査方法。 In the solar panel inspection method according to claim 5,
In the filter creation step, a vertical parallel line removal filter is created based on the horizontal distance between the vertical lines detected based on the third image and the frequency of each horizontal distance,
In the corrected difference image generation step, the corrected difference image is generated based on a vertical line removed image generated by applying the vertical parallel line removal filter to the original difference image.
前記第3画像の各縦線を横方向に膨張処理することにより得られる縦線領域を含む縦線除去適用領域画像を生成し、前記元差分画像に対して前記縦線除去適用領域画像を、当該縦線領域に割り当てられた第1値および当該縦線領域以外の領域に割り当てられた第2値の二値からなる縦線マスクとして用い、前記元差分画像において前記縦線マスクの対応画素が前記第1値である画素のみを、前記縦線除去画像の値に置き換えることにより縦補正差分画像を生成し、前記補正差分画像を前記縦補正差分画像に基づいて生成する、ソーラーパネル検査方法。 In the solar panel inspection method according to claim 6,
Generating a vertical line removal application area image including a vertical line area obtained by horizontally expanding each vertical line of the third image, and applying the vertical line removal application area image to the original difference image, It is used as a vertical line mask consisting of two values: a first value assigned to the vertical line area and a second value assigned to an area other than the vertical line area, and the corresponding pixels of the vertical line mask in the original difference image are A solar panel inspection method, wherein a vertically corrected difference image is generated by replacing only pixels having the first value with values of the vertical line removed image, and the corrected difference image is generated based on the vertically corrected difference image.
前記補正差分画像は、第4画像に基づいて生成され、
前記第4画像の生成工程は、
前記第2画像の二値化画像に対するモルフォロジー変換により生成した横線結合二値化画像の各画素行に対し、該画素行に含まれる1の個数に基づいて重みを決定する工程と、
前記横線結合二値化画像において複数の横線が、縦方向に連続する複数の画素行に存在しているときは、各画素行の重みに基づいて前記複数の画素行の中から単一の統合画素行を決め、前記複数の画素行の前記複数の横線を前記統合画素行に移行して前記統合画素行の横線として統合した横線統合画像としての前記第4画像を生成する工程と、
を含む、ソーラーパネル検査方法。 In the solar panel inspection method according to any one of claims 3 to 7,
The corrected difference image is generated based on the fourth image,
The step of generating the fourth image includes:
determining a weight for each pixel row of the horizontal line combination binarized image generated by morphological transformation of the binarized image of the second image based on the number of 1's included in the pixel row;
When a plurality of horizontal lines exist in a plurality of pixel rows that are continuous in the vertical direction in the horizontal line combination binarized image, a single integration is performed from among the plurality of pixel rows based on the weight of each pixel row. determining a pixel row, and generating the fourth image as a horizontal line integrated image in which the plurality of horizontal lines of the plurality of pixel rows are transferred to the integrated pixel row and integrated as the horizontal lines of the integrated pixel row;
Solar panel inspection methods, including:
前記第4画像の生成工程では、
縦方向に連続する画素行に含まれる1の個数が等数であるときは、縦方向一側の画素行の重みを他側の画素行の重みより大きく設定する、ソーラーパネル検査方法。 In the solar panel inspection method according to claim 8,
In the step of generating the fourth image,
A solar panel inspection method that sets the weight of the pixel row on one side in the vertical direction to be larger than the weight of the pixel row on the other side when the number of 1's included in the pixel rows that are continuous in the vertical direction is equal.
前記フィルタ作成工程では、前記第4画像に基づいて検出した横線間の縦方向距離と各縦方向距離の頻度とに基づいて横平行線除去フィルタを作成し、
前記補正差分画像生成工程では、前記元差分画像に対して前記横平行線除去フィルタを適用して生成した横線除去画像に基づいて前記補正差分画像を生成する、ソーラーパネル検査方法。 The solar panel inspection method according to claim 9,
In the filter creation step, a horizontal parallel line removal filter is created based on the vertical distance between the horizontal lines detected based on the fourth image and the frequency of each vertical distance,
In the corrected difference image generation step, the corrected difference image is generated based on a horizontal line removed image generated by applying the horizontal parallel line removal filter to the original difference image.
前記第4画像の各横線を縦方向に膨張処理することにより得られる横線領域を含む横線除去適用領域画像を生成し、前記元差分画像に対して前記横線除去適用領域画像を、当該横線領域に割り当てられた第3値および当該横線領域以外の領域に割り当てられた第4値の二値からなる横線マスクとして用い、前記元差分画像において前記横線マスクの対応画素が前記第3値である画素のみを、前記横線除去画像の値に置き換えることにより横補正差分画像を生成し、前記補正差分画像を前記横補正差分画像に基づいて生成する、ソーラーパネル検査方法。 In the solar panel inspection method according to claim 10,
A horizontal line removal application area image including a horizontal line area obtained by vertically expanding each horizontal line of the fourth image is generated, and the horizontal line removal application area image is applied to the horizontal line area with respect to the original difference image. Used as a horizontal line mask consisting of two values: an assigned third value and a fourth value assigned to an area other than the horizontal line area, and only pixels in the original difference image for which the corresponding pixels of the horizontal line mask have the third value. A solar panel inspection method, wherein a horizontally corrected difference image is generated by replacing the value of the horizontal line removed image with a value of the horizontal line removed image, and the corrected difference image is generated based on the horizontally corrected difference image.
前記補正差分画像の各画素の画素値は、該画素に対応する縦補正差分画像の画素の画素値と前記横補正差分画像の画素の画素値とが同一であるときはその同一の画素値となり、相違するときは両画素値のうち小さい方の画素値となるように、前記補正差分画像を生成する、ソーラーパネル検査方法。 In the solar panel inspection method according to claim 11,
The pixel value of each pixel of the corrected difference image is the same pixel value when the pixel value of the pixel of the vertically corrected difference image and the pixel value of the pixel of the horizontally corrected difference image corresponding to the pixel are the same. , the solar panel inspection method generates the corrected difference image so that the smaller pixel value of both pixel values is used when the two pixel values are different.
前記差分画像を元差分画像とし、該元差分画像に基づいて平行線除去フィルタを作成するフィルタ作成部と、
前記平行線除去フィルタを用いて前記元差分画像から所定の閾値以上の頻度の等距離間隔で存在している平行線を除去した補正差分画像を生成する補正差分画像生成工程と、
前記補正差分画像に基づいて前記検査対象ソーラーパネルについての異常の有無を判定する判定部と、
を備えているソーラーパネル検査装置。 The solar panel has multiple cells arranged vertically and horizontally in a grid, and only multiple input images, each of which is a panel visible light image of a single normal solar panel, are used as training images, and the correct answer of the output image is used. The input image of the solar panel to be inspected is input to a machine learning model whose parameters have been adjusted using unsupervised machine learning, and the value is the input image, and the output image is output. A solar panel inspection device that determines whether there is an abnormality in a target solar panel,
a filter creation unit that takes the difference image as an original difference image and creates a parallel line removal filter based on the original difference image;
a corrected difference image generation step of generating a corrected difference image in which parallel lines existing at equidistant intervals with a frequency equal to or higher than a predetermined threshold are removed from the original difference image using the parallel line removal filter;
a determination unit that determines whether or not there is an abnormality in the solar panel to be inspected based on the corrected difference image;
Solar panel inspection equipment equipped with
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023197653A JP7428998B1 (en) | 2023-11-21 | 2023-11-21 | Solar panel inspection method and equipment |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023197653A JP7428998B1 (en) | 2023-11-21 | 2023-11-21 | Solar panel inspection method and equipment |
Publications (1)
Publication Number | Publication Date |
---|---|
JP7428998B1 true JP7428998B1 (en) | 2024-02-07 |
Family
ID=89771005
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023197653A Active JP7428998B1 (en) | 2023-11-21 | 2023-11-21 | Solar panel inspection method and equipment |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7428998B1 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6208843B1 (en) | 2016-12-26 | 2017-10-04 | 株式会社アイテス | Solar cell panel inspection apparatus and solar cell panel inspection method |
US20190311203A1 (en) | 2018-04-09 | 2019-10-10 | Accenture Global Solutions Limited | Aerial monitoring system and method for identifying and locating object features |
US20220077820A1 (en) | 2020-09-04 | 2022-03-10 | Mgit | Method and system for soar photovoltaic power station monitoring |
KR102389315B1 (en) | 2020-10-16 | 2022-04-22 | 이지스로직 주식회사 | Drone system for solar panel defect detection using YOLO |
WO2023031843A1 (en) | 2021-09-01 | 2023-03-09 | Prescinto Technologies Private Limited | System and method for identifying defective solar panels and to quantify energy loss |
-
2023
- 2023-11-21 JP JP2023197653A patent/JP7428998B1/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6208843B1 (en) | 2016-12-26 | 2017-10-04 | 株式会社アイテス | Solar cell panel inspection apparatus and solar cell panel inspection method |
US20190311203A1 (en) | 2018-04-09 | 2019-10-10 | Accenture Global Solutions Limited | Aerial monitoring system and method for identifying and locating object features |
US20220077820A1 (en) | 2020-09-04 | 2022-03-10 | Mgit | Method and system for soar photovoltaic power station monitoring |
KR102389315B1 (en) | 2020-10-16 | 2022-04-22 | 이지스로직 주식회사 | Drone system for solar panel defect detection using YOLO |
WO2023031843A1 (en) | 2021-09-01 | 2023-03-09 | Prescinto Technologies Private Limited | System and method for identifying defective solar panels and to quantify energy loss |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109781733A (en) | Flaw detection apparatus, defect detecting method and computer readable storage medium | |
CN110555474B (en) | Photovoltaic panel fault detection method based on semi-supervised learning | |
CN112288008B (en) | Mosaic multispectral image disguised target detection method based on deep learning | |
CN110232380A (en) | Fire night scenes restored method based on Mask R-CNN neural network | |
CN109961398B (en) | Fan blade image segmentation and grid optimization splicing method | |
CN109872278B (en) | Image cloud layer removing method based on U-shaped network and generation countermeasure network | |
CN106503724A (en) | Grader generating means, defective/zero defect determining device and method | |
CN112233067A (en) | Hot rolled steel coil end face quality detection method and system | |
CN111401387B (en) | Abnormal sample construction method, device, computer equipment and storage medium | |
CN117274258B (en) | Method, system, equipment and storage medium for detecting defects of main board image | |
CN111652297B (en) | Fault picture generation method for image detection model training | |
CN115239672A (en) | Defect detection method and device, equipment and storage medium | |
CN114399678A (en) | Image similarity and similarity detection method for differential twin network transformer substation | |
CN114021704B (en) | AI neural network model training method and related device | |
CN116092019A (en) | Ship periphery abnormal object monitoring system, storage medium thereof and electronic equipment | |
JP7428998B1 (en) | Solar panel inspection method and equipment | |
CN114066849A (en) | Deep learning-based electrical interface defect detection method | |
JP2020112483A (en) | Exterior appearance inspection system, calculation model construction method and calculation model construction program | |
CN116485802B (en) | Insulator flashover defect detection method, device, equipment and storage medium | |
CN114596244A (en) | Infrared image identification method and system based on visual processing and multi-feature fusion | |
CN116843756A (en) | Telescope pose monitoring method based on computer vision | |
CN117036235A (en) | Relay protection cabinet terminal wire arrangement sequence detection method | |
CN107079121A (en) | Method for detecting defective pixel | |
JP4178533B2 (en) | Tree crown extraction system | |
CN114972130A (en) | Training method, device and training equipment for denoising neural network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231124 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20231124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231226 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240117 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7428998 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |