JP6484854B2 - Solar panel appearance monitoring device - Google Patents
Solar panel appearance monitoring device Download PDFInfo
- Publication number
- JP6484854B2 JP6484854B2 JP2015085617A JP2015085617A JP6484854B2 JP 6484854 B2 JP6484854 B2 JP 6484854B2 JP 2015085617 A JP2015085617 A JP 2015085617A JP 2015085617 A JP2015085617 A JP 2015085617A JP 6484854 B2 JP6484854 B2 JP 6484854B2
- Authority
- JP
- Japan
- Prior art keywords
- solar panel
- image
- inspection
- partial image
- partial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012806 monitoring device Methods 0.000 title claims description 25
- 238000007689 inspection Methods 0.000 claims description 103
- 238000012544 monitoring process Methods 0.000 claims description 85
- 239000000126 substance Substances 0.000 claims description 5
- 238000000034 method Methods 0.000 description 37
- 238000012545 processing Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 238000010248 power generation Methods 0.000 description 12
- 238000012360 testing method Methods 0.000 description 11
- 230000005856 abnormality Effects 0.000 description 8
- 238000007637 random forest analysis Methods 0.000 description 8
- 238000010276 construction Methods 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 241000196324 Embryophyta Species 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 244000025254 Cannabis sativa Species 0.000 description 3
- 238000001931 thermography Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000020169 heat generation Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E10/00—Energy generation through renewable energy sources
- Y02E10/50—Photovoltaic [PV] energy
Landscapes
- Photovoltaic Devices (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Description
本発明は、太陽光パネル設備の外観を監視する太陽光パネル外観監視装置に関するものであり、特に、太陽光パネル設備に設置した監視カメラで撮影した画像を解析することで太陽光パネルの外観を監視する太陽光パネル外観監視装置に関するものである。 The present invention relates to a solar panel appearance monitoring device for monitoring the appearance of a solar panel facility, and in particular, the appearance of a solar panel is analyzed by analyzing an image taken by a monitoring camera installed in the solar panel facility. The present invention relates to a solar panel appearance monitoring device to be monitored.
通常、大型の太陽光パネル設備(太陽光発電設備)は、遠隔地に建設され無人であることが多い。このため、農業用の袋やシートなどの飛来物、もしくは、つる草などの植物が太陽光パネルを覆った状態のまま、暫くの期間気付かないことがあり、問題となっている。 In general, large-scale solar panel equipment (solar power generation equipment) is often constructed unattended in a remote place. For this reason, there are cases in which a flying object such as an agricultural bag or sheet, or a plant such as vine grass, covers the solar panel and is not noticed for a while.
そこで、例えば下記特許文献1〜4では、太陽光パネルの発電量を基に太陽光パネルの状態を推定する方法、すなわち、発電量の低下を検知することで太陽光パネルの異常を検出する方法を提案している。
Therefore, for example, in
また、例えば下記非特許文献1には、赤外線サーモグラフィを用いて太陽光パネルの異常を検査する方法がある。下記非特許文献1では、太陽光パネルに不具合が生じると発熱することに注目し、太陽光パネルを赤外線サーモグラフィで撮影した結果を、作業者が目視し、温度が高い部分の有無を確認することで、太陽光パネルの異常を判断する方法を提案している。
Further, for example, the following Non-Patent
上記特許文献1〜4の方法では、太陽光パネルの発電量から異常の有無を推定することができるが、実際に異常が発生しているか否かは分からない。また、異常の原因が太陽光パネル自身の機械的な故障であるのか、もしくは異物が被さっているなどの他の要因であるのか分からない。
In the methods of
上記非特許文献1の方法では、作業者による確認作業が必要であるため大型の太陽光発電設備への適用は困難である。また、赤外線サーモグラフィは高価であり、この点でも大型の太陽光発電設備へ大量に設置することは困難である。
In the method of Non-Patent
本発明は、上述のような技術的状況に鑑みてなされたものであり、安価な構成で太陽光パネルの外観を自動的に監視することで、大型の太陽光パネル設備への適用を可能とする、太陽光パネル外観監視装置を提供することを目的とする。 The present invention has been made in view of the technical situation as described above, and can be applied to a large-scale solar panel facility by automatically monitoring the appearance of the solar panel with an inexpensive configuration. An object of the present invention is to provide a solar panel appearance monitoring device.
上記課題を解決する第1の発明に係る太陽光パネル外観監視装置は、
予め、監視カメラで太陽光パネルを異物の無い状態として一定期間撮影した太陽光パネル画像群、及び、該監視カメラで異物を一定期間撮影した異物画像群を基に、太陽光パネル検査用の識別器を構築する、太陽光パネル検査用パラメータ調整装置と、
監視時、前記監視カメラで前記太陽光パネルを撮影した画像を前記識別器に入力し、該識別器の検査結果を基に、該太陽光パネル上に前記異物が存在するか否かを判断する、太陽光パネル検査装置とを備える
ことを特徴とする。
The solar panel appearance monitoring device according to the first invention for solving the above-mentioned problems is
Identification for solar panel inspection based on a solar panel image group in which a solar panel is photographed for a certain period of time with a surveillance camera and a foreign object image group in which the surveillance camera is photographed for a certain period of time. A solar panel inspection parameter adjustment device,
At the time of monitoring, an image obtained by photographing the solar panel with the monitoring camera is input to the discriminator, and it is determined whether or not the foreign object exists on the solar panel based on the inspection result of the discriminator. And a solar panel inspection device.
上記課題を解決する第2の発明に係る太陽光パネル外観監視装置は、
上記第1の発明に係る太陽光パネル外観監視装置において、
前記太陽光パネル検査用パラメータ調整装置は、
前記太陽光パネル画像群を各々小領域に区切り、前記太陽光パネルが映っている小領域を部分画像として取り出し、該部分画像の集合を太陽光パネル部分画像集とし、
前記異物の画像群の中で、前記異物が映っている部分が入る小領域を設定し、この小領域を部分画像として取り出し、該部分画像の集合を異物部分画像集とし、
前記太陽光パネル部分画像集及び前記異物部分画像集に基づき、前記識別器を構築する
ことを特徴とする。
A solar panel appearance monitoring device according to the second invention for solving the above-mentioned problems is as follows.
In the solar panel appearance monitoring device according to the first invention,
The solar panel inspection parameter adjustment device is:
Each of the solar panel image groups is divided into small areas, the small areas in which the solar panels are reflected are extracted as partial images, and a set of the partial images is a solar panel partial image collection,
In the image group of the foreign matter, set a small region where the portion where the foreign matter is reflected enters, take out this small region as a partial image, a set of the partial images as a foreign matter partial image collection,
The discriminator is constructed based on the solar panel partial image collection and the foreign object partial image collection.
上記課題を解決する第3の発明に係る太陽光パネル外観監視装置は、
上記第1又は2の発明に係る太陽光パネル外観監視装置において、
前記太陽光パネル検査用パラメータ調整装置は、
前記太陽光パネルが映っている前記小領域に加え、該小領域から所定範囲ずらした領域を部分画像として取り出し、前記太陽光パネル部分画像集とする
ことを特徴とする。
A solar panel appearance monitoring device according to a third invention for solving the above-mentioned problems is
In the solar panel appearance monitoring device according to the first or second invention,
The solar panel inspection parameter adjustment device is:
In addition to the small area in which the solar panel is reflected, an area shifted from the small area by a predetermined range is taken out as a partial image to form the solar panel partial image collection.
上記課題を解決する第4の発明に係る太陽光パネル外観監視装置は、
上記第1から3のいずれか1つの発明に係る太陽光パネル外観監視装置において、
前記識別器はマルチクラス識別器であり、
前記太陽光パネル検査用パラメータ調整装置は、前記太陽光パネル画像群、及び、前記監視カメラで複数種類の前記異物を一定期間撮影した複数種類の前記異物画像群に基づき、前記識別器を構築する
ことを特徴とする。
A solar panel appearance monitoring device according to a fourth invention for solving the above-mentioned problems is as follows.
In the solar panel appearance monitoring device according to any one of the first to third inventions,
The classifier is a multi-class classifier;
The solar panel inspection parameter adjustment device constructs the discriminator based on the solar panel image group and a plurality of types of the foreign object image groups obtained by photographing a plurality of types of the foreign objects for a certain period with the monitoring camera. It is characterized by that.
上記課題を解決する第5の発明に係る太陽光パネル外観監視装置は、
上記第1から4のいずれか1つの発明に係る太陽光パネル外観監視装置において、
前記太陽光パネル検査装置は、
前記監視カメラで前記太陽光パネルを撮影した前記画像から該太陽光パネルが映っている矩形部分を部分画像として順次取り出し、該部分画像を前記識別器へ入力し、該識別器の検査結果を基に、該太陽光パネル上に前記異物が存在するか否かを判断する
ことを特徴とする。
A solar panel appearance monitoring device according to a fifth invention for solving the above-mentioned problems is
In the solar panel appearance monitoring device according to any one of the first to fourth inventions,
The solar panel inspection apparatus is
A rectangular portion in which the solar panel is reflected is sequentially extracted as a partial image from the image obtained by photographing the solar panel with the monitoring camera, and the partial image is input to the discriminator. Based on the inspection result of the discriminator. And determining whether or not the foreign matter exists on the solar panel.
本発明に係る太陽光パネル外観監視装置によれば、監視カメラで撮影した画像を解析することで、安価な構成で太陽光パネルの外観を自動的に監視することができる。 According to the solar panel appearance monitoring apparatus according to the present invention, the appearance of the solar panel can be automatically monitored with an inexpensive configuration by analyzing the image taken by the monitoring camera.
また、本発明に係る太陽光パネル外観監視装置によれば、異常発生時の監視カメラ画像が記憶されているので、異常発生時の原因を画像で確認することができる。 Moreover, according to the solar panel external appearance monitoring device according to the present invention, since the monitoring camera image at the time of occurrence of abnormality is stored, the cause at the time of occurrence of abnormality can be confirmed by an image.
さらに、多数の安価な小型カメラ、又は、パンチルト機構付監視カメラの設置で監視装置を構成できるため、大型の太陽光発電設備への適用が可能である。 Furthermore, since the monitoring apparatus can be configured by installing a large number of inexpensive small cameras or surveillance cameras with pan / tilt mechanisms, it can be applied to large-scale photovoltaic power generation facilities.
本発明に係る太陽光パネル外観監視装置は、地上に設置した大型の太陽光発電設備を監視対象とし、監視カメラにより撮影した画像を解析することで、太陽光パネルに覆い被さる異物の有無を自動的に検出し、太陽光パネルの外観を監視するものである。 The solar panel appearance monitoring device according to the present invention automatically monitors the presence or absence of a foreign object covering a solar panel by analyzing a picture taken by a monitoring camera for a large-scale photovoltaic power generation facility installed on the ground. It detects automatically and monitors the appearance of the solar panel.
以下、本発明に係る太陽光パネル外観監視装置を実施例にて図面を用いて説明する。 Hereinafter, a solar panel appearance monitoring apparatus according to the present invention will be described with reference to the drawings in the embodiments.
[実施例1]
大型の太陽光発電設備では大量の太陽光パネルを設置している。監視カメラの設置方法としては、設備コストを抑えるための2つのタイプがある。一つは、図1に示すように、各太陽光パネル11に安価な小型カメラ12を監視カメラとして複数設置する方法である。
[Example 1]
Large-scale solar power generation facilities have a large number of solar panels. There are two types of surveillance camera installation methods for reducing equipment costs. One is a method of installing a plurality of inexpensive
二つには、図2に示すように、太陽光発電設備の区画毎に設置したパンチルト機構付監視カメラ13により、複数毎の太陽光パネル11を順次撮影する方法である。なお、パンチルト機構13aとは、監視カメラを上下方向及び左右方向に回転させることができる機構である。
Secondly, as shown in FIG. 2, a plurality of
大型の太陽発電設備の特徴として、太陽光パネルの枚数が大量であるため、図1,2に示した2つのタイプのどちらの設置方法を採用した場合においても、一つの太陽光パネル当たりの画像につき、頻繁に伝送することが難しい。この特徴を鑑みて、本実施例では、監視カメラから、一つの太陽光パネルに対して1分に1枚程度のような更新周期が長い頻度で、更新した画像を得るものとする。 As a feature of large-scale solar power generation facilities, the number of solar panels is large. Therefore, regardless of which of the two types of installation methods shown in FIGS. It is difficult to transmit frequently. In view of this feature, in this embodiment, an updated image is obtained from the surveillance camera at a frequency of a long update cycle such as about one per minute for one solar panel.
本実施例では、太陽光パネルを撮影した画像を用いてRandom Forests識別器を構築し、Random Forests識別器の判断によって太陽光パネル上の異物の有無を検査する。Random Forests識別器は、一度に複数の対象を分類(一回の処理で多種類の分類)することができるマルチクラス識別器の一つである。 In this embodiment, a Random Forests classifier is constructed using an image obtained by photographing a solar panel, and the presence or absence of foreign matter on the solar panel is inspected by the judgment of the Random Forests classifier. The Random Forests classifier is one of multiclass classifiers that can classify a plurality of objects at once (multiple types of classification in one process).
太陽光パネルを覆う異物として、「農業用の袋」「シート」「植物(つる草など)」といった代表的なものが分かっている場合、分類する対象として「太陽光パネル」「農業用の袋」「シート」「植物(つる草など)」「その他」を用意して識別器を構築する。このようにすることで、「農業用の袋」「シート」「植物(つる草など)」のように代表的な異物は高い検出精度で分類できる。したがって、異物の有無の検出精度が向上する。 If typical foreign objects covering solar panels, such as “agricultural bags”, “sheets”, and “plants (such as vines)” are known, “solar panels” and “agricultural bags” should be classified. ”,“ Sheet ”,“ Plant (such as vine) ”and“ Others ”are prepared to construct a classifier. In this way, typical foreign objects such as “agricultural bags”, “sheets”, and “plants (such as vines)” can be classified with high detection accuracy. Therefore, the detection accuracy of the presence or absence of foreign matter is improved.
識別器の種類としては、Random Forests 識別器の他、一般的に、アダブーストやサポートヘクターマシンといった識別器がある。これらは2クラス識別器であり、「太陽光パネル」「その他」の2種類の分類を行う。このような2クラス識別器であっても異物の有無の検出を行うことはできる。しかしながら、例えば「シート」の表面が太陽光パネルと比較的似ている場合、2クラス識別器では誤検出する可能性がある。それに比べ、Random Forests 識別器のようなマルチクラス識別器は、このような場合でも高精度に検出することが可能である。 In addition to Random Forests classifiers, there are generally classifiers such as Adaboost and Support Hector Machine. These are two-class classifiers that perform two types of classification, “solar panel” and “others”. Even such a two-class classifier can detect the presence or absence of foreign matter. However, for example, when the surface of the “sheet” is relatively similar to the solar panel, the two-class classifier may erroneously detect. In contrast, multi-class classifiers such as Random Forests classifiers can detect with high accuracy even in this case.
また、2クラス識別器を多段階に構成してマルチクラス識別器を構築することはできるが、各監視対象に対して複数の識別器を個別に構築する必要がある。一方、Random Forests 識別器のようなマルチクラス識別器は、1つの識別器を構築しておけばよく、簡単な手順で済む。 Although a multi-class classifier can be constructed by configuring the 2-class classifier in multiple stages, it is necessary to construct a plurality of classifiers individually for each monitoring target. On the other hand, a multi-class classifier such as a Random Forests classifier has only to construct one classifier and can be a simple procedure.
図3は、本実施例に係る太陽光パネル外観監視装置の動作の概要を説明する模式図である。なお、以下では簡略化のため、複数の太陽光パネル11のうち、第1〜3太陽光パネル(図示略)についてのみ説明するが、実際にはさらに多数の太陽光パネルを監視対象としている。
FIG. 3 is a schematic diagram for explaining the outline of the operation of the solar panel appearance monitoring apparatus according to the present embodiment. In the following, for simplification, only the first to third solar panels (not shown) of the plurality of
図3に示すように、本実施例に係る太陽光パネル外観監視装置では、第1〜3太陽光パネルの監視カメラ画像11a〜11cに対し、ステップS1として、予め構築した第1〜3太陽光パネル検査用の識別器14a〜14cをそれぞれ用いることで、第1〜3太陽光パネルの検査処理を個別に行い、ステップS2として検査結果出力を行う。そして、この検査結果を基に異物の有無を検出(判断)する。
As shown in FIG. 3, in the solar panel appearance monitoring device according to the present embodiment, the first to third sunlights constructed in advance as step S <b> 1 for the
なお、ステップS1の各検査処理を行う装置は、第1〜3太陽光パネルの監視カメラ画像11a〜11c毎に別々に用意してもよく、あるいは、1つの装置内で多数の検査処理を行うようにしてもよい。
In addition, the apparatus which performs each test | inspection process of step S1 may prepare separately for every
以下、太陽光パネル検査用の識別器(識別器14a〜14c)の構築概要について、図4を用いて説明する。
Hereinafter, an outline of the construction of the classifiers (
太陽光パネル検査用の識別器の構築の手順は以下のとおりである。
ステップS11:各太陽光パネルの画像群を用意する。
ステップS12:複数種類の異物の画像群を用意する。
ステップS13:太陽光パネルの画像群から部分画像集を作る。
ステップS14:異物の画像群から部分画像集を作る。
ステップS15:該当の太陽光パネル検査用の識別器を構築する。
以下、ステップS11〜S15について詳述する。
The procedure for constructing a discriminator for solar panel inspection is as follows.
Step S11: An image group of each solar panel is prepared.
Step S12: A plurality of types of foreign matter image groups are prepared.
Step S13: A partial image collection is created from the image group of the solar panel.
Step S14: A partial image collection is created from the foreign matter image group.
Step S15: A corresponding solar panel inspection classifier is constructed.
Hereinafter, steps S11 to S15 will be described in detail.
ステップS11では、予め、第1〜3太陽光パネルを監視カメラ12(13)により異物の無い状態で一定期間撮影し、第1太陽光パネルの監視カメラ画像21a‐1,21a‐2,…を、第1太陽光パネルの画像群21Aとして、第2太陽光パネルの監視カメラ画像21b‐1,21b‐2,…を、第2太陽光パネルの画像群21Bとして、第3太陽光パネルの監視カメラ画像21c‐1,21c‐2,…を、第3太陽光パネルの画像群21Cとして、それぞれ保存しておく。
In step S11, the first to third solar panels are previously photographed by the monitoring camera 12 (13) for a certain period of time without any foreign matter, and the
なお、ここでの「太陽光パネルの監視カメラ画像」とは、上述した図3中の第1〜3太陽光パネルの監視カメラ画像11a〜11cとは異なり、識別器14a〜14cの構築のために予め撮影したものである。
Note that the “monitoring camera image of the solar panel” here is different from the
ステップS12では、農業用の袋、シート、植物(つる草など)等の異物を別途撮影した複数枚の画像(監視カメラ12(13)とは別のカメラで撮影した画像でもよく、公開している画像データベースから持ってきた画像でもよい)を用意し、第1異物の画像22a‐1,22a‐2,…を、第1異物の画像群22Aとして、第2異物の画像22b‐1,22b‐2,…を、第2異物の画像群22Bとして、それぞれ保存しておく。
In step S12, a plurality of images obtained by separately capturing foreign objects such as agricultural bags, sheets, plants (such as vine grass), etc. (images captured by a camera different from the surveillance camera 12 (13) may be used) The first
なお、ここでは簡略化のため、2つの異物の画像についてのみを説明しているが、実際には、上述のようにより多種類の異物についての画像を画像群として保存してもよい。 Here, for simplification, only two foreign matter images are described, but in practice, images of various types of foreign matter may be stored as an image group as described above.
ステップS13では、第1太陽光パネルの画像群21A内の監視カメラ画像21a‐1,21a‐2,…を、図5に示すように(図5中では、一例として第1太陽光パネルの監視カメラ画像21a‐1のみを表している)、それぞれ格子状に区切り、太陽光パネル11が映っている矩形部分を部分画像23a‐1,23a‐2…(図5中では、部分画像23a‐1のみを表している)として取り出して保存し、これら部分画像を集合させて第1太陽光パネルの部分画像集23Aを作る。
In step S13,
さらに、第2,3太陽光パネルの画像群21B,21C内についても同様の作業を行い、第2,3太陽光パネルの部分画像集23B,23Cを作る。
Further, the same operation is performed for the
ステップS14では、第1異物の画像群22A内の異物の画像22a‐1,22a‐2,…上において、図6に示すように(図6中では、一例として第1異物の監視カメラ画像22a‐1のみを表している)、それぞれ異物10が映っている部分が入るような矩形範囲を設定し、矩形範囲を部分画像24a‐1,24a‐2…(図6中では、部分画像24a‐1のみを表している)として取り出して保存し、第1異物の部分画像集24Aを作る。
In step S14, as shown in FIG. 6 on the
さらに、第2異物の画像群22Bについても同様の作業を行い、第2異物の部分画像集24Bを作る。
Further, the same operation is performed on the second foreign
ステップS15では、第1太陽光パネルの部分画像集23A及び第1,2異物の部分画像集24A,24Bを用いて第1太陽光パネル検査用の識別器14aを学習させ構築する。また、第2,3太陽光パネルの部分画像集23B,23Cを用いて同様の作業を行い、第2,3太陽光パネル検査用の識別器14b,14cを構築する。
以上が太陽光パネル検査用の識別器の構築についての説明である。
In step S15, the first solar
This completes the description of the construction of the discriminator for solar panel inspection.
次に、本実施例における第1〜3太陽光パネルに対する検査処理(ステップS1)の概要について、図7を用いて説明する。 Next, the outline | summary of the test | inspection process (step S1) with respect to the 1st-3rd solar panel in a present Example is demonstrated using FIG.
第1太陽光パネルを監視カメラ12(13)により撮影した監視カメラ画像11a(上記監視カメラ画像21a‐1等は、識別器14a等の構築のために用いるものであるが、監視カメラ画像11aは実際の監視時の画像である(識別器14b,14cも同様))を格子状に区切り、太陽光パネルが映っている矩形部分を取り出した部分画像15aを、上記ステップS11〜S15により予め構築した太陽光パネル検査用の識別器14aに入力し、検査結果を判断することで、検査処理を実施する。
A
第2,3太陽光パネルの監視カメラ画像11b,11cについても、それぞれ識別器14b,14cを用いて同様の処理を行う。なお、検査結果を判断した後には、検査結果を出力する(ステップS2)。
The same processing is performed on the
監視カメラ画像11a〜11cを格子状に区切る手順としては、上述した、太陽光パネル検査用の識別器14a〜14cを構築する際に太陽光パネルの監視カメラ画像21a‐1等を格子状に区切る手順(ステップS13)と同じ方法を用いる。
As a procedure for dividing the
また、太陽光パネルが映っている矩形部分については、検査処理を実施する前に各太陽光パネルを撮影する監視カメラ12(13)の監視カメラ画像に対して予め設定しておくものとする。 Moreover, about the rectangular part in which the solar panel is reflected, it shall set beforehand with respect to the monitoring camera image of the monitoring camera 12 (13) which image | photographs each solar panel before implementing an inspection process.
図8は、上記ステップS1すなわち太陽光パネルに対する検査処理を説明するフローチャートである。図8に示すように、上記ステップS1は具体的には下記ステップS21〜S27から成る。
ステップS21:太陽光パネルの監視カメラ画像を入力する。
ステップS22:監視カメラ画像中から検査する部分画像を取り出す。
ステップS23:部分画像を太陽光パネル検査用の識別器へ入力する。
ステップS24:太陽光パネル検査用の識別器による検査を行う。
ステップS25:部分画像の検査結果を一時保存する。
ステップS26:全ての部分画像を検査したか否かを判定する。
ステップS27:検査結果を判断する。
FIG. 8 is a flowchart for explaining the above-described step S1, that is, the inspection process for the solar panel. As shown in FIG. 8, the above step S1 specifically includes the following steps S21 to S27.
Step S21: Input a monitoring camera image of the solar panel.
Step S22: Extract a partial image to be inspected from the monitoring camera image.
Step S23: The partial image is input to the discriminator for solar panel inspection.
Step S24: An inspection by a discriminator for solar panel inspection is performed.
Step S25: The partial image inspection result is temporarily stored.
Step S26: It is determined whether or not all partial images have been inspected.
Step S27: Determine the inspection result.
以下、ステップS21〜S27について詳述する。なお、以下では簡略化のため、第1太陽光パネル検査用の識別器14aを用いて第1太陽光パネルの監視カメラ画像11aについて処理を行う場合のみ説明するが、他の識別器を用いた他の太陽光パネルの監視カメラ画像の処理についても同様の処理を行う。
Hereinafter, steps S21 to S27 will be described in detail. In the following, for simplification, only the case where the first solar panel
ステップS21では、第1太陽光パネルの監視カメラ画像11aを入力する。
In step S21, the
ステップS22では、ステップS21で入力した第1太陽光パネルの監視カメラ画像11aを格子状に区切り、太陽光パネルが映っている矩形部分を部分画像(例えば図7中の部分画像15a)として順次取り出す。
In step S22, the
ステップS23では、既にステップS11〜S15で構築済みの第1太陽光パネル検査用の識別器14aへ、ステップS22で取り出した部分画像15a等を入力する。
In step S23, the
ステップS24では、第1太陽光パネル検査用の識別器14aによって、ステップS23で入力した部分画像15a等の検査を行い、入力した部分画像15a等が第1太陽光パネルであるか、もしくは、異物であるかの確率値を検査結果として出力する。
In step S24, the
ステップS25では、第1太陽光パネル検査用の識別器14aから出力された部分画像の検査結果を一時保存する。
In step S25, the inspection result of the partial image output from the
ステップS26では、第1太陽光パネル検査用の識別器14aによって全ての部分画像を検査したか否かを判定する。全ての部分画像を検査したと判定すればステップS27へ、そうでなければステップS22へ移行する。
In step S26, it is determined whether or not all partial images have been inspected by the first solar
ステップS27では、第1太陽光パネル検査用の識別器14aの出力を統合して検査結果を判断する。すなわち、確率値の判断比率を設け、異物である確率値が第1太陽光パネルである確率値よりも高く、かつ、最も確率値の高い異物の確率値に判断比率を乗じた値よりも第1太陽光パネルである確率値が低い場合は、入力した部分画像に異物が存在すると判断する。第1太陽光パネルの監視カメラ画像11a上の全ての部分画像に対してこの判断を行い、異物が存在すると判断した部分画像の位置を記録しておく。
In step S27, the output of the
なお、ステップS27の後には、ステップS2、すなわち検査結果の出力を行う。この検査結果とは、異物の有無、及び、異物が存在した場合は監視カメラ画像11a上の該当位置(異物が存在すると判断した部分画像の位置)を指す。
After step S27, step S2, that is, the output of the inspection result is performed. This inspection result indicates the presence / absence of a foreign substance and the corresponding position on the
以上説明したように、本実施例に係る太陽光パネル外観監視装置は、大きく2つの機能に分かれる。一つは、太陽光パネル検査用の識別器を構築する機能、二つには、太陽光パネルに対する検査機能である。 As described above, the solar panel appearance monitoring device according to the present embodiment is roughly divided into two functions. One is a function for constructing a discriminator for solar panel inspection, and the other is an inspection function for solar panels.
図9の本実施例に係る太陽光パネル外観監視装置(太陽光パネル外観監視装置1)の概略図に示すように、上記2つの機能は、別々の装置、すなわち、太陽光パネル検査用パラメータ調整装置3と、第1〜3太陽光パネル検査装置4a〜4cとによりもたらされる(ただし、既に説明したように、実際には太陽光パネル11はより多数配されており、各太陽光パネル検査装置は多数の太陽光パネル11に対応して設けられる。後述の識別器14a〜14cも同様である)。
As shown in the schematic diagram of the solar panel appearance monitoring device (solar panel appearance monitoring device 1) according to the present embodiment in FIG. 9, the above two functions are separate devices, that is, parameter adjustment for solar panel inspection. Provided by the
太陽光パネル検査用パラメータ調整装置3と太陽光パネル検査装置4a〜4cとの間のデータ授受はストレージ5を介して行う。なお、ストレージ5は監視カメラ12(13)から入力した画像データを記憶し、後述の第1,2記憶部34,44に出力する機能も有している。また、これらの装置を操作する統合インタフェース2を設けられる。太陽光パネル外観監視装置1はこれらを備えた構成となっている。
Data exchange between the solar panel inspection
太陽光パネル検査用パラメータ調整装置3では、上述したステップS11〜S15のごとく、予め、監視カメラ12(13)で第1〜3太陽光パネルを異物の無い状態として一定期間撮影した監視カメラ画像21a‐1,21a‐2,…等から成る画像群21A〜21C(太陽光パネル画像群)、及び、監視カメラ12(13)で異物を一定期間撮影した異物の画像22a‐1,22a‐2,…等から成る画像群22A〜22B(異物画像群)を基に、識別器14a〜14cを構築し、識別器14a〜14cのパラメータを計算する。
In the solar panel inspection
図10は太陽光パネル検査用パラメータ調整装置3の構成例を示すブロック図である。太陽光パネル検査用パラメータ調整装置3は、第1処理設定部31、第1部分画像作成部32、第1識別器構築部33、及び、各種データを保管する第1記憶部34を備える。
FIG. 10 is a block diagram illustrating a configuration example of the solar panel inspection
第1処理設定部31では、識別器14a〜14cの構築に用いるための、監視カメラ画像21a‐1,21a‐2,…等上の部分画像(例えば図4,5中の部分画像23a‐1)の位置、識別器14a〜14cが分類する対象(太陽光パネル、及び、複数の異物)の種類の量、識別器14a〜14cの規模、識別器14a〜14cを構築する際の試行回数、識別器14a〜14cを構築する際に使用する部分画像の量などで構成される、第1処理パラメータを設定する。換言すれば、第1処理パラメータは、Random Forests 識別器を構築するためのパラメータと画像の範囲であり、「分岐木の数」「分岐木の深さ」「分岐ノードを選ぶための試行回数」「太陽光パネルが映っている矩形部分の位置とサイズ」で構成される。設定した第1処理パラメータは第1記憶部34に保管される。
In the first
第1部分画像作成部32では、第1記憶部34に保管された、第1処理パラメータ、監視カメラ画像21a‐1,21a‐2,…等の画像群21A,21B,21Cの画像データ、及び、異物の画像22a‐1,22a‐2,…等の画像群22A,22Bの画像データに基づき、上述したステップS13,S14のごとく、太陽光パネルの部分画像(例えば図4,5中の部分画像23a‐1)、及び、異物の部分画像(例えば図6中の部分画像24a‐1)を作成する。作成した部分画像データは第1記憶部34に保管される。
In the first partial
第1識別器構築部33では、第1記憶部34に保管された、第1処理パラメータ、及び、各部分画像集23A〜23C,24A,24Bの部分画像データに基づき、上述したステップS15のごとく、識別器14a〜14cを構築し、識別器パラメータを計算する。識別器パラメータとは、Random Forests 識別器自身のパラメータであり、「分岐木の数」「分岐木の深さ」「分岐ノードの条件判定値」「末端ノードの確率分布」で構成される。
In the first
なお、ストレージ5は、監視カメラ12(13)で撮影した第1〜3太陽光パネルの監視カメラ画像11a〜11cの画像データを保存し、太陽光パネル検査用パラメータ調整装置3(特に第1記憶部34)に出力し、識別器パラメータを太陽光パネル検査用パラメータ調整装置3から入力する。
The
太陽光パネル検査装置4a〜4cでは、上述したステップS21〜S27のごとく、監視カメラ画像11a〜11cを識別器14a〜14cに入力し、識別器14a〜14cの検査結果を基に、第1〜3太陽光パネル上に異物が存在するか否かを判断することで、太陽光パネルの外観を検査する。
In the solar
なお、既に説明したように、太陽光パネル検査装置4a〜4cはそれぞれ1つの太陽光パネルの検査を受け持つ。すなわち、第1〜3太陽光パネルには、それぞれ太陽光パネル検査装置4a〜4cを用意し、個別に検査処理を行う。
In addition, as already demonstrated, each solar
図11は、太陽光パネル検査装置4a(4b,4c)の構成例を示すブロック図である。太陽光パネル検査装置4a(4b,4c)は、画像入力部40、第2処理設定部41、第2部分画像作成部42、第2識別器検査部43、検査結果判断部45、検査結果出力部46、及び、各種データを保管する第2記憶部44を備える。
FIG. 11 is a block diagram illustrating a configuration example of the solar
画像入力部40は、上述したステップS21のごとく、監視カメラ12(13)から監視カメラ画像11a〜11cの画像データを入力する。入力した画像データは、その後ストレージ5及び第2記憶部44に保存、保管される。
The
第2処理設定部41では、監視カメラ画像11a〜11c上の部分画像15a等の位置、及び、異物である確率値の判断比率などで構成される、第2処理パラメータを設定する。換言すれば、第2処理パラメータは、最終的な判断を行うためのしきい値と画像の範囲であり、「検査結果判断のしきい値」「太陽光パネルが映っている矩形部分の位置とサイズ」で構成される。設定した第2処理パラメータ41は、第2記憶部44に保管される。
The second
第2部分画像作成部42では、第2記憶部44に保管された、第2処理パラメータ、及び、監視カメラ画像11a〜11cの画像データに基づき、上述したステップS22のごとく、太陽光パネルの部分画像15a等を作成する。作成した部分画像データは、第2記憶部44に保管される。
In the 2nd partial
第2識別器検査部43では、上述したステップS23,S24のごとく、(ストレージ5から入力して)第2記憶部44に保管された識別器14a〜14cの識別器パラメータ、及び、第2部分画像作成部42で作成し第2記憶部44に保管された部分画像15a等の部分画像データに基づき、該部分画像が太陽光パネルであるか、もしくは、異物であるかの確率値を算出する。この確率値は、検査結果データとしてステップS25のごとく、第2記憶部44に保管される。
In the second
検査結果判断部45では、第2記憶部44に保管された、第2処理パラメータ、及び、監視カメラ画像1枚分の部分画像についての検査結果データに基づき、異物の存在を判断し、異物の有無、及び、異物の画像上位置で構成される、異物データを作成する。そして、検査結果出力部46では異物データを出力する。
The inspection
太陽光パネル検査装置の検査結果は、統合インタフェース2を介して閲覧することができる。例えば図12のように、ある監視カメラ12(13)に対応する太陽光パネル検査装置の異物データが異物有りのデータを持っていた場合、監視カメラ12(13)の画像上で異物有りと判断した部分画像の位置を、異物検出箇所として矩形で示す。図12では、太陽光パネル11の上部に飛来物10aが付着しており、下部をつる草10bが覆っている状態を例示している。
The inspection result of the solar panel inspection apparatus can be viewed through the
本実施例に係る太陽光パネル外観監視装置を用いて、監視カメラで撮影した画像を解析することで、太陽光パネルの外観を自動的に監視することができる。 By using the solar panel appearance monitoring apparatus according to the present embodiment and analyzing the image taken by the monitoring camera, the appearance of the solar panel can be automatically monitored.
[実施例2]
本実施例に係る太陽光パネル外観監視装置について、実施例1と異なる部分を中心に説明する。
[Example 2]
The solar panel appearance monitoring apparatus according to the present embodiment will be described with a focus on differences from the first embodiment.
監視カメラ12(13)を屋外に設置した場合、風などの影響により監視カメラが揺れ、監視カメラ画像(例えば図7中の監視カメラ画像11a)上における監視対象の位置が上下左右に数ピクセル分動くことがある。この場合、識別器(例えば、図7中の識別器14a)を構築した際に取り出した部分画像(例えば図4,5中の部分画像23a‐1)の位置と、それに対応する、太陽光パネルに対する検査処理を行った時の部分画像(例えば図7中の部分画像15a)の位置とが異なってしまい、誤検出が発生することがある。
When the surveillance camera 12 (13) is installed outdoors, the surveillance camera shakes due to the influence of wind or the like, and the position of the surveillance target on the surveillance camera image (for example, the
図13は、本実施例に係る太陽光パネル外観監視装置における、監視カメラ画像の部分画像の作成について説明した概略図である。なお、図13では、監視カメラ画像21a‐1のみについて説明しているが、その他の監視カメラ画像についても同様の方法で部分画像を作成する。
FIG. 13 is a schematic diagram illustrating creation of a partial image of the monitoring camera image in the solar panel appearance monitoring apparatus according to the present embodiment. Although only the
監視カメラ画像11a等に揺れが発生することを考慮して、識別器14a等を構築する際、図13に示すように、監視カメラ画像21a‐1を格子状に区切った際に太陽光パネル11が映っている矩形部分に加えて、該矩形部分から所定のピクセル数分上下左右に位置をずらした範囲を、識別器14a等を構築する際の部分画像(例えば、部分画像33a‐1)として保存し、この部分画像33a‐1等に基づき部分画像集を作る。
Considering the occurrence of shaking in the
すなわち、本実施例に係る太陽光パネル検査用パラメータ調整装置は、第1処理設定部31(図10参照)で設定する第1処理パラメータに、部分画像を取り出す際のずらし量を加え、第1部分画像作成部32において、このずらし量に基づき部分画像33a‐1を作成する機能を追加する。
That is, the solar panel inspection parameter adjustment device according to the present embodiment adds the shift amount when extracting the partial image to the first processing parameter set by the first processing setting unit 31 (see FIG. 10), In the partial
本実施例に係る太陽光パネル外観監視装置では、実施例1の効果に加え、監視カメラに揺れがあった場合でも誤検出の発生を抑えて、太陽光パネルの外観を自動的に監視することができる。 In the solar panel appearance monitoring apparatus according to the present embodiment, in addition to the effects of the first embodiment, the occurrence of false detection is suppressed even when the surveillance camera is shaken, and the appearance of the solar panel is automatically monitored. Can do.
本発明は、太陽光パネル外観監視装置として好適である。 The present invention is suitable as a solar panel appearance monitoring device.
1 太陽光パネル外観監視装置
2 統合インタフェース
3 太陽光パネル検査用パラメータ調整装置
4a 第1太陽光パネル検査装置
4b 第2太陽光パネル検査装置
4c 第3太陽光パネル検査装置
5 ストレージ
10 異物
10a 飛来物
10b つる草
11 太陽光パネル
11a 第1太陽光パネルの監視カメラ画像
11b 第2太陽光パネルの監視カメラ画像
11c 第3太陽光パネルの監視カメラ画像
12 小型カメラ
13 パンチルト機構付監視カメラ
13a パンチルト機構
14a 第1太陽光パネル検査用の識別器
14b 第2太陽光パネル検査用の識別器
14c 第3太陽光パネル検査用の識別器
15a 部分画像
21a‐1,21a‐2 第1太陽光パネルの監視カメラ画像
21b‐1,21b‐2 第2太陽光パネルの監視カメラ画像
21c‐1,21c‐2 第3太陽光パネルの監視カメラ画像
21A 第1太陽光パネルの画像群
21B 第2太陽光パネルの画像群
21C 第3太陽光パネルの画像群
22a‐1,22a‐2 第1異物の画像
22b‐1,22b‐2 第2異物の画像
22A 第1異物の画像群
22B 第2異物の画像群
23a‐1,23a‐2 部分画像
23A 第1太陽光パネルの部分画像集
23B 第2太陽光パネルの部分画像集
23C 第3太陽光パネルの部分画像集
24a‐1,24a‐2
24A 第1異物の部分画像集
24B 第2異物の部分画像集
31 第1処理設定部
32 第1部分画像作成部
33 第1識別器構築部
33a‐1 部分画像
34 第1記憶部
40 画像入力部
41 第2処理設定部
42 第2部分画像作成部
43 第2識別器検査部
44 第2記憶部
45 検査結果判断部
46 検査結果出力部
DESCRIPTION OF
24A First foreign matter
Claims (5)
監視時、前記監視カメラで前記太陽光パネルを撮影した画像を前記識別器に入力し、該識別器の検査結果を基に、該太陽光パネル上に前記異物が存在するか否かを判断する、太陽光パネル検査装置とを備える
ことを特徴とする、太陽光パネル外観監視装置。 Identification for solar panel inspection based on a solar panel image group in which a solar panel is photographed for a certain period of time with a surveillance camera and a foreign object image group in which the surveillance camera is photographed for a certain period of time. A solar panel inspection parameter adjustment device,
At the time of monitoring, an image obtained by photographing the solar panel with the monitoring camera is input to the discriminator, and it is determined whether or not the foreign object exists on the solar panel based on the inspection result of the discriminator. A solar panel appearance monitoring device comprising: a solar panel inspection device.
前記太陽光パネル画像群を各々小領域に区切り、前記太陽光パネルが映っている小領域を部分画像として取り出し、該部分画像の集合を太陽光パネル部分画像集とし、
前記異物の画像群の中で、前記異物が映っている部分が入る小領域を設定し、この小領域を部分画像として取り出し、該部分画像の集合を異物部分画像集とし、
前記太陽光パネル部分画像集及び前記異物部分画像集に基づき、前記識別器を構築する
ことを特徴とする、請求項1に記載の太陽光パネル外観監視装置。 The solar panel inspection parameter adjustment device is:
Each of the solar panel image groups is divided into small areas, the small areas in which the solar panels are reflected are extracted as partial images, and a set of the partial images is a solar panel partial image collection,
In the image group of the foreign matter, set a small region where the portion where the foreign matter is reflected enters, take out this small region as a partial image, a set of the partial images as a foreign matter partial image collection,
The solar panel appearance monitoring device according to claim 1, wherein the discriminator is constructed based on the solar panel partial image collection and the foreign object partial image collection.
前記太陽光パネルが映っている前記小領域に加え、該小領域から所定範囲ずらした領域を部分画像として取り出し、前記太陽光パネル部分画像集とする
ことを特徴とする、請求項1又は2に記載の太陽光パネル外観監視装置。 The solar panel inspection parameter adjustment device is:
In addition to the small area in which the solar panel is reflected, an area shifted from the small area by a predetermined range is taken out as a partial image to form the solar panel partial image collection. The solar panel appearance monitoring device described.
前記太陽光パネル検査用パラメータ調整装置は、前記太陽光パネル画像群、及び、前記監視カメラで複数種類の前記異物を一定期間撮影した複数種類の前記異物画像群に基づき、前記識別器を構築する
ことを特徴とする、請求項1から3のいずれか1項に記載の太陽光パネル外観監視装置。 The classifier is a multi-class classifier;
The solar panel inspection parameter adjustment device constructs the discriminator based on the solar panel image group and a plurality of types of the foreign object image groups obtained by photographing a plurality of types of the foreign objects for a certain period with the monitoring camera. The solar panel appearance monitoring apparatus according to any one of claims 1 to 3, wherein
前記監視カメラで前記太陽光パネルを撮影した前記画像から該太陽光パネルが映ってい る矩形部分を部分画像として順次取り出し、該部分画像を前記識別器へ入力し、該識別 器の検査結果を基に、該太陽光パネル上に前記異物が存在するか否かを判断する
ことを特徴とする、請求項1から4のいずれか1項に記載の太陽光パネル外観監視装置。 The solar panel inspection apparatus is
A rectangular portion in which the solar panel is reflected is sequentially extracted as a partial image from the image obtained by photographing the solar panel with the monitoring camera, and the partial image is input to the discriminator. Based on the inspection result of the discriminator. The solar panel appearance monitoring device according to any one of claims 1 to 4, wherein it is determined whether or not the foreign substance exists on the solar panel.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015085617A JP6484854B2 (en) | 2015-04-20 | 2015-04-20 | Solar panel appearance monitoring device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015085617A JP6484854B2 (en) | 2015-04-20 | 2015-04-20 | Solar panel appearance monitoring device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016205910A JP2016205910A (en) | 2016-12-08 |
JP6484854B2 true JP6484854B2 (en) | 2019-03-20 |
Family
ID=57489586
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015085617A Expired - Fee Related JP6484854B2 (en) | 2015-04-20 | 2015-04-20 | Solar panel appearance monitoring device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6484854B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7045030B2 (en) * | 2017-09-15 | 2022-03-31 | エナジー・ソリューションズ株式会社 | Inspection system, inspection method, server equipment, and program |
US11238301B2 (en) | 2019-05-09 | 2022-02-01 | Boe Technology Group Co., Ltd. | Computer-implemented method of detecting foreign object on background object in an image, apparatus for detecting foreign object on background object in an image, and computer-program product |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3163389B2 (en) * | 1992-10-28 | 2001-05-08 | 株式会社エヌ・ティ・ティ・データ | Coating substance identification device |
JP2000200356A (en) * | 1999-01-08 | 2000-07-18 | Hitachi Ltd | Method and device for defect classification |
EP2522991B1 (en) * | 2011-05-12 | 2021-02-17 | FOCS Holding GmbH | Device for inspection of a solar panel arrangement |
JP2014232795A (en) * | 2013-05-29 | 2014-12-11 | 東レエンジニアリング株式会社 | Solar battery panel washing system |
-
2015
- 2015-04-20 JP JP2015085617A patent/JP6484854B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2016205910A (en) | 2016-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10796161B2 (en) | System and method for identifying a number of insects in a horticultural area | |
US11092507B2 (en) | Method of indicating gas movement in a scene | |
JP6245418B2 (en) | Gas detection image processing apparatus, gas detection image processing method, and gas detection image processing program | |
WO2022078182A1 (en) | Throwing position acquisition method and apparatus, computer device and storage medium | |
JP6044522B2 (en) | Slow change detection system | |
JP5938631B2 (en) | Object detection apparatus and object detection method | |
Kim et al. | Automatic photovoltaic panel area extraction from UAV thermal infrared images | |
JP6484854B2 (en) | Solar panel appearance monitoring device | |
CN107220969A (en) | The method of testing and detecting system of product lamp position | |
JP2021119523A (en) | Fire detection device and fire detection method | |
CN111178424A (en) | Petrochemical production site safety compliance real-time detection system and method | |
KR20230036557A (en) | A system for monitoring solar panel failures on a large scale using drones | |
US10997734B2 (en) | Gas detection-use image processing device, gas detection-use image processing method, and gas detection-use image processing program | |
Özer et al. | An approach based on deep learning methods to detect the condition of solar panels in solar power plants | |
JP2019153986A5 (en) | Information processing equipment, information processing systems, information processing methods, and programs | |
JP5222908B2 (en) | Collapse detection system and collapse detection method | |
CN102867385A (en) | Building security system and building security method based on pulse light spot array pattern change detection | |
US20230260383A1 (en) | Visible range detection system | |
JP4707019B2 (en) | Video surveillance apparatus and method | |
JP5405365B2 (en) | Image monitoring apparatus and monitoring system | |
JP6326622B2 (en) | Human detection device | |
Kumar et al. | Computer vision-based early fire detection using machine learning | |
CN102930682A (en) | Intrusion detection method based on displacement of light spot patterns | |
JP2011061651A (en) | Suspicious object detection system | |
JP6849150B2 (en) | Industrial plant monitoring and control system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180220 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190115 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190115 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190128 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6484854 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |