JP7045030B2 - Inspection system, inspection method, server equipment, and program - Google Patents
Inspection system, inspection method, server equipment, and program Download PDFInfo
- Publication number
- JP7045030B2 JP7045030B2 JP2017177583A JP2017177583A JP7045030B2 JP 7045030 B2 JP7045030 B2 JP 7045030B2 JP 2017177583 A JP2017177583 A JP 2017177583A JP 2017177583 A JP2017177583 A JP 2017177583A JP 7045030 B2 JP7045030 B2 JP 7045030B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- server device
- unit
- unmanned aerial
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims description 84
- 238000000034 method Methods 0.000 title claims description 24
- 238000004891 communication Methods 0.000 claims description 67
- 238000010191 image analysis Methods 0.000 claims description 48
- 230000005856 abnormality Effects 0.000 claims description 37
- 230000002159 abnormal effect Effects 0.000 claims description 17
- 238000004458 analytical method Methods 0.000 description 28
- 230000006870 function Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 238000013473 artificial intelligence Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 230000002950 deficient Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 229910000737 Duralumin Inorganic materials 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000020169 heat generation Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 229910000679 solder Inorganic materials 0.000 description 1
- 238000005476 soldering Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E10/00—Energy generation through renewable energy sources
- Y02E10/50—Photovoltaic [PV] energy
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Photovoltaic Devices (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、例えば太陽光発電所等に配置されたソーラモジュール等の検査対象物を、ドローンに搭載されたカメラで撮影し、撮影により得られた画像を、人工知能技術を用いて解析することで、セル、モジュール、クラスタ、及びストリングの異常を検出する検査システム、検査方法、サーバ装置、及びプログラムに関する。 The present invention is to photograph an inspection object such as a solar module placed in a solar power plant or the like with a camera mounted on a drone, and analyze the image obtained by the photography by using artificial intelligence technology. It relates to an inspection system, an inspection method, a server device, and a program for detecting abnormalities in cells, modules, clusters, and strings.
従来、太陽光発電所等に配置されたソーラモジュールについて、セルの異常、モジュールの異常、クラスタの異常、及びストリングの異常等は、その発電効率に重大な影響を与えてしまう。例えば、所謂ホットスポットは、ハンダ不良等の製造時不具合、落ち葉の付着などが原因で、その部分が発熱し、モジュールの一部が破損する現象であるが、モジュール破損の原因となり、発電事業に大きな損失をもたらしてしまう。 Conventionally, with respect to a solar module arranged in a photovoltaic power plant or the like, a cell abnormality, a module abnormality, a cluster abnormality, a string abnormality, etc. have a serious influence on the power generation efficiency. For example, so-called hot spots are a phenomenon in which a part of the module is damaged due to heat generation due to manufacturing defects such as soldering defects and adhesion of fallen leaves. It causes a big loss.
従って、このような各種の異常を早期に発見し、早期に対応することは極めて重要であり、太陽光発電所の定期検診では、これら異常の検査が必須項目となっている。 Therefore, it is extremely important to detect such various abnormalities at an early stage and deal with them at an early stage, and inspection of these abnormalities is an indispensable item in the periodic inspection of photovoltaic power plants.
一般に、ソーラモジュールに発生するホットスポットを発見するには、赤外線カメラでソーラモジュールを撮影し、セルの異常温度部分を発見することがなされている。 Generally, in order to find a hot spot generated in a solar module, an infrared camera is used to take a picture of the solar module to find an abnormal temperature part of the cell.
この種の技術については、例えば特許文献1では、複数の太陽電池パネルを含む太陽電池アレイの検査方法であって、太陽電池アレイに通電し、画像を取得し、画像を解析して指標を算出し、指標に対する出力特性より出力電力の推定を行い、交換の可否を判断する方法が開示されている。
Regarding this type of technology, for example, in
しかしながら、特許文献1等で開示された従来技術では、太陽光発電所等の太陽光パネル等の検査対象物を、ドローンに搭載されたカメラで撮影し、該撮影により得られた画像を、人工知能技術を用いて解析することで、セル、モジュール、クラスタ、及びストリングの異常を検出することはできなかった。
However, in the prior art disclosed in
本発明は、このような課題に鑑みてなされたものであり、ドローン等の無人航空機を遠隔操作することで太陽光発電所等の検査対象物を撮影し、人工知能技術を用いて撮影情報に基づく検査対象物の異常の検出を簡易且つ迅速に行うことを目的とする。 The present invention has been made in view of such a problem, and an inspection object such as a solar power plant is photographed by remotely controlling an unmanned aerial vehicle such as a drone, and the photographed information is obtained by using artificial intelligence technology. The purpose is to detect abnormalities in the inspection target based on the above easily and quickly.
上記課題を解決するために、本発明の第1の態様に係る検査システムでは、無人航空機と、指令端末と、サーバ装置とを備え、検査対象物を検査する検査システムであって、前記無人航空機は、前記指令端末と通信する第1通信部と、航路制御情報に基づいて航行制御を行う航行制御部と、撮影制御情報に基づいて実画像及び赤外線画像を撮影するカメラと、を備え、前記指令端末は、前記無人航空機及び前記サーバ装置と通信する第2通信部と、前記サーバ装置からの航路情報に基づいて前記航行制御情報を生成し、前記第2通信部を介して前記無人航空機に送信する無人航空機制御部と、前記無人航空機のカメラによる撮影を制御する前記撮影制御情報を生成し、前記第2通信部を介して前記無人航空機に送信するカメラ制御部と、を備え、前記サーバ装置は、前記指令端末と通信する第3通信部と、前記航路情報を記憶する第1記憶部と、画像解析結果を記憶する第2記憶部と、前記撮影情報に含まれる画像を解析する画像解析部と、を備え、前記無人航空機は、前記撮影により得られた撮影画像を、前記第1通信部を介して前記指令端末に送信し、前記指令端末は、前記撮影画像を、前記第2通信部を介して前記サーバ装置に転送し、前記サーバ装置は、前記第3通信部が前記撮影画像を受信し、前記画像解析部は、前記撮影画像についてモジュール領域の分類を行い、前記モジュール領域の閾値画像を生成し、前記撮影画像の方が前記閾値画像よりもRGB値が大きい領域を差分画像として検出し、前記差分画像のノイズ除去を行い、分類対象とすべき領域を特定し、この特映された領域の短編が所定画素未満の領域を除外することで、前記撮影画像中の異常領域を特定し、前記第2記憶部に記憶された過去の画像解析結果を参照しつつ異常の態様を特定する。 In order to solve the above problems, the inspection system according to the first aspect of the present invention is an inspection system provided with an unmanned aircraft, a command terminal, and a server device to inspect an inspection object, and is the unmanned aircraft. Is provided with a first communication unit that communicates with the command terminal, a navigation control unit that performs navigation control based on the route control information, and a camera that captures an actual image and an infrared image based on the photographing control information. The command terminal generates the navigation control information based on the route information from the unmanned aircraft and the second communication unit that communicates with the server device, and the unmanned aircraft via the second communication unit. The server includes an unmanned aircraft control unit for transmission, a camera control unit for generating the image shooting control information for controlling image capture by the camera of the unmanned aircraft, and transmitting the image control information to the unmanned aircraft via the second communication unit. The apparatus includes a third communication unit that communicates with the command terminal, a first storage unit that stores the route information, a second storage unit that stores the image analysis result, and an image that analyzes an image included in the shooting information. The unmanned aircraft includes an analysis unit, and the unmanned aircraft transmits the captured image obtained by the imaging to the command terminal via the first communication unit, and the command terminal transmits the captured image to the second communication unit. The image is transferred to the server device via the communication unit, the third communication unit receives the captured image, the image analysis unit classifies the captured image into a module area, and the module area is classified. The threshold image of the above is generated, a region where the captured image has a larger RGB value than the threshold image is detected as a difference image, noise is removed from the difference image, and a region to be classified is specified. By excluding the area where the short film of the specially projected area is less than a predetermined pixel, the abnormal area in the captured image is specified, and the abnormal area is referred to while referring to the past image analysis result stored in the second storage unit. Identify aspects.
本発明の第2の態様に係る検査方法は、無人航空機と、指令端末と、サーバ装置とを備え、検査対象物を検査する検査システムによる検査方法であって、前記指令端末は、前記サーバ装置からの航路情報に基づいて航行制御情報を生成し、前記カメラを制御するための撮影制御情報を生成し、航行制御情報及び撮影制御情報に基づいて前記無人航空機の航行及び撮影を制御し、前記無人航空機は、前記指令端末の制御に基づいて、航行及び撮影を行い、撮影画像を前記指令端末に送信し、前記指令端末は、前記撮影画像を前記サーバ装置に転送し、前記サーバ装置は、前記撮影画像についてモジュール領域の分類を行い、前記モジュール領域の閾値画像を生成し、前記撮影画像の方が前記閾値画像よりもRGB値が大きい領域を差分画像として検出し、前記差分画像のノイズ除去を行い、分類対象とすべき領域を特定し、この特映された領域の短編が所定画素未満の領域を除外することで、前記撮影画像中の異常領域を特定し、過去の画像解析結果を参照しつつ、異常の態様を特定する。 The inspection method according to the second aspect of the present invention is an inspection method using an inspection system including an unmanned aircraft, a command terminal, and a server device to inspect an inspection object, and the command terminal is the server device. Generates navigation control information based on the navigation information from, generates image control information for controlling the camera, controls the navigation and image capture of the unmanned aircraft based on the navigation control information and the image control information, and controls the navigation and image capture of the unmanned aircraft. The unmanned aircraft navigates and shoots under the control of the command terminal, transmits the captured image to the command terminal, the command terminal transfers the captured image to the server device, and the server device receives the captured image. The module area is classified for the captured image, a threshold image of the module region is generated, a region where the captured image has a larger RGB value than the threshold image is detected as a difference image, and noise is removed from the difference image. By performing the above, specifying the area to be classified, and excluding the area where the short film of this specially projected area is less than a predetermined pixel, the abnormal area in the captured image is specified, and the past image analysis result is obtained. With reference to it, identify the aspect of the anomaly.
本発明の第3の態様に係るサーバ装置は、無人航空機と指令端末と通信自在で検査対象物を検査するサーバ装置であって、前記指令端末と通信する通信部と、航路情報を記憶する第1記憶部と、画像解析結果を記憶する第2記憶部と、前記無人航空機による撮影で得られた撮影画像を解析する画像解析部と、を備え、前記画像解析部は、前記通信部を介して前記指令端末からの撮影画像を受信すると、前記撮影画像についてモジュール領域の分類を行い、前記モジュール領域の閾値画像を生成し、前記撮影画像の方が前記閾値画像よりもRGB値が大きい領域を差分画像として検出し、前記差分画像のノイズ除去を行い、分類対象とすべき領域を特定し、この特映された領域の短編が所定画素未満の領域を除外することで、前記撮影画像中の異常領域を特定し、前記第2記憶部に記憶された過去の画像解析結果を参照しつつ異常の態様を特定する。 The server device according to the third aspect of the present invention is a server device that inspects an inspection object by freely communicating with an unmanned aircraft and a command terminal, and stores a communication unit that communicates with the command terminal and route information. A storage unit, a second storage unit for storing an image analysis result, and an image analysis unit for analyzing an image taken by an unmanned aircraft are provided, and the image analysis unit is provided via the communication unit. Upon receiving the captured image from the command terminal, the captured image is classified into module regions, a threshold image of the module region is generated, and the captured image has a larger RGB value than the threshold image. By detecting as a difference image, removing noise from the difference image, specifying an area to be classified, and excluding an area in which the short film of this specially projected area is less than a predetermined pixel, the captured image is included. The abnormal region is specified, and the mode of the abnormality is specified with reference to the past image analysis results stored in the second storage unit.
そして、本発明の第4の態様に係るプログラムでは、無人航空機と指令端末と通信自在で、検査対象物を検査するサーバ装置により実行されるプログラムであって、前記サーバ装置を、前記無人航空機による撮影で得られた撮影画像を解析する画像解析部、として機能させ、前記画像解析部は、前記撮影画像についてモジュール領域の分類を行い、前記モジュール領域の閾値画像を生成し、前記撮影画像の方が前記閾値画像よりもRGB値が大きい領域を差分画像として検出し、前記差分画像のノイズ除去を行い、分類対象とすべき領域を特定し、この特映された領域の短編が所定画素未満の領域を除外することで、前記撮影画像中の異常領域を特定し、過去の画像解析結果を参照しつつ、異常の態様を特定する。
The program according to the fourth aspect of the present invention is a program executed by a server device that inspects an inspection object by freely communicating with an unmanned aircraft and a command terminal, and the server device is used by the unmanned aircraft. It functions as an image analysis unit that analyzes the captured image obtained by shooting, and the image analysis unit classifies the captured image into module regions, generates a threshold image of the module region, and uses the captured image. Detects a region having a larger RGB value than the threshold image as a difference image, removes noise from the difference image, identifies an region to be classified, and the short story of this specially projected region is less than a predetermined pixel. By excluding the region, the abnormal region in the captured image is specified, and the mode of the abnormality is specified while referring to the past image analysis results.
本発明によれば、ドローン等の無人航空機を遠隔操作することで太陽光発電所等の検査対象物を撮影し、人工知能技術を用いて撮影情報に基づく検査対象物の異常の検出を簡易且つ迅速に行う検査システム、検査方法、サーバ装置、及びプログラムを提供することができる。 According to the present invention, an inspection object such as a solar power plant is photographed by remotely controlling an unmanned aerial vehicle such as a drone, and an abnormality of the inspection object based on the photographed information is easily detected by using artificial intelligence technology. It is possible to provide a rapid inspection system, inspection method, server device, and program.
以下、図面を参照しつつ本発明の実施形態について説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図1には、本発明の一実施形態に係る検査システムの構成を示し説明する。 FIG. 1 shows and describes a configuration of an inspection system according to an embodiment of the present invention.
同図に示されるように、検査システムは、カメラを搭載した無人航空機としてのドローン1と、当該ドローン1を遠隔より制御する指令端末としてのステーション端末2と、データセンタのサーバ装置3とを有している。ステーション端末2は、ドローン1とは無線通信が可能であり、サーバ装置3とはインターネット等のネットワーク4を介して通信可能となっている。ここでは、検査対象物5として、太陽光発電所に設置されたソーラモジュールを例示して説明を進めることとする。
As shown in the figure, the inspection system includes a
このような構成において、データステーションのサーバ装置3は、複数個所の発電所の登録を予め受けており、各発電所のソーラモジュールの構成に基づいて算定したドローン1の航路情報を保持している。サーバ装置3から、発電所にてスタンバイされたステーション端末2に、ネットワーク4を介して航路情報が送信されると、ステーション端末2は航路情報に基づいて航行制御情報を生成し、ドローン1の航行制御を実施する。より具体的には、ステーション端末2は、ドローン1に対して航路制御情報を無線通信により送信する。このとき、カメラによる撮影に係る撮影条件や撮影タイミングを制御するための撮影制御情報も併せて無線通信により送信する。
In such a configuration, the
ドローン1は、ステーション端末2から送信された航行制御情報と撮影制御情報を受信すると、当該航行制御情報に基づく自動航行を開始すると共に、その航行の過程で撮影制御情報に基づく撮影を行う。この例ではドローン1に搭載されるカメラは、実画像に加えて赤外線画像も取得できるようになっており、撮像の際には位置情報をリアルタイムで取得して実画像と赤外線画像とからなる撮影情報に紐づける。ドローン1は、自動航行の過程で、リアルタイムに撮影情報と位置情報とをステーション端末2に無線通信により送信する。自動航行を終了した時点で、まとめて送信するようにしてもよい。
When the
ステーション端末2は、ドローン1から送られてきた撮影情報と位置情報とを関連付けてデータセンタのサーバ装置3へと転送する。サーバ装置3では、この撮影情報に含まれる赤外線画像を解析し、ソーラモジュールの異常を検出する。そして、解析結果を、ネットワーク4を介してステーション端末2に送信する。ステーション端末2では、この解析結果を受信すると、それを表示し、異常の態様や箇所を作業者が確認可能とする。
The
図2には、ドローンの詳細な構成を示し説明する。 FIG. 2 shows and describes a detailed configuration of the drone.
同図に示されるように、ドローン1は、全体の制御を司る制御部11を備えており、当該制御部11は、通信部12、カメラ13、GPS14、駆動系15、ジャイロユニット16、及び記憶部17と通信自在となっている。通信部12は、ステーション端末2との無線通信を行うものである。カメラ13は、実画像と赤外線画像とを取得できるものとなっており、不図示の防振ダンパを介してドローン1に搭載されている。
As shown in the figure, the
GPS14は、ドローン1の位置情報(緯度、経度)を測位するものである。駆動系15は、自動航行に際して自動離陸、着陸を行うと共に、任意の位置、高度での航行をホバリングにより実現するものである。ジャイロユニット16は、自動航行時のドローン1の高度や飛行姿勢等を測位するものである。記憶部17は、撮影情報や位置情報等を一時的に保持するためのメモリやハードディスクドライブ等からなる。
The
制御部11は、制御プログラムに基づいて動作することで、主制御部11a、撮影制御部11b、航行制御部11c、位置情報取得部11d、及び撮影情報取得部11dとして機能する。
By operating based on the control program, the
このような構成において、ステーション端末2からの航行制御情報と撮影制御情報とを通信部12を介して受信すると、航行制御部11cが航行制御情報を解読し、駆動系15に対して制御信号を送り、自動離陸、ホバリング、自動着陸に至るまでの自動航行を実施するよう制御する。更に、撮影制御部11bは、撮影制御情報を解読し、特定のタイミング及び位置で指定された撮影条件で撮影を実施するようにカメラ13を制御する。撮影情報取得部11eは、カメラ13より実画像と赤外線画像とを取得する。この撮影の過程では、位置情報取得部11dは、GPS14よりドローン1の位置情報(緯度、経度)を取得する。位置情報は、撮影情報と紐づけられて記憶部17に記憶される。
In such a configuration, when the navigation control information and the photographing control information from the
尚、位置情報には、GPS14により測位された位置情報に加えて、ジャイロユニット16により測位された高度、飛行姿勢、撮影時刻の情報も含まれる。こうして、主制御部11aは、記憶部17に記憶された位置情報と撮影情報とを、通信部12を介して、ステーション端末2に送信する。航行制御部11cに、フェンス機能を加えて、任意の高度及び距離に到達すると、安全のため飛行開始地点へ自動帰還し着陸するような制御を加えてもよいことは勿論である。また、無線テレメントリ機能を更に搭載し、ドローン1の機体の飛行位置、高度等を適宜表示、記録するようにしてもよい。この実施形態で採用されるドローン1は、飛行時間は約20分(ホバリング時)、飛行距離は約10km(水平移動時)であるが、これに限定されるものではない。
The position information includes information on the altitude, flight attitude, and shooting time measured by the
ここで、ドローン1に搭載されるカメラ13について更に詳細を説明する。カメラ13は、軽量で、バッテリによる長時間駆動が可能となっている。更にオートフォーカス機能を有しており、前述した通り通常撮影により実画像を、赤外線撮影により先外線画像を得ることができる。また、複数の記録モード(インターバル記録、ワンショット記録、及び動画記録)を機能として備えている。画素数については、特に制限はないが例えば320あっける240画素の高解像度とすることができる。
Here, the
図3には、ステーション端末の詳細な構成を示し説明する。 FIG. 3 shows and describes a detailed configuration of the station terminal.
同図に示されるように、ステーション端末2は、全体の制御を司る制御部21を備えている。この制御部21は、通信部22、操作部23、表示部24、及び記憶部25と通信自在に接続されている。制御部21は、制御プログラムを実行することで、主制御部21a、航行情報取得部21b、撮影情報・位置情報取得部21c、ドローン制御部21d、カメラ制御部21e、及び表示制御部21fとして機能する。
As shown in the figure, the
通信部22は、ドローン1との無線通信を実施する機能と、ネットワーク4を介してサーバ装置3と通信する機能を備えている。例えば、通信部22は、3G/LTE通信モジュールを備えている。操作部23としては、キーボードやマウス等を採用することができる。表示部24は、液晶ディスプレイ等で構成され、撮影情報等を適宜表示することが可能である。そして、記憶部25は、データセンタのサーバ装置3から送信されてきた航路情報や、ドローン1から送信されてきた撮影情報及び位置情報等を記憶するメモリやハードディスク等で構成されている。
The
このような構成において、データセンタのサーバ装置3からの航路情報を通信部22が受信すると、航路情報取得部21bが取得し、記憶部25に記憶する。そして、ドローン制御部21dが、航路情報に基づいてドローン1を自動航行させるための航行制御情報を生成する。また、カメラ制御部21eは、表示部24に表示された設定画面への操作部23の操作による入力に基づいて、撮影条件等の設定を受け、撮影制御情報を生成する。主制御部21aは、この航行制御情報と撮影制御情報とを通信部22を介してドローン1に送信する。ドローン1側では、この航行制御情報に基づく自動航行が実施され、撮影制御情報に基づく撮影が実施される。
In such a configuration, when the
そして、ドローン1から送信された撮影情報及び位置情報を、通信部22を介して受信すると、撮影情報・位置情報取得部21cが、これを取得し、記憶部25に記憶する。主制御部21aは、この撮影情報及び位置情報を記憶部25より読み出し、通信部22を介してデータセンタのサーバ装置3に送信する。サーバ装置3では、この撮影情報の赤外線画像に基づいて画像解析が実施され、解析結果がステーション端末2へと送信される。ステーション端末2では、この解析結果のデータを、通信部22を介して受信すると、記憶部25に記憶すると共に、表示制御部21fの制御の下、表示部24に表示する。これにより、作業者は、検査対象物の異常の態様や箇所を確認可能となる。
Then, when the shooting information and the position information transmitted from the
尚、ステーション端末2は、ドローン収納用ジュラルミンケースを一部に備えた携帯可能な構成としてもよい。
The
図4には、データセンタのサーバ装置の詳細な構成を示し説明する。 FIG. 4 shows and describes a detailed configuration of a server device in a data center.
同図に示されるように、データセンタのサーバ装置3は、全体の制御を司る制御部31を備えている。制御部31は、通信部32、記憶部37と通信自在に接続されている。そして、制御部31は、制御プログラムを実行することで、主制御部31a、検査対象登録部31b、ドローン航路設定部31c、画像解析部31d、及び検査報告書生成部31eとして機能する。記憶部37は、RAMやROM等のメモリやハードディスクドライブ(HDD)等で構成されており、検査対象登録DB33、航路情報DB34、解析結果DB35、及び検査報告書DB36を記憶している。
As shown in the figure, the
通信部32は、ネットワーク4を介して、ステーション端末2との通信を実行するものである。検査対象DB33には、検査対象の情報が格納されている。この例では、検査対象が発電所であるので、検査対象である発電所のID、所在地、発電所におけるソーラモジュールの配置情報、作業担当者ID等が対応付けられて記憶されている。航路情報DB34には、各発電所のIDと紐づけられて、各発電所のソーラモジュールの配置情報に合致したドローン1の航路情報が格納される。検査結果DB35には、各発電所のIDと紐づけられて過去の検査結果の情報が格納されている。この検査結果DB35には過去の膨大な検査結果が格納され、画像解析部31dによる人工知能技術を用いた画像解析に際してライブラリとして機能する。検査報告書DB36には、各発電所のIDと紐づけられて検査報告書が記憶される。
The
上記のほか、記憶部37には、ステーション端末2から送信された撮影情報及び位置情報等が一時的に記憶される。
In addition to the above, the
このような構成において、サーバ装置31は、ステーション端末2が所定の認証を得てアクセスしてきたとき、検査対象登録DB33を参照して検査対象を特定する。ドローン航路設定部31cが航路情報DB34を参照して、当該検査対象物に好適な航路情報を読み出し、主制御部31aが当該航路情報を、通信部32を介してステーション端末2に送信する。ステーション端末2では、この航路情報にも続いてドローン1による自動航行を実行する。そして、ステーション端末2からの撮影情報(実画像、及び赤外線画像)及び位置情報を、通信部32を介して受信すると、画像解析部31dが、ライブラリとしての解析結果DB35を参照しつつ、人工知能技術を用いて、赤外線画像を解析して異常の態様や箇所を特定する。
In such a configuration, when the
解析結果は、検査結果DB35に検査対象物である発電所のIDと紐づけられて格納される。主制御部31aは、この解析結果を、通信部32を介してステーション端末2に送信する。これによりステーション端末2側で解析結果の閲覧を促す。続いて、検査報告書生成部31eは、検査結果DB35より検査結果の情報を読み出し、検査報告書を生成する検査報告書は、検査報告書DB36に発電所のIDと紐づけられて格納される。
The analysis result is stored in the
ドローン1の個体認証については、ドローン1に予めインストール(登録)された電子認証用の証明書によって行う。また、電子証明書によるドローン1とステーション端末2との間のデータ通信の暗号化については、SSL暗号化通信用の電子証明書を用いる。さらに、ドローン1のソフトウェアモジュールへのコードサイニングについては、ドローン1にインストールされたソフトウェアモジュールに電子署名用証明書(コードサイニング証明書)を用いたコードサイニング(電子署名)を施すことで、ソフトウェア配布元を正しく認証し、なりすましや改ざんがされていないことを証明する。
The individual authentication of the
以下、図5のフローチャートを参照して、本発明の一実施形態に係る検査システムによる処理の流れを説明する。これは、本発明の一実施形態に係る検査方法にも相当する。ここでは、図6乃至図9を適宜参照しつつ説明を進める。 Hereinafter, the flow of processing by the inspection system according to the embodiment of the present invention will be described with reference to the flowchart of FIG. This also corresponds to the inspection method according to the embodiment of the present invention. Here, the description will proceed with reference to FIGS. 6 to 9 as appropriate.
サーバ装置31では、主制御部31aが、ステーション端末2が所定の認証を得てアクセスしてきたとき、検査対象登録DB33を参照して検査対象を特定し、ドローン航路設定部31cが、航路情報DB34を参照して、当該検査対象物に好適な航路情報を読み出し、主制御部31aが当該航路情報を、通信部32を介してステーション端末2に送信する(S1)。
In the
ステーション端末2では、サーバ装置3からの航路情報を通信部22が受信すると、航路情報取得部21bが取得し記憶部25に記憶する(S2)。そして、ドローン制御部21dが、航路情報に基づいてドローン1を自動航行させるための航行制御情報を生成し、カメラ制御部21eが、表示部24に表示された設定画面への操作部23の操作による入力に基づいて、撮影条件等の設定を受け、撮影制御情報を生成する(S3)。そして、航行制御情報、撮影制御情報をドローン1へと送信する(S4)。
In the
ドローン1では、ステーション端末2からの航行制御情報と撮影制御情報とを通信部12を介して受信すると(S5)、航行制御部11cが航行制御情報を解読し、自動航行を実施し、撮影制御部11bは、撮影制御情報を解読し、特定のタイミング及び位置で指定された撮影条件で撮影を実施するようにカメラ13を制御する(S6)。
In the
より詳細には、ステップS6の航路制御において、ドローン1の航路情報の設定は、太陽光発電所の図面及びGoogleMAP等のジオコード情報を持つマップを利用して行う。具体的には、ポイント地点を次の方法で設定する。即ち、ポイント地点の緯度経度を設定することで、ドローン1に搭載されたGPS14の位置情報に基づいて、現在の位置情報と自動航路で設定された位置情報とを比較し、その差異を検知し、設定航路の制御を行う。そして、ポイント地点に自動航路スタート地点の座標からの距離・方位を設定し、計測されている方位と距離とによってポイント地点まで自動航行制御を行う。このように、ポイント間を直線的に一定速度、並びに一定高度で進行する航路制御を実行し、ポイント地点では次ポイントに向けた方向変換を行うための制御を実行する。
More specifically, in the route control in step S6, the route information of the
また、ステップS6の撮影制御では、ドローン1の走行速度に合わせて、カメラ13のシャッタ間隔時間を設定し、連続的に画像をつなげられるための制御を行う。例えば、ドローン1が秒速5mの速度で進む場合、20m毎に1回撮影を行う場合は、カメラ13のシャッタ間隔時間は4秒として設定する。
Further, in the shooting control in step S6, the shutter interval time of the
続いて、撮影情報取得部11eは、カメラ13から送信された実画像と赤外線画像とを取得する。この撮影の過程で、位置情報取得部11dは、GPS14よりドローン1の位置情報(緯度、経度)を取得する。位置情報は、撮影情報と紐づけられて記憶部17に記憶される(S7)。こうして、撮影情報と位置情報とが、ステーション端末2へと送信される(S8)。
Subsequently, the shooting information acquisition unit 11e acquires an actual image and an infrared image transmitted from the
ステーション端末2では、撮影情報と位置情報とを受信すると(S9)、サーバ装置3へと転送する(S10)。
When the
サーバ装置3は、ステーション端末2からの撮影情報(実画像、及び赤外線画像)及び位置情報を、通信部32を介して受信すると(S11)、画像解析部31dが、解析結果DB35をライブラリとして参照しつつ、人工知能技術を用いて赤外線画像を解析し、異常の態様と箇所を検出する(S12)。画像解析処理の詳細は後述する。この解析結果は、検査対象物である発電所のIDと紐づけられて解析結果DB35に格納される。
When the
サーバ装置3では、主制御部31aは、この解析結果を、通信部32を介してステーション端末2に送信する(S13)。これによりステーション端末2側で解析結果の閲覧を促す。ステーション端末2では、この解析結果のデータを、通信部22を介して受信すると(S14)、記憶部25に記憶すると共に、表示制御部21fの制御の下、表示部24に表示する(S15)。
In the
表示制御部21fによる表示部24への表示の様子は、図6及び図7に示される通りである。即ち、表示画面100には、撮影画像表示ウィンドウ100aと解析結果表示ウィンドウ100bが並べて表示され、更にその右方には、汎用の地図ソフトにより提供される地図データに基づく表示の上に、欠陥箇所をマーキングしたマーキング表示ウィンドウ100cが表示される。そして、タブの「出力」が選択されると、図7に示されるような画面に切り換わり、記録用地図に欠陥箇所をマーキングした地図表示画面101がポップアップウィンドウ等により重ねて表示される。再生ボタン100dが選択されると撮影画像表示ウィンドウ100aの動画が再生される。このとき、解析結果表示ウィンドウ100bも連動するようになっている。
The state of display on the
一方、サーバ装置3側では、検査報告書生成部31eは、検査結果DB35より検査結果の情報を読み出し、検査報告書を生成する(S16)。
On the other hand, on the
検査報告書の一例は図8及び図9に示される通りである。図8の例では、記録用地図に欠陥箇所をマーキングした図面と、各エリアの異常スポットの数及び内容を対比して示した表とが印刷されている。一方、図9の例では、赤外線画像の中に欠陥箇所をマーキングして示した画像と、各マーキングポイントである高温部と周辺部との温度差を対比して示した表とが印刷されている。 An example of an inspection report is as shown in FIGS. 8 and 9. In the example of FIG. 8, a drawing in which defective parts are marked on a recording map and a table showing the number and contents of abnormal spots in each area are printed. On the other hand, in the example of FIG. 9, an image showing the defect portion marked in the infrared image and a table showing the temperature difference between the high temperature portion and the peripheral portion, which are the marking points, are printed. There is.
ここで、電子網についてさらに補足する。電子網とは、ドローンなどの無人航空機が飛行できる境界を電子的に構築することで、想定された航行エリア外を飛行しないようにする安全航行の仕組みである。この仕組みは、無人航空機のシステムとは独立して機能することで無人航空機の異常事態でも電子網を認識し、電子網の外に出た場合には航行を緊急停止する。電子網システムは、電子網制御装置と電子網ビーコンで構成されている。電子網制御装置は、ドローンなどの無人航空機に設置され、ビーコンからの信号を受信し、無人航空機が電子網内であることを常時確認する。 Here, the electronic network is further supplemented. The electronic network is a safe navigation mechanism that prevents unmanned aerial vehicles such as drones from flying outside the assumed navigation area by electronically constructing boundaries where they can fly. This mechanism works independently of the unmanned aerial vehicle system to recognize the electronic network even in an abnormal situation of the unmanned aerial vehicle, and if it goes out of the electronic network, the navigation is stopped urgently. The electronic network system consists of an electronic network control device and an electronic network beacon. The electronic network control device is installed in an unmanned aerial vehicle such as a drone, receives a signal from a beacon, and constantly confirms that the unmanned aerial vehicle is in the electronic network.
電子網制御装置は、3つ以上の電子網ビーコンの信号を受信し、無人航空機が航行エリア内であることを常時確認する。電子網制御装置は、無人航空機の制御信号の周波数帯と同じ周波数帯の無線装置を搭載し、無人航空機が電子網の外に出たと判断した場合、無人航空機の制御と通信を事前に決められた時間遮断し、無人航空機の飛行を停止させる。それでも無人航空機が電子網から離れていく場合、電子網制御装置は、無人航空機の主電源を遮断し航行を停止させる。 The electronic network controller receives signals from three or more electronic network beacons and constantly confirms that the unmanned aerial vehicle is within the navigation area. The electronic network control device is equipped with a wireless device in the same frequency band as the control signal of the unmanned aerial vehicle, and if it is determined that the unmanned aerial vehicle has gone out of the electronic network, the control and communication of the unmanned aerial vehicle are predetermined. Shut off for a while and stop the flight of the unmanned aerial vehicle. If the unmanned aerial vehicle still moves away from the electronic network, the electronic network controller shuts off the main power of the unmanned aerial vehicle and stops navigation.
電子網ビーコンは、地上の航行エリアの境界線に沿って複数設置され、境界線上に複数の電子網ビーコンと航行エリア内に一つ以上の電子網ビーコンを設置して航行エリアを確定する。電子ビーコンは、サブGHz帯の近距離無線通信信号を発信し電子網制御装置に電子網の位置を伝える。電子ビーコンの信号は、電子ビーコン識別番号を有し、複数の電子網が隣接していてもそれらを識別し、自分の電子網と区別する。 A plurality of electronic network beacons are installed along the boundary line of the navigation area on the ground, and a plurality of electronic network beacons and one or more electronic network beacons are installed in the navigation area on the boundary line to determine the navigation area. The electronic beacon transmits a short-range wireless communication signal in the sub GHz band and conveys the position of the electronic network to the electronic network control device. The signal of the electronic beacon has an electronic beacon identification number, and even if a plurality of electronic networks are adjacent to each other, they are identified and distinguished from their own electronic network.
次に、図10のフローチャートを参照して、図5のステップS12で実行される画像解析部31dによる人工知能技術を用いた画像解析処理について詳細に説明する。尚、ここでは、図11及び図12を適宜参照しつつ説明を進める。
Next, with reference to the flowchart of FIG. 10, the image analysis process using the artificial intelligence technique by the
この処理を開始すると、画像解析部31dは、先ず図11(a)に示されるような入力画像を基に、図11(b)に示されるように、モジュール領域の分類を行う(S21)。続いて、画像解析部31dは、図11(c)に示されるようなモジュール領域の閾値画像を生成する(S22)。この実施形態では、閾値は、周辺画像の温度+2度を基準に生成されるものとする。モジュール上でない領域は、RGB値の閾値が255に設定される。
When this process is started, the
次いで、画像解析部31dは、図11(d)に示されるように、入力画像の方が閾値画像よりもRGB値が大きい領域を、差分画像と検出する(S23)。次いで、図11(e)に示されるように、差分画像のノイズ除去を行う(S24)。これにより、分類対象とすべき領域が得られることになる。そして、検出された領域の短編が所定画素(例えば、8ピクセル)未満の領域を除外し(S25)、解析結果DB35をライブラリとして参照しつつディープラニング技術を用いて候補領域の分類を行い(S26)、本処理をリターンすることになる。出力画像の様子は、図11(f)に示される。
Next, as shown in FIG. 11D, the
前述したステップS26の候補領域の分類では、図12(a)乃至図12(d)に示されるような異常のいずれに該当するか、分類することになる。即ち、図12(a)は、セルの異常を示しており、詳細にはセルクラック、モジュールの汚れ、影、ジャンクションボックス異常等がこれに該当する。図12(b)は、モジュールの異常を示しており、ガラス割れ、バックシート異常等がこれに該当する。図12(c)は、クラスタの異常を示しており、インタコネクタ不良、半田不良、バイパスダイオードショート等がこれに該当する。そして、図12(d)は、ストリングの異常を示しており、コネクタ損傷、ケーブル損傷、接続箱開放等がこれに該当する。 In the classification of the candidate region in step S26 described above, it is necessary to classify which of the abnormalities shown in FIGS. 12 (a) to 12 (d) corresponds to. That is, FIG. 12A shows an abnormality in the cell, and in detail, a cell crack, a stain on the module, a shadow, an abnormality in the junction box, and the like correspond to this. FIG. 12B shows an abnormality in the module, which corresponds to glass breakage, backsheet abnormality, and the like. FIG. 12 (c) shows an abnormality of the cluster, which corresponds to an interconnector failure, a solder failure, a bypass diode short circuit, and the like. FIG. 12D shows an abnormality in the string, which corresponds to connector damage, cable damage, junction box opening, and the like.
画像解析部31dは、絞り込まれた領域の大きさや形に基づいて、解析結果DB35をライブラリとして参照しつつ、各領域が上記いずれの異常に該当するのか分類することになる。解析結果は、解析結果DB35に格納され、検出を行う度に解析結果はビックデータを構築するような仕組みになっているので、検出を繰り返すごとに検出精度が高まることが期待される。
The
従って、画像解析部31dによる画像解析によれば、モジュールの異常の態様(セルの異常、モジュールの異常、クラスタの異常、ストリングの異常等)及び箇所を検出し特定することが可能となる。より詳細には、クラスタ、ホットスポット、モジュール全体、ストリングのいずれの異常であるのか、それが画像上のいずれの箇所なのかを特定することが可能となる。
Therefore, according to the image analysis by the
以上説明したように、本発明の一実施形態によれば、無人航空機としてのドローン1と指令端末としてのステーション端末2とデータセンタのサーバ装置3とを備え、検査対象物を検査する検査システムであって、無人航空機1は、指令端末2と通信する第1通信部12と、航路制御情報に基づいて航行制御を行う航行制御部11cと、撮影制御情報に基づいて実画像及び赤外線画像を撮影するカメラ13と、を備え、指令端末2は、無人航空機1及び前記サーバ装置3と通信する第2通信部22と、サーバ装置3からの航路情報に基づいて前記航行制御情報を生成し、第2通信部22を介して無人航空機1に送信する無人航空機制御部21dと、無人航空機1のカメラ13による撮影を制御する撮影制御情報を生成し、第2通信部22を介して無人航空機1に送信するカメラ制御部21eと、を備え、サーバ装置3は、指令端末2と通信する第3通信部32と、航路情報を記憶する第1記憶部としての航路情報DB34と、画像解析結果を記憶する第2記憶部としての解析結果DB35と、撮影情報に含まれる画像を解析する画像解析部31dと、を備え、無人航空機1は、撮影により得られた撮影画像を第1通信部12を介して指令端末2に送信し、指令端末2は、撮影画像を第2通信部22を介してサーバ装置3に転送し、サーバ装置3は、第3通信部32が撮影画像を受信し、画像解析部31dは、撮影画像中の異常領域を特定し、第2記憶部35に記憶された過去の画像解析結果を参照しつつ異常の態様を特定する検査システムが提供される。
As described above, according to one embodiment of the present invention, the inspection system includes a
ここで、画像解析部31dは、異常領域であるか否かを、RGB値の閾値との比較で特定することとしてよい。さらに、画像解析部31dは、異常領域の異常の態様を、当該異常領域の大きさ及び形状に基づいて特定することとしてよい。
Here, the
従って、ドローンを遠隔制御することでリアルタイムに検査対象物の異常の態様と箇所を検出し、ステーション端末でリアルタイムに確認できるようにすると共に、検査報告書を簡易且つ迅速に自動的に作成して提供することが可能となる。 Therefore, by remotely controlling the drone, the mode and location of the abnormality of the inspection target can be detected in real time, and it can be confirmed in real time on the station terminal, and the inspection report can be created easily, quickly and automatically. It will be possible to provide.
以上、本発明の一実施形態について説明したが、本発明はこれに限定されることなくその趣旨を逸脱しない範囲で種々の改良・変更が可能であることは勿論である。 Although one embodiment of the present invention has been described above, it goes without saying that the present invention is not limited to this and various improvements and changes can be made without departing from the spirit of the present invention.
例えば、検出対象物や検出可能な異常の種類は、前述したものに限定されるものではなく、各種のものに対応することが可能である。 For example, the types of objects to be detected and the types of abnormalities that can be detected are not limited to those described above, and can correspond to various types.
1…ドローン、2…ステーション端末、3…サーバ装置、4…ネットワーク、11…制御部、11a…主制御部、11b…撮影制御部、11c…航行制御部、11d…位置情報取得部、11e…撮影情報取得部、12…通信部、13…カメラ、14…GPS、15…駆動系、16…ジャイロユニット、17…記憶部、21…制御部、21a…主制御部、21b…航路情報取得部、21c…撮影情報・位置情報取得部、21d…ドローン制御部、21e…カメラ制御部、21f…表示制御部、22…通信部、23…操作部、24…表示部、25…記憶部、31…制御部、31a…主制御部、31b…検査対象登録部、31c…ドローン航路設定部、31d…画像解析部、31e…検査報告書生成部、32…通信部、33…検査対象登録DB、34…航路情報DB、35…解析結果DB、36…検査報告書DB、37…記憶部、38…プログラム。 1 ... Drone, 2 ... Station terminal, 3 ... Server device, 4 ... Network, 11 ... Control unit, 11a ... Main control unit, 11b ... Shooting control unit, 11c ... Navigation control unit, 11d ... Position information acquisition unit, 11e ... Shooting information acquisition unit, 12 ... communication unit, 13 ... camera, 14 ... GPS, 15 ... drive system, 16 ... gyro unit, 17 ... storage unit, 21 ... control unit, 21a ... main control unit, 21b ... route information acquisition unit , 21c ... Shooting information / position information acquisition unit, 21d ... Drone control unit, 21e ... Camera control unit, 21f ... Display control unit, 22 ... Communication unit, 23 ... Operation unit, 24 ... Display unit, 25 ... Storage unit, 31 ... Control unit, 31a ... Main control unit, 31b ... Inspection target registration unit, 31c ... Drone route setting unit, 31d ... Image analysis unit, 31e ... Inspection report generation unit, 32 ... Communication unit, 33 ... Inspection target registration DB, 34 ... Route information DB, 35 ... Analysis result DB, 36 ... Inspection report DB, 37 ... Storage unit, 38 ... Program.
Claims (4)
前記無人航空機は、
前記指令端末と通信する第1通信部と、
航路制御情報に基づいて航行制御を行う航行制御部と、
撮影制御情報に基づいて実画像及び赤外線画像を撮影するカメラと、を備え、
前記指令端末は、
前記無人航空機及び前記サーバ装置と通信する第2通信部と、
前記サーバ装置からの航路情報に基づいて前記航行制御情報を生成し、前記第2通信部を介して前記無人航空機に送信する無人航空機制御部と、
前記無人航空機のカメラによる撮影を制御する前記撮影制御情報を生成し、前記第2通信部を介して前記無人航空機に送信するカメラ制御部と、を備え、
前記サーバ装置は、
前記指令端末と通信する第3通信部と、
前記航路情報を記憶する第1記憶部と、
画像解析結果を記憶する第2記憶部と、
前記撮影情報に含まれる画像を解析する画像解析部と、を備え、
前記無人航空機は、前記撮影により得られた撮影画像を、前記第1通信部を介して前記指令端末に送信し、前記指令端末は、前記撮影画像を、前記第2通信部を介して前記サーバ装置に転送し、前記サーバ装置は、前記第3通信部が前記撮影画像を受信し、
前記画像解析部は、前記撮影画像についてモジュール領域の分類を行い、前記モジュール領域の閾値画像を生成し、前記撮影画像の方が前記閾値画像よりもRGB値が大きい領域を差分画像として検出し、前記差分画像のノイズ除去を行い、分類対象とすべき領域を特定し、この特映された領域の短編が所定画素未満の領域を除外することで、前記撮影画像中の異常領域を特定し、前記第2記憶部に記憶された過去の画像解析結果を参照しつつ異常の態様を特定する
検査システム。 An inspection system equipped with an unmanned aerial vehicle, a command terminal, and a server device to inspect an object to be inspected.
The unmanned aerial vehicle
The first communication unit that communicates with the command terminal and
A navigation control unit that controls navigation based on navigation control information,
It is equipped with a camera that shoots real images and infrared images based on shooting control information.
The command terminal is
A second communication unit that communicates with the unmanned aerial vehicle and the server device,
An unmanned aerial vehicle control unit that generates the navigation control information based on the route information from the server device and transmits the navigation control information to the unmanned aerial vehicle via the second communication unit.
A camera control unit that generates the shooting control information that controls shooting by the camera of the unmanned aerial vehicle and transmits the shooting control information to the unmanned aerial vehicle via the second communication unit is provided .
The server device is
A third communication unit that communicates with the command terminal,
The first storage unit that stores the route information and
A second storage unit that stores image analysis results,
It is equipped with an image analysis unit that analyzes the image included in the shooting information.
The unmanned aerial vehicle transmits the photographed image obtained by the photographing to the command terminal via the first communication unit, and the command terminal transmits the photographed image to the server via the second communication unit. The server device is transferred to the device, and the third communication unit receives the captured image in the server device.
The image analysis unit classifies the module region of the captured image, generates a threshold image of the module region, and detects a region where the captured image has a larger RGB value than the threshold image as a difference image. By removing noise from the difference image, identifying an area to be classified, and excluding an area where the short film of this specially projected area is less than a predetermined pixel, an abnormal area in the captured image is specified. An inspection system that identifies an abnormality mode with reference to past image analysis results stored in the second storage unit.
前記指令端末は、前記サーバ装置からの航路情報に基づいて航行制御情報を生成し、前記カメラを制御するための撮影制御情報を生成し、航行制御情報及び撮影制御情報に基づいて前記無人航空機の航行及び撮影を制御し、
前記無人航空機は、前記指令端末の制御に基づいて、航行及び撮影を行い、撮影画像を前記指令端末に送信し、
前記指令端末は、前記撮影画像を前記サーバ装置に転送し、
前記サーバ装置は、前記撮影画像についてモジュール領域の分類を行い、前記モジュール領域の閾値画像を生成し、前記撮影画像の方が前記閾値画像よりもRGB値が大きい領域を差分画像として検出し、前記差分画像のノイズ除去を行い、分類対象とすべき領域を特定し、この特映された領域の短編が所定画素未満の領域を除外することで、前記撮影画像中の異常領域を特定し、過去の画像解析結果を参照しつつ、異常の態様を特定する
検査方法。 It is an inspection method using an inspection system that is equipped with an unmanned aerial vehicle, a command terminal, and a server device, and inspects the inspection target.
The command terminal generates navigation control information based on the navigation information from the server device, generates shooting control information for controlling the camera, and generates shooting control information for controlling the camera, and the unmanned aerial vehicle based on the navigation control information and the shooting control information. Control navigation and shooting,
The unmanned aerial vehicle navigates and shoots under the control of the command terminal, and transmits the shot image to the command terminal.
The command terminal transfers the captured image to the server device, and the command terminal transfers the captured image to the server device.
The server device classifies the module region of the captured image, generates a threshold image of the module region, detects a region where the captured image has a larger RGB value than the threshold image, and detects the region as a difference image. By removing noise from the difference image, identifying the area to be classified, and excluding the area where the short film of this specially projected area is less than a predetermined pixel, the abnormal area in the captured image is specified, and the past. An inspection method that identifies the mode of abnormality while referring to the image analysis results of.
前記指令端末と通信する通信部と、
航路情報を記憶する第1記憶部と、
画像解析結果を記憶する第2記憶部と、
前記無人航空機による撮影で得られた撮影画像を解析する画像解析部と、を備え、
前記画像解析部は、前記通信部を介して前記指令端末からの撮影画像を受信すると、前記撮影画像についてモジュール領域の分類を行い、前記モジュール領域の閾値画像を生成し、前記撮影画像の方が前記閾値画像よりもRGB値が大きい領域を差分画像として検出し、前記差分画像のノイズ除去を行い、分類対象とすべき領域を特定し、この特映された領域の短編が所定画素未満の領域を除外することで、前記撮影画像中の異常領域を特定し、前記第2記憶部に記憶された過去の画像解析結果を参照しつつ異常の態様を特定する
サーバ装置。 It is a server device that inspects objects to be inspected by freely communicating with unmanned aerial vehicles and command terminals.
A communication unit that communicates with the command terminal,
The first storage unit that stores route information and
A second storage unit that stores image analysis results,
It is equipped with an image analysis unit that analyzes the captured image obtained by shooting with the unmanned aerial vehicle.
When the image analysis unit receives the captured image from the command terminal via the communication unit, the image analysis unit classifies the captured image into a module region, generates a threshold image of the module region, and the captured image is better. A region having a larger RGB value than the threshold image is detected as a difference image, noise is removed from the difference image, a region to be classified is specified, and a short film of this specially projected region is a region having less than a predetermined pixel. By excluding the above, a server device that identifies an abnormal region in the captured image and identifies an abnormal mode while referring to a past image analysis result stored in the second storage unit.
前記サーバ装置を、
前記無人航空機による撮影で得られた撮影画像を解析する画像解析部、
として機能させ、
前記画像解析部は、前記撮影画像についてモジュール領域の分類を行い、前記モジュール領域の閾値画像を生成し、前記撮影画像の方が前記閾値画像よりもRGB値が大きい領域を差分画像として検出し、前記差分画像のノイズ除去を行い、分類対象とすべき領域を特定し、この特映された領域の短編が所定画素未満の領域を除外することで、前記撮影画像中の異常領域を特定し、過去の画像解析結果を参照しつつ、異常の態様を特定するプログラム。 A program that can communicate freely with unmanned aerial vehicles and command terminals and is executed by a server device that inspects objects to be inspected.
The server device
An image analysis unit that analyzes captured images obtained by shooting with the unmanned aerial vehicle,
To function as
The image analysis unit classifies the module region of the captured image, generates a threshold image of the module region, and detects a region where the captured image has a larger RGB value than the threshold image as a difference image. By removing noise from the difference image, identifying an area to be classified, and excluding an area where the short film of this specially projected area is less than a predetermined pixel, an abnormal area in the captured image is specified. A program that identifies the mode of abnormality while referring to past image analysis results.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017177583A JP7045030B2 (en) | 2017-09-15 | 2017-09-15 | Inspection system, inspection method, server equipment, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017177583A JP7045030B2 (en) | 2017-09-15 | 2017-09-15 | Inspection system, inspection method, server equipment, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019052954A JP2019052954A (en) | 2019-04-04 |
JP7045030B2 true JP7045030B2 (en) | 2022-03-31 |
Family
ID=66013719
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017177583A Active JP7045030B2 (en) | 2017-09-15 | 2017-09-15 | Inspection system, inspection method, server equipment, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7045030B2 (en) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6938749B2 (en) * | 2019-04-26 | 2021-09-22 | コムシス情報システム株式会社 | Aerial image identification system and aerial image identification method. |
JP6799635B2 (en) * | 2019-04-26 | 2020-12-16 | コムシス情報システム株式会社 | Aerial image positioning system and aerial image positioning method. |
JP6829846B2 (en) * | 2019-06-03 | 2021-02-17 | 株式会社インフォマティクス | Structure inspection system, structure inspection method and program |
WO2021005782A1 (en) * | 2019-07-11 | 2021-01-14 | 株式会社センシンロボティクス | Management server and management system for flying object |
JP7314466B2 (en) * | 2019-07-16 | 2023-07-26 | 株式会社竹中工務店 | Unmanned aerial vehicle, imaging system, and program |
JP6715541B1 (en) * | 2019-09-09 | 2020-07-01 | 株式会社センシンロボティクス | Aircraft management server and management system |
JPWO2021054306A1 (en) * | 2019-09-18 | 2021-03-25 | ||
JP7308733B2 (en) * | 2019-11-29 | 2023-07-14 | コムシス情報システム株式会社 | State determination system and state determination method. |
WO2021117093A1 (en) * | 2019-12-09 | 2021-06-17 | 日本電信電話株式会社 | Abnormality detection method, abnormality detection device, and program |
JP2021015590A (en) * | 2020-01-31 | 2021-02-12 | 株式会社センシンロボティクス | Management server and management system for flight vehicle |
KR102347616B1 (en) * | 2020-05-06 | 2022-01-06 | 주식회사 대경산전 | Fault reading system for solar power plant based on thermal image subtraction analysis |
JP6800505B1 (en) * | 2020-07-02 | 2020-12-16 | 株式会社センシンロボティクス | Aircraft management server and management system |
KR102217549B1 (en) * | 2020-09-04 | 2021-02-19 | 주식회사 엠지아이티 | Method and system for soar photovoltaic power station monitoring |
CN114285374A (en) * | 2021-12-14 | 2022-04-05 | 上海电气集团股份有限公司 | Equipment positioning method and system for photovoltaic power station, electronic equipment and storage medium |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013152655A (en) | 2012-01-26 | 2013-08-08 | Hitachi Ltd | Abnormality diagnostic method and health management method for plant or facility |
US20150229269A1 (en) | 2014-02-07 | 2015-08-13 | James Rand | Method and equipment for testing photovoltaic arrays |
JP2016205910A (en) | 2015-04-20 | 2016-12-08 | 株式会社明電舎 | Solar panel appearance monitoring device |
WO2017043276A1 (en) | 2015-09-10 | 2017-03-16 | 富士フイルム株式会社 | Damage information extraction device, damage information extraction method and damage information extraction program |
JP2017078575A (en) | 2015-10-19 | 2017-04-27 | エナジー・ソリューションズ株式会社 | Checkup system, and checkup method |
JP2017090081A (en) | 2015-11-04 | 2017-05-25 | 株式会社島津製作所 | Appearance inspecting device and appearance inspecting method |
JP2017103908A (en) | 2015-12-01 | 2017-06-08 | ティー・エス・ビー株式会社 | Solar cell inspection system |
-
2017
- 2017-09-15 JP JP2017177583A patent/JP7045030B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013152655A (en) | 2012-01-26 | 2013-08-08 | Hitachi Ltd | Abnormality diagnostic method and health management method for plant or facility |
US20150229269A1 (en) | 2014-02-07 | 2015-08-13 | James Rand | Method and equipment for testing photovoltaic arrays |
JP2016205910A (en) | 2015-04-20 | 2016-12-08 | 株式会社明電舎 | Solar panel appearance monitoring device |
WO2017043276A1 (en) | 2015-09-10 | 2017-03-16 | 富士フイルム株式会社 | Damage information extraction device, damage information extraction method and damage information extraction program |
JP2017078575A (en) | 2015-10-19 | 2017-04-27 | エナジー・ソリューションズ株式会社 | Checkup system, and checkup method |
JP2017090081A (en) | 2015-11-04 | 2017-05-25 | 株式会社島津製作所 | Appearance inspecting device and appearance inspecting method |
JP2017103908A (en) | 2015-12-01 | 2017-06-08 | ティー・エス・ビー株式会社 | Solar cell inspection system |
Also Published As
Publication number | Publication date |
---|---|
JP2019052954A (en) | 2019-04-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7045030B2 (en) | Inspection system, inspection method, server equipment, and program | |
JP6569114B2 (en) | Inspection system and inspection method | |
US10187806B2 (en) | Systems and methods for obtaining accurate 3D modeling data using multiple cameras | |
CN108496129B (en) | Aircraft-based facility detection method and control equipment | |
US10192354B2 (en) | Systems and methods for obtaining accurate 3D modeling data using UAVS for cell sites | |
WO2018208995A1 (en) | Self-localized mobile sensor network for autonomous robotic inspection | |
US20150134152A1 (en) | Integrated remote aerial sensing system | |
US10313575B1 (en) | Drone-based inspection of terrestrial assets and corresponding methods, systems, and apparatuses | |
KR20200048615A (en) | Realtime inspecting drone for solar photovoltaic power station basen on machine learning | |
JP6203569B2 (en) | Bridge damage state investigation system, bridge damage state investigation method and aerial mobile equipment | |
US10311565B2 (en) | Cell site equipment verification using 3D modeling comparisons | |
JP6039050B1 (en) | Inspection method for structures using drone | |
JP6802599B1 (en) | Inspection system | |
CN107111313A (en) | Solar panel is checked with unmanned vehicle | |
CN112953383A (en) | Method and equipment for detecting photovoltaic panel and unmanned aerial vehicle | |
KR101664908B1 (en) | Unmanned air vehicle for monitoring solar cell panel and accurate moving method of the same | |
US10475239B1 (en) | Systems and methods for obtaining accurate 3D modeling data with a multiple camera apparatus | |
CN113311861B (en) | Automatic detection method and system for hidden crack characteristics of photovoltaic module | |
KR101664909B1 (en) | Unmanned air vehicle for monitoring solar cell panel using shape of solar cell panel and posture control method of the same | |
KR20210001342A (en) | A system and appratus for managing a solar panel using an unmaned aerial vehicle | |
US20220139078A1 (en) | Unmanned aerial vehicle, communication method, and program | |
CN112365763B (en) | Unmanned aerial vehicle inspection training method and system for power equipment | |
CN112106342B (en) | Computer system, unmanned aerial vehicle control method, and recording medium | |
KR102162342B1 (en) | Drone for obtaining high quality image to inspect solar panel and flight control method thereof | |
CN115797612A (en) | Method, system, device and storage medium for acquiring image of overlay target object |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200901 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210611 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210622 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210812 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210909 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220215 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220309 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7045030 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |