JP2019053446A - Abnormal place detection system - Google Patents
Abnormal place detection system Download PDFInfo
- Publication number
- JP2019053446A JP2019053446A JP2017176136A JP2017176136A JP2019053446A JP 2019053446 A JP2019053446 A JP 2019053446A JP 2017176136 A JP2017176136 A JP 2017176136A JP 2017176136 A JP2017176136 A JP 2017176136A JP 2019053446 A JP2019053446 A JP 2019053446A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- information
- abnormal
- power plant
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 216
- 238000001514 detection method Methods 0.000 title claims abstract description 109
- 238000003384 imaging method Methods 0.000 claims abstract description 117
- 230000005540 biological transmission Effects 0.000 claims abstract description 35
- 239000002131 composite material Substances 0.000 claims description 92
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000012937 correction Methods 0.000 claims description 13
- 239000003550 marker Substances 0.000 claims description 13
- 238000010248 power generation Methods 0.000 abstract description 2
- 150000001875 compounds Chemical class 0.000 abstract 2
- 238000013329 compounding Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 20
- 238000004891 communication Methods 0.000 description 12
- 238000007689 inspection Methods 0.000 description 12
- 238000012986 modification Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 238000000034 method Methods 0.000 description 7
- 230000005856 abnormality Effects 0.000 description 6
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 2
- 229910052799 carbon Inorganic materials 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000020169 heat generation Effects 0.000 description 2
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 2
- 239000003973 paint Substances 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000008635 plant growth Effects 0.000 description 2
- 238000001931 thermography Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02S—GENERATION OF ELECTRIC POWER BY CONVERSION OF INFRARED RADIATION, VISIBLE LIGHT OR ULTRAVIOLET LIGHT, e.g. USING PHOTOVOLTAIC [PV] MODULES
- H02S50/00—Monitoring or testing of PV systems, e.g. load balancing or fault identification
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
- B64U10/13—Flying platforms
- B64U10/16—Flying platforms with five or more distinct rotor axes, e.g. octocopters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E10/00—Energy generation through renewable energy sources
- Y02E10/50—Photovoltaic [PV] energy
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Analytical Chemistry (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Processing (AREA)
- Photovoltaic Devices (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
Description
本発明は、異常箇所検出システムに関する。 The present invention relates to an abnormal point detection system.
従来、再生可能エネルギーの一種として、太陽光を用いた発電システムが注目されている。太陽光発電所で用いられるソーラーパネルは、屋外に設置されていることもあり、故障を未然に防ぐため、定期的に点検をする必要がある。とりわけ、大規模な太陽光発電所であるメガソーラーには、膨大な数の太陽光パネルが設置されており、これらのソーラーパネルを効率よく点検するために、近年、ドローンを利用した太陽光パネルの点検方法が開発されている。 Conventionally, a power generation system using sunlight is attracting attention as a kind of renewable energy. Solar panels used in solar power plants are sometimes installed outdoors, and it is necessary to inspect them regularly to prevent breakdowns. In particular, mega solar, a large-scale solar power plant, has a large number of solar panels installed. In order to efficiently check these solar panels, solar panels using drones have recently been used. An inspection method has been developed.
例えば、特許文献1は、自律無人飛行ヘリコプタと撮影画像表示装置とを備えた構造物点検システムであって、撮影データに基づいて構造物の異常と判定された部分の温度を示す画像と、撮影データの取得位置を示す構造物点検システムを開示している。 For example, Patent Document 1 is a structure inspection system including an autonomous unmanned flight helicopter and a captured image display device, and an image showing the temperature of a portion determined to be an abnormality of the structure based on the captured data, and a captured image A structure inspection system indicating the data acquisition position is disclosed.
また、特許文献2は、無人航空機と、指令端末と、サーバ装置とを備え、検査対象物を検査する検査システムであって、画像解析部が撮影情報を解析し、検査対象物の欠陥を特定する検査システムを開示している。 Patent Document 2 is an inspection system that includes an unmanned aerial vehicle, a command terminal, and a server device and inspects an inspection object, and an image analysis unit analyzes imaging information to identify defects in the inspection object. An inspection system is disclosed.
しかし、特許文献1及び特許文献2に係る方法において、構造物や検査対象物の異常箇所を特定できたとしても、この方法をメガソーラー等のように大規模な設備に適用した場合、異常箇所が存在する領域を、詳細かつ明確に特定できない。このため、メガソーラーの保守員は、異常箇所を有するソーラーパネルに対して、スムーズに行き着くことはできなかった。特許文献1及び特許文献2に係る方法を、メガソーラーに限らず、例えば橋梁等の大規模設備に適用した場合についても同様である。 However, in the method according to Patent Document 1 and Patent Document 2, even if an abnormal part of a structure or an inspection object can be identified, when this method is applied to a large-scale facility such as a mega solar, It is not possible to specify in detail and clearly the area where there is. For this reason, the mega solar maintenance staff could not reach the solar panel with abnormal parts smoothly. The same applies to the case where the methods according to Patent Document 1 and Patent Document 2 are applied not only to mega solar but also to large-scale facilities such as bridges.
本発明は、太陽光発電所や橋梁等の大規模設備において、異常箇所を有する要素の場所を、詳細かつ明確に特定することが可能な異常箇所検出システムを提供することを目的とする。 An object of the present invention is to provide an abnormal point detection system capable of specifying in detail and clearly the location of an element having an abnormal point in a large-scale facility such as a solar power plant or a bridge.
前記目的を達成するため、本発明は、次に記載する構成を備えている。 In order to achieve the above object, the present invention has the following configuration.
(1) 撮像装置と、ユーザ端末とを備える、異常箇所検出システムであって、前記撮像装置は、設備の画像を撮像する撮像部と、前記画像を前記ユーザ端末に送信する送信部とを備え、前記ユーザ端末は、前記画像を前記撮像装置から受信する受信部と、前記設備の図面であって、前記設備を構成する要素の各々の場所情報を有する図面を記憶する記憶部と、前記画像に基づいて、前記要素の異常箇所を検出する異常箇所検出部と、前記図面に記載された要素の輪郭と、前記画像内の要素の輪郭とが対応するように、前記図面と前記画像とを重ね合わせた複合画像を生成する複合部と、前記複合画像に基づいて、前記異常箇所が検出された要素の場所情報を、表示装置に出力する異常箇所出力部と、を備える、異常箇所検出システム。 (1) An abnormal location detection system including an imaging device and a user terminal, wherein the imaging device includes an imaging unit that captures an image of equipment and a transmission unit that transmits the image to the user terminal. The user terminal includes a receiving unit that receives the image from the imaging device, a drawing of the facility, and a storage unit that stores a drawing having location information of each of the elements constituting the facility, and the image And the image and the image so that the abnormal part detection unit for detecting the abnormal part of the element corresponds to the outline of the element described in the drawing and the outline of the element in the image. An abnormal part detection system comprising: a composite part that generates a superimposed composite image; and an abnormal part output unit that outputs, to a display device, location information of an element in which the abnormal part is detected based on the composite image. .
(1)によれば、大規模設備において、異常箇所を有する要素の場所を、詳細かつ明確に特定することが可能となる。とりわけ、大規模設備の画像と、例えば上記の図面としてのCADデータとを連携することが可能となる。 According to (1), in a large-scale facility, the location of an element having an abnormal location can be specified in detail and clearly. In particular, it is possible to link an image of a large-scale facility with, for example, CAD data as the above-described drawing.
(2) (1)において、前記複合部は、前記複合画像の生成の際、前記要素内の前記異常箇所のみを強調して、前記表示装置に表示する、異常箇所検出システム。 (2) The abnormal part detection system according to (1), wherein the composite unit emphasizes only the abnormal part in the element and displays it on the display device when the composite image is generated.
(2)によれば、異常箇所検出システムのユーザが、異常箇所が検出された要素の場所を、グラフィカルに把握することが可能となる。 According to (2), the user of the abnormal part detection system can grasp the location of the element where the abnormal part is detected graphically.
(3) (1)又は(2)において、前記ユーザ端末は、複数の前記画像をパノラマ画像としてパノラマ化するパノラマ化部を更に備え、前記異常箇所検出部は、前記パノラマ画像に基づいて、前記要素の異常箇所を検出し、前記複合部は、前記図面に記載された前記要素の輪郭と、前記パノラマ画像内の前記要素の輪郭とが対応するように、前記図面と前記パノラマ画像とを重ね合わせた複合画像を生成する、異常箇所検出システム。 (3) In (1) or (2), the user terminal further includes a panorama unit that panorizes a plurality of the images as panorama images, and the abnormal part detection unit is configured to generate the panorama image based on the panorama image. An abnormal part of an element is detected, and the composite unit superimposes the drawing and the panoramic image so that the outline of the element described in the drawing corresponds to the outline of the element in the panoramic image. An abnormal part detection system that generates a combined composite image.
(3)によれば、大規模設備を複数の領域に分割し、分割された領域毎に撮像した後、撮像された複数の画像を用いてパノラマ画像を生成することにより、一度では大規模設備の全体像を撮像できない場合に対応することが可能となる。 According to (3), after dividing a large-scale facility into a plurality of regions, and capturing images for each of the divided regions, generating a panoramic image using the captured plurality of images, a large-scale facility at a time It is possible to cope with the case where the whole image of the image cannot be captured.
(4) (1)〜(3)において、前記設備に設置される複数のマーカを更に備え、前記撮像部は、前記マーカを含むように、前記画像を撮像し、前記図面は、前記マーカの輪郭図を含み、前記複合部は、前記画像に含まれる前記マーカの輪郭と、前記図面に含まれる前記マーカの輪郭とを一致させることにより、前記図面と前記画像とを重ね合わせた前記複合画像を生成する、異常箇所検出システム。 (4) In (1) to (3), the apparatus further includes a plurality of markers installed in the facility, and the imaging unit captures the image so as to include the markers. The composite image includes an outline diagram, and the composite unit overlaps the image with the image by matching the contour of the marker included in the image with the contour of the marker included in the drawing. An abnormal location detection system that generates
(4)によれば、大規模設備の図面と、撮像装置が撮像した画像、又は撮像装置が撮像した複数の画像から生成されるパノラマ画像とを、より正確に重ね合わせることが可能となり、延いては、異常箇所の場所をより正確に特定することが可能となる。 According to (4), it is possible to more accurately superimpose a drawing of a large-scale facility and a panoramic image generated from an image captured by the imaging device or a plurality of images captured by the imaging device. Thus, the location of the abnormal part can be specified more accurately.
(5) (4)において、前記マーカは、互いに形状が異なる、異常箇所検出システム。 (5) The abnormal point detection system according to (4), wherein the markers have different shapes.
(5)によれば、大規模設備の図面と、撮像装置が撮像した画像、又は撮像装置が撮像した複数の画像から生成されるパノラマ画像とを重ね合わせる際に、マーカの取り違えを防止することが可能となる。 According to (5), when a drawing of a large-scale facility and an image captured by an imaging device or a panoramic image generated from a plurality of images captured by the imaging device are overlaid, a marker mistake is prevented. Is possible.
(6) (4)又は(5)において、前記マーカは、1枚の前記画像又は前記パノラマ画像に対して、3つ以上存在する、異常箇所検出システム。 (6) The abnormal point detection system according to (4) or (5), wherein three or more markers exist for one image or the panoramic image.
(6)によれば、単位個数の要素当たりの、マーカの個数が比較的多くなることにより、図面(例えば太陽光発電所の平面図)と、撮像装置が撮像した画像、又は複数の画像をパノラマ化したパノラマ画像とを、より正確に重ね合わせることが可能となる。延いては、異常箇所の場所をより正確に特定することが可能となる。 According to (6), since the number of markers per unit number of elements is relatively large, a drawing (for example, a plan view of a solar power plant) and an image captured by the imaging device or a plurality of images are obtained. It is possible to overlay the panoramic panoramic image more accurately. As a result, the location of the abnormal part can be specified more accurately.
(7) (1)〜(6)において、前記撮像部は、前記画像として、前記設備の赤外線画像を撮像し、前記異常箇所検出部は、前記赤外線画像中の所定の温度範囲の領域を異常箇所として検出する、異常箇所検出システム。 (7) In (1) to (6), the imaging unit captures an infrared image of the facility as the image, and the abnormal part detection unit abnormally detects a region of a predetermined temperature range in the infrared image. Abnormal point detection system that detects as a point.
(7)によれば、大規模設備において、所定範囲の温度領域は、撮像部が撮像した画像、又は撮像部が撮像した複数の画像から生成されるパノラマ画像の色で特定できるため、人が異常箇所を視認することが可能となるだけでなく、異常箇所を自動的に検出することが可能となる。 According to (7), in a large-scale facility, a temperature range within a predetermined range can be specified by the color of a panoramic image generated from an image captured by the imaging unit or a plurality of images captured by the imaging unit. It is possible not only to visually recognize the abnormal part, but also to automatically detect the abnormal part.
(8) (7)において、前記撮像装置は、飛行体に搭載され、前記撮像部は、前記設備としての太陽光発電所に設置された、前記要素としてのソーラーパネルの赤外線画像を撮像し、前記図面は、前記太陽光発電所の平面図であって、前記ソーラーパネルの各々の場所情報を有する平面図である、異常箇所検出システム。 (8) In (7), the imaging device is mounted on a flying body, and the imaging unit captures an infrared image of a solar panel as the element installed in a solar power plant as the facility, The said figure is a top view of the said solar power plant, Comprising: The abnormal location detection system which is a top view which has each location information of the said solar panel.
(8)によれば、太陽光発電所において、異常箇所を有するソーラーパネルの場所を、詳細かつ明確に特定することが可能となる。とりわけ、ドローン等の飛行体による撮影画像を、CADデータと連携することが可能となる。 According to (8), the location of the solar panel having an abnormal location can be specified in detail and clearly in the solar power plant. In particular, it is possible to link an image taken by a flying object such as a drone with CAD data.
(9) 撮像装置と、サーバと、ユーザ端末とを備える、異常箇所検出システムであって、前記撮像装置は、設備の画像を撮像する撮像部と、前記画像を前記サーバに送信する第1送信部とを備え、前記サーバは、前記設備の図面であって、前記設備を構成する要素の各々の場所情報を有する図面を記憶する記憶部と、前記撮像装置から前記画像を、前記ユーザ端末から場所情報出力指示を受信する第1受信部と、前記画像を前記記憶部に格納する画像格納部と、前記第1受信部が前記場所情報出力指示を受信すると、前記画像に基づいて、前記要素の異常箇所を検出する異常箇所検出部と、前記図面に記載された前記要素の輪郭と、前記画像内の前記要素の輪郭とが対応するように、前記図面と前記画像とを重ね合わせた複合画像を生成する複合部と、前記複合画像に基づいて、前記異常箇所が検出された前記要素の場所情報を特定する、場所情報特定部と、前記場所情報を前記ユーザ端末に送信する第2送信部と、を備え、前記ユーザ端末は、前記サーバに、前記場所情報出力指示を送信する第3送信部と、前記サーバから、前記場所情報を受信する第2受信部と、表示装置に、前記場所情報を表示する表示部とを備える、異常箇所検出システム。 (9) An abnormal location detection system including an imaging device, a server, and a user terminal, wherein the imaging device is an imaging unit that captures an image of a facility, and a first transmission that transmits the image to the server. The server is a drawing of the equipment, and stores a drawing having location information of each element constituting the equipment, the image from the imaging device, and the user terminal A first receiving unit that receives a location information output instruction; an image storage unit that stores the image in the storage unit; and the element that receives the location information output instruction when the first receiving unit receives the location information output instruction. An abnormal part detecting unit that detects an abnormal part of the image, a composite of overlapping the drawing and the image so that the outline of the element described in the drawing corresponds to the outline of the element in the image Generate image A composite unit; a location information specifying unit that specifies location information of the element in which the abnormal location is detected based on the composite image; and a second transmission unit that transmits the location information to the user terminal. The user terminal displays the location information on a display device, a third transmission unit that transmits the location information output instruction to the server, a second reception unit that receives the location information from the server, and a display device. An abnormality location detection system comprising: a display unit for performing the operation.
(9)によれば、大規模設備において、異常箇所を有する要素の場所を、詳細かつ明確に特定することが可能となる。とりわけ、大規模設備の画像と、例えば上記の図面としてのCADデータとを連携することが可能となる。 According to (9), in a large-scale facility, the location of an element having an abnormal location can be specified in detail and clearly. In particular, it is possible to link an image of a large-scale facility with, for example, CAD data as the above-described drawing.
(10) 飛行体と、サーバと、ユーザ端末とを備える、太陽光発電所の異常箇所検出システムであって、前記飛行体は、前記太陽光発電所に含まれるソーラーパネルの赤外線画像を撮像する撮像部と、前記飛行体の位置座標情報を取得する位置座標情報取得部と、前記位置座標情報を前記赤外線画像に付加する情報付加部と、前記位置座標情報が付加された前記赤外線画像を、前記サーバに送信する第1送信部を備え、前記サーバは、前記飛行体から前記赤外線画像を受信する第1受信部と、前記赤外線画像を記憶する第1記憶部と、前記第1記憶部が記憶する赤外線画像を、前記ユーザ端末に送信する第2送信部とを備え、前記ユーザ端末は、前記赤外線画像を前記サーバから受信する第2受信部と、前記太陽光発電所の座標情報である発電所座標情報を含む地図と、前記太陽光発電所の平面図とを重ね合わせた発電所画像を記憶する第2記憶部と、複数の前記赤外線画像を、前記位置座標情報を含む1枚のパノラマ画像としてパノラマ化するパノラマ化部と、前記パノラマ画像に基づいて、前記ソーラーパネルの異常箇所を検出する異常箇所検出部と、前記発電所画像に含まれる前記発電所座標情報と、前記パノラマ画像に含まれる前記位置座標情報とが対応するように、前記発電所画像と前記パノラマ画像とを重ね合わせた複合画像を生成し、該複合画像を表示装置に対して表示させる複合部と、前記複合画像に基づいて、前記異常箇所が検出されたソーラーパネルの場所情報を、前記表示装置に出力する異常箇所出力部と、を備える、異常箇所検出システム。 (10) An abnormal spot detection system for a solar power plant, including a flying object, a server, and a user terminal, wherein the flying object captures an infrared image of a solar panel included in the solar power station. An imaging unit, a position coordinate information acquisition unit that acquires position coordinate information of the flying object, an information addition unit that adds the position coordinate information to the infrared image, and the infrared image to which the position coordinate information is added. A first transmission unit configured to transmit to the server, wherein the server includes a first reception unit that receives the infrared image from the flying object, a first storage unit that stores the infrared image, and the first storage unit. A second transmission unit that transmits an infrared image to be stored to the user terminal, wherein the user terminal is a second reception unit that receives the infrared image from the server, and coordinate information of the solar power plant. A second storage unit that stores a power plant image obtained by superimposing a map including power plant coordinate information and a plan view of the solar power plant, and a plurality of infrared images including one piece of positional coordinate information. A panoramic part for panoramicizing as a panoramic image; an abnormal part detecting part for detecting an abnormal part of the solar panel based on the panoramic image; the power plant coordinate information included in the power plant image; and the panoramic image. Generating a composite image obtained by superimposing the power plant image and the panoramic image so that the position coordinate information included in the composite image corresponds to the composite image, and displaying the composite image on a display device; and the composite An abnormal location detection system comprising: an abnormal location output unit that outputs location information of a solar panel in which the abnormal location is detected to the display device based on an image.
(10)によれば、太陽光発電所において、異常箇所を有するソーラーパネルの場所を、詳細かつ明確に特定することが可能となる。とりわけ、ドローンによる撮影画像をパノラマ化し、このパノラマ画像を、GISデータ(地理情報システム)及びCADデータと連携することが可能となる。更に、上記(4)に記載の異常箇所検出システムと異なり、太陽光発電所内にマーカを設置する必要が発生しない。 According to (10), the location of the solar panel having an abnormal location can be specified in detail and clearly in the solar power plant. In particular, the image taken by the drone can be panoramic, and this panoramic image can be linked with GIS data (geographic information system) and CAD data. Furthermore, unlike the abnormal location detection system described in (4) above, there is no need to install a marker in the solar power plant.
(11) 飛行体と、サーバと、ユーザ端末とを備える、太陽光発電所の異常箇所検出システムであって、前記飛行体は、前記太陽光発電所に含まれるソーラーパネルの赤外線画像を撮像する撮像部と、前記飛行体の位置座標情報を取得する位置座標情報取得部と、前記飛行体の高度情報を取得する高度情報取得部と、前記撮像部の方位情報を取得する方位情報取得部と、前記撮像部の傾斜情報を取得する傾斜情報取得部と、前記赤外線画像のゆがみを補正するための補正情報を取得する補正情報取得部と、前記補正情報に基づいて、前記ゆがみを補正した後における前記撮像部の画角の情報である画角情報を算出する画角情報算出部と、前記位置座標情報、前記高度情報、前記方位情報、前記傾斜情報、及び前記画角情報を前記赤外線画像に付加する情報付加部と、前記位置座標情報、前記高度情報、前記方位情報、前記傾斜情報、及び前記画角情報が付加された前記赤外線画像を、前記サーバに送信する第1送信部を備え、前記サーバは、前記飛行体から前記赤外線画像を受信する第1受信部と、前記赤外線画像を記憶する第1記憶部と、前記第1記憶部が記憶する赤外線画像を、前記ユーザ端末に送信する第2送信部とを備え、前記ユーザ端末は、前記赤外線画像を前記サーバから受信する第2受信部と、前記太陽光発電所の座標情報である発電所座標情報を含む地図と、前記太陽光発電所の平面図とを重ね合わせた発電所画像を記憶する第2記憶部と、前記赤外線画像に付加された、前記位置座標情報、前記高度情報、前記方位情報、前記傾斜情報、及び前記画角情報に基づいて、前記発電所画像に対して前記赤外線画像を投影する投影場所を算出する投影位置算出部と、前記赤外線画像に基づいて、前記ソーラーパネルの異常箇所を検出する異常箇所検出部と、複数の前記赤外線画像を、前記投影場所から、前記発電所画像に投影することにより、前記発電所画像と複数の前記赤外線画像とを重ね合わせた複合画像を生成し、表示装置に対して表示させる複合部と、前記複合画像に基づいて、前記異常箇所が検出されたソーラーパネルの場所情報を、前記表示装置に出力する異常箇所出力部と、を備える、異常箇所検出システム。 (11) A solar power plant abnormality point detection system including a flying object, a server, and a user terminal, wherein the flying object captures an infrared image of a solar panel included in the solar power station. An imaging unit, a position coordinate information acquisition unit that acquires position coordinate information of the flying object, an altitude information acquisition unit that acquires altitude information of the flying object, and an orientation information acquisition unit that acquires direction information of the imaging unit; After correcting the distortion based on the correction information, an inclination information acquisition unit that acquires inclination information of the imaging unit, a correction information acquisition unit that acquires correction information for correcting distortion of the infrared image, An angle-of-view information calculation unit that calculates angle-of-view information that is information on the angle of view of the imaging unit, and the position coordinate information, the altitude information, the orientation information, the tilt information, and the angle-of-view information as the infrared image. And an information adding unit to be added to the server, and a first transmission unit for transmitting the infrared image to which the position coordinate information, the altitude information, the azimuth information, the tilt information, and the angle-of-view information are added to the server. The server transmits a first receiving unit that receives the infrared image from the flying object, a first storage unit that stores the infrared image, and an infrared image stored in the first storage unit to the user terminal. A second transmitter that receives the infrared image from the server, a map that includes power plant coordinate information that is coordinate information of the solar power plant, and the sun A second storage unit for storing a power plant image superimposed with a plan view of the photovoltaic power plant, and the position coordinate information, the altitude information, the azimuth information, the tilt information, and the information added to the infrared image, and Based on angle of view information A projection position calculation unit that calculates a projection location for projecting the infrared image on the power plant image, an abnormal point detection unit that detects an abnormal point of the solar panel based on the infrared image, and a plurality of A composite unit that generates a composite image in which the power plant image and the plurality of infrared images are superimposed by projecting the infrared image from the projection location onto the power plant image, and displays the composite image on a display device. And an abnormal location output unit that outputs the location information of the solar panel in which the abnormal location is detected to the display device based on the composite image.
(11)によれば、太陽光発電所において、異常箇所を有するソーラーパネルの場所を、詳細かつ明確に特定することが可能となる。とりわけ、ドローンによる撮影画像をパノラマ化し、このパノラマ画像を、GIS(地理情報システム)データ及びCADデータと連携することが可能となる。更に、上記(4)に記載の異常箇所検出システムと異なり、太陽光発電所内にマーカを設置する必要が発生しない。 According to (11), the location of the solar panel having an abnormal part can be specified in detail and clearly in the solar power plant. In particular, the image taken by the drone can be panoramic, and this panoramic image can be linked with GIS (geographic information system) data and CAD data. Furthermore, unlike the abnormal location detection system described in (4) above, there is no need to install a marker in the solar power plant.
本発明によれば、太陽光発電所や橋梁等の大規模設備において、異常箇所を有する要素の場所を、詳細かつ明確に特定することが可能となる。 ADVANTAGE OF THE INVENTION According to this invention, it becomes possible to specify the location of the element which has an abnormal location in detail and clearly in large-scale installations, such as a solar power plant and a bridge.
〔第1実施形態〕
以下、本発明の第1実施形態について、図1〜図5Gを参照しながら詳述する。なお、後述のように、飛行体100は、太陽光発電所の上空を飛行すると共に、太陽光発電所を構成するソーラーパネルの赤外線画像を、上空から撮像する装置であるとしたが、これはあくまで一例であって、例えば橋梁等の他の大規模設備を撮像してもよい。
[First Embodiment]
Hereinafter, a first embodiment of the present invention will be described in detail with reference to FIGS. 1 to 5G. As will be described later, the flying object 100 is a device that flies over the solar power plant and captures an infrared image of the solar panel constituting the solar power plant from the sky. This is merely an example, and another large-scale facility such as a bridge may be imaged.
図1は、本実施形態に係る異常箇所検出システム10の全体構成図を示す。異常箇所検出システム10は、飛行体100、サーバ200、ユーザ端末300、及びネットワーク400を備え、飛行体100、サーバ200、及びユーザ端末300は、ネットワーク400を介して、互いに接続する。なお、図1においては、飛行体100、サーバ200、ユーザ端末300は、それぞれ1つずつ記載されているが、これには限定されず、異常箇所検出システム10は、任意個数の飛行体100、任意個数のサーバ200、任意個数のユーザ端末300を備えることが可能である。 FIG. 1 is an overall configuration diagram of an abnormal point detection system 10 according to the present embodiment. The abnormal point detection system 10 includes a flying object 100, a server 200, a user terminal 300, and a network 400. The flying object 100, the server 200, and the user terminal 300 are connected to each other via the network 400. In FIG. 1, one flying object 100, one server 200, and one user terminal 300 are illustrated, but the present invention is not limited to this, and the abnormal point detection system 10 includes an arbitrary number of flying objects 100, An arbitrary number of servers 200 and an arbitrary number of user terminals 300 can be provided.
飛行体100は、後述のように、図示しない制御装置から受信する制御情報に基づいて、太陽光発電所の上空を飛行すると共に、太陽光発電所を構成するソーラーパネルの赤外線画像を、上空から撮像する装置である。また、飛行体100は、撮像したソーラーパネルの赤外線画像を、後述のサーバ200に送信する。
なお、本実施形態では、飛行体100は、ドローンや、ラジコン飛行機、ラジコンヘリ等の無人の飛行体であることを想定しているが、これには限定されず、有人の飛行体を用いることも可能である。また、飛行体100は、図示しない制御装置から受信する制御情報に基づいて、飛行動作と撮像動作を実行するが、これには限定されず、例えば、ユーザ端末300から受信する制御情報に基づいて、飛行動作と撮像動作を実行してもよい。
As will be described later, the flying object 100 flies over the solar power plant based on control information received from a control device (not shown) and transmits an infrared image of the solar panel constituting the solar power plant from the sky. A device for imaging. In addition, the flying object 100 transmits the captured infrared image of the solar panel to the server 200 described later.
In the present embodiment, it is assumed that the flying object 100 is an unmanned flying object such as a drone, a radio controlled airplane, or a radio controlled helicopter. However, the present invention is not limited to this, and a manned flying object is used. Is also possible. In addition, the flying object 100 performs a flight operation and an imaging operation based on control information received from a control device (not shown), but is not limited to this, for example, based on control information received from the user terminal 300 The flight operation and the imaging operation may be executed.
サーバ200は、飛行体100から受信したソーラーパネルの赤外線画像を記憶すると共に、記憶したソーラーパネルの赤外線画像を、ユーザ端末300に送信するサーバである。 The server 200 is a server that stores the infrared image of the solar panel received from the flying object 100 and transmits the stored infrared image of the solar panel to the user terminal 300.
ユーザ端末300は、サーバ200から受信したソーラーパネルの赤外線画像と、自身が記憶する太陽光発電所の平面図とに基づいて、ソーラーパネルの異常箇所を検出し、異常箇所を出力する装置である。
なお、上記の繰り返しとなるが、ユーザ端末300は、飛行体100の飛行動作と撮像動作を制御する制御情報を生成し、この制御情報を飛行体100に送信する構成とすることも可能である。
The user terminal 300 is a device that detects an abnormal location of the solar panel based on the infrared image of the solar panel received from the server 200 and a plan view of the solar power plant stored by itself, and outputs the abnormal location. .
As described above, the user terminal 300 may be configured to generate control information for controlling the flight operation and the imaging operation of the flying object 100 and transmit the control information to the flying object 100. .
図2は、飛行体100の機能ブロック図を示す。飛行体100は、制御部110、撮像部150、及び駆動部160を備え、制御部110は、受信部111、撮像制御部112、駆動制御部113、及び送信部114を備える。 FIG. 2 shows a functional block diagram of the aircraft 100. The flying object 100 includes a control unit 110, an imaging unit 150, and a drive unit 160. The control unit 110 includes a reception unit 111, an imaging control unit 112, a drive control unit 113, and a transmission unit 114.
制御部110は、CPU、ROM、RAM、CMOSメモリ等を有し、これらはバスを介して相互に通信可能に構成される、当業者にとって公知のものである。
CPUは飛行体100を全体的に制御するプロセッサである。該CPUは、ROMに格納されたシステムプログラム及びアプリケーションプログラムを、バスを介して読み出し、該システムプログラム及びアプリケーションプログラムに従って飛行体100全体を制御することで、図2に示すように、制御部110を、受信部111、撮像制御部112、駆動制御部113、及び送信部114の機能を実現するように構成される。RAMには一時的な計算データや表示データ等の各種データが格納される。CMOSメモリは図示しないバッテリでバックアップされ、飛行体100の電源がオフされても記憶状態が保持される不揮発性メモリとして構成される。
The control unit 110 includes a CPU, a ROM, a RAM, a CMOS memory, and the like, which are known to those skilled in the art and configured to be able to communicate with each other via a bus.
The CPU is a processor that controls the flying object 100 as a whole. The CPU reads the system program and application program stored in the ROM via the bus and controls the entire vehicle 100 according to the system program and application program, thereby controlling the control unit 110 as shown in FIG. The receiving unit 111, the imaging control unit 112, the drive control unit 113, and the transmission unit 114 are configured to be realized. Various data such as temporary calculation data and display data are stored in the RAM. The CMOS memory is configured as a non-volatile memory that is backed up by a battery (not shown) and retains the memory state even when the power of the flying object 100 is turned off.
受信部111は、通信用インタフェースを介して、図示しない制御装置から、撮像及び駆動の制御に用いる制御情報を受信する。 The receiving unit 111 receives control information used for imaging and driving control from a control device (not shown) via a communication interface.
撮像制御部112は、受信部111が受信した制御情報に基づいて、ソーラーパネルの赤外線画像を撮像するため、撮像部150を制御する。 The imaging control unit 112 controls the imaging unit 150 to capture an infrared image of the solar panel based on the control information received by the receiving unit 111.
駆動制御部113は、受信部111が受信した制御情報に基づいて、飛行体100の飛行動作を実行するため、後述の駆動部160を制御する。 The drive control unit 113 controls a later-described drive unit 160 in order to execute the flight operation of the flying object 100 based on the control information received by the reception unit 111.
送信部114は、通信用インタフェースを介して、後述の撮像部150を用いて撮像したソーラーパネルの赤外線画像を、サーバ200に送信する。 The transmission unit 114 transmits an infrared image of the solar panel captured using the imaging unit 150 described later to the server 200 via the communication interface.
撮像部150は、例えば赤外線サーモグラフィカメラであり、太陽光発電所の上空から、太陽光発電所を構成するソーラーパネルの赤外線画像を撮像するための装置である。なお、以降では、撮像部150、受信部111、撮像制御部112、及び送信部114をまとめて「撮像装置」と呼称することがある。 The imaging unit 150 is, for example, an infrared thermography camera, and is an apparatus for capturing an infrared image of a solar panel constituting the solar power plant from the sky above the solar power plant. Hereinafter, the imaging unit 150, the reception unit 111, the imaging control unit 112, and the transmission unit 114 may be collectively referred to as an “imaging device”.
駆動部160は、飛行体100の飛行動作、より具体的には、飛行体100の離陸、着陸、移動、ホバリング等の動作を実行するための装置である。 The drive unit 160 is a device for executing a flight operation of the flying object 100, more specifically, operations such as take-off, landing, movement, and hovering of the flying object 100.
図3は、サーバ200の機能ブロック図を示す。サーバ200は、制御部210、及び記憶部220を備え、制御部210は、受信部211、画像格納部212、及び送信部213を備える。 FIG. 3 shows a functional block diagram of the server 200. The server 200 includes a control unit 210 and a storage unit 220, and the control unit 210 includes a reception unit 211, an image storage unit 212, and a transmission unit 213.
制御部210は、CPU、ROM、RAM、CMOSメモリ等を有し、これらはバスを介して相互に通信可能に構成される、当業者にとって公知のものである。
CPUはサーバ200を全体的に制御するプロセッサである。該CPUは、ROMに格納されたシステムプログラム及びアプリケーションプログラムを、バスを介して読み出し、該システムプログラム及びアプリケーションプログラムに従ってサーバ200全体を制御することで、図3に示すように、制御部210を、受信部211、画像格納部212、及び送信部213の機能を実現するように構成される。RAMには一時的な計算データや表示データ等の各種データが格納される。CMOSメモリは図示しないバッテリでバックアップされ、サーバ200の電源がオフされても記憶状態が保持される不揮発性メモリとして構成される。
The control unit 210 includes a CPU, a ROM, a RAM, a CMOS memory, and the like, which are known to those skilled in the art and configured to be able to communicate with each other via a bus.
The CPU is a processor that controls the server 200 as a whole. The CPU reads the system program and the application program stored in the ROM via the bus, and controls the entire server 200 according to the system program and the application program. As shown in FIG. The functions of the reception unit 211, the image storage unit 212, and the transmission unit 213 are configured to be realized. Various data such as temporary calculation data and display data are stored in the RAM. The CMOS memory is configured as a non-volatile memory that is backed up by a battery (not shown) and retains the storage state even when the server 200 is powered off.
受信部211は、通信用インタフェースを介して、飛行体100から、ソーラーパネルの赤外線画像を受信する。
画像格納部212は、受信部211が受信したソーラーパネルの赤外線画像を、後述の記憶部220に格納する。
送信部213は、通信用インタフェースを介して、記憶部220に格納される赤外線画像を、後述のユーザ端末300に送信する。
記憶部220は、ソーラーパネルの赤外線画像を記憶する。
The receiving unit 211 receives an infrared image of the solar panel from the flying object 100 via the communication interface.
The image storage unit 212 stores the infrared image of the solar panel received by the reception unit 211 in the storage unit 220 described later.
The transmission unit 213 transmits the infrared image stored in the storage unit 220 to the user terminal 300 described later via the communication interface.
The storage unit 220 stores an infrared image of the solar panel.
図4は、ユーザ端末300の機能ブロック図を示す。ユーザ端末300は、制御部310、記憶部320、及び表示装置330を備え、制御部310は、ベースデータ作成部311、受信部312、パノラマ化部313、異常箇所検出部314、複合部315、異常箇所出力部316を備える。 FIG. 4 shows a functional block diagram of the user terminal 300. The user terminal 300 includes a control unit 310, a storage unit 320, and a display device 330. The control unit 310 includes a base data creation unit 311, a reception unit 312, a panoramicization unit 313, an abnormal part detection unit 314, a composite unit 315, An abnormal part output unit 316 is provided.
制御部310は、CPU、ROM、RAM、CMOSメモリ等を有し、これらはバスを介して相互に通信可能に構成される、当業者にとって公知のものである。
CPUはユーザ端末300を全体的に制御するプロセッサである。該CPUは、ROMに格納されたシステムプログラム及びアプリケーションプログラムを、バスを介して読み出し、該システムプログラム及びアプリケーションプログラムに従ってユーザ端末300全体を制御することで、図4に示すように、制御部310を、ベースデータ作成部311、受信部312、パノラマ化部313、異常箇所検出部314、複合部315、異常箇所出力部316の機能を実現するように構成される。RAMには一時的な計算データや表示データ等の各種データが格納される。CMOSメモリは図示しないバッテリでバックアップされ、ユーザ端末300の電源がオフされても記憶状態が保持される不揮発性メモリとして構成される。
The control unit 310 includes a CPU, a ROM, a RAM, a CMOS memory, and the like, which are known to those skilled in the art and configured to be able to communicate with each other via a bus.
The CPU is a processor that controls the user terminal 300 as a whole. The CPU reads the system program and application program stored in the ROM via the bus, and controls the entire user terminal 300 according to the system program and application program, thereby controlling the control unit 310 as shown in FIG. The base data creation unit 311, the reception unit 312, the panoramaization unit 313, the abnormal part detection unit 314, the composite unit 315, and the abnormal part output unit 316 are configured to be realized. Various data such as temporary calculation data and display data are stored in the RAM. The CMOS memory is configured as a non-volatile memory that is backed up by a battery (not shown) and retains the memory state even when the user terminal 300 is powered off.
ベースデータ作成部311は、後述の異常検出方法において用いる、ベースとなるデータを作成し、具体的には、例えば、管理部品や領域の単位で区域分けしたものを作成するため、太陽光発電所のモジュール単位に管理できるデータに、図面を区域に分割する。すなわち、ベースデータ作成部311は、図面情報を基に、管理部品や領域の単位で区域分けしたデータ構造を作成する。 The base data creation unit 311 creates base data to be used in an abnormality detection method described later, and specifically, for example, a photovoltaic power plant in order to create a section divided into units of management parts and regions. Divide the drawing into areas that can be managed in module units. That is, the base data creation unit 311 creates a data structure that is divided into units of management components and regions based on the drawing information.
受信部312は、通信用インタフェースを介して、サーバ200から、ソーラーパネルの赤外線画像を受信する。 The receiving unit 312 receives an infrared image of the solar panel from the server 200 via the communication interface.
パノラマ化部313は、受信部312が受信した複数枚の赤外線画像を、1枚のパノラマ画像としてパノラマ化する。 The panorama converting unit 313 panorizes the plurality of infrared images received by the receiving unit 312 as one panoramic image.
異常箇所検出部314は、パノラマ化部313が複数枚の赤外線画像から生成したパノラマ画像中の色情報に基づいて、所定範囲の温度範囲の領域を、異常箇所として検出する。なお、異常箇所検出部314は、検出した異常箇所を強調表示したうえで、このパノラマ画像を、後述の表示装置330に表示させてもよい。 The abnormal part detection unit 314 detects an area of a predetermined temperature range as an abnormal part based on the color information in the panoramic image generated by the panorama unit 313 from a plurality of infrared images. The abnormal part detection unit 314 may display the panoramic image on the display device 330 to be described later after highlighting the detected abnormal part.
複合部315は、後述の記憶部320が記憶する太陽光発電所の平面図であって、ソーラーパネルの各々の場所情報を有する平面図と、上記のパノラマ画像とを重ね合わせた複合画像を生成し、この複合画像を後述の表示装置330に表示させる。
なお、複合部315は、この複合画像の生成の際、異常箇所検出部314が検出した異常箇所を強調表示する。更に、詳しくは後述するが、複合部315は、ソーラーパネル内の異常箇所のみを強調表示してもよい。
また、平面図とパノラマ画像との重ね合わせの際には、複合部315は、平面図に記載されたソーラーパネルの画像と、パノラマ画像内のソーラーパネルの画像とが対応するように、平面図とパノラマ画像とを重ね合わせる。
The composite unit 315 is a plan view of a solar power plant stored in the storage unit 320 described later, and generates a composite image obtained by superimposing the above-described panoramic image with a plan view having location information of each solar panel. Then, this composite image is displayed on the display device 330 described later.
Note that the composite unit 315 highlights the abnormal part detected by the abnormal part detection unit 314 when generating the composite image. Furthermore, although mentioned later in detail, the composite part 315 may highlight only the abnormal location in a solar panel.
In addition, when the plan view and the panoramic image are overlapped, the composite unit 315 causes the plan view so that the solar panel image described in the plan view corresponds to the solar panel image in the panoramic image. And panoramic image.
異常箇所出力部316は、上記の複合画像に基づいて、異常箇所が検出されたソーラーパネルの場所情報を表示装置330に出力させる。 The abnormal part output unit 316 causes the display device 330 to output the location information of the solar panel in which the abnormal part is detected based on the composite image.
記憶部320は、太陽光発電所の平面図であって、ソーラーパネルの各々の場所情報を有する平面図を記憶する。 The memory | storage part 320 is a top view of a solar power plant, Comprising: The top view which has each location information of a solar panel is memorize | stored.
表示装置330は、上記の複合画像、及び、異常箇所が検出されたソーラーパネルの場所情報を表示するために使用する装置である。なお、上記の繰り返しとなるが、表示装置330は、複合画像、場所情報に加え、異常箇所が検出された段階のパノラマ画像を、異常箇所を強調した状態で表示してもよい。 The display device 330 is a device that is used to display the composite image and the location information of the solar panel in which an abnormal location is detected. In addition, although it becomes said repetition, the display apparatus 330 may display the panoramic image of the stage in which the abnormal location was detected in the state which highlighted the abnormal location in addition to a composite image and location information.
図5Aは、上記の異常箇所検出システム10による異常箇所検出フローを示す。
ステップS1において、ユーザ端末300のベースデータ作成部311がベースデータを作成する。
具体的には、例えば、ベースデータ作成部311は、図5Bに示すCADデータである、平面図のソーラーパネル毎に、場所情報を分割し、記憶部320に格納してもよい。あるいは、ベースデータ作成部311は、図5Bに示す平面図に対して、ソーラーパネル毎に、場所情報を書き加えた上で、この平面図を記憶部320に格納してもよい。なお、ベースデータ作成部311が、平面図に対して場所情報を書き加える際は、平面図に新たなレイヤを追加して、追加されたレイヤ上に場所情報を書き加えてもよい。
FIG. 5A shows an abnormal part detection flow by the abnormal part detection system 10 described above.
In step S1, the base data creation unit 311 of the user terminal 300 creates base data.
Specifically, for example, the base data creation unit 311 may divide the location information for each solar panel in the plan view, which is the CAD data shown in FIG. Alternatively, the base data creation unit 311 may add location information for each solar panel to the plan view shown in FIG. 5B and store the plan view in the storage unit 320. When the base data creation unit 311 adds location information to the plan view, a new layer may be added to the plan view, and the location information may be added on the added layer.
なお、平面図には、平面図とパノラマ画像との重ね合わせに用いるため、太陽光発電所に設置されたマーカA〜Dの画像が含まれる。
このマーカA〜Dは、発熱部と非発熱部が区別される素材で構成されており、飛行体100の撮像部150である、赤外線サーモグラフィカメラから認識でき、かつ、後述の画像認識によって区別可能な形状となっている。マーカA〜D同士は互いに異なる形状であることが好ましく、例えば、任意の数字や図形の形状であってもよい。また、マーカA〜Dは、太陽光発電所に必ず点在するパワーコンディショナーの屋上部分に設置されてもよい。また、図5Bにおいては、4つのマーカA〜Dを示すが、マーカの個数はこれには限られない。更に、平面図とパノラマ画像との重ね合わせのためには、1枚のパノラマ画像当たり、3つ以上のマーカが存在することが好ましい。
なお、平面図においては、マーカを示す数字、図形、記号等の形状を、そのまま示すことを必須とはしない。例えば、マーカが「A」であるとした場合、平面図上のある任意のポイントに「A」の第一画目の始点があれば、平面図とパノラマ画像を重ね合わせることが可能である。
Note that the plan view includes images of the markers A to D installed in the solar power plant to be used for superimposing the plan view and the panoramic image.
The markers A to D are made of a material that distinguishes a heat generating portion and a non-heat generating portion, can be recognized from an infrared thermography camera that is the imaging unit 150 of the flying object 100, and can be distinguished by image recognition described later. It has become a shape. It is preferable that the markers A to D have shapes different from each other. For example, the numbers A and D may be shapes. In addition, the markers A to D may be installed on the roof portion of the power conditioner that is always scattered in the solar power plant. 5B shows four markers A to D, but the number of markers is not limited to this. Furthermore, for overlaying the plan view and the panoramic image, it is preferable that three or more markers exist for each panoramic image.
In the plan view, it is not essential to show the shape such as numbers, figures, symbols, and the like indicating the markers as they are. For example, if the marker is “A”, the plan view and the panoramic image can be superimposed if the starting point of the first image of “A” is at an arbitrary point on the plan view.
ステップS2において、飛行体100が、太陽光発電所のソーラーパネルを上空から撮像する。
具体的には、飛行体100は、図5Cの(a)に示されるように、太陽光発電所に設置されたマーカA〜Dのいずれかが必ず映るように、特定の範囲を、所定の間隔でインターバル撮影する。
撮像された赤外線画像は、飛行体100からサーバ200を経由して、ユーザ端末300に送られる。
In step S2, the flying object 100 images the solar panel of the solar power plant from above.
Specifically, as shown in FIG. 5C (a), the flying object 100 sets a specific range to a predetermined range so that any of the markers A to D installed in the solar power plant is always reflected. Interval shooting at intervals.
The captured infrared image is sent from the flying object 100 to the user terminal 300 via the server 200.
ステップS3において、図5Cの(b)及び(c)に示されるように、ユーザ端末300のパノラマ化部313は、複数の赤外線画像からパノラマ画像を生成する。より具体的には、パノラマ化部313は、複数の赤外線画像から3Dモデルを作成後、パノラマ画像としてのオルソ画像を作成する。 In step S3, as illustrated in (b) and (c) of FIG. 5C, the panorama unit 313 of the user terminal 300 generates a panoramic image from a plurality of infrared images. More specifically, the panorama unit 313 creates an ortho image as a panoramic image after creating a 3D model from a plurality of infrared images.
ステップS4において、ユーザ端末300の異常箇所検出部314が、パノラマ画像の色情報に基づいて、異常箇所やホットスポットを検出する。具体的には、ソーラーパネルに異常箇所が存在する場合、異常箇所の温度が通常時と異なることから、異常箇所検出部314は、パノラマ画像において、事前に設定した範囲の温度に対応する色情報となっている箇所を、異常箇所として検出する。
この際、図5Dにおいて黒い四角で示されるように、異常箇所検出部314は、異常箇所を強調表示したうえで、表示装置330にパノラマ画像を表示させてもよい。
In step S4, the abnormal part detection unit 314 of the user terminal 300 detects an abnormal part or a hot spot based on the color information of the panoramic image. Specifically, when an abnormal location exists in the solar panel, the temperature of the abnormal location is different from the normal time, so the abnormal location detection unit 314 has color information corresponding to a temperature in a preset range in the panoramic image. Are detected as abnormal locations.
At this time, as indicated by a black square in FIG. 5D, the abnormal part detection unit 314 may display a panoramic image on the display device 330 after highlighting the abnormal part.
ステップS5において、ユーザ端末300の複合部315が、平面図とパノラマ画像とを重ね合わせることより、複合画像を生成する。
具体的には、複合部315は、画像認識により、平面図とパノラマ画像の双方のマーカを認識し、図5Eに示すように、これら双方のマーカの輪郭が一致するように、平面図とパノラマ画像とを重ね合わせることにより、図5Fに示されるような複合画像を生成する。更に、複合部315は、生成した複合画像を、表示装置330に表示させる。
なお、複合部315は、異常箇所を強調表示させてもよい。とりわけ、複合部315は、パターン認識によりソーラーパネル領域を特定し、ステップS4において異常箇所と検出された箇所が、ソーラーパネル領域外にある場合には、ソーラーパネル領域外の異常箇所を省いた上で、異常箇所を強調表示させてもよい。
In step S5, the composite unit 315 of the user terminal 300 generates a composite image by superimposing the plan view and the panoramic image.
Specifically, the composite unit 315 recognizes both the plan view and the panoramic image markers by image recognition, and as shown in FIG. 5E, the plan view and the panorama are matched so that the contours of both the markers match. By superimposing the image, a composite image as shown in FIG. 5F is generated. Further, the composite unit 315 causes the display device 330 to display the generated composite image.
Note that the composite unit 315 may highlight the abnormal part. In particular, the composite unit 315 identifies the solar panel region by pattern recognition, and omits the abnormal part outside the solar panel area when the part detected as an abnormal part in step S4 is outside the solar panel area. Then, the abnormal part may be highlighted.
ステップS6において、ユーザ端末300の異常箇所出力部316が、図5Gに示されるような、異常箇所が検出されたソーラーパネルの場所情報を表示装置330に出力させる。
具体的には、上記のように、ベースデータ作成部311が、平面図のソーラーパネル毎に、場所情報を分割し、記憶部320に格納した場合には、異常箇所出力部316は、画像認識により、複合画像において異常箇所を有するソーラーパネルのIDを取得し、記憶部320において、このIDと紐づいた場所情報を、表示装置330に出力させてもよい。あるいは、上記のように、ベースデータ作成部311が、平面図に対して、ソーラーパネル毎に、場所情報を書き加えた場合には、異常箇所出力部316は、画像認識により、複合画像において異常箇所を有するソーラーパネルの場所情報を読み取って、表示装置330に出力させてもよい。
In step S6, the abnormal part output unit 316 of the user terminal 300 causes the display device 330 to output the location information of the solar panel in which the abnormal part is detected as shown in FIG. 5G.
Specifically, as described above, when the base data creation unit 311 divides location information for each solar panel in the plan view and stores the location information in the storage unit 320, the abnormal location output unit 316 performs image recognition. Thus, the ID of the solar panel having the abnormal part in the composite image may be acquired, and the storage unit 320 may cause the display device 330 to output the location information associated with this ID. Alternatively, as described above, when the base data creation unit 311 adds location information for each solar panel to the plan view, the abnormal location output unit 316 detects abnormalities in the composite image by image recognition. The location information of the solar panel having the location may be read and output to the display device 330.
〔第2実施形態〕
以下、本発明の第2実施形態について、図6を参照しながら詳述する。後述のように、第2実施形態は、第1実施形態と異なり、平面図とパノラマ画像との重ね合わせの際、マーカの代わりに位置座標情報を用いる。なお、以下では、主として、第1実施形態に比較して、第2実施形態が異なる点について詳述する。
本実施形態に係る異常箇所検出システム10Aは、飛行体100A、サーバ200、ユーザ端末300Aを備える。すなわち、本実施形態に係る異常箇所検出システム10Aは、第1実施形態に係る異常箇所検出システム10に比較して、飛行体100の代わりに飛行体100Aを、ユーザ端末300の代わりにユーザ端末300Aを備える点で異なる。
なお、異常箇所検出システム10Aの構成は、基本的には、図1と同一であるため、その図示を省略する。
[Second Embodiment]
Hereinafter, a second embodiment of the present invention will be described in detail with reference to FIG. As will be described later, unlike the first embodiment, the second embodiment uses position coordinate information instead of a marker when a plan view and a panoramic image are superimposed. In the following, the differences of the second embodiment from the first embodiment will be mainly described in detail.
An abnormal point detection system 10A according to the present embodiment includes an aircraft 100A, a server 200, and a user terminal 300A. That is, the abnormal point detection system 10A according to the present embodiment is different from the abnormal point detection system 10 according to the first embodiment in that the flying object 100A is used instead of the flying object 100, and the user terminal 300A is used instead of the user terminal 300. It differs in that it is equipped with.
The configuration of the abnormal point detection system 10A is basically the same as that shown in FIG.
図6は、飛行体100Aの機能ブロック図を示す。飛行体100Aは、飛行体100に比較して、位置座標情報取得部115、情報付加部116、及びGPS170を、更に備える点で異なる。 FIG. 6 is a functional block diagram of the flying object 100A. The flying object 100A differs from the flying object 100 in that it further includes a position coordinate information acquisition unit 115, an information addition unit 116, and a GPS 170.
位置座標情報取得部115は、後述のGPS170を用いて、飛行体100Aの位置座標情報、具体的には現在位置の緯度経度情報を取得する。なお、第2実施形態においては、飛行体100Aの撮像部150は、飛行体100AのGPS部に隣接して設置されると共に、鉛直下方を向いていることから、飛行体100Aの位置座標情報と、赤外線画像の中心点の位置座標情報とは、一致するとみなす。 The position coordinate information acquisition unit 115 acquires the position coordinate information of the flying object 100A, specifically the latitude / longitude information of the current position, using the GPS 170 described later. In the second embodiment, since the imaging unit 150 of the flying object 100A is installed adjacent to the GPS unit of the flying object 100A and faces vertically downward, the position coordinate information of the flying object 100A and The position coordinate information of the center point of the infrared image is considered to match.
情報付加部116は、上記の位置座標情報を、撮像部150が撮像した赤外線画像に付加する。 The information adding unit 116 adds the position coordinate information to the infrared image captured by the imaging unit 150.
GPS170は、飛行体100Aの位置座標情報、具体的には飛行体100Aの現在位置の緯度経度情報を測位するための装置である。 The GPS 170 is a device for positioning position coordinate information of the flying object 100A, specifically, latitude / longitude information of the current position of the flying object 100A.
ユーザ端末300Aは、ユーザ端末300に比較して、ベースデータ作成部311の代わりにベースデータ作成部311Aを、パノラマ化部313の代わりにパノラマ化部313Aを、複合部315の代わりに複合部315Aを備える。なお、ユーザ端末300Aの構成は、基本的には、図4と同一であるため、その図示を省略する。 Compared with the user terminal 300, the user terminal 300 </ b> A includes a base data creation unit 311 </ b> A instead of the base data creation unit 311, a panoramaization unit 313 </ b> A instead of the panoramaization unit 313, and a composite unit 315 </ b> A instead of the composite unit 315. Is provided. The configuration of the user terminal 300A is basically the same as that shown in FIG.
ベースデータ作成部311Aは、ベースデータ作成部311と同様に、後述の異常検出方法において用いる、ベースとなるデータを作成するが、ベースデータ作成部311が実行するのと同様の情報分割に加えて、記憶部320が記憶する、GIS情報としての緯度経度情報である発電所座標情報を有する地図と、平面図とを重ね合わせた発電所画像を生成し、この発電所画像を記憶部320に格納する。 The base data creation unit 311A creates the base data to be used in the abnormality detection method described later, similarly to the base data creation unit 311. In addition to the same information division that the base data creation unit 311 executes, A power plant image is generated by superimposing a map having power plant coordinate information, which is latitude and longitude information as GIS information, stored in the storage unit 320 and a plan view, and the power plant image is stored in the storage unit 320. To do.
パノラマ化部313Aは、位置座標情報が付加された複数枚の赤外線画像を、位置座標情報を含むパノラマ画像としてパノラマ化する。 The panorama unit 313A panorizes a plurality of infrared images to which position coordinate information is added as panorama images including position coordinate information.
複合部315Aは、複合部315と異なり、マーカを用いるのではなく、発電所画像に含まれる発電所座標情報と、パノラマ画像に含まれる位置座標情報とが対応するように、座標情報同士を自動的に紐づけることにより、発電所画像とパノラマ画像とを重ね合わせた複合画像を生成し、この複合画像を表示装置330に対して表示させる。
なお、複合部315Aは、複合部315と同様に、複合画像の生成の際、異常箇所検出部314が検出した異常箇所を強調表示する。更に、複合部315Aは、ソーラーパネル内の異常箇所のみを強調表示してもよい。
Unlike the composite unit 315, the composite unit 315A automatically uses coordinate information so that the power plant coordinate information included in the power plant image corresponds to the position coordinate information included in the panoramic image, instead of using a marker. By linking them together, a composite image in which the power plant image and the panorama image are superimposed is generated, and this composite image is displayed on the display device 330.
Similar to the composite unit 315, the composite unit 315A highlights the abnormal part detected by the abnormal part detection unit 314 when generating the composite image. Furthermore, the composite unit 315A may highlight only the abnormal part in the solar panel.
異常箇所検出システム10Aは、図5Aと同様のフローで異常箇所を検出するが、図5AのステップS1の代わりにステップS1Aを、ステップS3の代わりにステップS3Aを、ステップS5の代わりにステップS5Aを実行する。 The abnormal part detection system 10A detects an abnormal part in the same flow as in FIG. 5A, but step S1A is substituted for step S1 in FIG. 5A, step S3A is substituted for step S3, and step S5A is substituted for step S5. Run.
ステップS1Aにおいて、ユーザ端末300Aのベースデータ作成部311Aは、ベースデータ作成部311が実行するのと同様の情報分割に加えて、GIS情報としての緯度経度情報である発電所座標情報を有する地図と、平面図とを重ね合わせた発電所画像を生成し、この発電所画像を記憶部320に格納する。 In step S1A, the base data creation unit 311A of the user terminal 300A includes a map having power plant coordinate information, which is latitude / longitude information as GIS information, in addition to the same information division performed by the base data creation unit 311. Then, a power plant image superimposed with the plan view is generated, and this power plant image is stored in the storage unit 320.
ステップS3Aにおいて、ユーザ端末300Aのパノラマ化部313Aは、単に、複数の赤外線画像からパノラマ画像を生成するのではなく、位置座標情報が付加された複数枚の赤外線画像から、位置座標情報を含むパノラマ画像を生成する。 In step S3A, the panorama generating unit 313A of the user terminal 300A does not simply generate a panorama image from a plurality of infrared images, but includes a panorama including position coordinate information from a plurality of infrared images to which position coordinate information is added. Generate an image.
ステップS5Aにおいて、ユーザ端末300Aの複合部315Aは、発電所画像に含まれる発電所座標情報と、パノラマ画像に含まれる位置座標情報とが対応するように、発電所画像とパノラマ画像とを重ね合わせた複合画像を生成し、この複合画像を表示装置330に対して表示させる。 In step S5A, the composite unit 315A of the user terminal 300A superimposes the power plant image and the panoramic image so that the power plant coordinate information included in the power plant image corresponds to the position coordinate information included in the panoramic image. The composite image is generated, and the composite image is displayed on the display device 330.
〔第3実施形態〕
以下、本発明の第3実施形態について、図7〜9を参照しながら詳述する。後述のように、第3実施形態は、第2実施形態と異なり、飛行体が撮像した複数の画像をパノラマ化することなく、一枚一枚平面図に投影して重ね合わせる。なお、以下では、主として、第2実施形態に比較して、第3実施形態が異なる点について詳述する。
本実施形態に係る異常箇所検出システム10Bは、飛行体100B、サーバ200、ユーザ端末300Bを備える。すなわち、本実施形態に係る異常箇所検出システム10Bは、第2実施形態に係る異常箇所検出システム10Aに比較して、飛行体100Aの代わりに飛行体100Bを、ユーザ端末300Aの代わりにユーザ端末300Bを備える点で異なる。
なお、異常箇所検出システム10Bの構成は、基本的には、図1と同一であるため、その図示を省略する。
[Third Embodiment]
Hereinafter, a third embodiment of the present invention will be described in detail with reference to FIGS. As will be described later, unlike the second embodiment, the third embodiment projects and superimposes a plurality of images captured by the flying object one by one on a plan view without panorama. In the following description, differences of the third embodiment from the second embodiment will be mainly described in detail.
The abnormal point detection system 10B according to the present embodiment includes a flying object 100B, a server 200, and a user terminal 300B. That is, the abnormal point detection system 10B according to the present embodiment is different from the abnormal point detection system 10A according to the second embodiment in that the flying object 100B is used instead of the flying object 100A and the user terminal 300B is used instead of the user terminal 300A. It differs in that it is equipped with.
The configuration of the abnormal point detection system 10B is basically the same as that shown in FIG.
図7は、飛行体100Bの機能ブロック図を示す。飛行体100Bは、飛行体100にA比較して、情報付加部116の代わりに情報付加部116Bを備える点、及び、高度情報取得部117、方位情報取得部118、傾斜情報取得部119、補正情報取得部120、画角情報算出部121、高度計180を更に備える点で異なる。 FIG. 7 shows a functional block diagram of the flying object 100B. The flying object 100B is different from the flying object 100 in that the information adding unit 116B is provided instead of the information adding unit 116, the altitude information acquiring unit 117, the azimuth information acquiring unit 118, the inclination information acquiring unit 119, and the correction. The difference is that an information acquisition unit 120, an angle-of-view information calculation unit 121, and an altimeter 180 are further provided.
情報付加部116Bは、位置座標情報取得部115がGPS170を用いて取得した位置座標情報に加えて、後述のように、高度情報取得部117が高度計180を用いて取得した高度情報、方位情報取得部118が撮像部150から取得した、撮像部150の方位である方位情報、傾斜情報取得部119が撮像部150から取得した、撮像部150の鉛直方向の傾きである傾斜情報、補正情報取得部120が撮像部150から取得した、赤外線画像のゆがみ補正用のパラメータである補正情報に基づいて、画角情報算出部121が算出した画角情報を、赤外線画像に付加する。 In addition to the position coordinate information acquired by the position coordinate information acquisition unit 115 using the GPS 170, the information addition unit 116B acquires the altitude information and direction information acquired by the altitude information acquisition unit 117 using the altimeter 180, as will be described later. Orientation information that is the orientation of the imaging unit 150 acquired by the unit 118 from the imaging unit 150, and tilt information that is the tilt in the vertical direction of the imaging unit 150 acquired by the tilt information acquisition unit 119 from the imaging unit 150, and a correction information acquisition unit The angle-of-view information calculated by the angle-of-view information calculation unit 121 is added to the infrared image based on the correction information 120 acquired from the imaging unit 150 and is a parameter for correcting distortion of the infrared image.
高度情報取得部117は、高度計180を用いて、飛行体100が現在位置する高度の情報である高度情報を取得する。 The altitude information acquisition unit 117 uses the altimeter 180 to acquire altitude information that is altitude information at which the flying object 100 is currently located.
方位情報取得部118は、撮像部150から、当該撮像部150が東西南北のどの方位を向いているかに係る方位情報を取得する。 The azimuth information acquisition unit 118 acquires azimuth information related to which direction of the east, west, south, and north the imaging unit 150 faces from the imaging unit 150.
傾斜情報取得部119は、撮像部150から、当該撮像部150が鉛直方向にどの程度傾いているか、すなわちジンバルのピッチに係る傾斜情報を取得する。 The inclination information acquisition unit 119 acquires from the imaging unit 150 how much the imaging unit 150 is inclined in the vertical direction, that is, the inclination information related to the gimbal pitch.
補正情報取得部120は、撮像部150に応じた、赤外線画像のゆがみ補正用のパラメータである補正情報を取得する。 The correction information acquisition unit 120 acquires correction information that is a parameter for correcting distortion of the infrared image according to the imaging unit 150.
画角情報算出部121は、上記の補正情報に基づいて、赤外線画像のゆがみを補正した後における撮像部150の画角の情報である画角情報を算出する。 The angle-of-view information calculation unit 121 calculates angle-of-view information that is information about the angle of view of the imaging unit 150 after correcting the distortion of the infrared image based on the correction information.
高度計180は、飛行体100Bが現在位置する高度の情報を測位するための装置である。 The altimeter 180 is a device for positioning the altitude information at which the flying object 100B is currently located.
図8は、ユーザ端末300Bの機能ブロック図を示す。ユーザ端末300Bは、ユーザ端末300Aに比較して、パノラマ化部313の代わりに投影位置算出部317を備え、複合部315Aの代わりに複合部315Bを備える。 FIG. 8 shows a functional block diagram of the user terminal 300B. Compared with the user terminal 300A, the user terminal 300B includes a projection position calculation unit 317 instead of the panorama conversion unit 313, and includes a combination unit 315B instead of the combination unit 315A.
投影位置算出部317は、1枚1枚の赤外線画像に付加された、位置座標情報、高度情報、方位情報、傾斜情報、画角情報に基づいて、各赤外線画像を発電所画像に対して投影する投影位置に係る投影位置パラメータを算出する。 The projection position calculation unit 317 projects each infrared image onto the power plant image based on the position coordinate information, altitude information, azimuth information, tilt information, and field angle information added to each infrared image. A projection position parameter related to the projection position to be calculated is calculated.
複合部315Bは、上記の投影位置パラメータを用いて、各赤外線画像を、発電所画像に投影することにより、発電所画像と複数の赤外線画像とを重ね合わせた複合画像を生成し、この複合画像を表示装置330に対して表示させる。 The composite unit 315B generates a composite image obtained by superimposing the power plant image and the plurality of infrared images by projecting each infrared image onto the power plant image using the projection position parameter described above. Is displayed on the display device 330.
図9は、上記の異常箇所検出システム10Bによる異常箇所検出フローを示す。
ステップS11において、ユーザ端末300Bのベースデータ作成部311Aがベースデータを作成する。
具体的には、例えば、ベースデータ作成部311Aは、場所情報をソーラーパネル毎に分割し、分割した場所情報を、記憶部320に格納したり、あるいは、平面図に対して書き加えたりしてもよい。更に、ベースデータ作成部311Aは、GIS情報としての緯度経度情報である発電所座標情報を有する地図と、平面図とを重ね合わせた発電所画像を生成し、この発電所画像を記憶部320に格納する。
FIG. 9 shows an abnormal part detection flow by the abnormal part detection system 10B.
In step S11, the base data creation unit 311A of the user terminal 300B creates base data.
Specifically, for example, the base data creation unit 311A divides the location information for each solar panel and stores the divided location information in the storage unit 320 or adds it to the plan view. Also good. Furthermore, the base data creation unit 311A generates a power plant image in which a map having power plant coordinate information, which is latitude / longitude information as GIS information, and a plan view are superimposed, and the power plant image is stored in the storage unit 320. Store.
ステップS12において、飛行体100Bが、太陽光発電所のソーラーパネルを上空から撮像する。この際、飛行体100Bの情報付加部116Bは、上記の位置情報、高度情報、方位情報、傾斜情報、画角情報を、赤外線画像に付加する。各情報が付加された赤外線画像は、飛行体100Bからサーバ200を経由して、ユーザ端末300Bに送られる。 In step S12, the flying object 100B images the solar panel of the solar power plant from above. At this time, the information adding unit 116B of the flying object 100B adds the position information, altitude information, direction information, inclination information, and angle of view information to the infrared image. The infrared image to which each information is added is sent from the flying object 100B to the user terminal 300B via the server 200.
ステップS13において、ユーザ端末300Bの投影位置算出部317は、1枚1枚の赤外線画像に付加された、位置座標情報、高度情報、方位情報、傾斜情報、画角情報に基づいて、各赤外線画像を発電所画像に対して投影する投影位置に係る投影位置パラメータを算出する。 In step S <b> 13, the projection position calculation unit 317 of the user terminal 300 </ b> B generates each infrared image based on the position coordinate information, altitude information, azimuth information, inclination information, and field angle information added to each infrared image. Is calculated as a projection position parameter related to the projection position at which the image is projected onto the power plant image.
ステップS14において、ユーザ端末300Bの異常箇所検出部314は、各赤外線画像の色情報に基づいて、異常箇所やホットスポットを検出する。具体的には、ソーラーパネルに異常箇所が存在する場合、異常箇所の温度が通常時と異なることから、異常箇所検出部314は、各赤外線画像において、事前に設定した範囲の温度に対応する色情報となっている箇所を、異常箇所として検出する。 In step S14, the abnormal location detection unit 314 of the user terminal 300B detects an abnormal location or a hot spot based on the color information of each infrared image. Specifically, when there is an abnormal location on the solar panel, the temperature of the abnormal location is different from the normal time, so the abnormal location detection unit 314 has a color corresponding to a temperature in a preset range in each infrared image. A location that is information is detected as an abnormal location.
ステップS15において、複合部315Bは、上記の投影位置パラメータを用いて、各赤外線画像を、発電所画像に投影することにより、発電所画像と複数の赤外線画像とを重ね合わせた複合画像を生成し、この複合画像を表示装置330に対して表示させる。
なお、複合部315Bは、異常箇所を強調表示させてもよい。とりわけ、複合部315Bは、パターン認識によりソーラーパネル領域を特定し、ステップS14において異常箇所と検出された箇所が、ソーラーパネル領域外にある場合には、ソーラーパネル領域外の異常箇所を省いた上で、異常箇所を強調表示させてもよい。
In step S15, the composite unit 315B generates a composite image in which the power plant image and the plurality of infrared images are superimposed by projecting each infrared image onto the power plant image using the projection position parameter. The composite image is displayed on the display device 330.
Note that the composite unit 315B may highlight the abnormal part. In particular, the composite unit 315B identifies the solar panel region by pattern recognition, and when the portion detected as an abnormal portion in step S14 is outside the solar panel region, the abnormal portion outside the solar panel region is omitted. Then, the abnormal part may be highlighted.
ステップS16において、ユーザ端末300Bの異常箇所出力部316が、図5Gに示されるような、異常箇所が検出されたソーラーパネルの場所情報を表示装置330に出力させる。 In step S16, the abnormal part output unit 316 of the user terminal 300B causes the display device 330 to output the location information of the solar panel in which the abnormal part is detected, as shown in FIG. 5G.
〔第4実施形態〕
以下、本発明の第4実施形態について、図10及び図11を参照しながら詳述する。後述のように、第4実施形態は、第1実施形態と異なり、飛行体ではなく撮像装置で大規模設備を撮像すると共に、サーバを必須の構成要素とはしない。なお、以下では、主として、第1実施形態に比較して、第4実施形態が異なる点について詳述する。
[Fourth Embodiment]
Hereinafter, a fourth embodiment of the present invention will be described in detail with reference to FIGS. 10 and 11. As will be described later, the fourth embodiment differs from the first embodiment in that a large-scale facility is imaged by an imaging device instead of a flying object, and the server is not an essential component. In the following description, differences of the fourth embodiment from the first embodiment will be mainly described in detail.
図10に記載のように、本実施形態に係る異常箇所検出システム10Cは、撮像装置500とユーザ端末300Cとを備える。すなわち、第1実施形態に係る異常箇所検出システム10に比較して、飛行体100の代わりに撮像装置500を、ユーザ端末300の代わりにユーザ端末300Cを備え、サーバ200は必須の構成要素としていない。なお、撮像装置500とユーザ端末300Cとは、互いに通信可能に接続されており、通信インタフェースを介して、直接接続されていてもよく、異常箇所検出システム10と同様に、ネットワーク400を介して接続していてもよい。 As illustrated in FIG. 10, the abnormal part detection system 10C according to the present embodiment includes an imaging device 500 and a user terminal 300C. That is, as compared with the abnormal point detection system 10 according to the first embodiment, the imaging device 500 is provided instead of the flying object 100, the user terminal 300C is provided instead of the user terminal 300, and the server 200 is not an essential component. . Note that the imaging apparatus 500 and the user terminal 300C are communicably connected to each other, and may be directly connected via a communication interface, or connected via the network 400 as in the abnormal part detection system 10. You may do it.
撮像装置500は、太陽光発電所や橋梁等の大規模設備の画像を撮像するために用いられる装置であり、地上にいる人間が手動で操作してもよく、有人の飛行体に搭載された上で、当該飛行体に搭乗した人間が手動で操作してもよく、無人の飛行体や、クレーンに搭載された上で、自動で、又は遠隔操作手段を用いて手動で操作してもよい。 The imaging device 500 is a device used to capture an image of a large-scale facility such as a solar power plant or a bridge, and may be manually operated by a person on the ground or mounted on a manned flying body. On the above, a human who has boarded the flying object may operate manually, or may be operated automatically or after being mounted on an unmanned flying object or crane and manually using a remote control means. .
図11は、撮像装置500の機能ブロック図を示す。撮像装置500は、制御部510及び撮像部550を備え、制御部510は、撮像制御部511及び送信部512を備える。 FIG. 11 shows a functional block diagram of the imaging apparatus 500. The imaging apparatus 500 includes a control unit 510 and an imaging unit 550, and the control unit 510 includes an imaging control unit 511 and a transmission unit 512.
制御部510は、CPU、ROM、RAM、CMOSメモリ等を有し、これらはバスを介して相互に通信可能に構成される、当業者にとって公知のものである。
CPUは撮像装置500を全体的に制御するプロセッサである。該CPUは、ROMに格納されたシステムプログラム及びアプリケーションプログラムを、バスを介して読み出し、該システムプログラム及びアプリケーションプログラムに従って撮像装置500全体を制御することで、図11に示すように制御部510を、撮像制御部511、及び送信部512の機能を実現するように構成される。RAMには一時的な計算データや表示データ等の各種データが格納される。CMOSメモリは図示しないバッテリでバックアップされ、撮像装置500の電源がオフされても記憶状態が保持される不揮発性メモリとして構成される。
The control unit 510 includes a CPU, a ROM, a RAM, a CMOS memory, and the like, which are known to those skilled in the art and configured to be able to communicate with each other via a bus.
The CPU is a processor that controls the entire imaging apparatus 500. The CPU reads the system program and the application program stored in the ROM via the bus, and controls the entire imaging apparatus 500 according to the system program and the application program. The imaging control unit 511 and the transmission unit 512 are configured to realize the functions. Various data such as temporary calculation data and display data are stored in the RAM. The CMOS memory is configured as a non-volatile memory that is backed up by a battery (not shown) and that retains the memory state even when the power of the imaging device 500 is turned off.
撮像制御部511は、制御信号に基づいて、大規模設備の画像を撮像するため、撮像部550を制御する。 The imaging control unit 511 controls the imaging unit 550 to capture an image of a large-scale facility based on the control signal.
送信部512は、通信用インタフェースを介して、後述の撮像部550を用いて撮像した大規模設備の画像を、ユーザ端末300Cに送信する。 The transmission unit 512 transmits an image of a large-scale facility imaged using an imaging unit 550 described later to the user terminal 300C via the communication interface.
撮像部550は、例えば可視カメラ、赤外線カメラ、ハイパースペクトルカメラ等のいずれかであり、地上から、あるいは大規模設備の上空から、大規模設備の画像を撮像するためのモジュールである。 The imaging unit 550 is, for example, any one of a visible camera, an infrared camera, a hyperspectral camera, and the like, and is a module for capturing an image of a large-scale facility from the ground or from above the large-scale facility.
ユーザ端末300Cは、ユーザ端末300に比較して、ベースデータ作成部311の代わりにベースデータ作成部311Cを、受信部312の代わりに受信部312Cを、異常箇所検出部314の代わりに異常箇所検出部314Cを、記憶部320の代わりに記憶部320Cを備える点で異なる。なお、ユーザ端末300Cの構成は、基本的に、図4と同一であるため、その図示を省略する。 Compared to the user terminal 300, the user terminal 300C detects the base data creation unit 311C instead of the base data creation unit 311, the reception unit 312C instead of the reception unit 312, and the abnormal location detection instead of the abnormal location detection unit 314. The unit 314C is different in that the storage unit 320C is provided instead of the storage unit 320. The configuration of the user terminal 300C is basically the same as that shown in FIG.
記憶部320Cは、撮像装置500の撮像対象である大規模設備の図面、例えばCAD画像を記憶する。 The storage unit 320C stores a drawing of a large-scale facility that is an imaging target of the imaging device 500, for example, a CAD image.
ベースデータ作成部311Cは、記憶部320Cが記憶する図面に対し、大規模設備を構成する、点検単位となる要素、例えば、各部品、各部材、各区域に対して、各々の管理番号を付与する。 The base data creation unit 311C assigns each management number to the elements constituting the inspection unit, for example, each part, each member, and each area, which constitutes a large-scale facility, with respect to the drawing stored in the storage unit 320C. To do.
受信部312Cは、撮像装置500が撮像した画像を、撮像装置500から受信する。 The receiving unit 312C receives an image captured by the imaging device 500 from the imaging device 500.
異常箇所検出部314Cは、パノラマ化部313が複数枚の画像から生成したパノラマ画像に基づいて、点検単位となる要素の異常箇所を検出する。ここで、異常箇所とは、例えば、錆や塗装忘れ等、可視画像から判別できるものや、太陽光パネル上の異常発熱箇所のように、赤外線カメラにより検知できるものや、植物の育成度合いや二酸化炭素量のように、特定の波長領域でのみ捉えられる情報が挙げられる。 The abnormal part detection unit 314C detects an abnormal part of an element serving as an inspection unit based on the panoramic image generated by the panorama unit 313 from a plurality of images. Here, the abnormal part is, for example, one that can be distinguished from a visible image such as rust or forgetting to paint, one that can be detected by an infrared camera, such as an abnormal heat generation part on a solar panel, the degree of plant growth, Information that can be captured only in a specific wavelength region, such as the amount of carbon.
〔第5実施形態〕
以下、本発明の第5実施形態について、図12〜15を参照しながら詳述する。後述のように、第5実施形態は、第4実施形態と異なり、ユーザ端末ではなくサーバが画像処理を実行する。なお、以下では、主として、第1実施形態及び第4実施形態に比較して、第5実施形態が異なる点について詳述する。
[Fifth Embodiment]
Hereinafter, the fifth embodiment of the present invention will be described in detail with reference to FIGS. As will be described later, the fifth embodiment differs from the fourth embodiment in that the server executes image processing instead of the user terminal. In the following description, differences of the fifth embodiment from the first embodiment and the fourth embodiment will be mainly described in detail.
図12に記載のように、本実施形態に係る異常箇所検出システム10Dは、撮像装置500D、サーバ200D、ユーザ端末300D、及びネットワーク400を備え、撮像装置500D、サーバ200D、及びユーザ端末300Dは、ネットワーク400を介して、互いに接続する。すなわち、第4実施形態に係る異常箇所検出システム10Cに比較して、撮像装置500の代わりに撮像装置500Dを、ユーザ端末300Cの代わりにユーザ端末300Dを備え、更にサーバ200Dとネットワーク400とを備える。 As illustrated in FIG. 12, the abnormal point detection system 10D according to the present embodiment includes an imaging device 500D, a server 200D, a user terminal 300D, and a network 400, and the imaging device 500D, the server 200D, and the user terminal 300D include They are connected to each other via the network 400. That is, as compared with the abnormal point detection system 10C according to the fourth embodiment, the imaging device 500D is provided instead of the imaging device 500, the user terminal 300D is provided instead of the user terminal 300C, and the server 200D and the network 400 are further provided. .
撮像装置500Dは、撮像装置500に比較して、送信部512の代わりに送信部512Dを備える。送信部512Dは、通信用インタフェースを介して、撮像部550を用いて撮像した大規模設備の画像を、サーバ200Dに送信する。なお、撮像装置500Dの構成は、撮像装置500と基本的に同一であるため、その図示を省略する。 The imaging device 500D includes a transmission unit 512D instead of the transmission unit 512, as compared to the imaging device 500. The transmission unit 512D transmits an image of a large-scale facility imaged using the imaging unit 550 to the server 200D via the communication interface. Note that the configuration of the imaging apparatus 500D is basically the same as that of the imaging apparatus 500, and thus illustration thereof is omitted.
図13は、サーバ200Dの機能ブロック図を示す。サーバ200Dは、第1の実施形態に係るサーバ200に比較して、受信部211の代わりに受信部211Dを、送信部213の代わりに送信部213Dを、記憶部220の代わりに記憶部220Dを備え、更に、ベースデータ作成部214、パノラマ化部215、異常箇所検出部216、複合部217、場所情報特定部218を備える。 FIG. 13 shows a functional block diagram of the server 200D. Compared with the server 200 according to the first embodiment, the server 200D includes a reception unit 211D instead of the reception unit 211, a transmission unit 213D instead of the transmission unit 213, and a storage unit 220D instead of the storage unit 220. And a base data creation unit 214, a panoramaization unit 215, an abnormal part detection unit 216, a composite unit 217, and a location information identification unit 218.
受信部211Dは、通信用インタフェースを介して、撮像装置500Dから、大規模設備の画像を受信する。また、受信部211Dは、通信用インタフェースを介して、ユーザ端末300Dから、場所情報出力指示を受信する。 The receiving unit 211D receives an image of a large-scale facility from the imaging device 500D via the communication interface. In addition, the reception unit 211D receives a location information output instruction from the user terminal 300D via the communication interface.
送信部213Dは、後述のように、場所情報特定部218が特定した大規模設備内で異常箇所を有する要素の場所情報を、ユーザ端末300Dに送信する。 As will be described later, the transmission unit 213D transmits the location information of the element having an abnormal location in the large-scale facility specified by the location information specification unit 218 to the user terminal 300D.
記憶部220Dは、撮像装置500の撮像対象である大規模設備の図面、例えばCAD画像を記憶する。 The storage unit 220D stores a drawing of a large-scale facility that is an imaging target of the imaging device 500, for example, a CAD image.
ベースデータ作成部214は、記憶部220Dが記憶する図面に対し、大規模設備を構成する、点検単位となる要素、例えば、各部品、各部材、各区域に対して、各々の管理番号を付与する。 The base data creation unit 214 assigns each management number to each element, each member, and each area that constitutes a large-scale facility, such as each component, each member, and each area, for the drawing stored in the storage unit 220D. To do.
パノラマ化部215は、受信部211Dが受信した複数枚の画像を、パノラマ画像としてパノラマ化する。 The panorama unit 215 panorizes the plurality of images received by the receiving unit 211D as panoramic images.
異常箇所検出部216は、パノラマ化部215が複数枚の画像から生成したパノラマ画像に基づいて、点検単位となる要素の異常箇所を検出する。ここで、異常箇所とは、例えば、錆や塗装忘れ等、可視画像から判別できるものや、太陽光パネル上の異常発熱箇所のように、赤外線カメラにより検知できるものや、植物の育成度合いや二酸化炭素量のように、特定の波長領域でのみ捉えられる情報が挙げられる。 The abnormal part detection unit 216 detects an abnormal part of an element serving as an inspection unit based on the panoramic image generated by the panorama converting unit 215 from a plurality of images. Here, the abnormal part is, for example, one that can be distinguished from a visible image such as rust or forgetting to paint, one that can be detected by an infrared camera, such as an abnormal heat generation part on a solar panel, the degree of plant growth, Information that can be captured only in a specific wavelength region, such as the amount of carbon.
複合部217は、記憶部220Dが記憶する大規模設備の図面と、上記のパノラマ画像とを重ね合わせた複合画像を生成する。 The composite unit 217 generates a composite image in which the drawing of the large-scale facility stored in the storage unit 220D and the panoramic image described above are superimposed.
場所情報特定部218は、上記の複合画像に基づいて、異常箇所が検出された大規模設備内の異常箇所の場所情報を特定する。 The location information specifying unit 218 specifies location information of the abnormal location in the large-scale facility where the abnormal location is detected based on the composite image.
図14は、ユーザ端末300Dの機能ブロック図を示す。ユーザ端末300Dは、第1の実施形態に係るユーザ端末300に比較して、ベースデータ作成部311、パノラマ化部313、異常箇所検出部314、複合部315、異常箇所出力部316を必須の構成要素としない。また、ユーザ端末300Dは、受信部312の代わりに受信部312Dを備え、更に、送信部318、及び表示部319を備える。 FIG. 14 shows a functional block diagram of the user terminal 300D. Compared with the user terminal 300 according to the first embodiment, the user terminal 300D includes a base data creation unit 311, a panorama conversion unit 313, an abnormal part detection unit 314, a composite unit 315, and an abnormal part output unit 316. Not an element. In addition, the user terminal 300 </ b> D includes a receiving unit 312 </ b> D instead of the receiving unit 312, and further includes a transmitting unit 318 and a display unit 319.
送信部318は、サーバ200Dに対し、場所情報出力指示を送信する。
受信部312Dは、サーバ200Dから、異常箇所が検出された大規模設備内の異常箇所の場所情報を受信する。
表示部319は、表示装置330に、受信部312Dが受信した場所情報を表示する。
The transmission unit 318 transmits a location information output instruction to the server 200D.
The receiving unit 312D receives the location information of the abnormal location in the large-scale facility where the abnormal location is detected from the server 200D.
The display unit 319 displays the location information received by the receiving unit 312D on the display device 330.
図15は、上記の異常箇所検出システム10Dによる異常箇所検出フローを示す。
ステップS21において、サーバ200Dのベースデータ作成部214がベースデータを作成する。
具体的には、例えば、ベースデータ作成部214は、記憶部220Dが記憶する図面に対し、大規模設備を構成する、点検単位となる要素、例えば、各部品、各部材、各区域に対して、各々の管理番号を付与する。
FIG. 15 shows an abnormal part detection flow by the abnormal part detection system 10D.
In step S21, the base data creation unit 214 of the server 200D creates base data.
Specifically, for example, the base data creation unit 214 for the elements stored in the storage unit 220D, which constitute a large-scale facility, for example, each component, each member, and each area Each management number is assigned.
ステップS22において、撮像装置500Dで再規模設備の画像を撮像する。
ステップS23において、サーバ200Dの受信部211Dは、撮像装置500Dから画像を受信し、パノラマ化部215は、撮像装置500Dが撮像した複数の画像からパノラマ画像を生成する。
In step S22, an image of the rescaled facility is captured by the imaging device 500D.
In step S23, the receiving unit 211D of the server 200D receives an image from the imaging device 500D, and the panorama unit 215 generates a panoramic image from a plurality of images captured by the imaging device 500D.
ステップS24において、ユーザ端末300Dの送信部318が、サーバ200Dに対し、場所情報出力指示を送信する。 In step S24, the transmission unit 318 of the user terminal 300D transmits a location information output instruction to the server 200D.
ステップS25において、サーバ200Dの異常箇所検出部216が、パノラマ化部215が複数枚の画像から生成したパノラマ画像に基づいて、点検単位となる要素の異常箇所を検出する。 In step S25, the abnormal part detection unit 216 of the server 200D detects an abnormal part of an element serving as an inspection unit based on the panoramic image generated from the plurality of images by the panorama unit 215.
ステップS26において、サーバ200Dの複合部217が、平面図とパノラマ画像とを重ね合わせることより、複合画像を生成する。 In step S26, the composite unit 217 of the server 200D generates a composite image by superimposing the plan view and the panoramic image.
ステップS27において、サーバ200Dの場所情報特定部218が、上記の複合画像に基づいて、異常箇所が検出された大規模設備内の異常箇所の場所情報を特定する。 In step S27, the location information specifying unit 218 of the server 200D specifies the location information of the abnormal location in the large-scale facility in which the abnormal location is detected based on the composite image.
ステップS28において、サーバ200Dの送信部213Dが、ユーザ端末300Dに対して、大規模設備内で異常箇所を有する要素の場所情報を、ユーザ端末300Dに送信する。 In step S28, the transmission unit 213D of the server 200D transmits, to the user terminal 300D, the location information of the element having an abnormal location in the large-scale facility to the user terminal 300D.
ステップS29において、ユーザ端末300Dの受信部312が、サーバ200Dから場所情報を受信し、表示部319が、表示装置330に、受信部312Dが受信した場所情報を表示する。 In step S29, the receiving unit 312 of the user terminal 300D receives the location information from the server 200D, and the display unit 319 displays the location information received by the receiving unit 312D on the display device 330.
〔変形例1〕
第1実施形態及び第2実施形態においては、パノラマ化部313が、複数枚の赤外線画像からパノラマ画像を生成し、異常箇所検出部314がこのパノラマ画像の色情報に基づいて、異常箇所を検出したが、これには限定されない。
例えば、異常箇所検出部314が、各赤外線画像の色情報に基づいて、各赤外線画像内の異常箇所を検出してから、パノラマ化部313が、これらの赤外線画像を用いてパノラマ画像を生成してもよい。
あるいは、パノラマ化部313が、複数枚の赤外線画像からパノラマ画像を生成し、異常箇所検出部314が、このパノラマ画像をいったん単純分割し、分割された画像毎に異常箇所を検出し、パノラマ化部313が、複数枚の各画像を用いて再度パノラマ画像を生成してよい。
[Modification 1]
In the first embodiment and the second embodiment, the panorama unit 313 generates a panorama image from a plurality of infrared images, and the abnormal part detection unit 314 detects an abnormal part based on the color information of the panoramic image. However, it is not limited to this.
For example, after the abnormal part detection unit 314 detects an abnormal part in each infrared image based on the color information of each infrared image, the panorama unit 313 generates a panoramic image using these infrared images. May be.
Alternatively, the panorama generating unit 313 generates a panoramic image from a plurality of infrared images, and the abnormal part detecting unit 314 simply divides the panoramic image once, detects the abnormal part for each divided image, and panoramicizes the panoramic image. The unit 313 may generate a panoramic image again using each of a plurality of images.
〔変形例2〕
第1〜第3実施形態に係る異常箇所検出システム10〜10Bにおいては、飛行体100〜100Bから、サーバ200を介して、ユーザ端末300〜300Bに赤外線画像が送信される構成としたが、これには限定されない。
例えば、異常箇所検出システム10〜10Bは、サーバ200を備えず、飛行体100〜100Bから、ユーザ端末300〜300Bに直接赤外線画像を送信する構成としてもよい。
一方で、第4実施形態に係る異常箇所検出システム10Cにおいて、撮像装置500からユーザ端末300Cに対し、サーバを介して間接的に画像を送信する構成としてもよい。
[Modification 2]
In the abnormal point detection systems 10 to 10B according to the first to third embodiments, infrared images are transmitted from the flying objects 100 to 100B to the user terminals 300 to 300B via the server 200. It is not limited to.
For example, the abnormal point detection systems 10 to 10B may not include the server 200 and may directly transmit an infrared image from the flying object 100 to 100B to the user terminals 300 to 300B.
On the other hand, in the abnormal point detection system 10C according to the fourth embodiment, an image may be indirectly transmitted from the imaging device 500 to the user terminal 300C via a server.
〔変形例3〕
第1〜第3実施形態に係る異常箇所検出システム10〜10Cにおいては、ユーザ端末300〜300Bの記憶部320が、太陽光発電所の平面図、及び、実施形態によっては、太陽光発電所の地図を記憶するとしたが、これには限定されない。
例えば、サーバ200の記憶部220が、これら平面図及び地図を記憶し、サーバ200からユーザ端末300〜300Bに送信する構成としてもよい。
[Modification 3]
In the abnormal point detection systems 10 to 10C according to the first to third embodiments, the storage unit 320 of the user terminals 300 to 300B is a plan view of the solar power plant and, depending on the embodiment, the solar power plant. The map is memorized, but it is not limited to this.
For example, the storage unit 220 of the server 200 may store these plan views and maps and transmit them from the server 200 to the user terminals 300 to 300B.
〔変形例4〕
第1〜第4実施形態に係るユーザ端末300〜300Cは、パノラマ化部313を備え、第5実施形態に係るサーバ200Dは、パノラマ化部215を備えるが、これには限定されず、パノラマ化部313又はパノラマ化部215を必須の構成要素としなくてもよい。この場合、異常箇所検出部314又は異常箇所検出部216は、飛行体100又は撮像装置500が撮像した画像から、直接、異常箇所を検出する。この態様は、例えば、太陽光発電所や橋梁等の大規模設備を遠方から撮影し、一枚の画像で大規模設備の全体像を捉えきれている場合に、適用することが可能である。
[Modification 4]
The user terminals 300 to 300C according to the first to fourth embodiments include a panorama unit 313, and the server 200D according to the fifth embodiment includes a panorama unit 215. However, the present invention is not limited to this. The unit 313 or the panorama unit 215 may not be an essential component. In this case, the abnormal part detection unit 314 or the abnormal part detection unit 216 directly detects the abnormal part from the image captured by the flying object 100 or the imaging device 500. This aspect can be applied when, for example, a large-scale facility such as a solar power plant or a bridge is photographed from a distance and the entire image of the large-scale facility can be captured with a single image.
〔変形例5〕
第3実施形態においては、飛行体が撮像した複数の画像をパノラマ化することなく、一枚一枚平面図に投影して重ね合わせる際、投影位置パラメータを用いて重ね合わせるが、そうではなく、第1実施形態と同様に、マーカを用いて重ね合わせてもよい。この場合、1枚の画像あたり、3つ以上のマーカが存在することが好ましい。
[Modification 5]
In the third embodiment, when projecting and superimposing a plurality of images captured by the flying object one by one on the plan view one by one, they are superimposed using the projection position parameter. Similar to the first embodiment, overlapping may be performed using a marker. In this case, it is preferable that three or more markers exist per image.
〔変形例6〕
第1〜第3実施形態、及び、第5実施形態においては、サーバ200又は200Dと、ユーザ端末300、300A、300B、又は300Dとが別体となっていたが、これらが、単一の筺体内に一体化されていてもよい。
[Modification 6]
In the first to third embodiments and the fifth embodiment, the server 200 or 200D and the user terminal 300, 300A, 300B, or 300D are separated, but these are a single enclosure. It may be integrated inside.
〔変形例7〕
第1〜第3実施形態、及び、第5実施形態においては、飛行体100、100A、又は100B、又は撮像装置500Dから、サーバ200又は200Dに撮像した画像を直接送信していたが、そうではなく、ユーザ端末300、300A、300B、又は300Dを経由して、撮像した画像を送信してもよい。あるいは、SDカードのような記憶媒体を用いて、撮像した画像をサーバ200又は200Dに保存してもよい。
[Modification 7]
In the first to third embodiments and the fifth embodiment, the image captured by the flying object 100, 100A, or 100B or the imaging device 500D is directly transmitted to the server 200 or 200D. Alternatively, the captured image may be transmitted via the user terminal 300, 300A, 300B, or 300D. Alternatively, the captured image may be stored in the server 200 or 200D using a storage medium such as an SD card.
また、上記の各実施形態及び各変形例を組み合わせることにより、更なる実施形態を実現することが可能である。 Further, further embodiments can be realized by combining the above-described embodiments and modifications.
なお、上記の異常箇所検出システム10〜10Dに含まれる各装置は、ハードウェア、ソフトウェア又はこれらの組み合わせによりそれぞれ実現することができる。また、上記の異常箇所検出システム10〜10Dに含まれる各装置により行なわれるユーザ識別方法も、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。 In addition, each apparatus contained in said abnormal location detection system 10-10D is respectively realizable with a hardware, software, or these combination. Moreover, the user identification method performed by each apparatus included in the abnormal point detection systems 10 to 10D described above can also be realized by hardware, software, or a combination thereof. Here, “realized by software” means realized by a computer reading and executing a program.
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば、光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。 The program may be stored using various types of non-transitory computer readable media and supplied to the computer. Non-transitory computer readable media include various types of tangible storage media. Examples of non-transitory computer readable media include magnetic recording media (for example, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (for example, magneto-optical disks), CD-ROMs (Read Only Memory), CD- R, CD-R / W, and semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (random access memory)). The program may also be supplied to the computer by various types of transitory computer readable media. Examples of transitory computer readable media include electrical signals, optical signals, and electromagnetic waves. The temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
10 10A 10B 10C 10D:異常箇所検出システム
100 100A 100B:飛行体
110 110A 110B:制御部
111:受信部 112:撮像制御部 113:駆動制御部
114:送信部 115:位置座標情報取得部
116 116B:情報付加部 117:高度情報取得部
118:方位情報取得部 119:傾斜情報取得部
120:補正情報取得部 121:画角情報算出部
150:撮像部 160:駆動部 170:GPS
180:高度計
200 200D:サーバ 210 210D:制御部
211 211D:受信部 212 画像格納部
213 213D:送信部
214:ベースデータ作成部 215:パノラマ化部
216:異常箇所検出部 217:複合部
218:場所情報特定部
220 220D:記憶部
300 300A 300B 300C 300D:ユーザ端末
310 310D:制御部
311 311A:ベースデータ作成部
312 312D:受信部 313:パノラマ化部
314:異常箇所検出部 315 315B:複合部
316:異常箇所出力部 317:投影位置算出部
318:送信部 319:表示部 320:記憶部 330:表示装置
400 ネットワーク
10 10A 10B 10C 10D: Abnormal point detection system 100 100A 100B: Aircraft 110 110A 110B: Control unit 111: Reception unit 112: Imaging control unit 113: Drive control unit 114: Transmission unit 115: Position coordinate information acquisition unit 116 116B: Information addition unit 117: Altitude information acquisition unit 118: Direction information acquisition unit 119: Inclination information acquisition unit 120: Correction information acquisition unit 121: Angle of view information calculation unit 150: Imaging unit 160: Drive unit 170: GPS
180: altimeter 200 200D: server 210 210D: control unit 211 211D: reception unit 212 image storage unit 213 213D: transmission unit 214: base data creation unit 215: panoramicization unit 216: abnormal part detection unit 217: composite unit 218: place Information specifying unit 220 220D: storage unit 300 300A 300B 300C 300D: user terminal 310 310D: control unit 311 311A: base data creation unit 312 312D: reception unit 313: panoramaization unit 314: abnormal part detection unit 315 315B: composite unit 316 : Abnormal part output unit 317: projection position calculation unit 318: transmission unit 319: display unit 320: storage unit 330: display device 400 network
Claims (11)
前記撮像装置は、
設備の画像を撮像する撮像部と、
前記画像を前記ユーザ端末に送信する送信部とを備え、
前記ユーザ端末は、
前記画像を前記撮像装置から受信する受信部と、
前記設備の図面であって、前記設備を構成する要素の各々の場所情報を有する図面を記憶する記憶部と、
前記画像に基づいて、前記要素の異常箇所を検出する異常箇所検出部と、
前記図面に記載された要素の輪郭と、前記画像内の要素の輪郭とが対応するように、前記図面と前記画像とを重ね合わせた複合画像を生成する複合部と、
前記複合画像に基づいて、前記異常箇所が検出された要素の場所情報を、表示装置に出力する異常箇所出力部と、を備える、異常箇所検出システム。 An abnormal part detection system comprising an imaging device and a user terminal,
The imaging device
An imaging unit that captures an image of the facility;
A transmission unit for transmitting the image to the user terminal,
The user terminal is
A receiving unit for receiving the image from the imaging device;
A storage unit for storing a drawing having the location information of each element constituting the facility, which is a drawing of the facility;
Based on the image, an abnormal point detection unit that detects an abnormal point of the element;
A composite unit that generates a composite image in which the drawing and the image are superimposed so that the outline of the element described in the drawing corresponds to the outline of the element in the image;
An abnormal location detection system comprising: an abnormal location output unit that outputs location information of an element in which the abnormal location is detected to a display device based on the composite image.
前記異常箇所検出部は、前記パノラマ画像に基づいて、前記要素の異常箇所を検出し、
前記複合部は、前記図面に記載された前記要素の輪郭と、前記パノラマ画像内の前記要素の輪郭とが対応するように、前記図面と前記パノラマ画像とを重ね合わせた複合画像を生成する、請求項1又は2に記載の異常箇所検出システム。 The user terminal further includes a panorama unit that panorizes the plurality of images as panoramic images,
The abnormal part detection unit detects an abnormal part of the element based on the panoramic image,
The composite unit generates a composite image in which the drawing and the panoramic image are superimposed so that the contour of the element described in the drawing corresponds to the contour of the element in the panoramic image; The abnormal point detection system according to claim 1 or 2.
前記撮像部は、前記マーカを含むように、前記画像を撮像し、
前記図面は、前記マーカの輪郭図を含み、
前記複合部は、前記画像に含まれる前記マーカの輪郭と、前記図面に含まれる前記マーカの輪郭とを一致させることにより、前記図面と前記画像とを重ね合わせた前記複合画像を生成する、請求項1〜3のいずれか1項に記載の異常箇所検出システム。 Further comprising a plurality of markers installed in the facility;
The imaging unit captures the image so as to include the marker,
The drawing includes an outline view of the marker,
The composite unit generates the composite image obtained by superimposing the drawing and the image by matching an outline of the marker included in the image with an outline of the marker included in the drawing. Item 4. The abnormal point detection system according to any one of Items 1 to 3.
前記異常箇所検出部は、前記赤外線画像中の所定の温度範囲の領域を異常箇所として検出する、請求項1〜6のいずれか1項に記載の異常箇所検出システム。 The imaging unit captures an infrared image of the facility as the image,
The abnormal part detection system according to claim 1, wherein the abnormal part detection unit detects a region in a predetermined temperature range in the infrared image as an abnormal part.
前記撮像部は、前記設備としての太陽光発電所に設置された、前記要素としてのソーラーパネルの赤外線画像を撮像し、
前記図面は、前記太陽光発電所の平面図であって、前記ソーラーパネルの各々の場所情報を有する平面図である、請求項7に記載の異常箇所検出システム。 The imaging device is mounted on a flying object,
The imaging unit is installed in a solar power plant as the equipment, and captures an infrared image of the solar panel as the element,
The said figure is a top view of the said solar power plant, Comprising: The abnormal location detection system of Claim 7 which is a top view which has each location information of the said solar panel.
前記撮像装置は、
設備の画像を撮像する撮像部と、
前記画像を前記サーバに送信する第1送信部とを備え、
前記サーバは、
前記設備の図面であって、前記設備を構成する要素の各々の場所情報を有する図面を記憶する記憶部と、
前記撮像装置から前記画像を、前記ユーザ端末から場所情報出力指示を受信する第1受信部と、
前記画像を前記記憶部に格納する画像格納部と、
前記第1受信部が前記場所情報出力指示を受信すると、前記画像に基づいて、前記要素の異常箇所を検出する異常箇所検出部と、
前記図面に記載された前記要素の輪郭と、前記画像内の前記要素の輪郭とが対応するように、前記図面と前記画像とを重ね合わせた複合画像を生成する複合部と、
前記複合画像に基づいて、前記異常箇所が検出された前記要素の場所情報を特定する、場所情報特定部と、
前記場所情報を前記ユーザ端末に送信する第2送信部と、を備え、
前記ユーザ端末は、
前記サーバに、前記場所情報出力指示を送信する第3送信部と、
前記サーバから、前記場所情報を受信する第2受信部と、
表示装置に、前記場所情報を表示する表示部とを備える、異常箇所検出システム。 An abnormal part detection system comprising an imaging device, a server, and a user terminal,
The imaging device
An imaging unit that captures an image of the facility;
A first transmitter for transmitting the image to the server,
The server
A storage unit for storing a drawing having the location information of each element constituting the facility, which is a drawing of the facility;
A first receiving unit that receives the image from the imaging device and a location information output instruction from the user terminal;
An image storage unit for storing the image in the storage unit;
When the first receiving unit receives the location information output instruction, based on the image, an abnormal point detection unit that detects an abnormal point of the element;
A composite unit that generates a composite image obtained by superimposing the drawing and the image such that the contour of the element described in the drawing corresponds to the contour of the element in the image;
A location information identifying unit that identifies location information of the element in which the abnormal location is detected based on the composite image;
A second transmitter for transmitting the location information to the user terminal,
The user terminal is
A third transmitter for transmitting the location information output instruction to the server;
A second receiver for receiving the location information from the server;
An abnormal point detection system comprising: a display device configured to display the location information on a display device.
前記飛行体は、
前記太陽光発電所に含まれるソーラーパネルの赤外線画像を撮像する撮像部と、
前記飛行体の位置座標情報を取得する位置座標情報取得部と、
前記位置座標情報を前記赤外線画像に付加する情報付加部と、
前記位置座標情報が付加された前記赤外線画像を、前記サーバに送信する第1送信部を備え、
前記サーバは、
前記飛行体から前記赤外線画像を受信する第1受信部と、
前記赤外線画像を記憶する第1記憶部と、
前記第1記憶部が記憶する赤外線画像を、前記ユーザ端末に送信する第2送信部とを備え、
前記ユーザ端末は、
前記赤外線画像を前記サーバから受信する第2受信部と、
前記太陽光発電所の座標情報である発電所座標情報を含む地図と、前記太陽光発電所の平面図とを重ね合わせた発電所画像を記憶する第2記憶部と、
複数の前記赤外線画像を、前記位置座標情報を含む1枚のパノラマ画像としてパノラマ化するパノラマ化部と、
前記パノラマ画像に基づいて、前記ソーラーパネルの異常箇所を検出する異常箇所検出部と、
前記発電所画像に含まれる前記発電所座標情報と、前記パノラマ画像に含まれる前記位置座標情報とが対応するように、前記発電所画像と前記パノラマ画像とを重ね合わせた複合画像を生成し、該複合画像を表示装置に対して表示させる複合部と、
前記複合画像に基づいて、前記異常箇所が検出されたソーラーパネルの場所情報を、前記表示装置に出力する異常箇所出力部と、を備える、異常箇所検出システム。 An abnormal spot detection system for a solar power plant, comprising a flying object, a server, and a user terminal,
The aircraft is
An imaging unit for capturing an infrared image of a solar panel included in the solar power plant;
A position coordinate information acquisition unit for acquiring position coordinate information of the flying object;
An information adding unit for adding the position coordinate information to the infrared image;
A first transmission unit configured to transmit the infrared image to which the position coordinate information is added to the server;
The server
A first receiver for receiving the infrared image from the aircraft;
A first storage unit for storing the infrared image;
A second transmission unit that transmits the infrared image stored in the first storage unit to the user terminal;
The user terminal is
A second receiver for receiving the infrared image from the server;
A second storage unit for storing a power plant image obtained by superimposing a map including power plant coordinate information, which is coordinate information of the solar power plant, and a plan view of the solar power plant,
A panorama unit that panorates the plurality of infrared images as one panorama image including the position coordinate information;
Based on the panoramic image, an abnormal point detection unit that detects an abnormal point of the solar panel;
Generating a composite image in which the power plant image and the panoramic image are superimposed so that the power plant coordinate information included in the power plant image corresponds to the position coordinate information included in the panoramic image; A composite unit for displaying the composite image on a display device;
An abnormal part detection system comprising: an abnormal part output unit that outputs location information of a solar panel in which the abnormal part is detected based on the composite image to the display device.
前記飛行体は、
前記太陽光発電所に含まれるソーラーパネルの赤外線画像を撮像する撮像部と、
前記飛行体の位置座標情報を取得する位置座標情報取得部と、
前記飛行体の高度情報を取得する高度情報取得部と、
前記撮像部の方位情報を取得する方位情報取得部と、
前記撮像部の傾斜情報を取得する傾斜情報取得部と、
前記赤外線画像のゆがみを補正するための補正情報を取得する補正情報取得部と、
前記補正情報に基づいて、前記ゆがみを補正した後における前記撮像部の画角の情報である画角情報を算出する画角情報算出部と、
前記位置座標情報、前記高度情報、前記方位情報、前記傾斜情報、及び前記画角情報を前記赤外線画像に付加する情報付加部と、
前記位置座標情報、前記高度情報、前記方位情報、前記傾斜情報、及び前記画角情報が付加された前記赤外線画像を、前記サーバに送信する第1送信部を備え、
前記サーバは、
前記飛行体から前記赤外線画像を受信する第1受信部と、
前記赤外線画像を記憶する第1記憶部と、
前記第1記憶部が記憶する赤外線画像を、前記ユーザ端末に送信する第2送信部とを備え、
前記ユーザ端末は、
前記赤外線画像を前記サーバから受信する第2受信部と、
前記太陽光発電所の座標情報である発電所座標情報を含む地図と、前記太陽光発電所の平面図とを重ね合わせた発電所画像を記憶する第2記憶部と、
前記赤外線画像に付加された、前記位置座標情報、前記高度情報、前記方位情報、前記傾斜情報、及び前記画角情報に基づいて、前記発電所画像に対して前記赤外線画像を投影する投影場所を算出する投影位置算出部と、
前記赤外線画像に基づいて、前記ソーラーパネルの異常箇所を検出する異常箇所検出部と、
複数の前記赤外線画像を、前記投影場所から、前記発電所画像に投影することにより、前記発電所画像と複数の前記赤外線画像とを重ね合わせた複合画像を生成し、表示装置に対して表示させる複合部と、
前記複合画像に基づいて、前記異常箇所が検出されたソーラーパネルの場所情報を、前記表示装置に出力する異常箇所出力部と、を備える、異常箇所検出システム。 An abnormal spot detection system for a solar power plant, comprising a flying object, a server, and a user terminal,
The aircraft is
An imaging unit for capturing an infrared image of a solar panel included in the solar power plant;
A position coordinate information acquisition unit for acquiring position coordinate information of the flying object;
An altitude information acquisition unit for acquiring altitude information of the flying object;
An orientation information acquisition unit for acquiring orientation information of the imaging unit;
An inclination information acquisition unit for acquiring inclination information of the imaging unit;
A correction information acquisition unit for acquiring correction information for correcting distortion of the infrared image;
An angle-of-view information calculation unit that calculates angle-of-view information that is information on the angle of view of the imaging unit after correcting the distortion based on the correction information;
An information adding unit for adding the position coordinate information, the altitude information, the azimuth information, the tilt information, and the angle-of-view information to the infrared image;
A first transmission unit configured to transmit the infrared image to which the position coordinate information, the altitude information, the azimuth information, the tilt information, and the angle-of-view information are added to the server;
The server
A first receiver for receiving the infrared image from the aircraft;
A first storage unit for storing the infrared image;
A second transmission unit that transmits the infrared image stored in the first storage unit to the user terminal;
The user terminal is
A second receiver for receiving the infrared image from the server;
A second storage unit for storing a power plant image obtained by superimposing a map including power plant coordinate information, which is coordinate information of the solar power plant, and a plan view of the solar power plant,
Based on the position coordinate information, the altitude information, the azimuth information, the tilt information, and the angle of view information added to the infrared image, a projection location for projecting the infrared image on the power plant image is provided. A projection position calculation unit for calculating;
Based on the infrared image, an abnormal point detection unit that detects an abnormal point of the solar panel;
By projecting the plurality of infrared images from the projection location onto the power plant image, a composite image in which the power plant image and the plurality of infrared images are superimposed is generated and displayed on a display device. The complex part,
An abnormal part detection system comprising: an abnormal part output unit that outputs location information of a solar panel in which the abnormal part is detected based on the composite image to the display device.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017176136A JP6362750B1 (en) | 2017-09-13 | 2017-09-13 | Abnormal point detection system |
PCT/JP2018/029043 WO2019054075A1 (en) | 2017-09-13 | 2018-08-02 | Abnormal portion detection system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017176136A JP6362750B1 (en) | 2017-09-13 | 2017-09-13 | Abnormal point detection system |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018037681A Division JP6337226B1 (en) | 2018-03-02 | 2018-03-02 | Abnormal point detection system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6362750B1 JP6362750B1 (en) | 2018-07-25 |
JP2019053446A true JP2019053446A (en) | 2019-04-04 |
Family
ID=62976528
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017176136A Active JP6362750B1 (en) | 2017-09-13 | 2017-09-13 | Abnormal point detection system |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6362750B1 (en) |
WO (1) | WO2019054075A1 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020183873A (en) * | 2019-04-26 | 2020-11-12 | コムシス情報システム株式会社 | Aerial shoot image position specification system and aerial shoot image position specification method |
JP2021065087A (en) * | 2019-04-26 | 2021-04-22 | コムシス情報システム株式会社 | Aerial photography image identification system and aerial photography image identification method |
JP2021081891A (en) * | 2019-11-18 | 2021-05-27 | 株式会社パスコ | Learned model generation device and program |
JP2021085812A (en) * | 2019-11-29 | 2021-06-03 | コムシス情報システム株式会社 | State determination system and state determination method |
JP7118234B1 (en) | 2021-12-27 | 2022-08-15 | 株式会社エネルギア・コミュニケーションズ | Inspection device and inspection system for photovoltaic power generation equipment |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113992778B (en) * | 2021-09-30 | 2023-12-26 | 紫光展锐(重庆)科技有限公司 | Equipment detection method, device, chip and module equipment |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1010064A (en) * | 1996-06-19 | 1998-01-16 | Constec:Kk | Method of inspecting mortar sprayed slope |
JP2005016995A (en) * | 2003-06-24 | 2005-01-20 | Railway Technical Res Inst | Infrared structure diagnosis method |
JP2011070304A (en) * | 2009-09-24 | 2011-04-07 | Mitsubishi Electric Corp | Vehicle position detection system |
JP2015058758A (en) * | 2013-09-17 | 2015-03-30 | 一般財団法人中部電気保安協会 | Structure inspection system |
WO2016143754A1 (en) * | 2015-03-09 | 2016-09-15 | コニカミノルタ株式会社 | Gas leak location estimating device, gas leak location estimating system, gas leak location estimating method and gas leak location estimating program |
JP2016186682A (en) * | 2015-03-27 | 2016-10-27 | 綜合警備保障株式会社 | Aerial image processing system and aerial image processing method |
JP2017034932A (en) * | 2015-08-05 | 2017-02-09 | 株式会社スマートエナジーサービス | Maintenance method for photovoltaic power generation facility |
JP2017078575A (en) * | 2015-10-19 | 2017-04-27 | エナジー・ソリューションズ株式会社 | Checkup system, and checkup method |
GB2546564A (en) * | 2016-01-25 | 2017-07-26 | Above Surveying Ltd | Utilising UAVs for detecting defects in solar panel arrays |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016197979A (en) * | 2015-04-06 | 2016-11-24 | 株式会社Nttファシリティーズ | Diagnostic system, diagnostic method and program |
JP6548157B2 (en) * | 2015-05-27 | 2019-07-24 | パナソニックIpマネジメント株式会社 | Degradation diagnostic apparatus and degradation diagnostic method |
-
2017
- 2017-09-13 JP JP2017176136A patent/JP6362750B1/en active Active
-
2018
- 2018-08-02 WO PCT/JP2018/029043 patent/WO2019054075A1/en active Application Filing
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1010064A (en) * | 1996-06-19 | 1998-01-16 | Constec:Kk | Method of inspecting mortar sprayed slope |
JP2005016995A (en) * | 2003-06-24 | 2005-01-20 | Railway Technical Res Inst | Infrared structure diagnosis method |
JP2011070304A (en) * | 2009-09-24 | 2011-04-07 | Mitsubishi Electric Corp | Vehicle position detection system |
JP2015058758A (en) * | 2013-09-17 | 2015-03-30 | 一般財団法人中部電気保安協会 | Structure inspection system |
WO2016143754A1 (en) * | 2015-03-09 | 2016-09-15 | コニカミノルタ株式会社 | Gas leak location estimating device, gas leak location estimating system, gas leak location estimating method and gas leak location estimating program |
JP2016186682A (en) * | 2015-03-27 | 2016-10-27 | 綜合警備保障株式会社 | Aerial image processing system and aerial image processing method |
JP2017034932A (en) * | 2015-08-05 | 2017-02-09 | 株式会社スマートエナジーサービス | Maintenance method for photovoltaic power generation facility |
JP2017078575A (en) * | 2015-10-19 | 2017-04-27 | エナジー・ソリューションズ株式会社 | Checkup system, and checkup method |
GB2546564A (en) * | 2016-01-25 | 2017-07-26 | Above Surveying Ltd | Utilising UAVs for detecting defects in solar panel arrays |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020183873A (en) * | 2019-04-26 | 2020-11-12 | コムシス情報システム株式会社 | Aerial shoot image position specification system and aerial shoot image position specification method |
JP2021065087A (en) * | 2019-04-26 | 2021-04-22 | コムシス情報システム株式会社 | Aerial photography image identification system and aerial photography image identification method |
JP2021081891A (en) * | 2019-11-18 | 2021-05-27 | 株式会社パスコ | Learned model generation device and program |
JP2021085812A (en) * | 2019-11-29 | 2021-06-03 | コムシス情報システム株式会社 | State determination system and state determination method |
JP7308733B2 (en) | 2019-11-29 | 2023-07-14 | コムシス情報システム株式会社 | State determination system and state determination method. |
JP7118234B1 (en) | 2021-12-27 | 2022-08-15 | 株式会社エネルギア・コミュニケーションズ | Inspection device and inspection system for photovoltaic power generation equipment |
JP2023096667A (en) * | 2021-12-27 | 2023-07-07 | 株式会社エネルギア・コミュニケーションズ | Inspection device and inspection system for solar power generation facility |
Also Published As
Publication number | Publication date |
---|---|
WO2019054075A1 (en) | 2019-03-21 |
JP6362750B1 (en) | 2018-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6337226B1 (en) | Abnormal point detection system | |
JP6362750B1 (en) | Abnormal point detection system | |
US11794890B2 (en) | Unmanned aerial vehicle inspection system | |
US11550315B2 (en) | Unmanned aerial vehicle inspection system | |
US11885759B2 (en) | Solar panel inspection using unmanned aerial vehicles | |
US11169028B2 (en) | Unmanned aerial system based thermal imaging and aggregation systems and methods | |
US20200379126A1 (en) | Information processing system, information processing device, and information processing method | |
US9513635B1 (en) | Unmanned aerial vehicle inspection system | |
US9488630B2 (en) | Integrated remote aerial sensing system | |
KR101769718B1 (en) | Electromagnetic field data and image acquisition devices and control technique of unmanned aerial vehicle for transmission line inspection | |
JP6918672B2 (en) | Deterioration diagnosis system | |
US11017228B2 (en) | Method and arrangement for condition monitoring of an installation with operating means | |
JP6569114B2 (en) | Inspection system and inspection method | |
CN106647804B (en) | A kind of automatic detecting method and system | |
KR101943342B1 (en) | Management system and method for solar panel using drone | |
KR20200048615A (en) | Realtime inspecting drone for solar photovoltaic power station basen on machine learning | |
JP2017215239A (en) | Solar cell inspection system | |
KR101832454B1 (en) | Solar cell exothermic position analysis method using drone based thermal infrared sensor | |
KR102217549B1 (en) | Method and system for soar photovoltaic power station monitoring | |
CN113077561A (en) | Intelligent inspection system for unmanned aerial vehicle | |
CN106210675A (en) | Method, device and system for monitoring forest fire of power transmission line | |
CN112969977A (en) | Catching auxiliary method, ground command platform, unmanned aerial vehicle, system and storage medium | |
CN109194284A (en) | Photovoltaic plant cruising inspection system, ground based terminal and equipment of taking photo by plane | |
EP4399485A1 (en) | Automated aerial data capture for 3d modeling of unknown objects in unknown environments | |
Amorim et al. | Building mosaics using images autonomously acquired by a uav |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180514 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180612 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180626 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6362750 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |