JP6938749B2 - Aerial image identification system and aerial image identification method. - Google Patents
Aerial image identification system and aerial image identification method. Download PDFInfo
- Publication number
- JP6938749B2 JP6938749B2 JP2020192141A JP2020192141A JP6938749B2 JP 6938749 B2 JP6938749 B2 JP 6938749B2 JP 2020192141 A JP2020192141 A JP 2020192141A JP 2020192141 A JP2020192141 A JP 2020192141A JP 6938749 B2 JP6938749 B2 JP 6938749B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- observation object
- visible light
- observation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 27
- 230000002950 deficient Effects 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 18
- 238000012937 correction Methods 0.000 description 50
- 238000010586 diagram Methods 0.000 description 24
- 230000003287 optical effect Effects 0.000 description 18
- 239000003550 marker Substances 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 230000033001 locomotion Effects 0.000 description 11
- 238000007689 inspection Methods 0.000 description 10
- 238000010248 power generation Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 230000005856 abnormality Effects 0.000 description 5
- 239000002131 composite material Substances 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E10/00—Energy generation through renewable energy sources
- Y02E10/50—Photovoltaic [PV] energy
Landscapes
- Investigating Or Analyzing Materials Using Thermal Means (AREA)
- Radiation Pyrometers (AREA)
- Photovoltaic Devices (AREA)
Description
この発明は、空撮画像特定システムおよび空撮画像特定方法に関する。 The present invention relates to an aerial image identification system and an aerial image identification method.
従来、飛行体(無人航空機(ドローン)等)を利用して、空撮することが広く行われている。このような空撮画像は個人が景色を観賞するために利用されるだけでなく、災害救助、農業、生態調査、報道、インフラ点検、異常箇所の点検等、業務上利用されることもある。 Conventionally, aerial photography has been widely performed using an air vehicle (unmanned aerial vehicle (drone), etc.). Such aerial images are not only used by individuals for admiring the scenery, but may also be used for business purposes such as disaster relief, agriculture, ecological surveys, news reports, infrastructure inspections, and inspections of abnormal parts.
例えばインフラ点検の一例として、太陽光発電所の太陽光発電設備(太陽光パネル等)の点検に空撮画像を利用することができる。太陽光発電設備は主に光起電力効果によって発電するため、太陽光を受ける面の汚れ、破損等により発電に支障をきたす。空撮画像によって、太陽光発電設備の汚れ、破損等を把握することが可能である。したがって、空撮画像によって太陽光発電設備を撮影して点検することが太陽光発電所において発電効率を高めるのに有効である。 For example, as an example of infrastructure inspection, aerial images can be used for inspection of photovoltaic power generation equipment (solar panels, etc.) of a photovoltaic power plant. Since photovoltaic power generation equipment mainly generates electricity by the photovoltaic effect, the surface that receives sunlight is soiled or damaged, which hinders power generation. It is possible to grasp the dirt, damage, etc. of the photovoltaic power generation equipment from the aerial image. Therefore, it is effective to photograph and inspect the photovoltaic power generation equipment by aerial images in order to improve the power generation efficiency in the photovoltaic power plant.
また、太陽電池モジュール表面を撮影して得られた撮影画像から、異物の厚さを求め、検出した厚さを基準値と比較し、検出した厚さが基準値を超える太陽電池モジュールについて、異常があると判定する点検方法もある(特許文献1参照)。 In addition, the thickness of the foreign matter is obtained from the photographed image obtained by photographing the surface of the solar cell module, the detected thickness is compared with the reference value, and the detected thickness exceeds the reference value. There is also an inspection method for determining that there is (see Patent Document 1).
空撮画像を利用して太陽光発電設備等、観察対象物の点検をする場合、当該画像に表示された状態(異常等)を把握することができるだけでは十分ではない。観察対象物の点検には、当該対象物の状態だけでなく、対象物の特定も必要である。なお、特定とは、例えば対象物の位置の特定や、一群の中から対象物を特定することである。 When inspecting an observation object such as a photovoltaic power generation facility using an aerial image, it is not enough to be able to grasp the state (abnormality, etc.) displayed on the image. Inspecting the object to be observed requires not only the condition of the object but also the identification of the object. The identification means, for example, specifying the position of the object or specifying the object from the group.
空撮画像を用いた観察対象物の点検には、画像における対象物の状態を把握可能な解像度が求められ、かつ上記の通り空撮画像と対象物の対応関係の特定も求められる。観察対象物によっては、求められている解像度で空撮すると、観察対象物の全体が画像内に収まりきらない場合がありうる。したがって、観察対象物を漏れなく点検するには、観察対象物全体を複数の領域に分割して撮影する場合もある。この場合、観察対象物を分割しているため、観察対象物の全体のうち、空撮画像がどの部分を撮影したものか把握困難となることがある。 In the inspection of the observation object using the aerial image, a resolution capable of grasping the state of the object in the image is required, and as described above, the correspondence between the aerial image and the object is also required to be specified. Depending on the observation object, when aerial photography is performed at the required resolution, the entire observation object may not fit in the image. Therefore, in order to inspect the observation object without omission, the entire observation object may be divided into a plurality of areas and photographed. In this case, since the observation object is divided, it may be difficult to grasp which part of the entire observation object was taken by the aerial image.
また、太陽光発電所としてのメガソーラーのように、観察対象物が同一種の集合体であり、その1つ1つを点検するという利用方法もある。この場合、空撮画像の表示内容だけでは、画像が全体のうちのいずれの太陽光発電設備(太陽光パネル等)を示すものなのか把握困難である。 In addition, there is also a usage method in which observation objects are aggregates of the same type, such as mega solar as a solar power plant, and each of them is inspected. In this case, it is difficult to grasp which of the entire photovoltaic power generation equipment (solar panel, etc.) the image represents from the display content of the aerial image.
この発明の目的は、空撮画像における観察対象物の特定を可能とすることである。 An object of the present invention is to enable identification of an observation object in an aerial image.
実施形態の空撮画像特定システムは、飛行体から赤外線画像を受信する画像受信部と、赤外線画像における複数の観察対象物群から個々の観察対象物を特定する特定部とを備える。特定部は、特定した個々の観察対象物から特定の温度を示す被疑観察対象物を特定し、さらに被疑観察対象物の平均温度と最高温度の差分から閾値を超える不良観察対象物を特定する。
また空撮画像特定システムにおいて、特定部は、赤外線画像の画像処理により特定された観察対象物それぞれにおいて、正常な観察対象物と比べ相対的に高温であるものを被疑観察対象物として特定してもよい。
また空撮画像特定システムにおいて、特定部は赤外線画像において、不良観察対象物の位置を特定して強調表示させてもよい。
また空撮画像特定システムにおいて、赤外線画像および不良観察対象物の位置を特定した位置特定画像のうち、少なくとも2つを同時に表示する報告書データを作成する作成部をさらに備えてもよい。
The aerial image identification system of the embodiment includes an image receiving unit that receives an infrared image from a flying object, and a specific unit that identifies an individual observation object from a plurality of observation object groups in the infrared image. The specific unit identifies the suspected observation object showing a specific temperature from the specified individual observation objects, and further identifies the defective observation object exceeding the threshold value from the difference between the average temperature and the maximum temperature of the suspected observation object.
Further, in the aerial image identification system, the identification unit specifies, in each observation object specified by the image processing of the infrared image, an object whose temperature is relatively higher than that of a normal observation object as a suspected observation object. May be good.
Further, in the aerial image identification system, the identification unit may specify the position of the defective observation object and highlight it in the infrared image.
Further, the aerial image identification system may further include a creation unit that creates report data that simultaneously displays at least two of an infrared image and a position identification image that specifies the position of a defective observation object.
実施形態によれば、空撮画像における観察対象物の特定が可能である。 According to the embodiment, it is possible to identify the observation target in the aerial image.
図1〜図19を参照して、第1実施形態〜第5実施形態にかかる空撮画像特定システムについて説明する。 The aerial image identification system according to the first to fifth embodiments will be described with reference to FIGS. 1 to 19.
[第1実施形態]
第1実施形態にかかる空撮画像特定システム100の全体構成について図1〜図6を参照して説明する。なお、図1における空撮画像特定システムは一例であり、その他の構成を含むことを除外するものではなく、様々な形態で実施することが可能である。
[First Embodiment]
The overall configuration of the aerial image identification system 100 according to the first embodiment will be described with reference to FIGS. 1 to 6. The aerial image identification system in FIG. 1 is an example, and does not exclude the inclusion of other configurations, and can be implemented in various forms.
(飛行体Dの概要)
図1に示すように、飛行体Dは、撮影部D1、位置取得部D2、ジャイロスコープD3、ジンバルD4を備える。撮影部D1は、可視光カメラと赤外線カメラを備え、可視光画像(図2)および赤外線画像(図3)とを同時に、または同期して撮影可能である。位置受信部D2は、GNSS(Global Navigation Satellite System / 全球測位衛星システム)、例えばGPS、GLONASS、Galileo、準天頂衛星(QZSS)等の測位衛星から航法信号を受信し、飛行体Dの3次元位置等を測位し、可視光画像、赤外線画像にそれぞれ付加する(例えばEXIF情報)。また位置受信部D2は、例えば水圧計・気圧計を搭載し、その結果を基に深度・高度に変換してもよい。他の例として、超音波センサー等を搭載し、地表・海底等から飛行体Dまでの距離を測ってもよい。その受信された1次元位置情報を可視光画像および赤外線画像に付加する。このようにして可視光画像および赤外線画像の3次元位置が特定可能である。これらは、付加情報として可視光画像および赤外線画像とともに空撮画像特定システム100に送信される。
なお、図2および図3の観察対象物は一例であって、各画像に描写される対象は、その他の種類の観察対象物であってもよい。
(Overview of Aircraft D)
As shown in FIG. 1, the flying object D includes a photographing unit D1, a position acquisition unit D2, a gyroscope D3, and a gimbal D4. The photographing unit D1 includes a visible light camera and an infrared camera, and can take a visible light image (FIG. 2) and an infrared image (FIG. 3) at the same time or in synchronization with each other. The position receiving unit D2 receives navigation signals from positioning satellites such as GNSS (Global Navigation Satellite System), for example, GPS, GLONASS, Galileo, Quasi-Zenith Satellite (QZSS), and the three-dimensional position of the aircraft D. Etc. are positioned and added to the visible light image and the infrared image, respectively (for example, EXIF information). Further, the position receiving unit D2 may be equipped with, for example, a water pressure gauge / barometer, and may be converted into depth / altitude based on the result. As another example, an ultrasonic sensor or the like may be mounted to measure the distance from the ground surface, the seabed, or the like to the flying object D. The received one-dimensional position information is added to the visible light image and the infrared image. In this way, the three-dimensional positions of the visible light image and the infrared image can be specified. These are transmitted to the aerial image identification system 100 together with the visible light image and the infrared image as additional information.
The observation objects of FIGS. 2 and 3 are examples, and the objects depicted in each image may be other types of observation objects.
飛行体DのジャイロスコープD3は、飛行体Dの傾きを検出する。飛行体Dは、方位情報により機体が向いている方位とその方位からの姿勢ズレをジャイロスコープD3により求める。飛行体Dの方位情報と傾き情報は空撮画像特定システム100に送信される。3軸方向の加速度センサーであってもよい。またジンバルD4は、撮影部D1を飛行体Dに傾動可能に支持しており、撮影部D1の姿勢を制御可能とする。これにより撮影部D1の光軸の制御を可能とする。撮影部D1の傾き等に基づく当該光軸方向の情報は空撮画像特定システム100に送信される。また飛行体Dは、地磁気センサーD5により方位情報を受信する。これにより飛行体Dの方位(進路)を把握可能である。飛行体Dから空撮画像特定システム100への各種データの送信は送信部Tによって実行される。 The gyroscope D3 of the flying object D detects the inclination of the flying object D. The aircraft D uses the gyroscope D3 to determine the direction in which the aircraft is facing and the attitude deviation from that direction based on the direction information. The directional information and tilt information of the aircraft D are transmitted to the aerial image identification system 100. It may be an acceleration sensor in three axial directions. Further, the gimbal D4 supports the photographing unit D1 on the flying object D so as to be tiltable, so that the attitude of the photographing unit D1 can be controlled. This makes it possible to control the optical axis of the photographing unit D1. Information in the optical axis direction based on the inclination of the photographing unit D1 and the like is transmitted to the aerial image identification system 100. Further, the flying object D receives the directional information by the geomagnetic sensor D5. As a result, the direction (course) of the flying object D can be grasped. Transmission of various data from the aircraft D to the aerial image identification system 100 is executed by the transmission unit T.
空撮画像特定システム100は、位置情報受信部110、画像受信部120、補正部130、付加部140および制御部Cと記憶部Sを含んで構成される。位置情報受信部110は、飛行体Dから、航法信号に基づく飛行体Dの測位情報(3次元位置等)、高度、深度等の1次元位置、飛行体Dの傾き情報、光軸方向情報を受信する。例えばこれらはEXIF情報として画像に付加された情報として受信されてもよい。 The aerial image identification system 100 includes a position information receiving unit 110, an image receiving unit 120, a correction unit 130, an additional unit 140, a control unit C, and a storage unit S. The position information receiving unit 110 receives from the aircraft D the positioning information (three-dimensional position, etc.) of the aircraft D based on the navigation signal, the one-dimensional position such as altitude and depth, the tilt information of the aircraft D, and the optical axis direction information. Receive. For example, these may be received as information added to the image as EXIF information.
画像受信部120は、飛行体Dの撮影部D1から可視光画像および赤外線画像を受ける。補正部130は、可視光画像および赤外線画像の上記各種位置情報を、上記方位情報、傾き情報、光軸方向情報に基づき補正する。付加部140は、可視光画像および赤外線画像にその補正位置情報を付加する。 The image receiving unit 120 receives a visible light image and an infrared image from the photographing unit D1 of the flying object D. The correction unit 130 corrects the various position information of the visible light image and the infrared image based on the directional information, the tilt information, and the optical axis direction information. The addition unit 140 adds the correction position information to the visible light image and the infrared image.
(補正部130)
補正部130について、さらに説明する。補正部130は、全球測位衛星システムからの航法信号、すなわち衛星が送信する信号発信時刻および衛星軌道に係る情報を含む情報を位置受信部D2を介して受ける。この情報に基づき2次元位置(例えば緯度・経度)や高度または深度を特定し、これらに基づく飛行体Dの3次元位置と時刻とを関連付けた位置情報とする。補正部130は、所定の時間間隔で飛行体Dの位置情報を特定してもよい。
(Correction unit 130)
The correction unit 130 will be further described. The correction unit 130 receives navigation signals from the global positioning satellite system, that is, information including information related to the signal transmission time and satellite orbit transmitted by the satellite via the position receiving unit D2. Based on this information, the two-dimensional position (for example, latitude / longitude) and altitude or depth are specified, and the position information is obtained by associating the three-dimensional position of the flying object D with the time based on these. The correction unit 130 may specify the position information of the flying object D at predetermined time intervals.
可視光画像および赤外線画像に描画される撮影対象は、飛行体Dの方位および傾きと撮影部D1における光軸方向とによって、撮影部D1との位置関係が定まる。つまり必ずしも上記特定された飛行体Dの2次元位置の鉛直下方の画像とは限られない。したがって、補正部130は、方位および傾き情報と撮影部D1の向きに基づく光軸方向により、可視光画像および赤外線画像の上記位置情報を補正する。一例として以下、詳細に説明する。なお、図4は、当該補正処理の概要を示す概念図である。 The imaging target drawn on the visible light image and the infrared image has a positional relationship with the imaging unit D1 determined by the orientation and inclination of the flying object D and the direction of the optical axis in the imaging unit D1. That is, it is not necessarily the image vertically below the two-dimensional position of the specified flying object D. Therefore, the correction unit 130 corrects the above-mentioned position information of the visible light image and the infrared image based on the orientation and tilt information and the optical axis direction based on the orientation of the photographing unit D1. As an example, the details will be described below. Note that FIG. 4 is a conceptual diagram showing an outline of the correction process.
補正部130は、可視光画像および赤外線画像の上記各種位置情報を、上記方位情報、傾き情報、光軸方向情報に基づきVincenty順解法をもって補正する。例えば図4に示すように補正部130は、飛行体Dの撮影位置の緯度・経度および高度hと、複合Pitch角θとによって求められる水平距離Sを求める。また補正部130は複合Yaw角と方位情報とから方位角αを求める。この水平距離Sと方位角αとに基づいて、補正部130は、補正位置情報を求める。具体例は次の通りである。 The correction unit 130 corrects the various position information of the visible light image and the infrared image by the Vincenty forward solution method based on the directional information, the inclination information, and the optical axis direction information. For example, as shown in FIG. 4, the correction unit 130 obtains the horizontal distance S obtained by the latitude / longitude and altitude h of the shooting position of the flying object D and the composite Pitch angle θ. Further, the correction unit 130 obtains the azimuth angle α from the composite Yaw angle and the azimuth information. Based on the horizontal distance S and the azimuth angle α, the correction unit 130 obtains correction position information. Specific examples are as follows.
上記各種位置情報から得られた飛行体Dの高度をh、上記傾き情報と光軸方向から得られる複合Pitch角をθ、太陽電池パネルの架台長をLとすると、太陽電池パネルまでの「水平距離S」は、下記数1により求められる。その他Vincenty順解法に用いる「始点」(経度、緯度)は上記各種位置情報であり、「方位角」は上記傾き情報と光軸方向から得られる複合Yaw角と、地磁気センサーにより得られた方位情報とに基づいて得られる。
Assuming that the altitude of the flying object D obtained from the various position information is h, the composite Pitch angle obtained from the inclination information and the optical axis direction is θ, and the gantry length of the solar cell panel is L, the “horizontal” to the solar cell panel is obtained. The "distance S" is obtained by the
(補足)
高度h:
GNSS情報に含まれる(地表面、接地面)から飛行体D(またはGNSS情報受信部(不図示))までの高さ。あるいは超音波センサー等により計測した高さ。
架台長L :
接地面(地表等)から、太陽電池パネルの中心位置までの高さ。
始点:
飛行体Dの撮影位置(図4:緯度φ1 、経度λ1/鉛直下方位置(接地面))
水平距離S:
上記撮影位置から補正位置(太陽電池パネルの中心位置CP/緯度φ2、 経度λ2)までの距離。
(supplement)
Altitude h:
The height from the (ground surface, ground plane) included in the GNSS information to the aircraft D (or the GNSS information receiver (not shown)). Alternatively, the height measured by an ultrasonic sensor or the like.
Mount length L:
The height from the ground plane (ground surface, etc.) to the center position of the solar cell panel.
start point:
Shooting position of the aircraft D (Fig. 4: Latitude φ 1 , Longitude λ 1 / Vertical downward position (ground plane))
Horizontal distance S:
Distance from the photographing position to the correct position (central position CP / latitude phi 2 of the solar cell panel, longitude lambda 2).
制御部Cは、位置情報受信部110、画像受信部120、補正部130および付加部140を統合的に制御する。また、制御部Cは、位置情報受信部110が受信した測位情報(3次元位置情報、時刻情報等)や、画像受信部120が受信した各画像データを記憶部Sに記憶させる。 The control unit C integrally controls the position information receiving unit 110, the image receiving unit 120, the correction unit 130, and the additional unit 140. Further, the control unit C stores the positioning information (three-dimensional position information, time information, etc.) received by the position information receiving unit 110 and each image data received by the image receiving unit 120 in the storage unit S.
[動作]
図5は、本実施形態における処理の流れを示す図である。以下に、図4および図6も参照しつつ、飛行体Dの動作を、ステップ番号(S001〜S004)に沿って説明する。図6は、本実施形態の利用例の1つである、太陽光発電所の点検システムにおける空撮画像の取得の概要を示す概念図、すなわち太陽光パネルを空撮する飛行体Dと太陽光パネルの集合の概要を示す概念図である。
[motion]
FIG. 5 is a diagram showing a flow of processing in the present embodiment. Hereinafter, the operation of the flying object D will be described along with the step numbers (S001 to S004) with reference to FIGS. 4 and 6. FIG. 6 is a conceptual diagram showing an outline of acquisition of aerial images in an inspection system of a photovoltaic power plant, which is one of the usage examples of the present embodiment, that is, an air vehicle D for aerial photography of a solar panel and sunlight. It is a conceptual diagram which shows the outline of the set of panels.
(S001)
空撮画像特定システム100における位置情報受信部110は、飛行体Dから位置情報(GNSS情報等と、飛行体Dの方位情報、傾き、光軸方向(ジンバル))とを受ける。また画像受信部120は可視光画像および赤外線画像を受ける。図6の例においては、飛行体Dが太陽光発電所における太陽光パネルの空撮画像(可視光画像および前記赤外線画像)を撮像している状態を示している。
(S001)
The position information receiving unit 110 in the aerial image identification system 100 receives position information (GNSS information and the like, orientation information, inclination, and optical axis direction (gimbal) of the flying object D) from the flying object D. Further, the image receiving unit 120 receives a visible light image and an infrared image. In the example of FIG. 6, the air vehicle D is capturing an aerial image (visible light image and the infrared image) of the solar panel in the solar power plant.
(S002)
補正部130は、GNSS情報から各画像の撮影時の飛行体Dの3次元位置を受ける。例えば、図4のように高度hと、飛行体Dの撮影位置(図4:緯度φ1 、 経度λ1/鉛直下方位置)を位置情報受信部110から受信する。
(S002)
The correction unit 130 receives the three-dimensional position of the flying object D at the time of taking each image from the GNSS information. For example, as shown in FIG. 4, the altitude h and the shooting position of the flying object D (FIG. 4: latitude φ 1 , longitude λ 1 / vertically downward position) are received from the position information receiving unit 110.
(S003)
補正部130は、S002で求めた3次元位置と、方位角と飛行体Dの傾き、撮影部D1の向きに基づく光軸方向とに基づき、可視光画像および赤外線画像の位置情報を補正した補正位置情報を求め、時刻情報と関連付ける。
(S003)
The correction unit 130 corrects the position information of the visible light image and the infrared image based on the three-dimensional position obtained in S002, the azimuth angle, the inclination of the flying object D, and the optical axis direction based on the orientation of the photographing unit D1. Obtain location information and associate it with time information.
(S004)
付加部140は、補正位置情報を可視光画像および赤外線画像に付加する。
(S004)
The addition unit 140 adds the correction position information to the visible light image and the infrared image.
上記説明における各部の処理は、説明の便宜上、図1に示す制御部Cの制御の下に実行されるものとして説明した。この制御部Cは、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、或いは、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)等のうち、単一または複数の回路を含んで構成されていてもよい。制御部Cはメモリに保存された例えば画像位置特定プログラムを読み出し実行することで機能を実現する。なお、メモリにプログラムを保存する代わりに、回路内にプログラムを直接組み込むよう構成しても構わない。この場合、制御部Cとしての回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。なお、制御部Cは単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて1つのプロセッサーとして構成し、その機能を実現するようにしてもよい。さらに、実施形態における複数の構成要素(例えば位置情報受信部110、画像受信部120、補正部130および付加部140のうち少なくとも2以上)を1つのプロセッサーへ統合してその機能を実現するようにしてもよい。 For convenience of explanation, the processing of each part in the above description has been described as being executed under the control of the control unit C shown in FIG. The control unit C includes, for example, a single or a plurality of circuits such as a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or an integrated circuit for a specific application (Application Specific Integrated Circuit: ASIC). It may be configured. The control unit C realizes the function by reading and executing, for example, an image position specifying program stored in the memory. Instead of saving the program in the memory, the program may be directly embedded in the circuit. In this case, the function is realized by reading and executing the program incorporated in the circuit as the control unit C. The control unit C is not limited to the case where it is configured as a single circuit, and a plurality of independent circuits may be combined to form one processor to realize its function. Further, a plurality of components (for example, at least two or more of the position information receiving unit 110, the image receiving unit 120, the correction unit 130, and the additional unit 140) in the embodiment are integrated into one processor to realize the function. You may.
[効果]
本実施形態によれば、空撮画像と観察対象物の対応関係の特定が可能である。例えば、観察対象物が広域にわたるとき等、空撮画像に求められる解像度等の要求から画角が限定的となる場合がある。その場合、観察対象の1つまたはその集合体の全体が撮影できず、赤外線画像に描写された観察対象物(またはその一部)の位置の特定または集合における個体の特定ができない可能性がある。本実施形態によれば、その場合でも、赤外線画像と可視光画像との位置関係や、撮影時の飛行体の位置と光軸方向等に基づき、広域の撮影が可能な可視光画像に対する赤外線画像の位置が求めやすくなる。結果、マーカーのような特徴点を周囲に設置しなくても可視光画像と赤外線画像との位置合わせが可能となる。一例としてメガソーラー(1MWを超える大規模広域太陽光発電所)における1つの太陽光パネルの特定が容易となる。
[effect]
According to this embodiment, it is possible to specify the correspondence between the aerial image and the observation object. For example, when the object to be observed covers a wide area, the angle of view may be limited due to the requirements such as the resolution required for the aerial image. In that case, it may not be possible to photograph one of the observation objects or the entire collection thereof, and it may not be possible to identify the position of the observation object (or a part thereof) depicted in the infrared image or the individual in the collection. .. According to the present embodiment, even in that case, the infrared image for the visible light image capable of wide-area shooting based on the positional relationship between the infrared image and the visible light image, the position of the flying object at the time of shooting, the optical axis direction, and the like. It becomes easier to find the position of. As a result, it is possible to align the visible light image and the infrared image without installing a feature point such as a marker in the surroundings. As an example, it becomes easy to identify one solar panel in a mega solar (large-scale wide area solar power plant exceeding 1 MW).
また赤外線画像と可視光画像との位置関係も観察者や観察システムにとって認識しやすくなるため、両者を比較することで、赤外線画像において特異な温度情報を示している個体(多数の同種の個体の集合における、1個体または所定数の個体の群)を、可視光画像によって特定することも容易となる。 In addition, since the positional relationship between the infrared image and the visible light image can be easily recognized by the observer and the observation system, by comparing the two, an individual showing peculiar temperature information in the infrared image (a large number of individuals of the same type). It also becomes easy to identify one individual or a predetermined number of individuals in a set) by a visible light image.
[第2実施形態]
第2実施形態にかかる空撮画像特定システム200について図7および図8参照して説明する。以下の説明において、第1実施形態と重複する説明は割愛する。
[Second Embodiment]
The aerial image identification system 200 according to the second embodiment will be described with reference to FIGS. 7 and 8. In the following description, the description overlapping with the first embodiment will be omitted.
(概要)
第1実施形態と同様に、飛行体Dはその撮影部D1において同一の観察対象物が含まれるように可視光画像および赤外線画像を撮像する。一例として、図2および図3のようにマトリクス状に配置された太陽電池パネル群を撮像した可視光画像および赤外線画像の双方に、特定の同一のパネルが描画されている。
(Overview)
Similar to the first embodiment, the flying object D captures a visible light image and an infrared image so that the same observation object is included in the photographing unit D1. As an example, the same specific panel is drawn on both the visible light image and the infrared image of the solar cell panel group arranged in a matrix as shown in FIGS. 2 and 3.
この場合、例えば複数の同一種の観察対象物群を表示する可視光画像および赤外線画像の各画像内に、同一の観察対象物が含まれる。さらに画像内に特定の観察対象(例えば、何らかの異常が認められるパネル)が含まれる場合、可視光画像および赤外線画像のそれぞれでその特定の観察対象がどのパネルであるか容易に特定できれば、観察(例えばパネル点検)の効率は向上する。第2実施形態はそのための構成を備える。 In this case, for example, the same observation object is included in each of the visible light image and the infrared image displaying a plurality of observation object groups of the same type. Furthermore, when a specific observation target (for example, a panel in which some abnormality is observed) is included in the image, if it is possible to easily identify which panel the specific observation target is in each of the visible light image and the infrared image, the observation (for example, For example, the efficiency of panel inspection) is improved. The second embodiment includes a configuration for that purpose.
飛行体Dは観察対象物に対し、高さ方向に所定間隔を保つように移動する。この移動を説明の便宜上「水平移動」として説明する(なお、この水平移動は、厳密な意味での水平移動に限られない)。飛行体Dは水平移動しながら撮影しており、かつ可視光画像および赤外線画像の撮影タイミングはわずかながらでも時間差(例えば時刻差)が生じる。したがって、可視光画像および赤外線画像とは、同様の範囲を撮影しようとして取得(例えば同期して撮影)されたものであっても、一方が他方に対して、この時間差と飛行体Dの飛行速度により所定の飛行距離分だけ移動した後の画像となる。なお、飛行体Dが水平移動しながら撮影するのは、観察効率(太陽電池パネルの点検等の効率)が向上するためである。 The flying object D moves with respect to the observation object so as to maintain a predetermined interval in the height direction. This movement will be described as "horizontal movement" for convenience of explanation (note that this horizontal movement is not limited to horizontal movement in a strict sense). The flying object D is photographed while moving horizontally, and the imaging timings of the visible light image and the infrared image have a slight time difference (for example, a time difference). Therefore, even if the visible light image and the infrared image are acquired in an attempt to capture a similar range (for example, captured in synchronization), one of them has this time difference and the flight speed of the flying object D with respect to the other. It becomes an image after moving by a predetermined flight distance. The reason why the flying object D takes a picture while moving horizontally is to improve the observation efficiency (efficiency of inspection of the solar cell panel, etc.).
また一例においては、可視光画像(例:図3)と赤外線画像(例:図2A、2B)とでは、可視光画像の方が画角が広くなる傾向がある。したがって、第1実施形態における補正位置情報の作成に加え、画像の生成、画像の撮影の時間差によって、可視光画像と赤外線画像との間に生じる撮影中心位置のずれも補正することにより、例えば両画像の相対位置の把握の精度の向上を図ることができる。具体的には次の通りである。 Further, in one example, in the visible light image (example: FIG. 3) and the infrared image (example: FIGS. 2A and 2B), the visible light image tends to have a wider angle of view. Therefore, in addition to the creation of the correction position information in the first embodiment, by correcting the deviation of the shooting center position between the visible light image and the infrared image due to the time difference between the image generation and the image shooting, for example, both It is possible to improve the accuracy of grasping the relative position of the image. Specifically, it is as follows.
(空撮画像特定システム200)
図7に示すように第2実施形態の空撮画像特定システム200は、位置情報受信部210、画像受信部220、補正部230、付加部240および制御部Cと記憶部Sの他、補足情報受信部215を含んで構成される。画像受信部220、付加部240および制御部Cと記憶部Sの各機能は、第1実施形態と概ね同様であり説明が重複するため割愛する。
(Aerial image identification system 200)
As shown in FIG. 7, the aerial image identification system 200 of the second embodiment includes a position information receiving unit 210, an image receiving unit 220, a correction unit 230, an additional unit 240, a control unit C and a storage unit S, and supplementary information. It is configured to include a receiving unit 215. The functions of the image receiving unit 220, the additional unit 240, the control unit C, and the storage unit S are substantially the same as those of the first embodiment, and the description thereof will be duplicated, and thus the description thereof will be omitted.
(補足情報受信部215)
補足情報受信部215は、全球測位衛星システムからの航法信号、すなわち衛星が送信する信号のうち、当該信号に基づく信号発信時刻を、可視光画像の付加情報として取得する。また、補足情報受信部215は、飛行体Dの水平移動速度を取得する。例えば飛行体Dに速度センサー(不図示)が設けられている場合、その速度センサーから受信した情報が水平移動速度である。または飛行体Dの移動を制御する制御系から当該移動に関する情報を受け、また飛行体Dの諸元等の情報も含めて水平移動の速度を求めてもよい。
(Supplementary information receiver 215)
Supplementary information receiving unit 215 acquires the navigation signal from the global positioning satellite system, that is, the signal transmission time based on the signal among the signals transmitted by the satellite, as additional information of the visible light image. In addition, the supplementary information receiving unit 215 acquires the horizontal movement speed of the flying object D. For example, when the flying object D is provided with a speed sensor (not shown), the information received from the speed sensor is the horizontal movement speed. Alternatively, the speed of horizontal movement may be obtained by receiving information on the movement from the control system that controls the movement of the aircraft D, and also including information such as specifications of the aircraft D.
(補正部230)
補正部230は、補足情報受信部215が受信した、可視光画像に付帯された時刻と赤外線画像に付帯された時刻とを比較し、時刻の早い方を特定する。なお、取得順があらかじめ決まっている場合はこの比較は行わない。また、当該両時刻の比較の結果、時刻差を求める。なお、時刻差に限らず、単に両画像の撮影の時間差であってもよい。
(Correction unit 230)
The correction unit 230 compares the time attached to the visible light image and the time attached to the infrared image received by the supplementary information receiving unit 215, and identifies the earlier time. If the acquisition order is predetermined, this comparison will not be performed. In addition, as a result of comparing the two times, the time difference is obtained. The time difference is not limited to the time difference, and may be simply the time difference between the shooting of both images.
また補正部230は、補足情報受信部215を介して取得した飛行体Dの当該時刻における移動速度と上記時刻差とに基づいて、両画像の位置のずれ量(各撮影位置間の距離)を求める。さらに補正部230は、第1実施形態における補正処理において求めた、可視光画像および赤外線画像それぞれに対応する複合Pitch角θと、上記ずれ量とに基づいて、両画像がどの方位にどれだけ位置ずれしているかを求める。 Further, the correction unit 230 determines the amount of displacement (distance between each shooting position) of the positions of both images based on the moving speed of the flying object D acquired via the supplementary information receiving unit 215 at the time and the time difference. Ask. Further, the correction unit 230 positions both images in which direction and how much based on the composite Pitch angle θ corresponding to each of the visible light image and the infrared image and the deviation amount obtained in the correction process in the first embodiment. Ask if it is out of alignment.
上記のような画角の差、すなわち可視光画像の方が広域である場合、補正部230はこのように特定した差分情報に基づいて、可視光画像内における赤外線画像が示す範囲を特定する処理を行う場合に、その処理の負荷を低減し、あるいはその処理結果の精度の向上を図ることが可能となる。 When the difference in the angle of view as described above, that is, the visible light image has a wider area, the correction unit 230 specifies the range indicated by the infrared image in the visible light image based on the difference information specified in this way. When performing the above, it is possible to reduce the processing load or improve the accuracy of the processing result.
また、可視光画像と赤外線画像の位置の対応関係を求めることが可能となるため、両画像の画角を統一、あるいは両画像の画角の比を任意の比率となるように変更することも可能である。 In addition, since it is possible to obtain the correspondence between the positions of the visible light image and the infrared image, it is possible to unify the angles of view of both images or change the ratio of the angles of view of both images to an arbitrary ratio. It is possible.
[動作]
図8は、本実施形態における処理の流れを示す図である。以下に、飛行体Dの動作を、ステップ番号(S021〜S027)に添って説明する。
[motion]
FIG. 8 is a diagram showing a flow of processing in the present embodiment. The operation of the flying object D will be described below along with the step numbers (S021 to S027).
(S021)
空撮画像特定システム200における位置情報受信部210および補足情報受信部215は、飛行体Dから位置情報(第1実施形態と同様)と、時刻情報を受ける。また画像受信部220は可視光画像および赤外線画像を受ける。
(S021)
The position information receiving unit 210 and the supplementary information receiving unit 215 in the aerial image identification system 200 receive position information (similar to the first embodiment) and time information from the flying object D. The image receiving unit 220 also receives a visible light image and an infrared image.
(S022)
補正部230は、補足情報受信部215から対応して撮影された可視光画像および赤外線画像の各画像の時刻情報を取得する。また補正部230は、可視光画像および赤外線画像の各画像の時刻情報を比較して、いずれが先に撮影されたものか求める。
(S022)
The correction unit 230 acquires the time information of each image of the visible light image and the infrared image taken correspondingly from the supplementary information receiving unit 215. Further, the correction unit 230 compares the time information of each image of the visible light image and the infrared image to determine which one was taken first.
(S023)、(S025)
S022に前後、または並行して補正部230は、GNSS情報から各画像の撮影時の飛行体Dの3次元位置(図4:高度h、撮影位置(緯度φ1、 経度λ1)を位置情報受信部210から取得し、補足情報受信部215から移動速度情報を取得する。
(S023), (S025)
Before, after, or in parallel with S022, the correction unit 230 determines the three-dimensional position (FIG. 4: altitude h, shooting position (latitude φ 1 , longitude λ 1 )) of the flying object D at the time of shooting each image from the GNSS information. It is acquired from the receiving unit 210, and the moving speed information is acquired from the supplementary information receiving unit 215.
(S024)
補正部230は、S022の結果、可視光画像が先に撮影されたものであると判断された場合(S022;Yes)、移動速度と時刻差に基づき赤外線画像とのずれ量を求める。また、複合Pitch角θを取得し、赤外線画像が先に撮影された可視光画像に対して、どの方位にどの距離だけずれているかを示す差分情報を作成する。
(S024)
When it is determined as a result of S022 that the visible light image was taken first (S022; Yes), the correction unit 230 obtains the amount of deviation from the infrared image based on the moving speed and the time difference. In addition, the composite Pitch angle θ is acquired, and difference information indicating which direction and by what distance the infrared image is deviated from the previously captured visible light image is created.
(S026)
補正部230は、S022の結果、赤外線画像が先に撮影されたものであると判断された場合(S022;No)、移動速度と時刻差に基づき可視光画像とのずれ量を求める。また、方位角を取得し、可視光画像が先に撮影された赤外線画像に対して、どの方位にどの距離だけずれているかを示す差分情報を作成する。
(S026)
When it is determined as a result of S022 that the infrared image was taken first (S022; No), the correction unit 230 obtains the amount of deviation from the visible light image based on the moving speed and the time difference. In addition, the azimuth angle is acquired, and difference information indicating which direction and by what distance the visible light image is deviated from the previously captured infrared image is created.
(S027)
補正部230は差分情報に基づき両画像の相対位置を特定する。
(S027)
The correction unit 230 specifies the relative positions of both images based on the difference information.
なお、補正部230は、S023またはS025において、第1実施形態と同様に3次元位置と、方位角と飛行体Dの傾き、撮影部D1の向きに基づく光軸方向とに基づき、可視光画像および赤外線画像の位置情報を補正した補正位置情報を求め、それを利用してもよい。また、付加部240が、補正位置情報を可視光画像および赤外線画像に付加する。 In S023 or S025, the correction unit 230 is a visible light image based on the three-dimensional position, the azimuth angle, the inclination of the flying object D, and the optical axis direction based on the orientation of the photographing unit D1 as in the first embodiment. And the corrected position information obtained by correcting the position information of the infrared image may be obtained and used. Further, the addition unit 240 adds the correction position information to the visible light image and the infrared image.
また制御部Cは、第1実施形態と同様、各種の形態を採用することが可能である。また位置情報受信部210と補足情報受信部215とを区別して説明したが、この区別は説明の便宜上におけるものである。 Further, the control unit C can adopt various forms as in the first embodiment. Further, the position information receiving unit 210 and the supplementary information receiving unit 215 have been described separately, but this distinction is for convenience of explanation.
[効果]
本実施形態によれば、空撮画像と観察対象物の対応関係の特定が可能である。例えば、観察対象物が広域にわたるとき等、空撮画像に求められる解像度等の要求から画角が限定的となる場合がある。その場合、観察対象の1つまたはその集合体の全体が撮影できず、赤外線画像に描写された観察対象物(またはその一部)の位置の特定または集合における個体の特定ができない可能性がある。本実施形態によれば、その場合でも、赤外線画像と可視光画像との位置関係や、撮影時の飛行体の位置と光軸方向等に基づき、広域の撮影が可能な可視光画像に対する赤外線画像の位置が求めやすくなる。結果、マーカーのような特徴点を周囲に設置しなくても可視光画像と赤外線画像との位置合わせが可能となる。一例としてメガソーラー(1MWを超える大規模広域太陽光発電所)における1つの太陽光パネルの特定が容易となる。
[effect]
According to this embodiment, it is possible to specify the correspondence between the aerial image and the observation object. For example, when the object to be observed covers a wide area, the angle of view may be limited due to the requirements such as the resolution required for the aerial image. In that case, it may not be possible to photograph one of the observation objects or the entire collection thereof, and it may not be possible to identify the position of the observation object (or a part thereof) depicted in the infrared image or the individual in the collection. .. According to the present embodiment, even in that case, the infrared image for the visible light image capable of wide-area shooting based on the positional relationship between the infrared image and the visible light image, the position of the flying object at the time of shooting, the optical axis direction, and the like. It becomes easier to find the position of. As a result, it is possible to align the visible light image and the infrared image without installing a feature point such as a marker in the surroundings. As an example, it becomes easy to identify one solar panel in a mega solar (large-scale wide area solar power plant exceeding 1 MW).
また赤外線画像と可視光画像との位置関係も観察者や観察システムにとって認識しやすくなるため、両者を比較することで、赤外線画像において特異な温度情報を示している個体(多数の同種の個体の集合における、1個体または所定数の個体の群)を、可視光画像によって特定することも容易となる。 In addition, since the positional relationship between the infrared image and the visible light image can be easily recognized by the observer and the observation system, by comparing the two, an individual showing peculiar temperature information in the infrared image (a large number of individuals of the same type). It also becomes easy to identify one individual or a predetermined number of individuals in a set) by a visible light image.
[第3実施形態]
第3実施形態にかかる空撮画像特定システム300について図9および図10を参照して説明する。以下の説明において、第1実施形態、第2実施形態と重複する説明は割愛する。図10は、可視光画像に赤外線画像を重畳した重畳画像の一例の概要を示す概念図である。
[Third Embodiment]
The aerial image identification system 300 according to the third embodiment will be described with reference to FIGS. 9 and 10. In the following description, the description overlapping with the first embodiment and the second embodiment will be omitted. FIG. 10 is a conceptual diagram showing an outline of an example of a superimposed image in which an infrared image is superimposed on a visible light image.
(概要)
第3実施形態においては、第1実施形態で補正した位置や、第2実施形態で特定した両画像の相対位置に基づき、可視光画像と赤外線画像を重畳する。
(Overview)
In the third embodiment, the visible light image and the infrared image are superimposed based on the position corrected in the first embodiment and the relative position of both images specified in the second embodiment.
(空撮画像特定システム300)
図9に示すように、第3実施形態の空撮画像特定システム300は、位置情報受信部310、補足情報受信部315、画像受信部320、補正部330、付加部340および制御部Cと記憶部Sの他、重畳部350を含んで構成される。位置情報受信部310、補足情報受信部315、画像受信部320、付加部340および制御部Cと記憶部Sの各機能は、第1実施形態、第2実施形態と概ね同様であり説明が重複するため割愛する。
(Aerial image identification system 300)
As shown in FIG. 9, the aerial image identification system 300 of the third embodiment includes a position information receiving unit 310, a supplementary information receiving unit 315, an image receiving unit 320, a correction unit 330, an additional unit 340, and a control unit C. In addition to the part S, the superimposing part 350 is included. The functions of the position information receiving unit 310, the supplementary information receiving unit 315, the image receiving unit 320, the additional unit 340, and the control unit C and the storage unit S are substantially the same as those of the first embodiment and the second embodiment, and the explanations are duplicated. I will omit it to do it.
(重畳部350)
第3実施形態において重畳部350は、可視光画像における観察対象物(例:太陽光発電パネル)および、赤外線画像における観察対象物をそれぞれ特定する。例えば、画像における観察対象物のエッジ(輪郭線)を検出する。輪郭線の抽出方法は任意の方法を採ることができ、例えば太陽電池パネルであれば、二値化するとパネルの枠線が抽出でき、抽出した枠線の座標位置を元の画像において特定してその部分をパネルのエッジとすることができる。この処理は、第1実施形態および、第2実施形態の少なくともいずれか一方の位置情報の補正処理の後に実行される。
(Superimposition part 350)
In the third embodiment, the superimposing unit 350 identifies an observation object in a visible light image (eg, a photovoltaic power generation panel) and an observation object in an infrared image, respectively. For example, the edge (contour line) of the observation object in the image is detected. Any method can be used to extract the contour line. For example, in the case of a solar cell panel, the frame line of the panel can be extracted by binarizing, and the coordinate position of the extracted frame line is specified in the original image. That part can be the edge of the panel. This process is executed after the position information correction process of at least one of the first embodiment and the second embodiment.
また重畳部350は、可視光画像と赤外線画像の画角と視差を計算し、画角を所定の比率(例えば画角を統一)とする。さらに重畳部350は、可視光画像の観察対象物のサイズと、赤外線画像の観察対象物のサイズが合うように赤外線画像のサイズを変換し、回転、平行移動等を行う(アフィン変換等)。 Further, the superimposing unit 350 calculates the angle of view and parallax of the visible light image and the infrared image, and sets the angle of view to a predetermined ratio (for example, unifying the angle of view). Further, the superimposition unit 350 converts the size of the infrared image so that the size of the object to be observed in the visible light image and the size of the object to be observed in the infrared image match, and performs rotation, translation, and the like (affine transformation, etc.).
また重畳部350は、第1実施形態によって作成された補正位置情報や、第2実施形態によって、可視光画像と赤外線画像の相対位置の修正をした画像位置(例えば第1実施形態、第2実施形態の補正位置情報)等に基づき、可視光画像と赤外線画像との位置合わせをする。 Further, the superimposing unit 350 is used to correct the corrected position information created by the first embodiment and the image positions obtained by correcting the relative positions of the visible light image and the infrared image according to the second embodiment (for example, the first embodiment and the second embodiment). Align the visible light image with the infrared image based on the correction position information of the form).
さらに重畳部350は、可視光画像に赤外線画像を重畳する。図10に示すように、ユーザーの設定により、赤外線画像の透明度が設定されると、重畳部350は赤外線画像を透過して可視光画像が見えるような画像処理をするように構成されていてもよい。 Further, the superimposing unit 350 superimposes an infrared image on the visible light image. As shown in FIG. 10, when the transparency of the infrared image is set by the user's setting, the superimposing unit 350 is configured to perform image processing so that the visible light image can be seen through the infrared image. good.
[効果]
本実施形態によれば、空撮画像と観察対象物の対応関係の特定が可能である。例えば、観察対象物が広域にわたるとき等、空撮画像に求められる解像度等の要求から画角が限定的となる場合がある。その場合、観察対象の1つまたはその集合体の全体が撮影できず、赤外線画像に描写された観察対象物(またはその一部)の位置の特定または集合における個体の特定ができない可能性がある。本実施形態によれば、その場合でも、赤外線画像と可視光画像との位置関係や、撮影時の飛行体の位置と光軸方向等に基づき、広域の撮影が可能な可視光画像に対する赤外線画像の位置が求めやすくなる。結果、マーカーのような特徴点を周囲に設置しなくても可視光画像と赤外線画像との位置合わせが可能となる。一例としてメガソーラー(1MWを超える大規模広域太陽光発電所)における1つの太陽光パネルの特定が容易となる。
[effect]
According to this embodiment, it is possible to specify the correspondence between the aerial image and the observation object. For example, when the object to be observed covers a wide area, the angle of view may be limited due to the requirements such as the resolution required for the aerial image. In that case, it may not be possible to photograph one of the observation objects or the entire collection thereof, and it may not be possible to identify the position of the observation object (or a part thereof) depicted in the infrared image or the individual in the collection. .. According to the present embodiment, even in that case, the infrared image for the visible light image capable of wide-area shooting based on the positional relationship between the infrared image and the visible light image, the position of the flying object at the time of shooting, the optical axis direction, and the like. It becomes easier to find the position of. As a result, it is possible to align the visible light image and the infrared image without installing a feature point such as a marker in the surroundings. As an example, it becomes easy to identify one solar panel in a mega solar (large-scale wide area solar power plant exceeding 1 MW).
また赤外線画像と可視光画像との位置関係も観察者や観察システムにとって認識しやすくなるため、両者を比較することで、赤外線画像において特異な温度情報を示している個体(多数の同種の個体の集合における、1個体または所定数の個体の群)を、可視光画像によって特定することも容易となる。 In addition, since the positional relationship between the infrared image and the visible light image can be easily recognized by the observer and the observation system, by comparing the two, an individual showing peculiar temperature information in the infrared image (a large number of individuals of the same type). It also becomes easy to identify one individual or a predetermined number of individuals in a set) by a visible light image.
さらに、第3実施形態によれば可視光画像と赤外線画像の重畳画像をユーザーに提示することができ、直感的に両者の状態(相対位置、パネルの異常等)を視認でき、観察対象物の把握の効率化を図ることが可能である。 Further, according to the third embodiment, the superimposed image of the visible light image and the infrared image can be presented to the user, the states of both (relative position, panel abnormality, etc.) can be intuitively visually recognized, and the observation object can be observed. It is possible to improve the efficiency of grasping.
[第4実施形態]
第4実施形態にかかる空撮画像特定システム400について図11および図12を参照して説明する。以下の説明において、第1実施形態、第2実施形態と重複する説明は割愛する。図12は、オルソ画像の一例の概要を示す概念図である。
[Fourth Embodiment]
The aerial image identification system 400 according to the fourth embodiment will be described with reference to FIGS. 11 and 12. In the following description, the description overlapping with the first embodiment and the second embodiment will be omitted. FIG. 12 is a conceptual diagram showing an outline of an example of an ortho image.
(空撮画像特定システム400)
図11に示すように、第3実施形態の空撮画像特定システム400は、位置情報受信部410、補足情報受信部415、画像受信部420、補正部430、付加部440、重畳部450および制御部Cと記憶部Sの他、オルソ画像生成部460を含んで構成される。位置情報受信部410、補足情報受信部415、画像受信部420、付加部440および制御部Cと記憶部Sの各機能は、第1〜3実施形態と概ね同様であり、説明が重複するため割愛する。
(Aerial image identification system 400)
As shown in FIG. 11, the aerial image identification system 400 of the third embodiment includes a position information receiving unit 410, a supplementary information receiving unit 415, an image receiving unit 420, a correction unit 430, an additional unit 440, a superimposing unit 450, and a control unit. In addition to the unit C and the storage unit S, the ortho image generation unit 460 is included. The functions of the position information receiving unit 410, the supplementary information receiving unit 415, the image receiving unit 420, the additional unit 440, and the control unit C and the storage unit S are substantially the same as those of the first to third embodiments, and the description is duplicated. Omit.
一般に空撮画像は、飛行体Dの撮像部のレンズの中心に光束が集まるように撮影され、中心投影の画像となる。したがって、画像の画角において、中心と端部では、レンズの中心から対象物までの距離が異なる。これにより、端部側では観察対象物が傾いているように描画される。例えば太陽電池パネルの場合、中心側と端部側でパネルの形状が大きく異なるおそれもある。第4実施形態では、これを解消し、例えば第3実施形態のような重畳を適正に実行することを可能とする。 Generally, an aerial image is taken so that the light flux is concentrated at the center of the lens of the image pickup unit of the flying object D, and becomes a central projection image. Therefore, in the angle of view of the image, the distance from the center of the lens to the object is different between the center and the edge. As a result, the observation object is drawn as if it is tilted on the end side. For example, in the case of a solar cell panel, the shape of the panel may differ greatly between the center side and the end side. In the fourth embodiment, this is solved, and it is possible to properly execute the superimposition as in the third embodiment, for example.
(オルソ画像生成部460)
第4実施形態におけるオルソ画像生成部460は、取得された可視光画像について、正射投影する処理を実行し、オルソ画像を生成する。例えば第1〜第3実施形態における可視光画像より画角の広い広域の可視光画像を取得しても、オルソ画像生成部460により正射投影処理することにより、画角の周縁側で画像のゆがみが解消される。
(Ortho image generation unit 460)
The orthophoto image generation unit 460 in the fourth embodiment executes a process of orthographic projection of the acquired visible light image to generate an orthophoto image. For example, even if a wide-area visible light image having a wider angle of view than the visible light image in the first to third embodiments is acquired, the ortho-image generation unit 460 performs orthoscopic projection processing to obtain an image on the peripheral side of the angle of view. The distortion is eliminated.
(重畳部450)
重畳部450は、第1実施形態によって作成された補正位置情報や、第2実施形態によって、オルソ画像と赤外線画像の相対位置の修正をした画像位置等に基づき、オルソ画像と赤外線画像との位置合わせをする。
(Superimposition part 450)
The superimposing unit 450 is the position of the ortho image and the infrared image based on the correction position information created by the first embodiment, the image position where the relative position of the ortho image and the infrared image is corrected by the second embodiment, and the like. Make a match.
[効果]
本実施形態によれば、空撮画像と観察対象物の対応関係の特定が可能である。例えば、観察対象物が広域にわたるとき等、空撮画像に求められる解像度等の要求から画角が限定的となる場合がある。その場合、観察対象の1つまたはその集合体の全体が撮影できず、赤外線画像に描写された観察対象物(またはその一部)の位置の特定または集合における個体の特定ができない可能性がある。本実施形態によれば、その場合でも、赤外線画像と可視光画像との位置関係や、撮影時の飛行体の位置と光軸方向等に基づき、広域の撮影が可能な可視光画像に対する赤外線画像の位置が求めやすくなる。結果、マーカーのような特徴点を周囲に設置しなくても可視光画像と赤外線画像との位置合わせが可能となる。一例としてメガソーラー(1MWを超える大規模広域太陽光発電所)における1つの太陽光パネルの特定が容易となる。
[effect]
According to this embodiment, it is possible to specify the correspondence between the aerial image and the observation object. For example, when the object to be observed covers a wide area, the angle of view may be limited due to the requirements such as the resolution required for the aerial image. In that case, it may not be possible to photograph one of the observation objects or the entire collection thereof, and it may not be possible to identify the position of the observation object (or a part thereof) depicted in the infrared image or the individual in the collection. .. According to the present embodiment, even in that case, the infrared image for the visible light image capable of wide-area shooting based on the positional relationship between the infrared image and the visible light image, the position of the flying object at the time of shooting, the optical axis direction, and the like. It becomes easier to find the position of. As a result, it is possible to align the visible light image and the infrared image without installing a feature point such as a marker in the surroundings. As an example, it becomes easy to identify one solar panel in a mega solar (large-scale wide area solar power plant exceeding 1 MW).
また赤外線画像と可視光画像との位置関係も観察者や観察システムにとって認識しやすくなるため、両者を比較することで、赤外線画像において特異な温度情報を示している個体(多数の同種の個体の集合における、1個体または所定数の個体の群)を、可視光画像によって特定することも容易となる。 In addition, since the positional relationship between the infrared image and the visible light image can be easily recognized by the observer and the observation system, by comparing the two, an individual showing peculiar temperature information in the infrared image (a large number of individuals of the same type). It also becomes easy to identify one individual or a predetermined number of individuals in a set) by a visible light image.
さらに、第4実施形態によれば広域の可視光画像をオルソ画像とすることにより、広域の可視光画像と赤外線画像の重畳画像をユーザーに提示することができ、直感的に両者の状態(相対位置、パネルの異常等)を視認でき、観察対象物の把握の効率化を図ることが可能である。また、オルソ画像が、広域画像であることにより、特定の観察対象物の全体における位置が把握しやすくなる。 Further, according to the fourth embodiment, by using a wide-area visible light image as an ortho image, it is possible to present a superposed image of a wide-area visible light image and an infrared image to the user, and intuitively both states (relative). (Position, panel abnormality, etc.) can be visually recognized, and it is possible to improve the efficiency of grasping the observation target. Further, since the ortho image is a wide area image, it becomes easy to grasp the position of a specific observation object in the whole.
[第5実施形態] [Fifth Embodiment]
第5実施形態にかかる空撮画像特定システム500について図13〜図16を参照して説明する。以下の説明において、第1〜4実施形態と重複する説明は割愛する。図14は、特定部における太陽電池パネルの特定処理の一例の概要を示す概念図である。図15、図16は、重畳画像における補正処理前後の不良観察対象物のマーキング位置のずれ量を示す概念図である。 The aerial image identification system 500 according to the fifth embodiment will be described with reference to FIGS. 13 to 16. In the following description, the description overlapping with the first to fourth embodiments will be omitted. FIG. 14 is a conceptual diagram showing an outline of an example of a specific process of a solar cell panel in a specific part. 15 and 16 are conceptual diagrams showing the amount of deviation of the marking position of the defective observation object before and after the correction process in the superimposed image.
(空撮画像特定システム500)
図13に示すように、第5実施形態の空撮画像特定システム500は、位置情報受信部510、補足情報受信部515、画像受信部520、補正部530、付加部540、重畳部550および制御部Cと記憶部Sの他、特定部570を含んで構成される。またオルソ画像生成部を有していてもよい。位置情報受信部510、補足情報受信部515、画像受信部520、付加部540および制御部Cと記憶部Sの各機能は、第1〜4実施形態と概ね同様であり、説明が重複するため割愛する。
(Aerial image identification system 500)
As shown in FIG. 13, the aerial image identification system 500 of the fifth embodiment includes a position information receiving unit 510, a supplementary information receiving unit 515, an image receiving unit 520, a correction unit 530, an additional unit 540, a superimposing unit 550, and a control unit. In addition to the unit C and the storage unit S, the specific unit 570 is included. It may also have an orthoimage generation unit. The functions of the position information receiving unit 510, the supplementary information receiving unit 515, the image receiving unit 520, the additional unit 540, and the control unit C and the storage unit S are substantially the same as those in the first to fourth embodiments, and the description is duplicated. Omit.
(特定部)
第5実施形態における特定部570は、赤外線画像における観察対象物を特定する。以下、その一例について説明する。特定部570は、受信した赤外線画像に対し、ディープラーニング(深層学習)による物体検知モデル(アルゴリズムでもよい)によって、観察対象物(例えば太陽電池パネル)の1つ1つを特定する。
(Specific part)
The identification unit 570 in the fifth embodiment identifies an observation target in an infrared image. An example thereof will be described below. The identification unit 570 identifies each observation object (for example, a solar cell panel) with respect to the received infrared image by an object detection model (algorithm may be used) by deep learning (deep learning).
次に特定部570は、赤外線画像の画像処理により、物体検知によって特定された観察対象物それぞれに対し、特定の温度を示す被疑観察対象物を特定する。太陽電池パネルの例であれば、特定の温度とは、正常なパネルと比べ相対的に高温であることであり、その相対的に高温なパネルが被疑観察対象物となる。 Next, the identification unit 570 identifies the suspected observation object showing a specific temperature for each observation object specified by the object detection by image processing of the infrared image. In the case of a solar cell panel, the specific temperature is a relatively high temperature as compared with a normal panel, and the relatively high temperature panel is a suspected observation object.
さらに特定部570は、被疑観察対象物それぞれのうち、当該被疑観察対象物内の、平均温度と最高温度の差分が閾値を超えるものを不良と判断する。太陽電池パネルの例であれば、閾値は例えば「2.0℃」以上となる。 Further, the specific unit 570 determines that the difference between the average temperature and the maximum temperature in the suspected observation object exceeds the threshold value among the suspected observation objects. In the case of the solar cell panel, the threshold value is, for example, "2.0 ° C." or higher.
さらに特定部570は、不良観察対象物の位置を第1実施形態によって作成された補正位置情報や、第2実施形態によって、可視光画像と赤外線画像の相対位置の修正をした画像位置等に基づき、特定する。 Further, the specific unit 570 is based on the corrected position information created by the first embodiment for the position of the defective observation object, the image position where the relative positions of the visible light image and the infrared image are corrected by the second embodiment, and the like. ,Identify.
次に、重畳部550は、第1実施形態によって作成された補正位置情報や、第2実施形態によって、可視光画像と赤外線画像の相対位置の修正をした画像位置等に基づき、可視光画像と赤外線画像との位置合わせをし、第3実施形態と同様に重畳処理を実行する。このとき、可視光画像でなく、第4実施形態のオルソ画像であってもよい。 Next, the superimposing unit 550 sets the visible light image and the visible light image based on the corrected position information created by the first embodiment and the image position where the relative positions of the visible light image and the infrared image are corrected according to the second embodiment. The image is aligned with the infrared image, and the superimposition process is executed in the same manner as in the third embodiment. At this time, the ortho image of the fourth embodiment may be used instead of the visible light image.
次に特定部570は、重畳画像における不良観察対象物を強調表示してもよい。強調表示は、他の部分と明確に識別できる色彩の付与、点滅表示、輪郭線の強調、特定の図形(マーキング)等、任意の方法を適宜採用することが可能である。 Next, the specific unit 570 may highlight the defective observation object in the superimposed image. For the highlighting, any method such as adding a color that can be clearly distinguished from other parts, blinking display, highlighting the outline, and a specific figure (marking) can be appropriately adopted.
(変形例)
次に第5実施形態にかかる空撮画像特定システム500の変形例について図17を参照して説明する。図17に示すようにGIS(Geographic Information System;地理情報システム)を使用して可視化した地図データを可視光画像やオルソ画像のかわりに利用することが可能である。この地図データに含まれた緯度・経度・標高等のデータを利用して、重畳部550は赤外線画像を重畳することができ、特定部570は、不良観察対象物の強調表示をすることが可能となる。このため、この変形例においては、地図データを記憶する地図画像記憶部、または地図データのテンプレートをあらかじめ記憶し、外部から緯度、経度、標高等の地形のデータを取得して地図データを作成する地図データ作成部が含まれる。これらの図示は省略する。
(Modification example)
Next, a modified example of the aerial image identification system 500 according to the fifth embodiment will be described with reference to FIG. As shown in FIG. 17, map data visualized using a GIS (Geographic Information System) can be used instead of a visible light image or an ortho image. Using the data such as latitude, longitude, and altitude included in this map data, the superimposing unit 550 can superimpose an infrared image, and the specific unit 570 can highlight a defective observation object. It becomes. Therefore, in this modification, the map image storage unit that stores the map data or the map data template is stored in advance, and the topographical data such as latitude, longitude, and altitude are acquired from the outside to create the map data. Includes map data creation unit. These illustrations are omitted.
[効果]
本実施形態によれば、空撮画像と観察対象物の対応関係の特定が可能である。例えば、観察対象物が広域にわたるとき等、空撮画像に求められる解像度等の要求から画角が限定的となる場合がある。その場合、観察対象の1つまたはその集合体の全体が撮影できず、赤外線画像に描写された観察対象物(またはその一部)の位置の特定または集合における個体の特定ができない可能性がある。本実施形態によれば、その場合でも、赤外線画像と可視光画像との位置関係や、撮影時の飛行体の位置と光軸方向等に基づき、広域の撮影が可能な可視光画像に対する赤外線画像の位置が求めやすくなる。結果、マーカーのような特徴点を周囲に設置しなくても可視光画像と赤外線画像との位置合わせが可能となる。一例としてメガソーラー(1MWを超える大規模広域太陽光発電所)における1つの太陽光パネルの特定が容易となる。
[effect]
According to this embodiment, it is possible to specify the correspondence between the aerial image and the observation object. For example, when the object to be observed covers a wide area, the angle of view may be limited due to the requirements such as the resolution required for the aerial image. In that case, it may not be possible to photograph one of the observation objects or the entire collection thereof, and it may not be possible to identify the position of the observation object (or a part thereof) depicted in the infrared image or the individual in the collection. .. According to the present embodiment, even in that case, the infrared image for the visible light image capable of wide-area shooting based on the positional relationship between the infrared image and the visible light image, the position of the flying object at the time of shooting, the optical axis direction, and the like. It becomes easier to find the position of. As a result, it is possible to align the visible light image and the infrared image without installing a feature point such as a marker in the surroundings. As an example, it becomes easy to identify one solar panel in a mega solar (large-scale wide area solar power plant exceeding 1 MW).
また赤外線画像と可視光画像との位置関係も観察者や観察システムにとって認識しやすくなるため、両者を比較することで、赤外線画像において特異な温度情報を示している個体(多数の同種の個体の集合における、1個体または所定数の個体の群)を、可視光画像によって特定することも容易となる。 In addition, since the positional relationship between the infrared image and the visible light image can be easily recognized by the observer and the observation system, by comparing the two, an individual showing peculiar temperature information in the infrared image (a large number of individuals of the same type). It also becomes easy to identify one individual or a predetermined number of individuals in a set) by a visible light image.
さらに、第5実施形態によれば不良観察対象物を特定し、さらに重畳画像において不良観察対象物の位置を提示するので、不良観察対象物の把握の効率化を図ることが可能である。 Further, according to the fifth embodiment, since the defective observation object is specified and the position of the defective observation object is presented in the superimposed image, it is possible to improve the efficiency of grasping the defective observation object.
図15、図16に示すように、太陽電池パネルの例における第1実施形態および第2実施形態の位置情報の補正処理を行う前と行った後の不良太陽電池パネルの位置は、大きくずれている。これらの図に示すように、第1実施形態および第2実施形態の補正処理により不良観察対象物の位置を精度よく提示することができるため、不良観察対象物の特定が容易となる。 As shown in FIGS. 15 and 16, the positions of the defective solar cell panels before and after the correction processing of the position information of the first embodiment and the second embodiment in the example of the solar cell panel are largely deviated. There is. As shown in these figures, since the position of the defective observation object can be accurately presented by the correction processing of the first embodiment and the second embodiment, it becomes easy to identify the defective observation object.
[第6実施形態]
第6実施形態にかかる空撮画像特定システム600について図18および図19を参照して説明する。以下の説明において、第1〜第5実施形態と重複する説明は割愛する。図19は、報告書データの一例を示す概略図である。
[Sixth Embodiment]
The aerial image identification system 600 according to the sixth embodiment will be described with reference to FIGS. 18 and 19. In the following description, the description overlapping with the first to fifth embodiments will be omitted. FIG. 19 is a schematic diagram showing an example of report data.
(空撮画像特定システム600)
図18に示すように、第6実施形態の空撮画像特定システム600は、位置情報受信部610、補足情報受信部615、画像受信部620、補正部630、付加部640、重畳部650、特定部670および制御部Cと記憶部Sの他、作成部680を含んで構成される。またオルソ画像生成部を有していてもよい。位置情報受信部610、補足情報受信部615、画像受信部620、付加部640、重畳部650、特定部670および制御部Cと記憶部Sの各機能は、第1〜5実施形態と概ね同様であり、説明が重複するため割愛する。
(Aerial image identification system 600)
As shown in FIG. 18, the aerial image identification system 600 of the sixth embodiment includes a position information receiving unit 610, a supplementary information receiving unit 615, an image receiving unit 620, a correction unit 630, an additional unit 640, and a superimposing unit 650. In addition to the unit 670, the control unit C, and the storage unit S, the creation unit 680 is included. It may also have an orthoimage generation unit. The functions of the position information receiving unit 610, the supplementary information receiving unit 615, the image receiving unit 620, the additional unit 640, the superimposing unit 650, the specific unit 670, and the control unit C and the storage unit S are substantially the same as those in the first to fifth embodiments. Therefore, the explanation is omitted because it is duplicated.
(作成部)
第6実施形態における作成部680は、可視光画像(例:図3)、オルソ画像(例:図12)と、地図画像(例:図17)のいずれか、重畳画像および赤外線画像のうち、少なくとも2つを同時に表示する報告書データを作成する。この同時表示される画像には、不良観察対象物の強調表示(異常箇所のマーキングを含む)が含まれていてもよい。さらに不良観察対象物の異常内容の説明が付記されていてもよい。また図19に示すように例えば2種以上の画像は並列表示される。
(Creation department)
The creation unit 680 in the sixth embodiment is selected from any of a visible light image (example: FIG. 3), an ortho image (example: FIG. 12), and a map image (example: FIG. 17), a superimposed image, and an infrared image. Create report data that displays at least two at the same time. The simultaneously displayed image may include highlighting of the defective observation object (including marking of an abnormal portion). Further, an explanation of the abnormal content of the defective observation object may be added. Further, as shown in FIG. 19, for example, two or more types of images are displayed in parallel.
[効果]
本実施形態によれば、空撮画像と観察対象物の対応関係の特定が可能である。例えば、観察対象物が広域にわたるとき等、空撮画像に求められる解像度等の要求から画角が限定的となる場合がある。その場合、観察対象の1つまたはその集合体の全体が撮影できず、赤外線画像に描写された観察対象物(またはその一部)の位置の特定または集合における個体の特定ができない可能性がある。本実施形態によれば、その場合でも、赤外線画像と可視光画像との位置関係や、撮影時の飛行体の位置と光軸方向等に基づき、広域の撮影が可能な可視光画像に対する赤外線画像の位置が求めやすくなる。結果、マーカーのような特徴点を周囲に設置しなくても可視光画像と赤外線画像との位置合わせが可能となる。一例としてメガソーラー(1MWを超える大規模広域太陽光発電所)における1つの太陽光パネルの特定が容易となる。
[effect]
According to this embodiment, it is possible to specify the correspondence between the aerial image and the observation object. For example, when the object to be observed covers a wide area, the angle of view may be limited due to the requirements such as the resolution required for the aerial image. In that case, it may not be possible to photograph one of the observation objects or the entire collection thereof, and it may not be possible to identify the position of the observation object (or a part thereof) depicted in the infrared image or the individual in the collection. .. According to the present embodiment, even in that case, the infrared image for the visible light image capable of wide-area shooting based on the positional relationship between the infrared image and the visible light image, the position of the flying object at the time of shooting, the optical axis direction, and the like. It becomes easier to find the position of. As a result, it is possible to align the visible light image and the infrared image without installing a feature point such as a marker in the surroundings. As an example, it becomes easy to identify one solar panel in a mega solar (large-scale wide area solar power plant exceeding 1 MW).
また赤外線画像と可視光画像との位置関係も観察者や観察システムにとって認識しやすくなるため、両者を比較することで、赤外線画像において特異な温度情報を示している個体(多数の同種の個体の集合における、1個体または所定数の個体の群)を、可視光画像によって特定することも容易となる。 In addition, since the positional relationship between the infrared image and the visible light image can be easily recognized by the observer and the observation system, by comparing the two, an individual showing peculiar temperature information in the infrared image (a large number of individuals of the same type). It also becomes easy to identify one individual or a predetermined number of individuals in a set) by a visible light image.
さらに、第6実施形態によれば、可視光画像・オルソ画像・地図画像のいずれか、重畳画像および赤外線画像のうち、少なくとも2つを同時に表示する報告書データが作成される。報告書データにより、観察対象物の観察処理を実施するユーザーに直感的に、不良観察対象物の位置、状態等を提示することができ、ユーザーの負担軽減、処理効率の向上を図ることが可能となる。 Further, according to the sixth embodiment, report data for displaying at least two of the visible light image, the ortho image, the map image, the superimposed image, and the infrared image at the same time is created. With the report data, it is possible to intuitively present the position, state, etc. of the defective observation object to the user who performs the observation processing of the observation object, and it is possible to reduce the burden on the user and improve the processing efficiency. It becomes.
以上、説明した第1〜第6実施形態については、説明の便宜上、飛行体Dと空撮画像特定システムの間でデータ通信をする例において説明したが、飛行体Dと、飛行体Dからの送信データに基づき上記各処理を実行するハードウェアとプログラムを記憶する記憶媒体、AIを含むいずれの態様を採ることも可能である。 The first to sixth embodiments described above have been described in the example of data communication between the flying object D and the aerial image identification system for convenience of explanation, but the flying object D and the flying object D have been described. It is possible to adopt any aspect including the hardware that executes each of the above processes based on the transmission data, the storage medium that stores the program, and AI.
一例として、ハードウェア構成としては、飛行体Dと飛行体Dの操作をする操作部に対して、空撮画像特定システムとして飛行体Dと通信し飛行体Dからの送信データを受信し、上記各処理の少なくとも一部を実行するPCと、当該PCから所定のデータを受け、上記PCの処理以外の残りの処理を実行するサーバーによって構成されていてもよい。 As an example, as a hardware configuration, the operation unit that operates the flight object D and the flight object D communicates with the flight object D as an aerial image identification system, receives the transmission data from the flight object D, and receives the transmission data from the flight object D as described above. It may be composed of a PC that executes at least a part of each process and a server that receives predetermined data from the PC and executes the remaining processes other than the processes of the PC.
あるいは、飛行体Dから直接送信データを受信し、上記各処理の全てを実行するサーバーによって構成されていてもよい。この場合、処理結果(例えば、重畳画像や報告書データ)は任意にユーザーが利用する端末にてダウンロードすることが可能になっていてもよい。なお以上のサーバーは複数あっても単一でもよい。 Alternatively, it may be configured by a server that receives transmission data directly from the aircraft D and executes all of the above processes. In this case, the processing result (for example, superimposed image or report data) may be arbitrarily downloadable on the terminal used by the user. The above servers may be multiple or single.
飛行体Dの操作部、PC、ユーザー端末の少なくともいずれか1つには、表示部が設けられていてもよい。図示しない表示部は、飛行体Dの操作に関するUI、各種画像の表示UI、システム設定(パラメーター等)の設定UI、報告書データの表示UIによる。表示部は、タッチパネルなどの各種表示デバイスを含んでいてもよい。 A display unit may be provided on at least one of the operation unit, the PC, and the user terminal of the aircraft D. The display unit (not shown) is a UI related to the operation of the aircraft D, a UI for displaying various images, a UI for setting system settings (parameters, etc.), and a UI for displaying report data. The display unit may include various display devices such as a touch panel.
飛行体Dの操作部、PC、ユーザー端末の少なくともいずれか1つには、入力部が設けられていてもよい。入力部は、音声や文字入力信号等の外部入力を受けるデバイスである。例えば音声を検知するデバイス(マイクロフォン等)、または文字入力を行うデバイス(ソフトウェアキーボードまたはハードウェアキーボード)等が挙げられる。また、いずれの構成であっても、入力部に対する操作内容は、電気信号として制御部Cに入力される。また、表示部に表示されたグラフィカルユーザーインターフェイス(GUI)と、入力部とを用いて、操作や情報入力を行うようにしてもよい。 An input unit may be provided on at least one of the operation unit, the PC, and the user terminal of the aircraft D. The input unit is a device that receives external inputs such as voice and character input signals. For example, a device that detects voice (microphone, etc.), a device that inputs characters (software keyboard or hardware keyboard), and the like can be mentioned. Further, in any configuration, the operation content for the input unit is input to the control unit C as an electric signal. Further, the graphical user interface (GUI) displayed on the display unit and the input unit may be used to perform operations and information input.
表示部は、入力部と、独立に構成されても、一体的に構成されてもよい。例えばタッチパネルのように、表示機能と操作機能とが一体化されたデバイスを用いることも可能である。その場合、入力部および表示部は、タッチパネルとそれを実行するためのコンピュータプログラムとを含んで構成される。 The display unit may be configured independently or integrally with the input unit. For example, it is possible to use a device such as a touch panel in which a display function and an operation function are integrated. In that case, the input unit and the display unit are configured to include a touch panel and a computer program for executing the touch panel.
飛行体D、PC、ユーザー端末、サーバーの少なくともいずれか1つには、記憶部が設けられていてもよい。記憶部は、位置情報、時刻情報、方位情報、画像データ、地図データ、学習モデル、その他上記各処理を実行するコンピュータプログラム等を記憶する。記憶部としてはハードディスク、フラッシュメモリの他、任意のデバイスを利用可能である。 A storage unit may be provided in at least one of the aircraft D, the PC, the user terminal, and the server. The storage unit stores position information, time information, direction information, image data, map data, a learning model, and other computer programs that execute each of the above processes. As a storage unit, a hard disk, a flash memory, or any other device can be used.
以上から、例えば、タブレットやスマートフォンのようなユーザー端末にて、飛行体Dの操作、赤外線画像、可視光画像、地図、重畳画像、報告書データの表示や各処理のための入力を可能とし、その画像生成、位置補正処理、不良観察対象物の特定、記憶等の処理をサーバーが実行する等の態様も可能である。 From the above, for example, on a user terminal such as a tablet or smartphone, it is possible to operate the flying object D, display an infrared image, a visible light image, a map, a superposed image, and report data, and input for each process. It is also possible that the server executes processing such as image generation, position correction processing, identification of defective observation objects, and storage.
以上説明した各実施形態によれば、マーカーのような特徴点を周囲に設置しなくても可視光画像と赤外線画像との相対位置の把握が可能となる。マーカーは、観察対象物が水上に存在する場合、崖等の危険な位置にある場合等、そもそも設置自体が困難な場合がある。この場合、マーカーの設置を前提とした空撮画像による観察対象物の観察ができなくなってしまう。また置けたとしても、マーカー自体のメンテナンス等の維持管理コストがかかり、マーカーの設置コストもかかる。さらにマーカーを密に設置しないと不良観察対象物等の特定の観察対象物の位置の把握が困難になってしまう。 According to each of the above-described embodiments, it is possible to grasp the relative positions of the visible light image and the infrared image without installing feature points such as markers around them. The marker may be difficult to install in the first place, such as when the object to be observed is on the water or in a dangerous position such as a cliff. In this case, it becomes impossible to observe the observation object by the aerial image on the premise that the marker is installed. Even if it can be placed, maintenance costs such as maintenance of the marker itself will be incurred, and marker installation costs will also be incurred. Furthermore, if the markers are not placed densely, it becomes difficult to grasp the position of a specific observation object such as a defective observation object.
また、マーカーを前提とした空撮画像特定システムでは、赤外線画像と、可視光画像(またはオルソ画像、地図等)との位置合わせの精度が低くなるおそれがある。太陽電池パネルの場合、1m幅に対して、上空40m〜150mの位置で空撮するので、位置ずれがあると、赤外線画像の温度情報で異常検出できたとしてもどの観察対象物かの特定ができなくなってしまうおそれがある。 Further, in the aerial image identification system based on the marker, the accuracy of positioning the infrared image and the visible light image (or ortho image, map, etc.) may be low. In the case of a solar cell panel, aerial photography is performed at a position of 40 m to 150 m above the 1 m width, so if there is a misalignment, even if an abnormality can be detected by the temperature information of the infrared image, it is possible to identify which object to observe. There is a risk that it will not be possible.
以上説明した各実施形態によれば、マーカーのような特徴点を周囲に設置しなくてもよいので、上記各問題を解決することが可能となる。 According to each of the above-described embodiments, it is not necessary to install a feature point such as a marker in the surroundings, so that each of the above problems can be solved.
この発明の実施形態を説明したが、上記の実施形態は例として提示したものであり、発明の範囲を限定することを意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although embodiments of the present invention have been described, the above embodiments are presented as examples and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other embodiments, and various omissions, replacements, and changes can be made without departing from the gist of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are also included in the scope of the invention described in the claims and the equivalent scope thereof.
100、200、300、400、500、600 空撮画像特定システム
110、210、310、410、510、610 位置情報受信部
120、220、320、420、520、620 画像受信部
130、230、330、430、530、630 補正部
140、240、340、440、540、640 付加部
350、450、550、650 重畳部
460 オルソ画像作成部
570 特定部
680 作成部
D 飛行体
D1 撮影部
D2 位置取得部
D3 ジャイロスコープ
D4 ジンバル
D5 地磁気センサー
100, 200, 300, 400, 500, 600 Aerial image identification system 110, 210, 310, 410, 510, 610 Position information receiver 120, 220, 320, 420, 520, 620 Image receiver 130, 230, 330 430, 530, 630 Correction part 140, 240, 340, 440, 540, 640 Addition part 350, 450, 550, 650 Superimposition part 460 Ortho image creation part 570 Specific part 680 Creation part D Aircraft D1 Imaging part D2 Position acquisition Part D3 Gyroscope D4 Gimbal D5 Geomagnetic sensor
Claims (5)
前記赤外線画像における複数の観察対象物群から個々の観察対象物を特定する特定部とを備え、
前記特定部は、特定した個々の観察対象物から特定の温度を示す被疑観察対象物を特定し、
さらに被疑観察対象物の平均温度と最高温度の差分から閾値を超える不良観察対象物を特定する
空撮画像特定システム。 An image receiver that receives infrared images from the aircraft,
It is provided with a specific unit that identifies an individual observation object from a plurality of observation object groups in the infrared image.
The specific part identifies a suspected observation object showing a specific temperature from the specified individual observation objects, and identifies the suspected observation object.
Furthermore, an aerial image identification system that identifies defective observation objects that exceed the threshold value from the difference between the average temperature and the maximum temperature of the suspected observation object.
ことを特徴とする請求項1に記載の空撮画像特定システム。 The specific unit is characterized in that, in each of the observation objects specified by the image processing of the infrared image, those whose temperature is relatively higher than that of the normal observation object are specified as suspected observation objects. The aerial image identification system according to 1.
ことを特徴とする請求項1または2に記載の空撮画像特定システム。 The aerial image identification system according to claim 1 or 2, wherein the identification unit identifies and highlights the position of the defective observation object in the infrared image.
ことを特徴とする請求項3に記載の空撮画像特定システム。 The third aspect of claim 3, further comprising a creation unit for creating report data for simultaneously displaying at least two of the infrared image and the position-specific image in which the position of the defective observation object is specified. Aerial image identification system.
飛行体から赤外線画像を受信する工程と、
前記赤外線画像における複数の観察対象物群から個々の観察対象物を特定する工程と、
前記特定部は、特定した個々の観察対象物から特定の温度を示す被疑観察対象物を特定する工程と、
さらに被疑観察対象物の平均温度と最高温度の差分から閾値を超える不良観察対象物を特定する
工程と、
を備えた空撮画像特定方法。
It is a method of identifying aerial images,
The process of receiving infrared images from the aircraft and
A step of identifying an individual observation object from a plurality of observation object groups in the infrared image, and
The specific part includes a step of identifying a suspected observation object showing a specific temperature from the specified individual observation objects, and a step of identifying the suspected observation object.
Furthermore, the process of identifying a defective observation object that exceeds the threshold value from the difference between the average temperature and the maximum temperature of the suspected observation object, and
A method of identifying aerial images with.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020192141A JP6938749B2 (en) | 2019-04-26 | 2020-11-19 | Aerial image identification system and aerial image identification method. |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019086763A JP6799635B2 (en) | 2019-04-26 | 2019-04-26 | Aerial image positioning system and aerial image positioning method. |
JP2020192141A JP6938749B2 (en) | 2019-04-26 | 2020-11-19 | Aerial image identification system and aerial image identification method. |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019086763A Division JP6799635B2 (en) | 2019-04-26 | 2019-04-26 | Aerial image positioning system and aerial image positioning method. |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021065087A JP2021065087A (en) | 2021-04-22 |
JP6938749B2 true JP6938749B2 (en) | 2021-09-22 |
Family
ID=75486688
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020192141A Active JP6938749B2 (en) | 2019-04-26 | 2020-11-19 | Aerial image identification system and aerial image identification method. |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6938749B2 (en) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6151902B2 (en) * | 2012-09-20 | 2017-06-21 | 株式会社トプコン | Camera for photo measurement and aerial photographic equipment |
JP2016197979A (en) * | 2015-04-06 | 2016-11-24 | 株式会社Nttファシリティーズ | Diagnostic system, diagnostic method and program |
EP3358480B1 (en) * | 2015-10-01 | 2020-01-01 | FUJIFILM Corporation | Drawing creation device and drawing creation method |
JP6877293B2 (en) * | 2017-08-08 | 2021-05-26 | 株式会社 日立産業制御ソリューションズ | Location information recording method and equipment |
JP6362750B1 (en) * | 2017-09-13 | 2018-07-25 | 株式会社エネルギア・コミュニケーションズ | Abnormal point detection system |
JP7045030B2 (en) * | 2017-09-15 | 2022-03-31 | エナジー・ソリューションズ株式会社 | Inspection system, inspection method, server equipment, and program |
-
2020
- 2020-11-19 JP JP2020192141A patent/JP6938749B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2021065087A (en) | 2021-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7800645B2 (en) | Image display method and image display apparatus | |
CN105627991A (en) | Real-time panoramic stitching method and system for unmanned aerial vehicle images | |
KR102200299B1 (en) | A system implementing management solution of road facility based on 3D-VR multi-sensor system and a method thereof | |
JP2008186145A (en) | Aerial image processing apparatus and aerial image processing method | |
KR101011813B1 (en) | Installaion for displaying overlap line of adjoined digital aerial photograph | |
KR101575954B1 (en) | Apparatus for augmented reality using 3d reconstruction and mehhod thereof | |
WO2020218066A1 (en) | Inspection system | |
JP6799635B2 (en) | Aerial image positioning system and aerial image positioning method. | |
CN110998241A (en) | System and method for calibrating an optical system of a movable object | |
WO2019230604A1 (en) | Inspection system | |
CN114004977A (en) | Aerial photography data target positioning method and system based on deep learning | |
JP2018036769A (en) | Image processing apparatus, image processing method, and program for image processing | |
CN103411587A (en) | Positioning and attitude-determining method and system | |
JP2006195032A (en) | Topographical map creating method and topographical map creating system | |
JP2011169658A (en) | Device and method for pinpointing photographed position | |
Liu et al. | A new approach to fast mosaic UAV images | |
JP2023100642A (en) | inspection system | |
JP6938749B2 (en) | Aerial image identification system and aerial image identification method. | |
JP6681101B2 (en) | Inspection system | |
CN115112100B (en) | Remote sensing control system and method | |
CN114608450B (en) | Method for measuring and calculating three-dimensional size of remote sea surface target by airborne photoelectric system | |
JP5920807B2 (en) | Optical axis direction identification method, optical axis direction identification device, and optical axis direction identification program | |
CN205594459U (en) | Unmanned aerial vehicle is fixing a position system of falling based on machine vision | |
CN114399549A (en) | Panoramic overlay pattern spot rendering method and geographic national condition monitoring method and device | |
JP7308733B2 (en) | State determination system and state determination method. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201215 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210218 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20210420 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210426 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210816 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210901 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6938749 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |