JP6799635B2

JP6799635B2 - Aerial image positioning system and aerial image positioning method.

Info

Publication number: JP6799635B2
Application number: JP2019086763A
Authority: JP
Inventors: 明彦青山; 顕上島; 匠吾岡島
Original assignee: コムシス情報システム株式会社
Priority date: 2019-04-26
Filing date: 2019-04-26
Publication date: 2020-12-16
Anticipated expiration: 2039-04-26
Also published as: JP2020183873A

Description

この発明は、空撮画像位置特定システムおよび空撮画像位置特定方法に関する。 The present invention relates to an aerial image positioning system and an aerial image positioning method.

従来、飛行体（無人航空機（ドローン）等）を利用して、空撮することが広く行われている。このような空撮画像は個人が景色を観賞するために利用されるだけでなく、災害救助、農業、生態調査、報道、インフラ点検、異常箇所の点検等、業務上利用されることもある。 Conventionally, aerial photography has been widely performed using an air vehicle (unmanned aerial vehicle (drone), etc.). Such aerial images are used not only for individuals to appreciate the scenery, but also for business purposes such as disaster relief, agriculture, ecological research, news reports, infrastructure inspections, and inspections of abnormal parts.

例えばインフラ点検の一例として、太陽光発電所の太陽光発電設備（太陽光パネル等）の点検に空撮画像を利用することができる。太陽光発電設備は主に光起電力効果によって発電するため、太陽光を受ける面の汚れ、破損等により発電に支障をきたす。空撮画像によって、太陽光発電設備の汚れ、破損等を把握することが可能である。したがって、空撮画像によって太陽光発電設備を撮影して点検することが太陽光発電所において発電効率を高めるのに有効である。 For example, as an example of infrastructure inspection, aerial images can be used for inspection of photovoltaic power generation facilities (solar panels, etc.) of photovoltaic power plants. Since photovoltaic power generation equipment mainly generates electricity by the photovoltaic effect, the surface that receives sunlight is soiled or damaged, which hinders power generation. It is possible to grasp the dirt, damage, etc. of the photovoltaic power generation equipment from the aerial image. Therefore, it is effective to photograph and inspect the photovoltaic power generation equipment by aerial images in order to improve the power generation efficiency in the photovoltaic power plant.

また、太陽電池モジュール表面を撮影して得られた撮影画像から、異物の厚さを求め、検出した厚さを基準値と比較し、検出した厚さが基準値を超える太陽電池モジュールについて、異常があると判定する点検方法もある（特許文献１参照）。 In addition, the thickness of the foreign matter is obtained from the photographed image obtained by photographing the surface of the solar cell module, the detected thickness is compared with the reference value, and the detected thickness exceeds the reference value. There is also an inspection method for determining that there is (see Patent Document 1).

特開２０１４−０８２２７２号公報Japanese Unexamined Patent Publication No. 2014-082272

空撮画像を利用して太陽光発電設備等、観察対象物の点検をする場合、当該画像に表示された状態（異常等）を把握することができるだけでは十分ではない。観察対象物の点検には、当該対象物の状態だけでなく、対象物の特定も必要である。なお、特定とは、例えば対象物の位置の特定や、一群の中から対象物を特定することである。 When inspecting an observation object such as a photovoltaic power generation facility using an aerial image, it is not enough to be able to grasp the state (abnormality, etc.) displayed on the image. Inspecting an object to be observed requires not only the condition of the object but also the identification of the object. The identification means, for example, specifying the position of the object or specifying the object from the group.

空撮画像を用いた観察対象物の点検には、画像における対象物の状態を把握可能な解像度が求められ、かつ上記の通り空撮画像と対象物の対応関係の特定も求められる。観察対象物によっては、求められている解像度で空撮すると、観察対象物の全体が画像内に収まりきらない場合がありうる。したがって、観察対象物を漏れなく点検するには、観察対象物全体を複数の領域に分割して撮影する場合もある。この場合、観察対象物を分割しているため、観察対象物の全体のうち、空撮画像がどの部分を撮影したものか把握困難となることがある。 In the inspection of the observation object using the aerial image, a resolution capable of grasping the state of the object in the image is required, and as described above, the correspondence between the aerial image and the object is also required to be specified. Depending on the observation object, when aerial photography is performed at the required resolution, the entire observation object may not fit in the image. Therefore, in order to inspect the observation object without omission, the entire observation object may be divided into a plurality of areas and photographed. In this case, since the observation object is divided, it may be difficult to grasp which part of the entire observation object was taken by the aerial image.

また、太陽光発電所としてのメガソーラーのように、観察対象物が同一種の集合体であり、その１つ１つを点検するという利用方法もある。この場合、空撮画像の表示内容だけでは、画像が全体のうちのいずれの太陽光発電設備（太陽光パネル等）を示すものなのか把握困難である。 In addition, there is also a usage method in which observation objects are aggregates of the same type, such as mega solar as a solar power plant, and each of them is inspected. In this case, it is difficult to grasp which of the entire photovoltaic power generation equipment (solar panel, etc.) the image represents from the display content of the aerial image.

この発明は、上記課題を解決するためになされたものであり、その目的は、空撮画像と観察対象物の対応関係の特定を可能とすることである。 The present invention has been made to solve the above problems, and an object of the present invention is to enable identification of a correspondence between an aerial image and an observation object.

実施形態の空撮画像位置特定システムは、飛行体から可視光画像と赤外線画像を受信する画像受信部と、可視光画像および赤外線画像における撮影時の位置情報と撮影方向情報を受信する位置情報受信部と、位置情報を、撮影方向情報に基づき補正し、補正位置情報を求める補正部と、可視光画像および赤外線画像に該補正位置情報を付加する付加部と、を備える。
前記空撮画像位置特定システムにおいて、位置情報は、飛行体が撮影に対応して受けた全球測位衛星システムからの航法信号を含み、撮影方向情報は、飛行体の機体の向きと、飛行体に設けられた撮影部の向きとを含み、補正部は、航法信号に基づき、可視光画像と赤外線画像の位置情報を、撮影方向に基づき補正してもよい。
前記空撮画像位置特定システムにおいて、画像受信部は、飛行体が実質的に同時に撮影した、あるいは同期して撮影された前記可視光画像および前記赤外線画像を受信し、可視光画像および赤外線画像それぞれの撮影時刻と、飛行体の飛行速度とを受信する補足情報受信部をさらに備え、補正部は、可視光画像および赤外線画像それぞれの撮影時刻の時刻差と飛行速度に基づき、可視光画像および赤外線画像の撮影位置のずれ量を求め、当該ずれ量も補正位置情報の補正に用いてもよい。
前記空撮画像位置特定システムにおいて、補正位置情報に基づき、可視光画像および赤外線画像の相対位置を特定し、さらに画角と視差を計算し、位置合わせをした上で、当該可視光画像と当該赤外線画像を重畳して重畳画像を作成する重畳部をさらに備えてもよい。
前記空撮画像位置特定システムにおいて、可視光画像について、正射投影する処理を実行し、オルソ画像を生成するオルソ画像作成部をさらに備えてもよい。
前記空撮画像位置特定システムにおいて、赤外線画像における複数の観察対象物群から個々の観察対象物を特定し、当該特定した個々の観察対象物から特定の温度を示す被疑観察対象物を特定し、さらに被疑観察対象物の平均温度と最高温度の差分から閾値を超える不良観察対象物を特定する特定部をさらに備えてもよい。
前記空撮画像位置特定システムにおいて、特定部は、重畳画像、オルソ画像および赤外線画像の少なくともいずれか１つにおいて、不良観察対象物の位置を特定して強調表示させてもよい。
前記空撮画像位置特定システムにおいて、可視光画像、オルソ画像、重畳画像、赤外線画像、および不良観察対象物の位置を特定した位置特定画像のうち、少なくとも２つを同時に表示する報告書データを作成する作成部をさらに備えてもよい。 The aerial image positioning system of the embodiment has an image receiving unit that receives a visible light image and an infrared image from an air vehicle, and a position information receiving unit that receives position information and shooting direction information at the time of shooting in the visible light image and the infrared image. It includes a unit, a correction unit that corrects position information based on shooting direction information and obtains correction position information, and an additional unit that adds the correction position information to a visible light image and an infrared image.
In the aerial image positioning system, the position information includes the navigation signal from the global positioning satellite system received by the flying object in response to the shooting, and the shooting direction information is the orientation of the flying body and the flying body. The correction unit may correct the position information of the visible light image and the infrared image based on the navigation signal, including the orientation of the provided photographing unit.
In the aerial image positioning system, the image receiving unit receives the visible light image and the infrared image taken by the flying objects substantially simultaneously or synchronously, and the visible light image and the infrared image, respectively. It also has a supplementary information receiver that receives the shooting time of the vehicle and the flight speed of the flying object, and the correction unit is based on the time difference and flight speed of the shooting time of the visible light image and the infrared image, respectively, and the visible light image and infrared light. The amount of deviation of the imaging position of the image may be obtained, and the amount of deviation may also be used for correction of the correction position information.
In the aerial image position specifying system, the relative positions of the visible light image and the infrared image are specified based on the corrected position information, the angle of view and the parallax are calculated, and the positions are aligned with the visible light image. A superimposing unit that superimposes an infrared image to create a superimposing image may be further provided.
The aerial image position specifying system may further include an orthographic image creating unit that executes an orthographic projection process on the visible light image and generates an orthographic image.
In the aerial image positioning system, an individual observation object is specified from a plurality of observation object groups in an infrared image, and a suspected observation object showing a specific temperature is specified from the specified individual observation object. Further, a specific unit for identifying a defective observation object exceeding the threshold value from the difference between the average temperature and the maximum temperature of the suspected observation object may be further provided.
In the aerial image position specifying system, the specific unit may specify and highlight the position of the defective observation object in at least one of the superimposed image, the ortho image, and the infrared image.
In the aerial image position identification system, report data is created that simultaneously displays at least two of a visible light image, an ortho image, a superposed image, an infrared image, and a position identification image in which the position of a defective observation object is specified. An additional creation unit may be provided.

実施形態によれば、複数の観察対象物群を表示する空撮画像と、個々の観察対象物の対応関係の特定が可能である。 According to the embodiment, it is possible to specify the correspondence between the aerial image displaying a plurality of observation object groups and the individual observation objects.

第１実施形態の空撮画像位置特定システムを示す概略ブロック図。The schematic block diagram which shows the aerial image position identification system of 1st Embodiment. 赤外線画像の概略図。Schematic of an infrared image. 赤外線画像の概略図。Schematic of an infrared image. 可視光画像の概略図。Schematic of a visible light image. 第１実施形態の補正処理の概要を示す概念図。The conceptual diagram which shows the outline of the correction process of 1st Embodiment. 第１実施形態の概略フローチャート。Schematic flowchart of the first embodiment. 太陽光発電所の点検システムにおける空撮画像の取得の概要を示す概念図。A conceptual diagram showing an outline of acquisition of aerial images in an inspection system of a photovoltaic power plant. 第２実施形態の空撮画像位置特定システムを示す概略ブロック図。The schematic block diagram which shows the aerial image position identification system of 2nd Embodiment. 第２実施形態の概略フローチャート。Schematic flowchart of the second embodiment. 第３実施形態の空撮画像位置特定システムを示す概略ブロック図。The schematic block diagram which shows the aerial image position identification system of 3rd Embodiment. 重畳画像の一例の概要を示す概念図。The conceptual diagram which shows the outline of an example of a superposed image. 第４実施形態の空撮画像位置特定システムを示す概略ブロック図。The schematic block diagram which shows the aerial image position identification system of 4th Embodiment. オルソ画像の一例の概要を示す概念図。A conceptual diagram showing an outline of an example of an ortho image. 第５実施形態の空撮画像位置特定システムを示す概略ブロック図。The schematic block diagram which shows the aerial image position identification system of 5th Embodiment. 第５実施形態の特定部の処理の一例を示す概念図。The conceptual diagram which shows an example of the processing of the specific part of 5th Embodiment. 重畳画像における補正処理前の不良観察対象物のマーキング位置を示す概念図。The conceptual diagram which shows the marking position of the defective observation object before the correction processing in the superimposed image. 重畳画像における補正処理後の不良観察対象物のマーキング位置を示す概念図。The conceptual diagram which shows the marking position of the defective observation object after the correction processing in the superimposed image. 変形例の地図データを示す概略図。The schematic diagram which shows the map data of the modification. 第７実施形態の空撮画像位置特定システムを示す概略ブロック図。The schematic block diagram which shows the aerial image position identification system of 7th Embodiment. 報告書データを示す概略図。Schematic showing report data.

図１〜図１９を参照して、第１実施形態〜第５実施形態にかかる空撮画像位置特定システムについて説明する。 The aerial image position specifying system according to the first to fifth embodiments will be described with reference to FIGS. 1 to 19.

［第１実施形態］
第１実施形態にかかる空撮画像位置特定システム１００の全体構成について図１〜図６を参照して説明する。なお、図１における空撮画像位置特定システムは一例であり、その他の構成を含むことを除外するものではなく、様々な形態で実施することが可能である。 [First Embodiment]
The overall configuration of the aerial image position specifying system 100 according to the first embodiment will be described with reference to FIGS. 1 to 6. The aerial image position specifying system in FIG. 1 is an example, and it is not excluded that it includes other configurations, and it can be implemented in various forms.

（飛行体Ｄの概要）
図１に示すように、飛行体Ｄは、撮影部Ｄ１、位置取得部Ｄ２、ジャイロスコープＤ３、ジンバルＤ４を備える。撮影部Ｄ１は、可視光カメラと赤外線カメラを備え、可視光画像（図２）および赤外線画像（図３）とを同時に、または同期して撮影可能である。位置受信部Ｄ２は、ＧＮＳＳ(Global Navigation Satellite System / 全球測位衛星システム)、例えばＧＰＳ、ＧＬＯＮＡＳＳ、Ｇａｌｉｌｅｏ、準天頂衛星（ＱＺＳＳ）等の測位衛星から航法信号を受信し、飛行体Ｄの３次元位置等を測位し、可視光画像、赤外線画像にそれぞれ付加する（例えばＥＸＩＦ情報）。また位置受信部Ｄ２は、例えば水圧計・気圧計を搭載し、その結果を基に深度・高度に変換してもよい。他の例として、超音波センサー等を搭載し、地表・海底等から飛行体Ｄまでの距離を測ってもよい。その受信された１次元位置情報を可視光画像および赤外線画像に付加する。このようにして可視光画像および赤外線画像の３次元位置が特定可能である。これらは、付加情報として可視光画像および赤外線画像とともに空撮画像位置特定システム１００に送信される。
なお、図２および図３の観察対象物は一例であって、各画像に描写される対象は、その他の種類の観察対象物であってもよい。 (Overview of Aircraft D)
As shown in FIG. 1, the flying object D includes a photographing unit D1, a position acquisition unit D2, a gyroscope D3, and a gimbal D4. The photographing unit D1 includes a visible light camera and an infrared camera, and can take a visible light image (FIG. 2) and an infrared image (FIG. 3) at the same time or in synchronization with each other. The position receiving unit D2 receives a navigation signal from a GNSS (Global Navigation Satellite System), for example, a positioning satellite such as GPS, GLONASS, Galileo, or a quasi-zenith satellite (QZSS), and receives a navigation signal from the positioning satellite, and the three-dimensional position of the aircraft D. Etc. are positioned and added to the visible light image and the infrared image, respectively (for example, EXIF information). Further, the position receiving unit D2 may be equipped with, for example, a water pressure gauge / barometer, and may be converted into depth / altitude based on the result. As another example, an ultrasonic sensor or the like may be mounted to measure the distance from the ground surface, the seabed, or the like to the flying object D. The received one-dimensional position information is added to the visible light image and the infrared image. In this way, the three-dimensional positions of the visible light image and the infrared image can be specified. These are transmitted to the aerial image positioning system 100 together with the visible light image and the infrared image as additional information.
The observation objects in FIGS. 2 and 3 are examples, and the objects depicted in each image may be other types of observation objects.

飛行体ＤのジャイロスコープＤ３は、飛行体Ｄの傾きを検出する。飛行体Ｄは、方位情報により機体が向いている方位とその方位からの姿勢ズレをジャイロスコープＤ３により求める。飛行体Ｄの方位情報と傾き情報は空撮画像位置特定システム１００に送信される。３軸方向の加速度センサーであってもよい。またジンバルＤ４は、撮影部Ｄ１を飛行体Ｄに傾動可能に支持しており、撮影部Ｄ１の姿勢を制御可能とする。これにより撮影部Ｄ１の光軸の制御を可能とする。撮影部Ｄ１の傾き等に基づく当該光軸方向の情報は空撮画像位置特定システム１００に送信される。また飛行体Ｄは、地磁気センサーＤ５により方位情報を受信する。これにより飛行体Ｄの方位（進路）を把握可能である。飛行体Ｄから空撮画像位置特定システム１００への各種データの送信は送信部Ｔによって実行される。 The gyroscope D3 of the flying object D detects the inclination of the flying object D. The aircraft D uses the gyroscope D3 to determine the direction in which the aircraft is facing and the attitude deviation from that direction based on the direction information. The directional information and tilt information of the aircraft D are transmitted to the aerial image positioning system 100. It may be an acceleration sensor in three axial directions. Further, the gimbal D4 supports the photographing unit D1 on the flying object D so as to be tiltable, so that the attitude of the photographing unit D1 can be controlled. This makes it possible to control the optical axis of the photographing unit D1. Information in the optical axis direction based on the inclination of the photographing unit D1 and the like is transmitted to the aerial image positioning system 100. Further, the flying object D receives the directional information by the geomagnetic sensor D5. This makes it possible to grasp the direction (course) of the flying object D. Transmission of various data from the aircraft D to the aerial image positioning system 100 is executed by the transmission unit T.

空撮画像位置特定システム１００は、位置情報受信部１１０、画像受信部１２０、補正部１３０、付加部１４０および制御部Ｃと記憶部Ｓを含んで構成される。位置情報受信部１１０は、飛行体Ｄから、航法信号に基づく飛行体Ｄの測位情報（３次元位置等）、高度、深度等の１次元位置、飛行体Ｄの傾き情報、光軸方向情報を受信する。例えばこれらはＥＸＩＦ情報として画像に付加された情報として受信されてもよい。 The aerial image position identification system 100 includes a position information receiving unit 110, an image receiving unit 120, a correction unit 130, an additional unit 140, a control unit C, and a storage unit S. The position information receiving unit 110 receives the positioning information (three-dimensional position, etc.) of the flying object D based on the navigation signal, the one-dimensional position such as altitude and depth, the tilt information of the flying object D, and the optical axis direction information from the flying object D. Receive. For example, these may be received as information added to the image as EXIF information.

画像受信部１２０は、飛行体Ｄの撮影部Ｄ１から可視光画像および赤外線画像を受ける。補正部１３０は、可視光画像および赤外線画像の上記各種位置情報を、上記方位情報、傾き情報、光軸方向情報に基づき補正する。付加部１４０は、可視光画像および赤外線画像にその補正位置情報を付加する。 The image receiving unit 120 receives a visible light image and an infrared image from the photographing unit D1 of the flying object D. The correction unit 130 corrects the various position information of the visible light image and the infrared image based on the orientation information, the tilt information, and the optical axis direction information. The addition unit 140 adds the correction position information to the visible light image and the infrared image.

（補正部１３０）
補正部１３０について、さらに説明する。補正部１３０は、全球測位衛星システムからの航法信号、すなわち衛星が送信する信号発信時刻および衛星軌道に係る情報を含む情報を位置受信部Ｄ２を介して受ける。この情報に基づき２次元位置（例えば緯度・経度）や高度または深度を特定し、これらに基づく飛行体Ｄの３次元位置と時刻とを関連付けた位置情報とする。補正部１３０は、所定の時間間隔で飛行体Ｄの位置情報を特定してもよい。 (Correction unit 130)
The correction unit 130 will be further described. The correction unit 130 receives navigation signals from the global positioning satellite system, that is, information including information related to the signal transmission time and satellite orbit transmitted by the satellite, via the position receiving unit D2. Based on this information, the two-dimensional position (for example, latitude / longitude) and altitude or depth are specified, and the position information is obtained by associating the three-dimensional position of the flying object D with the time based on these. The correction unit 130 may specify the position information of the flying object D at predetermined time intervals.

可視光画像および赤外線画像に描画される撮影対象は、飛行体Ｄの方位および傾きと撮影部Ｄ１における光軸方向とによって、撮影部Ｄ１との位置関係が定まる。つまり必ずしも上記特定された飛行体Ｄの２次元位置の鉛直下方の画像とは限られない。したがって、補正部１３０は、方位および傾き情報と撮影部Ｄ１の向きに基づく光軸方向により、可視光画像および赤外線画像の上記位置情報を補正する。一例として以下、詳細に説明する。なお、図４は、当該補正処理の概要を示す概念図である。 The imaging target drawn on the visible light image and the infrared image has a positional relationship with the photographing unit D1 determined by the orientation and inclination of the flying object D and the direction of the optical axis in the photographing unit D1. That is, it is not necessarily the image vertically below the two-dimensional position of the specified flying object D. Therefore, the correction unit 130 corrects the above-mentioned position information of the visible light image and the infrared image based on the orientation and tilt information and the optical axis direction based on the orientation of the photographing unit D1. As an example, the details will be described below. Note that FIG. 4 is a conceptual diagram showing an outline of the correction process.

補正部１３０は、可視光画像および赤外線画像の上記各種位置情報を、上記方位情報、傾き情報、光軸方向情報に基づきＶｉｎｃｅｎｔｙ順解法をもって補正する。例えば図４に示すように補正部１３０は、飛行体Ｄの撮影位置の緯度・経度および高度ｈと、複合Ｐｉｔｃｈ角θとによって求められる水平距離Ｓを求める。また補正部１３０は複合Ｙａｗ角と方位情報とから方位角αを求める。この水平距離Ｓと方位角αとに基づいて、補正部１３０は、補正位置情報を求める。具体例は次の通りである。 The correction unit 130 corrects the various position information of the visible light image and the infrared image by the Vincenty forward solution method based on the directional information, the inclination information, and the optical axis direction information. For example, as shown in FIG. 4, the correction unit 130 obtains the horizontal distance S obtained by the latitude / longitude and altitude h of the shooting position of the flying object D and the composite Pitch angle θ. Further, the correction unit 130 obtains the azimuth angle α from the composite Yaw angle and the azimuth information. Based on the horizontal distance S and the azimuth angle α, the correction unit 130 obtains correction position information. Specific examples are as follows.

上記各種位置情報から得られた飛行体Ｄの高度をｈ、上記傾き情報と光軸方向から得られる複合Ｐｉｔｃｈ角をθ、太陽電池パネルの架台長をＬとすると、太陽電池パネルまでの「水平距離Ｓ」は、下記数１により求められる。その他Ｖｉｎｃｅｎｔｙ順解法に用いる「始点」（経度、緯度）は上記各種位置情報であり、「方位角」は上記傾き情報と光軸方向から得られる複合Ｙａｗ角と、地磁気センサーにより得られた方位情報とに基づいて得られる。 Assuming that the altitude of the flying object D obtained from the various position information is h, the composite Pitch angle obtained from the inclination information and the optical axis direction is θ, and the gantry length of the solar cell panel is L, the “horizontal” to the solar cell panel is obtained. The "distance S" is obtained by the following equation 1. In addition, the "start point" (longitude, latitude) used in Vincenty's formula is the above-mentioned various position information, and the "azimuth" is the compound Yaw angle obtained from the above-mentioned inclination information and the optical axis direction, and the azimuth information obtained by the geomagnetic sensor. Obtained based on.

（補足）
高度ｈ：
ＧＮＳＳ情報に含まれる（地表面、接地面）から飛行体Ｄ（またはＧＮＳＳ情報受信部(不図示)）までの高さ。あるいは超音波センサー等により計測した高さ。
架台長Ｌ：
接地面(地表等)から、太陽電池パネルの中心位置までの高さ。
始点：
飛行体Ｄの撮影位置（図４：緯度φ₁ 、経度λ₁／鉛直下方位置（接地面））
水平距離Ｓ：
上記撮影位置から補正位置（太陽電池パネルの中心位置ＣＰ／緯度φ₂、経度λ₂）までの距離。 (Supplement)
Altitude h:
The height from the (ground surface, ground plane) included in the GNSS information to the aircraft D (or the GNSS information receiver (not shown)). Alternatively, the height measured by an ultrasonic sensor or the like.
Mount length L:
The height from the ground plane (ground surface, etc.) to the center position of the solar cell panel.
start point:
Shooting position of aircraft D (Fig. 4: Latitude φ ₁ , Longitude λ ₁ / Vertical downward position (ground plane))
Horizontal distance S:
Distance from the photographing position to the correct position (central position CP / latitude phi ₂ of the solar cell panel, longitude lambda _2).

制御部Ｃは、位置情報受信部１１０、画像受信部１２０、補正部１３０および付加部１４０を統合的に制御する。また、制御部Ｃは、位置情報受信部１１０が受信した測位情報（3次元位置情報、時刻情報等）や、画像受信部１２０が受信した各画像データを記憶部Ｓに記憶させる。 The control unit C integrally controls the position information receiving unit 110, the image receiving unit 120, the correction unit 130, and the additional unit 140. Further, the control unit C stores the positioning information (three-dimensional position information, time information, etc.) received by the position information receiving unit 110 and each image data received by the image receiving unit 120 in the storage unit S.

［動作］
図５は、本実施形態における処理の流れを示す図である。以下に、図４および図６も参照しつつ、飛行体Ｄの動作を、ステップ番号（Ｓ００１〜Ｓ００４）に沿って説明する。図６は、本実施形態の利用例の１つである、太陽光発電所の点検システムにおける空撮画像の取得の概要を示す概念図、すなわち太陽光パネルを空撮する飛行体Ｄと太陽光パネルの集合の概要を示す概念図である。 [motion]
FIG. 5 is a diagram showing a flow of processing in the present embodiment. Hereinafter, the operation of the flying object D will be described along with the step numbers (S001 to S004) with reference to FIGS. 4 and 6. FIG. 6 is a conceptual diagram showing an outline of acquisition of aerial images in an inspection system of a photovoltaic power plant, which is one of the usage examples of the present embodiment, that is, an air vehicle D for aerial photography of a solar panel and sunlight. It is a conceptual diagram which shows the outline of the set of panels.

（Ｓ００１）
空撮画像位置特定システム１００における位置情報受信部１１０は、飛行体Ｄから位置情報(ＧＮＳＳ情報等と、飛行体Ｄの方位情報、傾き、光軸方向（ジンバル）)とを受ける。また画像受信部１２０は可視光画像および赤外線画像を受ける。図６の例においては、飛行体Ｄが太陽光発電所における太陽光パネルの空撮画像(可視光画像および前記赤外線画像)を撮像している状態を示している。 (S001)
The position information receiving unit 110 in the aerial image position specifying system 100 receives position information (GNSS information and the like, orientation information, inclination, and optical axis direction (gimbal) of the flying object D) from the flying object D. The image receiving unit 120 also receives a visible light image and an infrared image. In the example of FIG. 6, the air vehicle D is capturing an aerial image (visible light image and the infrared image) of the solar panel in the solar power plant.

（Ｓ００２）
補正部１３０は、ＧＮＳＳ情報から各画像の撮影時の飛行体Ｄの３次元位置を受ける。例えば、図４のように高度ｈと、飛行体Ｄの撮影位置（図４：緯度φ₁ 、経度λ₁／鉛直下方位置）を位置情報受信部１１０から受信する。 (S002)
The correction unit 130 receives the three-dimensional position of the flying object D at the time of shooting each image from the GNSS information. For example, as shown in FIG. 4, the altitude h and the shooting position of the flying object D (FIG. 4: latitude φ ₁ , longitude λ ₁ / vertically downward position) are received from the position information receiving unit 110.

（Ｓ００３）
補正部１３０は、Ｓ００２で求めた３次元位置と、方位角と飛行体Ｄの傾き、撮影部Ｄ１の向きに基づく光軸方向とに基づき、可視光画像および赤外線画像の位置情報を補正した補正位置情報を求め、時刻情報と関連付ける。 (S003)
The correction unit 130 corrects the position information of the visible light image and the infrared image based on the three-dimensional position obtained in S002, the azimuth angle, the inclination of the flying object D, and the optical axis direction based on the orientation of the photographing unit D1. Obtain location information and associate it with time information.

（Ｓ００４）
付加部１４０は、補正位置情報を可視光画像および赤外線画像に付加する。 (S004)
The addition unit 140 adds the correction position information to the visible light image and the infrared image.

上記説明における各部の処理は、説明の便宜上、図１に示す制御部Ｃの制御の下に実行されるものとして説明した。この制御部Ｃは、例えば、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、或いは、特定用途向け集積回路（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ：ＡＳＩＣ）等のうち、単一または複数の回路を含んで構成されていてもよい。制御部Ｃはメモリに保存された例えば画像位置特定プログラムを読み出し実行することで機能を実現する。なお、メモリにプログラムを保存する代わりに、回路内にプログラムを直接組み込むよう構成しても構わない。この場合、制御部Ｃとしての回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。なお、制御部Ｃは単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサーとして構成し、その機能を実現するようにしてもよい。さらに、実施形態における複数の構成要素（例えば位置情報受信部１１０、画像受信部１２０、補正部１３０および付加部１４０のうち少なくとも２以上）を１つのプロセッサーへ統合してその機能を実現するようにしてもよい。 For convenience of explanation, the processing of each part in the above description has been described as being executed under the control of the control unit C shown in FIG. The control unit C includes, for example, a single or a plurality of circuits such as a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or an integrated circuit for a specific application (Application Special Integrated Circuit: ASIC). It may be configured. The control unit C realizes the function by reading and executing, for example, an image position specifying program stored in the memory. Instead of storing the program in the memory, the program may be directly embedded in the circuit. In this case, the function is realized by reading and executing the program incorporated in the circuit as the control unit C. The control unit C is not limited to the case where it is configured as a single circuit, and a plurality of independent circuits may be combined to form one processor to realize its function. Further, a plurality of components (for example, at least two or more of the position information receiving unit 110, the image receiving unit 120, the correction unit 130, and the additional unit 140) in the embodiment are integrated into one processor to realize the function. You may.

［効果］
本実施形態によれば、空撮画像と観察対象物の対応関係の特定が可能である。例えば、観察対象物が広域にわたるとき等、空撮画像に求められる解像度等の要求から画角が限定的となる場合がある。その場合、観察対象の１つまたはその集合体の全体が撮影できず、赤外線画像に描写された観察対象物（またはその一部）の位置の特定または集合における個体の特定ができない可能性がある。本実施形態によれば、その場合でも、赤外線画像と可視光画像との位置関係や、撮影時の飛行体の位置と光軸方向等に基づき、広域の撮影が可能な可視光画像に対する赤外線画像の位置が求めやすくなる。結果、マーカーのような特徴点を周囲に設置しなくても可視光画像と赤外線画像との位置合わせが可能となる。一例としてメガソーラー（１ＭＷを超える大規模広域太陽光発電所）における１つの太陽光パネルの特定が容易となる。 [effect]
According to this embodiment, it is possible to specify the correspondence between the aerial image and the observation object. For example, when the object to be observed covers a wide area, the angle of view may be limited due to the demand for resolution and the like required for aerial images. In that case, it may not be possible to photograph one of the observation objects or the entire collection thereof, and it may not be possible to identify the position of the observation object (or a part thereof) depicted in the infrared image or the individual in the collection. .. According to the present embodiment, even in that case, the infrared image for the visible light image capable of wide-area shooting is based on the positional relationship between the infrared image and the visible light image, the position of the flying object at the time of shooting, the optical axis direction, and the like. It becomes easier to find the position of. As a result, it is possible to align the visible light image and the infrared image without installing a feature point such as a marker in the surroundings. As an example, it becomes easy to identify one solar panel in a mega solar (large-scale wide area solar power plant exceeding 1 MW).

また赤外線画像と可視光画像との位置関係も観察者や観察システムにとって認識しやすくなるため、両者を比較することで、赤外線画像において特異な温度情報を示している個体（多数の同種の個体の集合における、１個体または所定数の個体の群）を、可視光画像によって特定することも容易となる。 In addition, since the positional relationship between the infrared image and the visible light image can be easily recognized by the observer and the observation system, by comparing the two, individuals showing peculiar temperature information in the infrared image (many individuals of the same type). It also becomes easy to identify one individual or a predetermined number of individuals in a set) by a visible light image.

［第２実施形態］
第２実施形態にかかる空撮画像位置特定システム２００について図７および図８参照して説明する。以下の説明において、第１実施形態と重複する説明は割愛する。 [Second Embodiment]
The aerial image position specifying system 200 according to the second embodiment will be described with reference to FIGS. 7 and 8. In the following description, the description overlapping with the first embodiment will be omitted.

（概要）
第１実施形態と同様に、飛行体Ｄはその撮影部Ｄ１において同一の観察対象物が含まれるように可視光画像および赤外線画像を撮像する。一例として、図２および図３のようにマトリクス状に配置された太陽電池パネル群を撮像した可視光画像および赤外線画像の双方に、特定の同一のパネルが描画されている。 (Overview)
Similar to the first embodiment, the flying object D captures a visible light image and an infrared image so that the same observation object is included in the photographing unit D1. As an example, the same specific panel is drawn on both the visible light image and the infrared image of the solar cell panel group arranged in a matrix as shown in FIGS. 2 and 3.

この場合、例えば複数の同一種の観察対象物群を表示する可視光画像および赤外線画像の各画像内に、同一の観察対象物が含まれる。さらに画像内に特定の観察対象（例えば、何らかの異常が認められるパネル）が含まれる場合、可視光画像および赤外線画像のそれぞれでその特定の観察対象がどのパネルであるか容易に特定できれば、観察（例えばパネル点検）の効率は向上する。第２実施形態はそのための構成を備える。 In this case, for example, the same observation object is included in each of the visible light image and the infrared image displaying a plurality of observation object groups of the same type. Furthermore, when a specific observation target (for example, a panel in which some abnormality is observed) is included in the image, if it is possible to easily identify which panel the specific observation target is in each of the visible light image and the infrared image, the observation (for example, For example, the efficiency of panel inspection) is improved. The second embodiment includes a configuration for that purpose.

飛行体Ｄは観察対象物に対し、高さ方向に所定間隔を保つように移動する。この移動を説明の便宜上「水平移動」として説明する（なお、この水平移動は、厳密な意味での水平移動に限られない）。飛行体Ｄは水平移動しながら撮影しており、かつ可視光画像および赤外線画像の撮影タイミングはわずかながらでも時間差（例えば時刻差）が生じる。したがって、可視光画像および赤外線画像とは、同様の範囲を撮影しようとして取得（例えば同期して撮影）されたものであっても、一方が他方に対して、この時間差と飛行体Ｄの飛行速度により所定の飛行距離分だけ移動した後の画像となる。なお、飛行体Ｄが水平移動しながら撮影するのは、観察効率(太陽電池パネルの点検等の効率)が向上するためである。 The flying object D moves with respect to the object to be observed so as to maintain a predetermined interval in the height direction. This movement will be described as "horizontal movement" for convenience of explanation (note that this horizontal movement is not limited to horizontal movement in a strict sense). The flying object D is photographed while moving horizontally, and there is a slight time difference (for example, time difference) between the imaging timings of the visible light image and the infrared image. Therefore, even if the visible light image and the infrared image are acquired in an attempt to capture a similar range (for example, captured in synchronization), one of them has this time difference and the flight speed of the flying object D with respect to the other. It becomes an image after moving by a predetermined flight distance. The reason why the flying object D takes a picture while moving horizontally is to improve the observation efficiency (efficiency of inspection of the solar cell panel, etc.).

また一例においては、可視光画像（例：図３）と赤外線画像（例：図２Ａ、２Ｂ）とでは、可視光画像の方が画角が広くなる傾向がある。したがって、第１実施形態における補正位置情報の作成に加え、画像の生成、画像の撮影の時間差によって、可視光画像と赤外線画像との間に生じる撮影中心位置のずれも補正することにより、例えば両画像の相対位置の把握の精度の向上を図ることができる。具体的には次の通りである。 Further, in one example, in the visible light image (example: FIG. 3) and the infrared image (example: FIGS. 2A and 2B), the visible light image tends to have a wider angle of view. Therefore, in addition to creating the correction position information in the first embodiment, by correcting the deviation of the shooting center position between the visible light image and the infrared image due to the time difference between the image generation and the image shooting, for example, both It is possible to improve the accuracy of grasping the relative position of the image. Specifically, it is as follows.

（空撮画像位置特定システム２００）
図７に示すように第２実施形態の空撮画像位置特定システム２００は、位置情報受信部２１０、画像受信部２２０、補正部２３０、付加部２４０および制御部Ｃと記憶部Ｓの他、補足情報受信部２１５を含んで構成される。画像受信部２２０、付加部２４０および制御部Ｃと記憶部Ｓの各機能は、第１実施形態と概ね同様であり説明が重複するため割愛する。 (Aerial image position identification system 200)
As shown in FIG. 7, the aerial image position identification system 200 of the second embodiment includes a position information receiving unit 210, an image receiving unit 220, a correction unit 230, an additional unit 240, a control unit C and a storage unit S, and supplements. It is configured to include an information receiving unit 215. The functions of the image receiving unit 220, the additional unit 240, the control unit C, and the storage unit S are substantially the same as those of the first embodiment, and the description thereof will be duplicated.

（補足情報受信部２１５）
補足情報受信部２１５は、全球測位衛星システムからの航法信号、すなわち衛星が送信する信号のうち、当該信号に基づく信号発信時刻を、可視光画像の付加情報として取得する。また、補足情報受信部２１５は、飛行体Ｄの水平移動速度を取得する。例えば飛行体Ｄに速度センサー（不図示）が設けられている場合、その速度センサーから受信した情報が水平移動速度である。または飛行体Ｄの移動を制御する制御系から当該移動に関する情報を受け、また飛行体Ｄの諸元等の情報も含めて水平移動の速度を求めてもよい。 (Supplementary information receiver 215)
Supplementary information receiving unit 215 acquires the navigation signal from the global positioning satellite system, that is, the signal transmission time based on the signal among the signals transmitted by the satellite, as additional information of the visible light image. In addition, the supplementary information receiving unit 215 acquires the horizontal movement speed of the flying object D. For example, when the flying object D is provided with a speed sensor (not shown), the information received from the speed sensor is the horizontal movement speed. Alternatively, the speed of horizontal movement may be obtained by receiving information on the movement from the control system that controls the movement of the flying object D and including information such as specifications of the flying object D.

（補正部２３０）
補正部２３０は、補足情報受信部２１５が受信した、可視光画像に付帯された時刻と赤外線画像に付帯された時刻とを比較し、時刻の早い方を特定する。なお、取得順があらかじめ決まっている場合はこの比較は行わない。また、当該両時刻の比較の結果、時刻差を求める。なお、時刻差に限らず、単に両画像の撮影の時間差であってもよい。 (Correction unit 230)
The correction unit 230 compares the time attached to the visible light image and the time attached to the infrared image received by the supplementary information receiving unit 215, and identifies the earlier time. If the acquisition order is predetermined, this comparison will not be performed. In addition, as a result of comparing the two times, the time difference is obtained. The time difference is not limited to the time difference, and may be simply the time difference between the shooting of both images.

また補正部２３０は、補足情報受信部２１５を介して取得した飛行体Ｄの当該時刻における移動速度と上記時刻差とに基づいて、両画像の位置のずれ量（各撮影位置間の距離）を求める。さらに補正部２３０は、第１実施形態における補正処理において求めた、可視光画像および赤外線画像それぞれに対応する複合Ｐｉｔｃｈ角θと、上記ずれ量とに基づいて、両画像がどの方位にどれだけ位置ずれしているかを求める。 Further, the correction unit 230 determines the amount of displacement (distance between each shooting position) of the positions of both images based on the moving speed of the flying object D acquired via the supplementary information receiving unit 215 at the time and the time difference. Ask. Further, the correction unit 230 positions both images in which direction and how much based on the composite Pitch angle θ corresponding to each of the visible light image and the infrared image and the deviation amount obtained in the correction process in the first embodiment. Ask if it is out of alignment.

上記のような画角の差、すなわち可視光画像の方が広域である場合、補正部２３０はこのように特定した差分情報に基づいて、可視光画像内における赤外線画像が示す範囲を特定する処理を行う場合に、その処理の負荷を低減し、あるいはその処理結果の精度の向上を図ることが可能となる。 When the difference in angle of view as described above, that is, the visible light image has a wider area, the correction unit 230 specifies the range indicated by the infrared image in the visible light image based on the difference information specified in this way. When performing the above, it is possible to reduce the processing load or improve the accuracy of the processing result.

また、可視光画像と赤外線画像の位置の対応関係を求めることが可能となるため、両画像の画角を統一、あるいは両画像の画角の比を任意の比率となるように変更することも可能である。 In addition, since it is possible to obtain the correspondence between the positions of the visible light image and the infrared image, it is possible to unify the angles of view of both images or change the ratio of the angles of view of both images to an arbitrary ratio. It is possible.

［動作］
図８は、本実施形態における処理の流れを示す図である。以下に、飛行体Ｄの動作を、ステップ番号（Ｓ０２１〜Ｓ０２７）に添って説明する。 [motion]
FIG. 8 is a diagram showing a flow of processing in the present embodiment. The operation of the flying object D will be described below along with the step numbers (S021 to S027).

（Ｓ０２１）
空撮画像位置特定システム２００における位置情報受信部２１０および補足情報受信部２１５は、飛行体Ｄから位置情報(第１実施形態と同様)と、時刻情報を受ける。また画像受信部２２０は可視光画像および赤外線画像を受ける。 (S021)
The position information receiving unit 210 and the supplementary information receiving unit 215 in the aerial image position specifying system 200 receive position information (similar to the first embodiment) and time information from the flying object D. The image receiving unit 220 also receives a visible light image and an infrared image.

（Ｓ０２２）
補正部２３０は、補足情報受信部２１５から対応して撮影された可視光画像および赤外線画像の各画像の時刻情報を取得する。また補正部２３０は、可視光画像および赤外線画像の各画像の時刻情報を比較して、いずれが先に撮影されたものか求める。 (S022)
The correction unit 230 acquires the time information of each image of the visible light image and the infrared image correspondingly taken from the supplementary information receiving unit 215. Further, the correction unit 230 compares the time information of each image of the visible light image and the infrared image to determine which one was taken first.

（Ｓ０２３），（Ｓ０２５）
Ｓ０２２に前後、または並行して補正部２３０は、ＧＮＳＳ情報から各画像の撮影時の飛行体Ｄの３次元位置（図４：高度ｈ、撮影位置（緯度φ₁、経度λ₁）を位置情報受信部２１０から取得し、補足情報受信部２１５から移動速度情報を取得する。 (S023), (S025)
Before, after, or in parallel with S022, the correction unit 230 determines the three-dimensional position (FIG. 4: altitude h, shooting position (latitude φ ₁ , longitude λ ₁ )) of the flying object D at the time of shooting each image from the GNSS information. It is acquired from the receiving unit 210, and the movement speed information is acquired from the supplementary information receiving unit 215.

（Ｓ０２４）
補正部２３０は、Ｓ０２２の結果、可視光画像が先に撮影されたものであると判断された場合（Ｓ０２２；Ｙｅｓ）、移動速度と時刻差に基づき赤外線画像とのずれ量を求める。また、複合Ｐｉｔｃｈ角θを取得し、赤外線画像が先に撮影された可視光画像に対して、どの方位にどの距離だけずれているかを示す差分情報を作成する。 (S024)
When it is determined as a result of S022 that the visible light image was taken first (S022; Yes), the correction unit 230 obtains the amount of deviation from the infrared image based on the moving speed and the time difference. In addition, the composite Pitch angle θ is acquired, and difference information indicating which direction and by what distance the infrared image is deviated from the previously captured visible light image is created.

（Ｓ０２６）
補正部２３０は、Ｓ０２２の結果、赤外線画像が先に撮影されたものであると判断された場合（Ｓ０２２；Ｎｏ）、移動速度と時刻差に基づき可視光画像とのずれ量を求める。また、方位角を取得し、可視光画像が先に撮影された赤外線画像に対して、どの方位にどの距離だけずれているかを示す差分情報を作成する。 (S026)
When the correction unit 230 determines that the infrared image was taken first as a result of S022 (S022; No), the correction unit 230 obtains the amount of deviation from the visible light image based on the moving speed and the time difference. In addition, the azimuth angle is acquired, and difference information indicating which direction and by what distance the visible light image is deviated from the previously captured infrared image is created.

（Ｓ０２７）
補正部２３０は差分情報に基づき両画像の相対位置を特定する。 (S027)
The correction unit 230 specifies the relative positions of both images based on the difference information.

なお、補正部２３０は、Ｓ０２３またはＳ０２５において、第１実施形態と同様に３次元位置と、方位角と飛行体Ｄの傾き、撮影部Ｄ１の向きに基づく光軸方向とに基づき、可視光画像および赤外線画像の位置情報を補正した補正位置情報を求め、それを利用してもよい。また、付加部２４０が、補正位置情報を可視光画像および赤外線画像に付加する。 In S023 or S025, the correction unit 230 is a visible light image based on the three-dimensional position, the azimuth angle, the inclination of the flying object D, and the optical axis direction based on the orientation of the photographing unit D1 as in the first embodiment. And the corrected position information obtained by correcting the position information of the infrared image may be obtained and used. Further, the addition unit 240 adds the correction position information to the visible light image and the infrared image.

また制御部Ｃは、第１実施形態と同様、各種の形態を採用することが可能である。また位置情報受信部２１０と補足情報受信部２１５とを区別して説明したが、この区別は説明の便宜上におけるものである。 Further, the control unit C can adopt various forms as in the first embodiment. Further, the position information receiving unit 210 and the supplementary information receiving unit 215 have been described separately, but this distinction is for convenience of explanation.

［第３実施形態］
第３実施形態にかかる空撮画像位置特定システム３００について図９および図１０を参照して説明する。以下の説明において、第１実施形態、第２実施形態と重複する説明は割愛する。図１０は、可視光画像に赤外線画像を重畳した重畳画像の一例の概要を示す概念図である。 [Third Embodiment]
The aerial image position specifying system 300 according to the third embodiment will be described with reference to FIGS. 9 and 10. In the following description, the description overlapping with the first embodiment and the second embodiment will be omitted. FIG. 10 is a conceptual diagram showing an outline of an example of a superimposed image in which an infrared image is superimposed on a visible light image.

（概要）
第３実施形態においては、第１実施形態で補正した位置や、第２実施形態で特定した両画像の相対位置に基づき、可視光画像と赤外線画像を重畳する。 (Overview)
In the third embodiment, the visible light image and the infrared image are superimposed based on the position corrected in the first embodiment and the relative position of both images specified in the second embodiment.

（空撮画像位置特定システム３００）
図９に示すように、第３実施形態の空撮画像位置特定システム３００は、位置情報受信部３１０、補足情報受信部３１５、画像受信部３２０、補正部３３０、付加部３４０および制御部Ｃと記憶部Ｓの他、重畳部３５０を含んで構成される。位置情報受信部３１０、補足情報受信部３１５、画像受信部３２０、付加部３４０および制御部Ｃと記憶部Ｓの各機能は、第１実施形態、第２実施形態と概ね同様であり説明が重複するため割愛する。 (Aerial image position identification system 300)
As shown in FIG. 9, the aerial image position identification system 300 of the third embodiment includes a position information receiving unit 310, a supplementary information receiving unit 315, an image receiving unit 320, a correction unit 330, an additional unit 340, and a control unit C. In addition to the storage unit S, a superposition unit 350 is included. The functions of the position information receiving unit 310, the supplementary information receiving unit 315, the image receiving unit 320, the additional unit 340, and the control unit C and the storage unit S are substantially the same as those of the first embodiment and the second embodiment, and the explanations are duplicated. I will omit it to do it.

（重畳部３５０）
第３実施形態において重畳部３５０は、可視光画像における観察対象物（例：太陽光発電パネル）および、赤外線画像における観察対象物をそれぞれ特定する。例えば、画像における観察対象物のエッジ（輪郭線）を検出する。輪郭線の抽出方法は任意の方法を採ることができ、例えば太陽電池パネルであれば、二値化するとパネルの枠線が抽出でき、抽出した枠線の座標位置を元の画像において特定してその部分をパネルのエッジとすることができる。この処理は、第１実施形態および、第２実施形態の少なくともいずれか一方の位置情報の補正処理の後に実行される。 (Superimposition part 350)
In the third embodiment, the superimposing unit 350 identifies an observation object (eg, a photovoltaic power generation panel) in a visible light image and an observation object in an infrared image, respectively. For example, the edge (contour line) of the observation object in the image is detected. Any method can be used to extract the contour line. For example, in the case of a solar cell panel, the frame line of the panel can be extracted by binarizing, and the coordinate position of the extracted frame line is specified in the original image. That part can be the edge of the panel. This process is executed after the position information correction process of at least one of the first embodiment and the second embodiment.

また重畳部３５０は、可視光画像と赤外線画像の画角と視差を計算し、画角を所定の比率(例えば画角を統一)とする。さらに重畳部３５０は、可視光画像の観察対象物のサイズと、赤外線画像の観察対象物のサイズが合うように赤外線画像のサイズを変換し、回転、平行移動等を行う（アフィン変換等）。 Further, the superimposing unit 350 calculates the angle of view and parallax of the visible light image and the infrared image, and sets the angle of view to a predetermined ratio (for example, unifying the angle of view). Further, the superimposition unit 350 converts the size of the infrared image so that the size of the observation object of the visible light image and the size of the observation object of the infrared image match, and performs rotation, translation, etc. (affine transformation, etc.).

また重畳部３５０は、第１実施形態によって作成された補正位置情報や、第２実施形態によって、可視光画像と赤外線画像の相対位置の修正をした画像位置（例えば第１実施形態、第２実施形態の補正位置情報）等に基づき、可視光画像と赤外線画像との位置合わせをする。 Further, the superimposing unit 350 is used to correct the corrected position information created by the first embodiment and the image positions obtained by correcting the relative positions of the visible light image and the infrared image according to the second embodiment (for example, the first embodiment and the second embodiment). The visible light image and the infrared image are aligned based on the correction position information of the form).

さらに重畳部３５０は、可視光画像に赤外線画像を重畳する。図１０に示すように、ユーザーの設定により、赤外線画像の透明度が設定されると、重畳部３５０は赤外線画像を透過して可視光画像が見えるような画像処理をするように構成されていてもよい。 Further, the superimposing unit 350 superimposes an infrared image on the visible light image. As shown in FIG. 10, when the transparency of the infrared image is set by the user's setting, the superimposing unit 350 is configured to perform image processing so that the visible light image can be seen through the infrared image. Good.

さらに、第３実施形態によれば可視光画像と赤外線画像の重畳画像をユーザーに提示することができ、直感的に両者の状態（相対位置、パネルの異常等）を視認でき、観察対象物の把握の効率化を図ることが可能である。 Further, according to the third embodiment, the superimposed image of the visible light image and the infrared image can be presented to the user, the states of both (relative position, panel abnormality, etc.) can be intuitively visually recognized, and the observation object can be observed. It is possible to improve the efficiency of grasping.

［第４実施形態］
第４実施形態にかかる空撮画像位置特定システム４００について図１１および図１２を参照して説明する。以下の説明において、第１実施形態、第２実施形態と重複する説明は割愛する。図１２は、オルソ画像の一例の概要を示す概念図である。 [Fourth Embodiment]
The aerial image position specifying system 400 according to the fourth embodiment will be described with reference to FIGS. 11 and 12. In the following description, the description overlapping with the first embodiment and the second embodiment will be omitted. FIG. 12 is a conceptual diagram showing an outline of an example of an ortho image.

（空撮画像位置特定システム４００）
図１１に示すように、第３実施形態の空撮画像位置特定システム４００は、位置情報受信部４１０、補足情報受信部４１５、画像受信部４２０、補正部４３０、付加部４４０、重畳部４５０および制御部Ｃと記憶部Ｓの他、オルソ画像生成部４６０を含んで構成される。位置情報受信部４１０、補足情報受信部４１５、画像受信部４２０、付加部４４０および制御部Ｃと記憶部Ｓの各機能は、第１〜３実施形態と概ね同様であり、説明が重複するため割愛する。 (Aerial image position identification system 400)
As shown in FIG. 11, the aerial image position identification system 400 of the third embodiment includes the position information receiving unit 410, the supplementary information receiving unit 415, the image receiving unit 420, the correction unit 430, the additional unit 440, the superimposing unit 450, and the superimposing unit 450. In addition to the control unit C and the storage unit S, the ortho image generation unit 460 is included. The functions of the position information receiving unit 410, the supplementary information receiving unit 415, the image receiving unit 420, the additional unit 440, and the control unit C and the storage unit S are substantially the same as those of the first to third embodiments, and the description is duplicated. Omit.

一般に空撮画像は、飛行体Ｄの撮像部のレンズの中心に光束が集まるように撮影され、中心投影の画像となる。したがって、画像の画角において、中心と端部では、レンズの中心から対象物までの距離が異なる。これにより、端部側では観察対象物が傾いているように描画される。例えば太陽電池パネルの場合、中心側と端部側でパネルの形状が大きく異なるおそれもある。第４実施形態では、これを解消し、例えば第３実施形態のような重畳を適正に実行することを可能とする。 Generally, an aerial image is taken so that the light flux is concentrated at the center of the lens of the image pickup unit of the flying object D, and becomes a center projection image. Therefore, in the angle of view of the image, the distance from the center of the lens to the object is different between the center and the edge. As a result, the observation object is drawn as if it is tilted on the end side. For example, in the case of a solar cell panel, the shape of the panel may differ greatly between the center side and the end side. In the fourth embodiment, this is solved, and it is possible to properly execute the superimposition as in the third embodiment, for example.

（オルソ画像生成部４６０）
第４実施形態におけるオルソ画像生成部４６０は、取得された可視光画像について、正射投影する処理を実行し、オルソ画像を生成する。例えば第１〜第３実施形態における可視光画像より画角の広い広域の可視光画像を取得しても、オルソ画像生成部４６０により正射投影処理することにより、画角の周縁側で画像のゆがみが解消される。 (Ortho image generation unit 460)
The orthographic image generation unit 460 in the fourth embodiment executes an orthographic projection process on the acquired visible light image to generate an orthographic image. For example, even if a wide-area visible light image having a wider angle of view than the visible light image in the first to third embodiments is acquired, the ortho-image generation unit 460 performs orthoscopic projection processing to obtain an image on the peripheral side of the angle of view. The distortion is eliminated.

（重畳部４５０）
重畳部４５０は、第１実施形態によって作成された補正位置情報や、第２実施形態によって、オルソ画像と赤外線画像の相対位置の修正をした画像位置等に基づき、オルソ画像と赤外線画像との位置合わせをする。 (Superimposition part 450)
The superimposition unit 450 is the position of the ortho image and the infrared image based on the correction position information created by the first embodiment and the image position where the relative position of the ortho image and the infrared image is corrected by the second embodiment. Make a match.

さらに、第４実施形態によれば広域の可視光画像をオルソ画像とすることにより、広域の可視光画像と赤外線画像の重畳画像をユーザーに提示することができ、直感的に両者の状態（相対位置、パネルの異常等）を視認でき、観察対象物の把握の効率化を図ることが可能である。また、オルソ画像が、広域画像であることにより、特定の観察対象物の全体における位置が把握しやすくなる。 Further, according to the fourth embodiment, by using a wide-area visible light image as an ortho image, it is possible to present a superimposed image of the wide-area visible light image and the infrared image to the user, and intuitively both states (relative). (Position, panel abnormality, etc.) can be visually recognized, and it is possible to improve the efficiency of grasping the observation target. Further, since the ortho image is a wide area image, it becomes easy to grasp the position of a specific observation object in the whole.

［第５実施形態］ [Fifth Embodiment]

第５実施形態にかかる空撮画像位置特定システム５００について図１３〜図１６を参照して説明する。以下の説明において、第１〜４実施形態と重複する説明は割愛する。図１４は、特定部における太陽電池パネルの特定処理の一例の概要を示す概念図である。図１５、図１６は、重畳画像における補正処理前後の不良観察対象物のマーキング位置のずれ量を示す概念図である。 The aerial image position specifying system 500 according to the fifth embodiment will be described with reference to FIGS. 13 to 16. In the following description, the description overlapping with the first to fourth embodiments will be omitted. FIG. 14 is a conceptual diagram showing an outline of an example of a specific process of a solar cell panel in a specific part. 15 and 16 are conceptual diagrams showing the amount of deviation of the marking position of the defective observation object before and after the correction process in the superimposed image.

（空撮画像位置特定システム５００）
図１３に示すように、第５実施形態の空撮画像位置特定システム５００は、位置情報受信部５１０、補足情報受信部５１５、画像受信部５２０、補正部５３０、付加部５４０、重畳部５５０および制御部Ｃと記憶部Ｓの他、特定部５７０を含んで構成される。またオルソ画像生成部を有していてもよい。位置情報受信部５１０、補足情報受信部５１５、画像受信部５２０、付加部５４０および制御部Ｃと記憶部Ｓの各機能は、第１〜４実施形態と概ね同様であり、説明が重複するため割愛する。 (Aerial image position identification system 500)
As shown in FIG. 13, the aerial image position identification system 500 of the fifth embodiment includes a position information receiving unit 510, a supplementary information receiving unit 515, an image receiving unit 520, a correction unit 530, an additional unit 540, and a superimposing unit 550. In addition to the control unit C and the storage unit S, the specific unit 570 is included. Further, it may have an ortho image generation unit. The functions of the position information receiving unit 510, the supplementary information receiving unit 515, the image receiving unit 520, the additional unit 540, and the control unit C and the storage unit S are substantially the same as those of the first to fourth embodiments, and the description is duplicated. Omit.

（特定部）
第５実施形態における特定部５７０は、赤外線画像における観察対象物を特定する。以下、その一例について説明する。特定部５７０は、受信した赤外線画像に対し、ディープラーニング（深層学習）による物体検知モデル（アルゴリズムでもよい）によって、観察対象物（例えば太陽電池パネル）の１つ１つを特定する。 (Specific part)
The identification unit 570 in the fifth embodiment identifies an observation target in an infrared image. An example thereof will be described below. The identification unit 570 identifies each of the observation objects (for example, a solar cell panel) with respect to the received infrared image by an object detection model (algorithm may be used) by deep learning (deep learning).

次に特定部５７０は、赤外線画像の画像処理により、物体検知によって特定された観察対象物それぞれに対し、特定の温度を示す被疑観察対象物を特定する。太陽電池パネルの例であれば、特定の温度とは、正常なパネルと比べ相対的に高温であることであり、その相対的に高温なパネルが被疑観察対象物となる。 Next, the identification unit 570 identifies the suspected observation object showing a specific temperature for each observation object specified by the object detection by image processing of the infrared image. In the case of a solar cell panel, the specific temperature is a relatively high temperature as compared with a normal panel, and the relatively high temperature panel is a suspected observation object.

さらに特定部５７０は、被疑観察対象物それぞれのうち、当該被疑観察対象物内の、平均温度と最高温度の差分が閾値を超えるものを不良と判断する。太陽電池パネルの例であれば、閾値は例えば「２．０℃」以上となる。 Further, the specific unit 570 determines that the difference between the average temperature and the maximum temperature in the suspected observation object exceeds the threshold value among the suspected observation objects. In the case of the solar cell panel, the threshold value is, for example, "2.0 ° C." or higher.

さらに特定部５７０は、不良観察対象物の位置を第１実施形態によって作成された補正位置情報や、第２実施形態によって、可視光画像と赤外線画像の相対位置の修正をした画像位置等に基づき、特定する。 Further, the specific unit 570 is based on the corrected position information created by the first embodiment for the position of the defective observation object, the image position where the relative positions of the visible light image and the infrared image are corrected by the second embodiment, and the like. ,Identify.

次に、重畳部５５０は、第１実施形態によって作成された補正位置情報や、第２実施形態によって、可視光画像と赤外線画像の相対位置の修正をした画像位置等に基づき、可視光画像と赤外線画像との位置合わせをし、第３実施形態と同様に重畳処理を実行する。このとき、可視光画像でなく、第４実施形態のオルソ画像であってもよい。 Next, the superimposing unit 550 sets the visible light image and the visible light image based on the corrected position information created by the first embodiment and the image position where the relative positions of the visible light image and the infrared image are corrected according to the second embodiment. The image is aligned with the infrared image, and the superimposition process is executed in the same manner as in the third embodiment. At this time, the ortho image of the fourth embodiment may be used instead of the visible light image.

次に特定部５７０は、重畳画像における不良観察対象物を強調表示してもよい。強調表示は、他の部分と明確に識別できる色彩の付与、点滅表示、輪郭線の強調、特定の図形（マーキング）等、任意の方法を適宜採用することが可能である。 Next, the specific unit 570 may highlight the defective observation object in the superimposed image. As the highlighting, any method such as adding a color that can be clearly distinguished from other parts, blinking display, highlighting the outline, and a specific figure (marking) can be appropriately adopted.

（変形例）
次に第５実施形態にかかる空撮画像位置特定システム５００の変形例について図１７を参照して説明する。図１７に示すようにＧＩＳ（ＧｅｏｇｒａｐｈｉｃＩｎｆｏｒｍａｔｉｏｎＳｙｓｔｅｍ；地理情報システム）を使用して可視化した地図データを可視光画像やオルソ画像のかわりに利用することが可能である。この地図データに含まれた緯度・経度・標高等のデータを利用して、重畳部５５０は赤外線画像を重畳することができ、特定部５７０は、不良観察対象物の強調表示をすることが可能となる。このため、この変形例においては、地図データを記憶する地図画像記憶部、または地図データのテンプレートをあらかじめ記憶し、外部から緯度、経度、標高等の地形のデータを取得して地図データを作成する地図データ作成部が含まれる。これらの図示は省略する。 (Modification example)
Next, a modified example of the aerial image position specifying system 500 according to the fifth embodiment will be described with reference to FIG. As shown in FIG. 17, map data visualized using a GIS (Geographic Information System) can be used instead of a visible light image or an ortho image. Using the data such as latitude, longitude, and altitude included in this map data, the superimposing unit 550 can superimpose an infrared image, and the specific unit 570 can highlight a defective observation object. It becomes. Therefore, in this modification, the map image storage unit that stores the map data or the map data template is stored in advance, and the topographical data such as latitude, longitude, and altitude are acquired from the outside to create the map data. Includes map data creation unit. These illustrations are omitted.

さらに、第５実施形態によれば不良観察対象物を特定し、さらに重畳画像において不良観察対象物の位置を提示するので、不良観察対象物の把握の効率化を図ることが可能である。 Further, according to the fifth embodiment, since the defective observation object is specified and the position of the defective observation object is presented in the superimposed image, it is possible to improve the efficiency of grasping the defective observation object.

図１５，図１６に示すように、太陽電池パネルの例における第１実施形態および第２実施形態の位置情報の補正処理を行う前と行った後の不良太陽電池パネルの位置は、大きくずれている。これらの図に示すように、第１実施形態および第２実施形態の補正処理により不良観察対象物の位置を精度よく提示することができるため、不良観察対象物の特定が容易となる。 As shown in FIGS. 15 and 16, the positions of the defective solar cell panels before and after the correction processing of the position information of the first embodiment and the second embodiment in the example of the solar cell panel are largely deviated. There is. As shown in these figures, since the position of the defective observation object can be accurately presented by the correction processing of the first embodiment and the second embodiment, it becomes easy to identify the defective observation object.

［第６実施形態］
第６実施形態にかかる空撮画像位置特定システム６００について図１８および図１９を参照して説明する。以下の説明において、第１〜第５実施形態と重複する説明は割愛する。図１９は、報告書データの一例を示す概略図である。 [Sixth Embodiment]
The aerial image position specifying system 600 according to the sixth embodiment will be described with reference to FIGS. 18 and 19. In the following description, the description overlapping with the first to fifth embodiments will be omitted. FIG. 19 is a schematic diagram showing an example of report data.

（空撮画像位置特定システム６００）
図１８に示すように、第６実施形態の空撮画像位置特定システム６００は、位置情報受信部６１０、補足情報受信部６１５、画像受信部６２０、補正部６３０、付加部６４０、重畳部６５０、特定部６７０および制御部Ｃと記憶部Ｓの他、作成部６８０を含んで構成される。またオルソ画像生成部を有していてもよい。位置情報受信部６１０、補足情報受信部６１５、画像受信部６２０、付加部６４０、重畳部６５０、特定部６７０および制御部Ｃと記憶部Ｓの各機能は、第１〜５実施形態と概ね同様であり、説明が重複するため割愛する。 (Aerial image position identification system 600)
As shown in FIG. 18, the aerial image position identification system 600 of the sixth embodiment includes a position information receiving unit 610, a supplementary information receiving unit 615, an image receiving unit 620, a correction unit 630, an additional unit 640, and a superimposing unit 650. In addition to the specific unit 670, the control unit C, and the storage unit S, the creation unit 680 is included. Further, it may have an ortho image generation unit. The functions of the position information receiving unit 610, the supplementary information receiving unit 615, the image receiving unit 620, the additional unit 640, the superimposing unit 650, the specific unit 670, and the control unit C and the storage unit S are substantially the same as those in the first to fifth embodiments. Therefore, the explanation is omitted because it is duplicated.

（作成部）
第６実施形態における作成部６８０は、可視光画像（例：図３）、オルソ画像（例：図１２）と、地図画像（例：図１７）のいずれか、重畳画像および赤外線画像のうち、少なくとも２つを同時に表示する報告書データを作成する。この同時表示される画像には、不良観察対象物の強調表示(異常箇所のマーキングを含む)が含まれていてもよい。さらに不良観察対象物の異常内容の説明が付記されていてもよい。また図１９に示すように例えば2種以上の画像は並列表示される。 (Creation department)
The creating unit 680 in the sixth embodiment is any of a visible light image (example: FIG. 3), an ortho image (example: FIG. 12), and a map image (example: FIG. 17), a superimposed image, and an infrared image. Create report data that displays at least two at the same time. The simultaneously displayed image may include highlighting (including marking of an abnormal portion) of a defective observation object. Further, an explanation of the abnormal content of the defective observation object may be added. Further, as shown in FIG. 19, for example, two or more types of images are displayed in parallel.

さらに、第６実施形態によれば、可視光画像・オルソ画像・地図画像のいずれか、重畳画像および赤外線画像のうち、少なくとも２つを同時に表示する報告書データが作成される。報告書データにより、観察対象物の観察処理を実施するユーザーに直感的に、不良観察対象物の位置、状態等を提示することができ、ユーザーの負担軽減、処理効率の向上を図ることが可能となる。 Further, according to the sixth embodiment, report data for displaying at least two of the visible light image, the ortho image, the map image, the superimposed image, and the infrared image at the same time is created. With the report data, it is possible to intuitively present the position, state, etc. of the defective observation object to the user who performs the observation processing of the observation object, and it is possible to reduce the burden on the user and improve the processing efficiency. It becomes.

以上、説明した第１〜第６実施形態については、説明の便宜上、飛行体Ｄと空撮画像位置特定システムの間でデータ通信をする例において説明したが、飛行体Ｄと、飛行体Ｄからの送信データに基づき上記各処理を実行するハードウェアとプログラムを記憶する記憶媒体、ＡＩを含むいずれの態様を採ることも可能である。 The first to sixth embodiments described above have been described in an example of performing data communication between the flying object D and the aerial image positioning system for convenience of explanation, but from the flying object D and the flying object D It is possible to adopt any aspect including the hardware for executing each of the above processes based on the transmission data of the above, the storage medium for storing the program, and AI.

一例として、ハードウェア構成としては、飛行体Ｄと飛行体Ｄの操作をする操作部に対して、空撮画像位置特定システムとして飛行体Ｄと通信し飛行体Ｄからの送信データを受信し、上記各処理の少なくとも一部を実行するＰＣと、当該ＰＣから所定のデータを受け、上記ＰＣの処理以外の残りの処理を実行するサーバーによって構成されていてもよい。 As an example, as a hardware configuration, the operation unit that operates the flight object D and the flight object D communicates with the flight object D as an aerial image position identification system and receives the transmission data from the flight object D. It may be composed of a PC that executes at least a part of each of the above processes and a server that receives predetermined data from the PC and executes the remaining processes other than the processes of the PC.

あるいは、飛行体Ｄから直接送信データを受信し、上記各処理の全てを実行するサーバーによって構成されていてもよい。この場合、処理結果(例えば、重畳画像や報告書データ)は任意にユーザーが利用する端末にてダウンロードすることが可能になっていてもよい。なお以上のサーバーは複数あっても単一でもよい。 Alternatively, it may be configured by a server that receives transmission data directly from the aircraft D and executes all of the above processes. In this case, the processing result (for example, superimposed image or report data) may be arbitrarily downloadable on the terminal used by the user. The above servers may be multiple or single.

飛行体Ｄの操作部、ＰＣ、ユーザー端末の少なくともいずれか１つには、表示部が設けられていてもよい。図示しない表示部は、飛行体Ｄの操作に関するＵＩ、各種画像の表示ＵＩ、システム設定（パラメーター等）の設定ＵＩ、報告書データの表示ＵＩによる。表示部は、タッチパネルなどの各種表示デバイスを含んでいてもよい。 A display unit may be provided on at least one of the operation unit, the PC, and the user terminal of the aircraft D. The display unit (not shown) is a UI related to the operation of the aircraft D, a UI for displaying various images, a UI for setting system settings (parameters, etc.), and a UI for displaying report data. The display unit may include various display devices such as a touch panel.

飛行体Ｄの操作部、ＰＣ、ユーザー端末の少なくともいずれか１つには、入力部が設けられていてもよい。入力部は、音声や文字入力信号等の外部入力を受けるデバイスである。例えば音声を検知するデバイス（マイクロフォン等）、または文字入力を行うデバイス（ソフトウェアキーボードまたはハードウェアキーボード）等が挙げられる。また、いずれの構成であっても、入力部に対する操作内容は、電気信号として制御部Ｃに入力される。また、表示部に表示されたグラフィカルユーザーインターフェイス（ＧＵＩ）と、入力部とを用いて、操作や情報入力を行うようにしてもよい。 An input unit may be provided on at least one of the operation unit, the PC, and the user terminal of the aircraft D. The input unit is a device that receives external inputs such as voice and character input signals. For example, a device that detects voice (microphone, etc.), a device that inputs characters (software keyboard or hardware keyboard), and the like can be mentioned. Further, in any configuration, the operation content for the input unit is input to the control unit C as an electric signal. Further, the graphical user interface (GUI) displayed on the display unit and the input unit may be used to perform operations and information input.

表示部は、入力部と、独立に構成されても、一体的に構成されてもよい。例えばタッチパネルのように、表示機能と操作機能とが一体化されたデバイスを用いることも可能である。その場合、入力部および表示部は、タッチパネルとそれを実行するためのコンピュータプログラムとを含んで構成される。 The display unit may be configured independently or integrally with the input unit. For example, it is possible to use a device such as a touch panel in which a display function and an operation function are integrated. In that case, the input unit and the display unit are configured to include a touch panel and a computer program for executing the touch panel.

飛行体Ｄ、ＰＣ、ユーザー端末、サーバーの少なくともいずれか１つには、記憶部が設けられていてもよい。記憶部は、位置情報、時刻情報、方位情報、画像データ、地図データ、学習モデル、その他上記各処理を実行するコンピュータプログラム等を記憶する。記憶部としてはハードディスク、フラッシュメモリの他、任意のデバイスを利用可能である。 A storage unit may be provided in at least one of the aircraft D, the PC, the user terminal, and the server. The storage unit stores position information, time information, direction information, image data, map data, a learning model, and other computer programs that execute each of the above processes. As a storage unit, a hard disk, a flash memory, or any other device can be used.

以上から、例えば、タブレットやスマートフォンのようなユーザー端末にて、飛行体Ｄの操作、赤外線画像、可視光画像、地図、重畳画像、報告書データの表示や各処理のための入力を可能とし、その画像生成、位置補正処理、不良観察対象物の特定、記憶等の処理をサーバーが実行する等の態様も可能である。 From the above, for example, on a user terminal such as a tablet or smartphone, it is possible to operate the flying object D, display infrared images, visible light images, maps, superimposed images, report data, and input for each process. It is also possible for the server to perform processing such as image generation, position correction processing, identification of defective observation objects, and storage.

以上説明した各実施形態によれば、マーカーのような特徴点を周囲に設置しなくても可視光画像と赤外線画像との相対位置の把握が可能となる。マーカーは、観察対象物が水上に存在する場合、崖等の危険な位置にある場合等、そもそも設置自体が困難な場合がある。この場合、マーカーの設置を前提とした空撮画像による観察対象物の観察ができなくなってしまう。また置けたとしても、マーカー自体のメンテナンス等の維持管理コストがかかり、マーカーの設置コストもかかる。さらにマーカーを密に設置しないと不良観察対象物等の特定の観察対象物の位置の把握が困難になってしまう。 According to each of the above-described embodiments, it is possible to grasp the relative position between the visible light image and the infrared image without installing a feature point such as a marker in the surroundings. The marker may be difficult to install in the first place, such as when the object to be observed is on the water or in a dangerous position such as a cliff. In this case, it becomes impossible to observe the observation object by the aerial image on the premise of installing the marker. Even if it can be placed, maintenance costs such as maintenance of the marker itself are incurred, and marker installation costs are also incurred. Furthermore, if the markers are not placed densely, it becomes difficult to grasp the position of a specific observation object such as a defective observation object.

また、マーカーを前提とした空撮画像位置特定システムでは、赤外線画像と、可視光画像（またはオルソ画像、地図等）との位置合わせの精度が低くなるおそれがある。太陽電池パネルの場合、１ｍ幅に対して、上空４０ｍ〜１５０ｍの位置で空撮するので、位置ずれがあると、赤外線画像の温度情報で異常検出できたとしてもどの観察対象物かの特定ができなくなってしまうおそれがある。 Further, in the aerial image positioning system based on the marker, the accuracy of positioning the infrared image and the visible light image (or ortho image, map, etc.) may be low. In the case of a solar cell panel, aerial photography is performed at a position of 40 m to 150 m above the 1 m width, so if there is a misalignment, even if an abnormality can be detected by the temperature information of the infrared image, it is possible to identify which object to observe. There is a risk that it will not be possible.

以上説明した各実施形態によれば、マーカーのような特徴点を周囲に設置しなくてもよいので、上記各問題を解決することが可能となる。 According to each of the above-described embodiments, it is not necessary to install feature points such as markers in the surroundings, so that each of the above problems can be solved.

この発明の実施形態を説明したが、上記の実施形態は例として提示したものであり、発明の範囲を限定することを意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although embodiments of the present invention have been described, the above embodiments are presented as examples and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other embodiments, and various omissions, replacements, and changes can be made without departing from the gist of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are also included in the scope of the invention described in the claims and the equivalent scope thereof.

１００、２００、３００、４００、５００、６００空撮画像位置特定システム
１１０、２１０、３１０、４１０、５１０、６１０位置情報受信部
１２０、２２０、３２０、４２０、５２０、６２０画像受信部
１３０、２３０、３３０、４３０、５３０、６３０補正部
１４０、２４０、３４０、４４０、５４０、６４０付加部
３５０、４５０、５５０、６５０重畳部
４６０オルソ画像作成部
５７０特定部
６８０作成部
Ｄ飛行体
Ｄ１撮影部
Ｄ２位置取得部
Ｄ３ジャイロスコープ
Ｄ４ジンバル
Ｄ５地磁気センサー
100, 200, 300, 400, 500, 600 Aerial image position identification system 110, 210, 310, 410, 510, 610 Position information receiver 120, 220, 320, 420, 520, 620 Image receiver 130, 230, 330, 430, 530, 630 Correction part 140, 240, 340, 440, 540, 640 Addition part 350, 450, 550, 650 Superimposition part 460 Ortho image creation part 570 Specific part 680 Creation part D Aircraft D1 Imaging part D2 Position Acquisition part D3 Gyroscope D4 Gimbal D5 Geomagnetic sensor

Claims

飛行体から可視光画像と赤外線画像を受信する画像受信部と、
前記可視光画像および前記赤外線画像における撮影時の位置情報と撮影方向情報を受信する位置情報受信部と、
前記位置情報を、前記撮影方向情報に基づき補正し、補正位置情報を求める補正部と、
前記可視光画像および前記赤外線画像に該補正位置情報を付加する付加部と、を備え、
前記位置情報は、前記飛行体が前記撮影に対応して受けた全球測位衛星システムからの航法信号を含み、
前記撮影方向情報は、前記飛行体の機体の向きと、前記飛行体に設けられた撮影部の向きとを含み、
前記補正部は、前記航法信号に基づき、前記可視光画像と赤外線画像の位置情報を、前記撮影方向情報に基づき補正し、
前記画像受信部は、飛行体が実質的に同時に撮影した、あるいは同期して撮影された前記可視光画像および前記赤外線画像を受信し、
前記可視光画像および前記赤外線画像それぞれの撮影時刻と、前記飛行体の飛行速度とを受信する補足情報受信部をさらに備え、
前記補正部は、前記可視光画像および前記赤外線画像それぞれの前記撮影時刻の時刻差と前記飛行速度に基づき、前記可視光画像および前記赤外線画像の撮影位置のずれ量を求め、当該ずれ量も前記補正位置情報の補正に用いる
ことを特徴とする空撮画像位置特定システム。 An image receiver that receives visible and infrared images from the aircraft,
A position information receiving unit that receives position information and shooting direction information at the time of shooting in the visible light image and the infrared image, and
A correction unit that corrects the position information based on the shooting direction information and obtains the correction position information.
E Bei and a adding unit for adding the correction position information to the visible light image and the infrared image,
The position information includes a navigation signal from the global positioning satellite system received by the flying object in response to the shooting.
The shooting direction information includes the orientation of the airframe of the flying object and the orientation of the photographing unit provided on the flying object.
Based on the navigation signal, the correction unit corrects the position information of the visible light image and the infrared image based on the shooting direction information.
The image receiving unit receives the visible light image and the infrared image taken by the flying objects substantially simultaneously or synchronously with each other.
It further includes a supplementary information receiving unit that receives the shooting times of the visible light image and the infrared image, and the flight speed of the flying object.
The correction unit obtains a deviation amount of the shooting position of the visible light image and the infrared image based on the time difference of the shooting time of the visible light image and the infrared image and the flight speed, and the deviation amount is also the same. An aerial image position identification system characterized in that it is used for correction of correction position information .

飛行体から可視光画像と赤外線画像を受信する画像受信部と、
前記可視光画像および前記赤外線画像における撮影時の位置情報と撮影方向情報を受信する位置情報受信部と、
前記位置情報を、前記撮影方向情報に基づき補正し、補正位置情報を求める補正部と、
前記可視光画像および前記赤外線画像に該補正位置情報を付加する付加部と、を備え、
前記位置情報は、前記飛行体が前記撮影に対応して受けた全球測位衛星システムからの航法信号を含み、
前記撮影方向情報は、前記飛行体の機体の向きと、前記飛行体に設けられた撮影部の向きとを含み、
前記補正部は、前記航法信号に基づき、前記可視光画像と赤外線画像の位置情報を、前記撮影方向情報に基づき補正し、
前記補正位置情報に基づき、前記可視光画像および前記赤外線画像の相対位置を特定し、さらに画角と視差を計算し、位置合わせをした上で、当該可視光画像と当該赤外線画像を重畳して重畳画像を作成する重畳部をさらに備えた
ことを特徴とする空撮画像位置特定システム。 An image receiver that receives visible and infrared images from the aircraft,
A position information receiving unit that receives position information and shooting direction information at the time of shooting in the visible light image and the infrared image, and
A correction unit that corrects the position information based on the shooting direction information and obtains the correction position information.
E Bei and a adding unit for adding the correction position information to the visible light image and the infrared image,
The position information includes a navigation signal from the global positioning satellite system received by the flying object in response to the shooting.
The shooting direction information includes the orientation of the airframe of the flying object and the orientation of the photographing unit provided on the flying object.
Based on the navigation signal, the correction unit corrects the position information of the visible light image and the infrared image based on the shooting direction information.
Based on the corrected position information, the relative positions of the visible light image and the infrared image are specified, the angle of view and the parallax are calculated, and the positions are aligned, and then the visible light image and the infrared image are superimposed. Further provided with a superimposition part for creating a superimposition image
An aerial image positioning system characterized by this.

前記補正位置情報に基づき、前記可視光画像および前記赤外線画像の相対位置を特定し、さらに画角と視差を計算し、位置合わせをした上で、当該可視光画像と当該赤外線画像を重畳して重畳画像を作成する重畳部をさらに備えた
ことを特徴とする請求項１に記載の空撮画像位置特定システム。 Based on the corrected position information, the relative positions of the visible light image and the infrared image are specified, the angle of view and the parallax are calculated, and the positions are aligned, and then the visible light image and the infrared image are superimposed. The aerial image position specifying system according to claim 1 , further comprising a superimposing unit for creating a superposed image.

前記可視光画像について、正射投影する処理を実行し、オルソ画像を生成するオルソ画像作成部をさらに備えた
ことを特徴とする請求項２または３に記載の空撮画像位置特定システム。 The aerial image positioning system according to claim 2 or 3 , further comprising an orthographic image creating unit that executes an orthographic projection process on the visible light image and generates an orthographic image.

前記赤外線画像における複数の観察対象物群から個々の観察対象物を特定し、当該特定した個々の観察対象物から特定の温度を示す被疑観察対象物を特定し、さらに被疑観察対象物の平均温度と最高温度の差分から閾値を超える不良観察対象物を特定する特定部をさらに備えた
ことを特徴とする請求項１〜４のいずれか１項に記載の空撮画像位置特定システム。 An individual observation object is specified from a plurality of observation object groups in the infrared image, a suspected observation object indicating a specific temperature is specified from the specified individual observation object, and an average temperature of the suspected observation object is further specified. The aerial image position identification system according to any one of claims 1 to 4 , further comprising a specific unit for identifying a defective observation object exceeding the threshold value from the difference between the maximum temperature and the maximum temperature.

前記特定部は、前記重畳画像、前記オルソ画像および前記赤外線画像の少なくともいずれか１つにおいて、前記不良観察対象物の位置を特定して強調表示させる
ことを特徴とする請求項５に記載の空撮画像位置特定システム。 The sky according to claim 5 , wherein the specific portion identifies and highlights the position of the defective observation object in at least one of the superimposed image, the ortho image, and the infrared image. Captured image position identification system.

前記可視光画像、前記オルソ画像、前記重畳画像、前記赤外線画像、および前記不良観察対象物の位置を特定した位置特定画像のうち、少なくとも２つを同時に表示する報告書データを作成する作成部をさらに備えた
ことを特徴とする請求項５に記載の空撮画像位置特定システム。 A creation unit that creates report data that simultaneously displays at least two of the visible light image, the ortho image, the superimposed image, the infrared image, and the position specifying image in which the position of the defective observation object is specified. The aerial image position identification system according to claim 5 , further comprising.

飛行体から可視光画像と赤外線画像を受信する画像受信部と、
前記可視光画像および前記赤外線画像における撮影時の位置情報と撮影方向情報を受信する位置情報受信部と、
前記位置情報を、前記撮影方向情報に基づき補正し、補正位置情報を求める補正部と、
前記可視光画像および前記赤外線画像に該補正位置情報を付加する付加部と、を備え、
前記赤外線画像における複数の観察対象物群から個々の観察対象物を特定し、当該特定した個々の観察対象物から特定の温度を示す被疑観察対象物を特定し、さらに被疑観察対象物の平均温度と最高温度の差分から閾値を超える不良観察対象物を特定する特定部をさらに備えた
ことを特徴とする空撮画像位置特定システム。 An image receiver that receives visible and infrared images from the aircraft,
A position information receiving unit that receives position information and shooting direction information at the time of shooting in the visible light image and the infrared image, and
A correction unit that corrects the position information based on the shooting direction information and obtains the correction position information.
E Bei and a adding unit for adding the correction position information to the visible light image and the infrared image,
An individual observation object is specified from a plurality of observation object groups in the infrared image, a suspected observation object indicating a specific temperature is specified from the specified individual observation object, and an average temperature of the suspected observation object is further specified. An aerial image positioning system characterized by further including a specific part for identifying a defective observation object exceeding the threshold value from the difference between the temperature and the maximum temperature .

前記位置情報は、前記飛行体が前記撮影に対応して受けた全球測位衛星システムからの航法信号を含み、
前記撮影方向情報は、前記飛行体の機体の向きと、前記飛行体に設けられた撮影部の向きとを含み、
前記補正部は、前記航法信号に基づき、前記可視光画像と赤外線画像の位置情報を、前記撮影方向情報に基づき補正する
ことを特徴とする請求項８に記載の空撮画像位置特定システム。
The position information includes a navigation signal from the global positioning satellite system received by the flying object in response to the shooting.
The shooting direction information includes the orientation of the airframe of the flying object and the orientation of the photographing unit provided on the flying object.
The aerial image position specifying system according to claim 8 , wherein the correction unit corrects the position information of the visible light image and the infrared image based on the navigation signal, based on the shooting direction information.