JP2019027908A - Exterior surface material investigation system - Google Patents
Exterior surface material investigation system Download PDFInfo
- Publication number
- JP2019027908A JP2019027908A JP2017147260A JP2017147260A JP2019027908A JP 2019027908 A JP2019027908 A JP 2019027908A JP 2017147260 A JP2017147260 A JP 2017147260A JP 2017147260 A JP2017147260 A JP 2017147260A JP 2019027908 A JP2019027908 A JP 2019027908A
- Authority
- JP
- Japan
- Prior art keywords
- image
- visible light
- light image
- flying object
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000000463 material Substances 0.000 title claims abstract description 80
- 238000011835 investigation Methods 0.000 title claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 83
- 230000005856 abnormality Effects 0.000 claims abstract description 54
- 238000003384 imaging method Methods 0.000 claims abstract description 50
- 238000001514 detection method Methods 0.000 claims abstract description 21
- 238000000034 method Methods 0.000 claims description 119
- 230000008569 process Effects 0.000 claims description 112
- 238000007689 inspection Methods 0.000 claims description 18
- 230000005855 radiation Effects 0.000 claims 1
- 230000026676 system process Effects 0.000 abstract 1
- 230000002159 abnormal effect Effects 0.000 description 17
- 238000001228 spectrum Methods 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 5
- 230000001174 ascending effect Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 239000011449 brick Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000010438 heat treatment Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Images
Landscapes
- Investigating Or Analyzing Materials Using Thermal Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Radiation Pyrometers (AREA)
- Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)
Abstract
Description
本発明は、外面材調査システムに関するものである。 The present invention relates to an outer surface material investigation system.
従来、構造物の外面材(例えば、タイル、サイディング、レンガ、および、表面コンクリート等)の剥離等の異常を検査する方法としては、例えば、特許文献1に開示された技術がある。
Conventionally, as a method for inspecting abnormalities such as peeling of an outer surface material (for example, tile, siding, brick, surface concrete, etc.) of a structure, there is a technique disclosed in
特許文献1に開示された技術では、建物の外壁に赤外線を照射する赤外線ヒータと、赤外線を照射されて加熱した外壁の正常部分と剥離部分の温度差を映像化する赤外線カメラを配置する。そして、赤外線カメラで得られた映像から壁面表面温度パターンを計算機シミューレーションで作成し、正常部分と剥離部分を色分けすることで、剥離部分を特定することができる。
In the technique disclosed in
しかしながら、特許文献1に開示された技術では、赤外線ヒータを用いることから、検査対象となるのは赤外線ヒータからの赤外線が届く範囲に限定されるため、広い範囲を検査するためには、検査に時間を要するという問題点がある。
However, in the technique disclosed in
本発明は、構造物の外面材の異常を短時間で検査することが可能な外面材調査システムを提供することを目的としている。 An object of the present invention is to provide an outer surface material investigation system capable of inspecting abnormality of an outer surface material of a structure in a short time.
上記課題を解決するために、本発明は、飛行体によって撮像した画像を処理して端末装置に表示し、構造物の外面材の状態を調査する外面材調査システムにおいて、前記飛行体は、可視光画像を撮像する可視光画像撮像手段と、可視光以外の領域の電磁波または音波による非可視光画像を撮像する非可視光画像撮像手段と、を有し、前記端末装置または前記飛行体は、前記可視光画像および/または前記非可視光画像に対して所定の画像処理を実行する画像処理手段と、前記画像処理手段による画像処理結果に基づいて前記飛行体の飛行状態を制御する飛行体制御手段と、前記画像処理手段による画像処理結果に基づいて前記外面材の異常を検出する異常検出手段と、を有する、ことを特徴とする。
このような構成によれば、構造物の外面材の異常を短時間で検査することが可能になる。
In order to solve the above-described problems, the present invention provides an external material inspection system that processes an image captured by a flying object and displays the processed image on a terminal device to investigate the state of the external surface material of the structure. A visible light image capturing unit that captures a light image; and a non-visible light image capturing unit that captures a non-visible light image by an electromagnetic wave or a sound wave in a region other than visible light; and the terminal device or the flying object includes: Image processing means for executing predetermined image processing on the visible light image and / or the non-visible light image, and flying object control for controlling a flight state of the flying object based on an image processing result by the image processing means And an abnormality detecting means for detecting an abnormality of the outer surface material based on an image processing result by the image processing means.
According to such a structure, it becomes possible to test | inspect the abnormality of the outer surface material of a structure for a short time.
また、本発明は、前記画像処理手段は、前記外面材を構成する要素に対応する画像成分を検出する処理を実行し、前記飛行体制御手段は、前記画像処理手段によって検出される前記要素に対応する前記画像成分に基づいて、前記飛行体の前記構造物からの距離および/または飛行速度を調整することを特徴とする。
このような構成によれば、距離や飛行速度を適切に設定することができる。
According to the present invention, the image processing means executes a process of detecting an image component corresponding to an element constituting the outer surface material, and the flying object control means applies the element detected by the image processing means. The distance from the structure of the flying object and / or the flight speed is adjusted based on the corresponding image component.
According to such a configuration, the distance and the flight speed can be set appropriately.
また、本発明は、前記画像処理手段は、前記外面材を構成する要素に対応する画像成分を検出する処理を実行し、前記飛行体制御手段は、前記画像処理手段によって検出される前記要素に対応する前記画像成分に基づいて、前記可視光画像撮像手段および前記非可視光画像撮像手段の仰角または俯角を調整することを特徴とする。
このような構成によれば、仰角または俯角を適切に設定することができる。
According to the present invention, the image processing means executes a process of detecting an image component corresponding to an element constituting the outer surface material, and the flying object control means applies the element detected by the image processing means. The elevation angle or depression angle of the visible light image capturing unit and the non-visible light image capturing unit is adjusted based on the corresponding image component.
According to such a configuration, the elevation angle or depression angle can be set appropriately.
また、本発明は、前記非可視光画像撮像手段は、被写体から放射される赤外線を検出し、前記被写体の各部の温度を示す熱画像を撮像し、前記画像処理手段は、前記可視光画像撮像手段によって撮像された前記可視光画像に基づいて前記外面材を構成する要素に対応する空間周波数成分を特定し、前記可視光画像と前記熱画像の相対的な関係に基づいて前記熱画像における前記要素の空間周波数成分を特定し、特定された空間周波数に対応する帯域成分を抽出する処理を実行する、ことを特徴とする。
このような構成によれば、外面材を構成する要素に対応する画像成分を確実に抽出することができる。
Further, according to the present invention, the invisible light image capturing unit detects infrared rays emitted from a subject, captures a thermal image indicating the temperature of each part of the subject, and the image processing unit captures the visible light image. A spatial frequency component corresponding to an element constituting the outer surface material is specified based on the visible light image captured by the means, and the thermal image in the thermal image is based on a relative relationship between the visible light image and the thermal image. A process of specifying a spatial frequency component of an element and extracting a band component corresponding to the specified spatial frequency is performed.
According to such a configuration, it is possible to reliably extract image components corresponding to the elements constituting the outer surface material.
また、本発明は、前記異常検出手段は、前記画像処理手段によって抽出された前記帯域成分を参照し、前記外面材を構成する前記要素に対応する部分の温度が隣接する部分と異なる場合には異常と判定することを特徴とする。
このような構成によれば、異常箇所を確実に検出することができる。
In the present invention, the abnormality detection unit refers to the band component extracted by the image processing unit, and the temperature of the part corresponding to the element constituting the outer surface material is different from the adjacent part. It is determined to be abnormal.
According to such a configuration, it is possible to reliably detect an abnormal location.
また、本発明は、前記異常検出手段によって異常が検出された場合には、前記飛行体制御手段は、前記飛行体をホバリング状態とし、前記異常検出手段は、ホバリング中に撮像された複数の前記非可視光画像に基づいて異常の有無を判定する、ことを特徴とする。
このような構成によれば、誤検出の発生を低減することができる。
Further, in the present invention, when an abnormality is detected by the abnormality detection unit, the flying object control unit sets the flying object to a hovering state, and the abnormality detection unit includes a plurality of the images captured during hovering. It is characterized by determining the presence or absence of abnormality based on an invisible light image.
According to such a configuration, occurrence of erroneous detection can be reduced.
また、本発明は、前記飛行体制御手段は、地図上において調査の対象となる前記構造物の指定を受け、指定された前記構造物に基づいて飛行経路を設定することを特徴とする。
このような構成によれば、飛行経路を簡単に設定することができる。
Further, the present invention is characterized in that the flying object control means receives designation of the structure to be investigated on a map and sets a flight path based on the designated structure.
According to such a configuration, the flight path can be easily set.
また、本発明は、前記飛行体制御手段は、垂直方向の飛行と、水平方向の飛行を交互に繰り返すことで、前記構造物の所定の外面を撮像するように制御することを特徴とする。
このような構成によれば、飛行体の制御を簡易化するとともに、異常箇所を漏れなく検出することができる。
Further, the present invention is characterized in that the flying object control means performs control so as to image a predetermined outer surface of the structure by alternately repeating vertical flight and horizontal flight.
According to such a configuration, it is possible to simplify the control of the flying object and to detect the abnormal part without omission.
また、本発明は、前記飛行体制御手段は、前記構造物の外面を東、南、西、および、北の順に撮影するように制御することを特徴とする。
このような構成によれば、温度上昇/温度降下が生じやすい順に外面を検査することができる。
Moreover, the present invention is characterized in that the flying object control means controls the outer surface of the structure to be photographed in the order of east, south, west, and north.
According to such a configuration, the outer surface can be inspected in the order in which the temperature rise / temperature drop is likely to occur.
また、本発明は、前記端末装置は、画像を表示する表示手段を有し、前記表示手段は、前記可視光画像と前記非可視光画像を並置して表示するか、または、前記可視光画像に前記非可視光画像を重畳して表示する、ことを特徴とする。
このような構成によれば、操作者が目視により確認しながら異常箇所を検出することができる。
Further, according to the present invention, the terminal device includes a display unit that displays an image, and the display unit displays the visible light image and the non-visible light image side by side, or the visible light image. The invisible light image is superimposed and displayed on the screen.
According to such a configuration, the operator can detect an abnormal location while visually confirming it.
本発明によれば、構造物の外面材の異常を短時間で検査することが可能な外面材調査システムを提供することが可能となる。 ADVANTAGE OF THE INVENTION According to this invention, it becomes possible to provide the outer surface material investigation system which can test | inspect the abnormality of the outer surface material of a structure for a short time.
次に、本発明の実施形態について説明する。 Next, an embodiment of the present invention will be described.
(A)本発明の実施形態の構成の説明
図1は、本発明の実施形態に係る外面材調査システムの構成例を示す図である。図1に示すように、外面材調査システム1は、飛行体10、送信機20、端末装置30、基地局40、ネットワーク50、および、サーバ60を有し、構造物Bの外面の異常を調査する。
(A) Description of Configuration of Embodiment of the Present Invention FIG. 1 is a diagram showing a configuration example of an outer surface material investigation system according to an embodiment of the present invention. As shown in FIG. 1, the outer surface
飛行体10は、無人航空機UAV(Unmanned Air Vehicle)であり、例えば、4つ以上のプロペラによってホバリング(空中停止)することが可能なドローン等によって構成される。なお、小型ヘリコプタや、気球等によって構成されるようにしてもよい。
The
送信機20は、操縦者によって操作され、飛行体10に対して制御信号を送信するとともに、飛行体10によって撮像された画像を受信し、端末装置30に供給する。
The
端末装置30は、スマートフォンまたはタブレット端末等によって構成され、接続ケーブル等によって、送信機20と接続され、送信機20との間で情報を授受する。端末装置30は、LCD(Liquid Crystal Display)タッチパネルを有し、操縦者によってLCDタッチパネルが操作された場合には、操作に対応して飛行体10を制御する。また、端末装置30は、飛行体10から送信される画像を表示する。
The
基地局40は、端末装置30との間で電波によって情報を授受するとともに、ネットワーク50を介してサーバ60との間で情報を授受する。
The
ネットワーク50は、例えば、インターネットによって構成され、基地局40とサーバ60との間で、所定のプロトコルに基づいて、情報を授受する。
The
サーバ60は、基地局40およびネットワーク50を介して端末装置30から伝送された画像等の情報を格納する。
The
図2は、飛行体10の構成例を示している。図2の例では、飛行体10は、赤外光撮像素子11、可視光撮像素子12、ジンバル13、画像処理部14、送受信部15、アンテナ15a、制御部16、GPS(Global Positioning System)17、センサ18、および、モータ19−1〜19−4を有している。
FIG. 2 shows a configuration example of the flying
ここで、赤外光撮像素子11は、黒体の放射輝度が黒体の絶対温度の4乗に比例することを利用し、被写体から放射される赤外線から被写体の各部の温度を検出し、熱画像として出力する。なお、熱画像を構成するそれぞれの画素は、被写体各部の温度を示す情報を有している。
Here, the infrared
可視光撮像素子12は、被写体から放射される可視光を3原色に分解し、それぞれの色の光の強度を対応する電荷に光電変換し、可視光画像として出力する。なお、赤外光撮像素子11と可視光撮像素子12は同じ画角を有しているので、被写体の同じ領域の可視光画像と、それに対応する熱画像を得ることができる。
The visible light imaging element 12 separates the visible light emitted from the subject into three primary colors, photoelectrically converts the light intensity of each color into a corresponding charge, and outputs it as a visible light image. Since the infrared
ジンバル13は、赤外光撮像素子11および可視光撮像素子12の双方が固定された固定部材の傾きを電子制御によって制御することで、飛行体10が揺動した場合でも、赤外光撮像素子11および可視光撮像素子12によって撮像される画像が変化しないように制御する。なお、ジンバル13は、赤外光撮像素子11および可視光撮像素子12の垂直方向の傾き(チルト)を制御できる構成とされている。これにより、赤外光撮像素子11および可視光撮像素子12は、被写体の同じ領域を安定して撮像することができる。
The
画像処理部14は、赤外光撮像素子11および可視光撮像素子12から出力される画像に対して、例えば、圧縮処理等を施し、送受信部15に供給する。
The
送受信部15は、画像処理部14から供給される画像を、アンテナ15aを介して送信機20に対して送信するとともに、送信機20から送信される制御信号を、アンテナ15aを介して受信し、制御部16に供給する。アンテナ15aは、送信機20との間で電波によって情報を送受信する。
The transmission /
制御部16は、送受信部15から供給される制御信号、GPS17から供給される位置情報、および、センサ18から供給される飛行体10の飛行状態を示す情報等に基づいて、ジンバル13およびモータ19−1〜19−4を制御する。
The
GPS17は、複数の人工衛星から送信される時刻情報を有する信号を受信し、これらの時間差から自身の位置に関する情報(緯度情報および経度情報)を検出し、制御部16に供給する。
The
センサ18は、例えば、ジャイロセンサ、磁気センサ、気圧センサ、超音波センサ、および、ビジョンポジショニングセンサを有し、飛行体10の姿勢、高度、および、障害物との距離、障害物の形状等を検出し、制御部16に通知する。
The
モータ19−1〜19−4は、例えば、ブラシレスモータ等によって構成され、それぞれのモータ19−1〜19−4には、プロペラが取り付けられている。制御部16は、これらのモータ19−1〜19−4の回転数を個別に制御することで、目的の方向に移動したり、飛行体10の方向を変更したりすることができる。
The motors 19-1 to 19-4 are configured by, for example, brushless motors, and propellers are attached to the motors 19-1 to 19-4. The
図3は、図1に示す送信機20の詳細な構成例を示す図である。図3の例では、送信機20は、送受信部21、アンテナ21a、制御部22、ジョイスティック23,24、操作部25、および、I/F(Interface)26を有している。
FIG. 3 is a diagram illustrating a detailed configuration example of the
ここで、送受信部21は、アンテナ21aを介して、飛行体10との間で電波によって情報を送受信する。
Here, the transmitting / receiving
制御部22は、ジョイスティック23,24、I/F26、および、操作部25から供給される情報に基づいて、飛行体10を制御するための制御信号を生成し、送受信部21を介して飛行体10に送信する。また、制御部22は、飛行体10によって撮像された画像を、送受信部21を介して受信し、I/F26を介して端末装置30に供給する。
The
ジョイスティック23,24は、操作者の親指等によって前後方向または左右方向に操作され、操作量に応じた信号を生成して制御部22に供給する。
The
操作部25は、操作ボタン、ジョグダイアル、および、LCDタッチパネル等によって構成され、操作者の操作に応じた信号を生成して制御部22に供給する。
The
I/F26は、例えば、USB(Universal Serial Bus)等によって構成され、制御部22と端末装置30との間で制御情報および画像情報等の情報を授受する。
The I /
図4は、図1に示す端末装置30の詳細な構成例を示している。図4に示すように、端末装置30は、CPU(Central Processing Unit)31、ROM(Read Only Memory)32、RAM(Random Access Memory)33、GPS34、GPU(Graphics Processing Unit)35、I/F36、バス37、および、LCDタッチパネル38を有している。
FIG. 4 shows a detailed configuration example of the
ここで、CPU31は、ROM32に格納されたプログラムに応じて各部を制御する中央処理装置である。
Here, the CPU 31 is a central processing unit that controls each unit in accordance with a program stored in the
ROM32は、不揮発性の半導体記憶装置によって構成され、CPU31が実行する基本的なプログラム等を格納する。
The
RAM33は、揮発性の半導体記憶装置によって構成され、CPU31が実行対象とするプログラムや、計算途中のデータを一時的に格納する。
The
GPS34は、複数の人工衛星からの信号を受信し、これらの時間差に基づいて自身の位置を特定し、CPU31に供給する。
The
GPU35は、CPU31から供給される描画命令に基づいて描画処理を実行し、得られた画像データをLCDタッチパネル38に供給して表示させる。
The
I/F36は、例えば、USB等によって構成され、接続ケーブルによって、図3に示すI/F26と接続され、I/F26との間で情報を授受する。
The I /
バス37は、CPU31、ROM32、RAM33、GPS34、GPU35、および、I/F36を相互に接続し、これらの間で情報の授受を可能とするための信号線群である。
The bus 37 is a signal line group for mutually connecting the CPU 31,
LCDタッチパネル38は、例えば、液晶パネルの表示部にタッチセンサが重畳されて構成される。LCDタッチパネル38は、GPU35によって描画された画像等をLCDに表示するとともに、操作者によってタッチセンサが操作された場合には操作箇所を示す情報をI/F36を介してCPU31に伝える。
The
図5は、図1に示すサーバ60の構成例を示す図である。なお、図5に示すサーバ60は、CPU61、ROM62、RAM63、HDD64、I/F65、および、バス66を有している。
FIG. 5 is a diagram illustrating a configuration example of the
ここで、CPU61は、ROM62およびHDD64等に格納されたプログラムに応じて各部を制御する中央処理装置である。
Here, the CPU 61 is a central processing unit that controls each unit in accordance with programs stored in the
ROM62は、不揮発性の半導体記憶装置によって構成され、CPU61が実行する基本的なプログラム等を格納する。
The
RAM63は、揮発性の半導体記憶装置によって構成され、CPU61が実行対象とするプログラムや、計算途中のデータを一時的に格納する。 The RAM 63 is composed of a volatile semiconductor storage device, and temporarily stores programs to be executed by the CPU 61 and data being calculated.
HDD64は、例えば、磁気記憶装置等によって構成され、CPU61が実行するプログラムやデータを格納する。 The HDD 64 is configured by, for example, a magnetic storage device and stores programs and data executed by the CPU 61.
I/F65は、例えば、ネットワーク50を介して基地局40との間で情報を授受する際のプロトコルの変換処理等を実行する。
The I / F 65 performs, for example, protocol conversion processing when information is exchanged with the
バス66は、CPU61、ROM62、RAM63、HDD64、および、I/F65を相互に接続し、これらの間で情報の授受を可能とするための信号線群である。
The bus 66 is a signal line group for mutually connecting the CPU 61, the
(B)本発明の実施形態の動作の説明
つぎに、本発明の実施形態の動作について説明する。本実施形態に係る外面材調査システムは、構造物(例えば、集合住宅、オフィスビル、戸建て家屋、橋梁、橋脚、トンネル、ダム)の外面材(例えば、タイル、サイディング、レンガ、および、表面コンクリート等)の剥離または破損等の異常を検出する。
(B) Description of Operation of the Embodiment of the Present Invention Next, the operation of the embodiment of the present invention will be described. The exterior material inspection system according to the present embodiment includes an exterior material (for example, tile, siding, brick, surface concrete, etc.) of a structure (for example, an apartment house, an office building, a detached house, a bridge, a pier, a tunnel, or a dam). ) To detect abnormalities such as peeling or breakage.
より詳細には、例えば、コンクリート等の躯体等の表面に、図6(A)に示すように、複数のタイルが配列されて接着されている場合において、破線で囲んだタイルが、裏面の躯体から剥離していることを考える。この場合、太陽光によってタイルの温度が上昇すると、タイルの熱は裏面の躯体に伝導する。しかしながら、タイルが躯体から剥離している場合には、タイルと躯体との間に空気層が存在し、熱が躯体に伝わりにくいことから、剥離しているタイルの温度は、剥離していないタイルよりも高い状態になる。 More specifically, for example, when a plurality of tiles are arranged and bonded to the surface of a concrete body or the like, as shown in FIG. Think of it peeling off. In this case, when the temperature of the tile rises due to sunlight, the heat of the tile is conducted to the housing on the back surface. However, when the tiles are peeled off from the enclosure, an air layer exists between the tiles and the enclosure, and heat is not easily transferred to the enclosure. It will be in a higher state.
図6(B)は、温度上昇時における図6(A)に示す一点鎖線上のタイルの温度を示している。図6(B)に示すように、温度上昇時は剥離しているタイルは、剥離していないタイルよりも温度が高くなっている。図6(C)は、温度下降時における図6(A)に示す一点鎖線上のタイルの温度を示している。図6(C)に示すように、温度下降時(例えば、太陽が沈んだ場合)には、タイルおよび躯体の熱はタイルを介して大気中に放射される。このとき、剥離している箇所は空気層の存在により、躯体からの熱が伝わりにくいことから、図6(C)に示すように、剥離しているタイルの温度は、剥離していないタイルよりも低い状態になる。なお、剥離しているタイルと、その周辺のタイルの温度差は、条件にもよるが、例えば、1〜2℃未満であることが多い。 FIG. 6B shows the temperature of the tile on the alternate long and short dash line shown in FIG. 6A when the temperature rises. As shown in FIG. 6B, the temperature of the tile that is peeled when the temperature rises is higher than that of the tile that is not peeled. FIG. 6C shows the temperature of the tile on the alternate long and short dash line shown in FIG. As shown in FIG. 6C, when the temperature drops (for example, when the sun goes down), the heat of the tile and the casing is radiated into the atmosphere through the tile. At this time, since the heat from the housing is less likely to be transferred due to the presence of the air layer, the peeled portion is at a temperature higher than that of the non-peeled tile, as shown in FIG. Is also low. In addition, although the temperature difference of the peeling tile and the surrounding tile is based also on conditions, it is often less than 1-2 degreeC, for example.
本実施形態では、赤外光撮像素子11によって撮像された熱画像によって、周辺よりも温度が高いまたは低いタイルを検出することで、剥離が生じた(異常が生じた)タイルを見つけることができる。
In this embodiment, by detecting a tile having a temperature higher or lower than that of the surrounding area from a thermal image captured by the infrared
つぎに、本実施形態の動作について説明する。 Next, the operation of this embodiment will be described.
例えば、図7に示すような構造物(図7の例では集合住宅)Bの外面材を調査する場合を例に挙げて説明する。この場合、構造物Bの近くに飛行体10を置き、送信機20、端末装置30、および、飛行体10の電源を投入する。端末装置30の電源が投入され、ROM32およびRAM33等に格納されている、飛行体10を制御するためのアプリケーションソフトウエア(以下単に「アプリ」と称する)が起動されると、CPU31は、アプリの制御に応じてGPS34により現在位置を検出し、現在位置を中心とする地図を、ネットワーク50を介して、図示しない地図サーバから取得し、LCDタッチパネル38に表示させる。その結果、LCDタッチパネル38には、例えば、図8に示すような現在位置(端末装置30が存在する位置)を中心とする地図が表示される。このような地図を参照し、例えば、図7に対応する構造物Bを検査対象として指定する動作(例えば、LCDタッチパネル38の該当する位置をタップする動作)を行うと、図8に示すように、構造物Bが検査対象として選択され、例えば、破線によって囲まれた状態となる。
For example, the case of investigating the outer surface material of a structure B as shown in FIG. 7 (in the example of FIG. 7, an apartment house) B will be described as an example. In this case, the flying
端末装置30のCPU31は、指定された構造物の輪郭を地図情報から取得し、輪郭の各部の頂点の位置情報(緯度情報および経度情報)を取得する。例えば、図8の例では、x1,y1〜x8,y8の位置情報が取得される。なお、構造物の垂直方向の高さが分かる場合には、高さを示す情報を入力するようにしてもよい。
The CPU 31 of the
構造物の形状が特定されると、CPU31は、飛行体10の飛行経路を決定する。具体的には、構造物Bのそれぞれの面に対して、垂直方向の飛行と水平方向の飛行を交互に繰り返す経路を設定する。例えば、図7の例では、図中に実線の矢印で示す経路が設定される。なお、構造物Bは東、西、南、北の4面を有するが、これらの面の優先順位としては、東、南、西、北の順に設定することが望ましい、太陽光による温度変化は、この順番で現れるからである。
When the shape of the structure is specified, the CPU 31 determines the flight path of the flying
飛行経路が決定すると、端末装置30のCPU31は、送信機20に対して、飛行体10を飛行経路の開始位置に移動するとともに、ホバリングを開始するように指示する情報を供給する。この結果、飛行体10は、図7に示す飛行経路の開始位置まで移動するとともに、所定の高さ(例えば、構造物のタイルが画角内に収まる高さ)でホバリングを開始する。
When the flight path is determined, the CPU 31 of the
飛行体10がホバリングを開始すると、端末装置30は、初期調整処理を実行する。すなわち、端末装置30のCPU31は、構造物Bの外面材を構成する要素に対応する画像成分が最大になるように調整する。より詳細には、CPU31は、飛行体10の可視光撮像素子12によって得られる可視光画像から、構造物Bの外面材を構成する要素(図7の例ではタイル)の縦横の画素サイズを取得する。例えば、タイルの画像サイズとして、横50画素、縦10画素を取得する。つぎに、可視光撮像素子12と赤外光撮像素子11の有効画素数の比率から、赤外光撮像素子11によって得られる熱画像における要素(図7の例ではタイル)の画素数を求める。例えば、有効画素数の比が2:1(例えば、可視光が1920×1080で、熱画像が960×540)である場合には、横25画素、縦5画素が得られる。
When the flying
つぎに、CPU31は、熱画像における外面材を構成する要素の水平周波数fhと、垂直周波数fvを求める。より詳細には、外面材は、図6(A)に示すように、水平方向および垂直方向に一定の周期で繰り返し配置されていることから、これらの要素による空間周波数を求める。いまの例では、横25画素、縦5画素の逆数が略空間周波数となる。 Next, CPU31 calculates | requires the horizontal frequency fh and the vertical frequency fv of the element which comprises the outer surface material in a thermal image. More specifically, as shown in FIG. 6A, the outer surface material is repeatedly arranged at a constant period in the horizontal direction and the vertical direction, and thus the spatial frequency of these elements is obtained. In the present example, the reciprocal of 25 horizontal pixels and 5 vertical pixels is substantially the spatial frequency.
空間周波数が求まると、CPU31は、熱画像から水平周波数fhと、垂直周波数fvの周波数成分を抽出する。これにより、外面材の構成要素に関する成分(図6(A)ではタイルに対応する成分。以下「目的成分」と称する)が抽出される。なお、目的成分としては、タイルに対応する基本周波数成分だけでなく、高調波成分(例えば、奇数次/偶数次高調波等)を抽出するとともに、タイルが上下または左右に連続して異常である場合に対応するために、基本周波数成分の1/n(nは自然数)の周波数成分についても抽出するようにしてもよい。 When the spatial frequency is obtained, the CPU 31 extracts frequency components of the horizontal frequency fh and the vertical frequency fv from the thermal image. As a result, components relating to the components of the outer surface material (components corresponding to the tiles in FIG. 6A, hereinafter referred to as “target components”) are extracted. As the target component, not only the fundamental frequency component corresponding to the tile but also the harmonic component (for example, odd order / even order harmonic) is extracted, and the tile is abnormal vertically or horizontally. In order to deal with the case, the frequency component of 1 / n (n is a natural number) of the fundamental frequency component may be extracted.
つぎに、CPU31は、飛行体10のジンバル13のチルト角度(仰角または俯角)を調整し、例えば、目的成分のスペクトルが最大になるように設定する。また、CPU31は、飛行体10の構造物Bからの距離を調整し、例えば、目的成分のスペクトルが最大になるように設定する。このような動作により、熱画像において外面材を構成する要素が最も鮮明に検出されるように設定される。
Next, the CPU 31 adjusts the tilt angle (elevation angle or depression angle) of the
初期調整処理が完了すると、CPU31は、飛行体10に対して撮像処理を実行させる。撮像処理では、図7に示すような経路で飛行体10を飛行させる。また、鮮明かつノイズの少ない熱画像が撮像できるように、ジンバル13によってチルトを調整するとともに、構造物Bからの距離および飛行速度を調整する。なお、チルト、距離、および、飛行速度の調整する方法としては、例えば、目的成分のスペクトルが最大となるように調整することができる。
When the initial adjustment process is completed, the CPU 31 causes the flying
また、飛行中に、異常な部分を検出した場合、例えば、剥離によって周囲よりも温度差を有するタイルを検出した場合には、異常検出処理を実行する。異常検出処理では、誤検出を防止するために、例えば、異常を検出した場所で飛行体10をホバリングさせ、複数の熱画像を撮像し、例えば、これらの画像の移動平均を求めることで、ノイズ成分を減少させ、得られた熱画像によって温度異常が剥離によるものか、それともノイズによるものかを区別する。その結果、剥離によるものと判定した場合には、剥離しているタイルに熱画像上または可視光画像上でマーキングをする。
Further, when an abnormal part is detected during flight, for example, when a tile having a temperature difference from the surroundings is detected by peeling, an abnormality detection process is executed. In the abnormality detection process, in order to prevent erroneous detection, for example, the flying
CPU31は、以上のような処理の結果得られた画像データを、GPU35に供給し、LCDタッチパネル38に表示させる。図9および図10は、LCDタッチパネル38に表示される画像の一例を示している。ここで、図9は、可視光画像と熱画像を左右に並置して表示した表示例であり、図10は可視光画像と熱画像を重畳して表示した表示例である。図9では、可視光画像が左側に、対応する熱画像が右側に表示され、熱画像には異常箇所に実線の矩形によるマーキングがされている。また、図10は、可視光画像に対して、熱画像が重畳して表示され、異常箇所には実線の矩形によるマーキングがされている。これらの画像は、構造物Bの同じ範囲を同じ位置から撮像しているので、並置した場合には対応関係が容易に理解でき、また、1枚の画像として簡単に重畳処理することができる。
The CPU 31 supplies the image data obtained as a result of the above processing to the
図11および図12は、実際に撮像された画像の一例を示している。図11は可視光画像と熱画像が並置されて表示されている表示例を示し、図12は可視光画像と熱画像が重畳されて表示されている表示例を示している。 11 and 12 show an example of an actually captured image. FIG. 11 shows a display example in which the visible light image and the thermal image are displayed side by side, and FIG. 12 shows a display example in which the visible light image and the thermal image are superimposed and displayed.
なお、以上のようにして撮像された画像は、ネットワーク50を介してサーバ60に転送され、所定のフォルダまたはディレクトリ等に保存される。
The image captured as described above is transferred to the
構造物Bの一つの外面の検査が完了すると、他の外面の撮像を開始する。より詳細には、東、南、西、北の順番に、外面の検査を実行する。なお、新たな外面を検査する場合には、前述したように、ホバリングによって初期調整処理を実行した後に、撮像処理を実行する。 When the inspection of one outer surface of the structure B is completed, imaging of the other outer surface is started. More specifically, external inspections are performed in the order of east, south, west, and north. When inspecting a new outer surface, as described above, after performing the initial adjustment process by hovering, the imaging process is performed.
以上に説明したように、本発明の実施形態によれば、構造物Bの構造を検出し、自動的に飛行経路を設定し、飛行体10によって可視光画像と熱画像を撮像するようにしたので、検査に要する時間を大幅に短縮することができる。
As described above, according to the embodiment of the present invention, the structure of the structure B is detected, the flight path is automatically set, and the visible light image and the thermal image are captured by the flying
また、初期調整処理により、ジンバル13の俯角または仰角を調整するとともに、構造物Bとの距離が最適になるように調整するので、ノイズが少なく、また、解析に最適な熱画像を得ることができる。
In addition, the initial adjustment process adjusts the depression angle or elevation angle of the
また、飛行体10の飛行中も飛行中調整処理によって、ジンバル13の俯角または仰角を調整するとともに、構造物Bとの距離および飛行速度が最適になるように調整するので、ノイズが少なく、また、解析に最適な熱画像を常に得ることができる。
Further, during the flight of the flying
また、外面材を構成する要素(例えば、タイル)のサイズに対応する空間周波数成分を抽出し、抽出した目的成分に基づいて、位置、および、飛行速度を調整するようにしたので、外面材を構成する要素が最適に撮像されるように飛行状態を制御することができる。また、抽出した目的成分に基づいて、ジンバル13の俯角または仰角を制御するようにしたので、例えば、天空反射等の影響を排除して、外面材を構成する要素が最適に撮像される角度に調整することができる。
In addition, the spatial frequency component corresponding to the size of the elements (for example, tiles) constituting the outer surface material is extracted, and the position and the flight speed are adjusted based on the extracted target component. The flight state can be controlled so that the constituent elements are imaged optimally. Further, since the depression angle or elevation angle of the
また、外面材を構成する要素(例えば、タイル)のサイズに対応する空間周波数成分を抽出し、抽出した成分に基づいて異常を検出するようにしたので、外面材を構成する要素以外の影響を低減し、剥離等の異常を確実に検出することができる。より詳細には、撮像された熱画像には、天空反射、壁面の汚れ、日陰、照り返し、樹木の影響、室内の暖房等による影響がノイズとして含まれる。外面材のサイズに対応する空間周波数成分を抽出することで、外面材とは空間周波数が異なるこれらのノイズ成分を低減し、より確実な判断を行うことができる。 In addition, since the spatial frequency component corresponding to the size of the elements (for example, tiles) constituting the outer surface material is extracted and the abnormality is detected based on the extracted components, the influence other than the elements constituting the outer surface material is affected. And abnormalities such as peeling can be reliably detected. More specifically, the captured thermal image includes noise as an effect of sky reflection, wall contamination, shade, reflection, effects of trees, indoor heating, and the like. By extracting the spatial frequency component corresponding to the size of the outer surface material, it is possible to reduce these noise components having a spatial frequency different from that of the outer surface material, and to perform more reliable determination.
また、異常を検出した場合には、飛行体10をホバリング状態にして、例えば、複数の熱画像を撮像し、これら複数の熱画像に対して、例えば、移動平均を施して得られた熱画像に基づいて、異常の有無を再判定するようにしたので、誤判定を低減することができる。
In addition, when an abnormality is detected, the flying
つぎに、図13〜図19を参照して、以上の動作を実現するためのフローチャートについて説明する。まず、図13は、構造物Bの撮像を開始する際に、端末装置30において実行される処理の一例を示すフローチャートである。図13のフローチャートが開始されると、以下のステップが実行される。
Next, a flowchart for realizing the above operation will be described with reference to FIGS. First, FIG. 13 is a flowchart illustrating an example of processing executed in the
ステップS10では、CPU31は、対象となる構造物を地図上で指定を受ける。より詳細には、CPU31は、GPS34から現在位置に関する情報(緯度情報および経度情報)を取得し、現在位置に対応する地図を、ネットワーク50を介して、図示しない地図サーバから取得し、LCDタッチパネル38に表示させる。このようにして表示された地図上を参照し、操作者は、対象となる構造物を指定することができる。
In step S10, the CPU 31 receives a target structure on the map. More specifically, the CPU 31 acquires information (latitude information and longitude information) related to the current position from the
ステップS11では、CPU31は、飛行経路を決定する。より詳細には、CPU31は、ステップS10で指定された構造物Bの輪郭を、輪郭抽出処理等によって抽出し、輪郭の頂点の緯度および経度を特定する。そして、頂点の位置から構造物Bの外面を特定し、特定した外面を東、南、西、北の順に選択するとともに、図7に示すような垂直方向と水平方向が交互に繰り返される飛行経路を設定する。なお、後述する初期調整処理等によって、飛行体10と構造物Bとの距離が変化する場合があり、その場合には飛行経路も変更されることがあるので、設定された経路は柔軟に変更可能とすることが望ましい。
In step S11, the CPU 31 determines a flight path. More specifically, the CPU 31 extracts the contour of the structure B specified in step S10 by contour extraction processing or the like, and specifies the latitude and longitude of the vertex of the contour. Then, the outer surface of the structure B is identified from the position of the apex, and the identified outer surface is selected in the order of east, south, west, and north, and the flight path in which the vertical direction and the horizontal direction are alternately repeated as shown in FIG. Set. Note that the distance between the flying
ステップS12では、CPU31は、飛行体10に対してホバリングするように制御信号を送信する。より詳細には、CPU31は、送信機20を介して、飛行体10に対して制御信号を送信し、飛行体10にホバリングを実行させる。なお、ホバリングの位置としては、飛行経路の開始位置とし、また、ホバリングの高度としては、構造物Bの外面のタイル等の下端が撮像できる位置とする。
In step S <b> 12, the CPU 31 transmits a control signal so as to hover with respect to the flying
ステップS13では、CPU31は、所定の外面の撮像を開始する前に実行する初期調整処理を実行させる。この処理の詳細は、図14を参照して後述する。なお、初期調整処理を実行することで、ジンバルのチルトが最適に調整されるとともに、飛行体10と構造物Bの距離が最適に調整される。
In step S <b> 13, the CPU 31 executes an initial adjustment process that is executed before imaging of a predetermined outer surface is started. Details of this processing will be described later with reference to FIG. In addition, by performing the initial adjustment process, the tilt of the gimbal is optimally adjusted, and the distance between the flying
ステップS14では、CPU31は、構造物Bの所定の外面を自動的に飛行しながら撮像する撮像処理を実行する。この処理の詳細は、図16を参照して後述する。なお、この撮像処理を実行することで、構造物Bの所定の外面が撮像される。 In step S <b> 14, the CPU 31 executes an imaging process for imaging while flying a predetermined outer surface of the structure B automatically. Details of this processing will be described later with reference to FIG. In addition, the predetermined outer surface of the structure B is imaged by performing this imaging process.
ステップS15では、CPU31は、他の外面も撮像するか否かを判定し、他の外面も撮像すると判定した場合(ステップS15:Y)にはステップS16に進み、それ以外の場合(ステップS15:N)には処理を終了する(エンド)。例えば、構造物Bの東側の外面の撮像が完了した場合には、南側の外面を撮像するので、Yと判定してステップS16に進む。 In step S15, the CPU 31 determines whether or not to capture other external surfaces. If it is determined that other external surfaces are to be imaged (step S15: Y), the process proceeds to step S16, and otherwise (step S15: In N), the process ends (end). For example, when imaging of the outer surface on the east side of the structure B is completed, since the outer surface on the south side is imaged, it is determined as Y and the process proceeds to step S16.
ステップS16では、CPU31は、飛行体10を制御し、他の外面前に移動させる。より詳細には、構造物Bの東側の外面の撮像が完了した場合には、南側の外面の前まで移動させる。
In step S <b> 16, the CPU 31 controls the flying
つぎに、図14を参照して、図13に示す初期調整処理の詳細について説明する。図14に示す処理が開始されると、以下のステップが実行される。 Next, the details of the initial adjustment process shown in FIG. 13 will be described with reference to FIG. When the process shown in FIG. 14 is started, the following steps are executed.
ステップS30では、端末装置30のCPU31は、外面材を構成する要素に関する画像成分である目的成分を抽出する処理を実行する。なお、この処理の詳細は、図15を参照して後述する。
In step S <b> 30, the CPU 31 of the
ステップS31では、CPU31は、ジンバル13のチルト(仰角または俯角)を調整する。これにより、ジンバル13のチルトが調整される。
In step S31, the CPU 31 adjusts the tilt (elevation angle or depression angle) of the
ステップS32では、CPU31は、ステップS30で抽出された目的成分のスペクトルが最大となる角度になったか否かを判定し、最大となった場合(ステップS32:Y)にはステップS33に進み、それ以外の場合(ステップS32:N)にはステップS30に戻って、前述の場合と同様の処理を繰り返す。なお、ステップS30〜ステップS32の処理によって、ジンバル13の仰角または俯角が、外面材の構成要素を的確に撮像するように調整される。
In step S32, the CPU 31 determines whether or not the spectrum of the target component extracted in step S30 has reached the maximum angle. If the spectrum has reached the maximum (step S32: Y), the process proceeds to step S33. Otherwise (step S32: N), the process returns to step S30, and the same processing as described above is repeated. In addition, the elevation angle or depression angle of the
ステップS33では、CPU31は、外面材を構成する要素に関する画像成分である目的成分を抽出する処理を実行する。なお、この処理の詳細は、図15を参照して後述する。 In step S <b> 33, the CPU 31 executes a process of extracting a target component that is an image component related to an element constituting the outer surface material. Details of this processing will be described later with reference to FIG.
ステップS34では、CPU31は、飛行体10と構造物Bの前後方向の位置関係を調整する。例えば、図7の例では、飛行体10と構造物BのY方向の距離を調整する。
In step S34, the CPU 31 adjusts the positional relationship between the flying
ステップS35では、CPU31は、ステップS33で抽出された目的成分のスペクトルが最大となる位置になったか否かを判定し、最大となった場合(ステップS35:Y)には元の処理に復帰(リターン)し、それ以外の場合(ステップS35:N)にはステップS33に戻って、前述の場合と同様の処理を繰り返す。なお、ステップS33〜ステップS35の処理によって、飛行体10と構造物Bの間の距離が、外面材の構成要素を的確に撮像するように調整される。
In step S35, the CPU 31 determines whether or not the spectrum of the target component extracted in step S33 has reached the maximum position, and when it has reached the maximum (step S35: Y), the process returns to the original processing (step S35: Y). In other cases (step S35: N), the process returns to step S33, and the same processing as described above is repeated. In addition, the distance between the flying
つぎに、図15を参照して、図14に記載されている目的成分抽出処理の詳細について説明する。図15に示すフローチャートが開始されると、以下のステップが実行される。 Next, the details of the target component extraction processing described in FIG. 14 will be described with reference to FIG. When the flowchart shown in FIG. 15 is started, the following steps are executed.
ステップS50では、CPU31は、飛行体10から可視光画像と熱画像を取得する。より詳細には、CPU31は、飛行体10の赤外光撮像素子11および可視光撮像素子12によってそれぞれ撮像された可視光画像と熱画像を、送信機20を介して取得する。
In step S <b> 50, the CPU 31 acquires a visible light image and a thermal image from the flying
ステップS51では、CPU31は、ステップS50で取得した可視光画像からタイルの縦横の画素数を取得する。より詳細には、例えば、ラプラシアンフィルタによって、可視光画像のエッジを検出し、検出したエッジの間隔から水平方向と垂直方向の縦横の画素数を特定する。 In step S51, the CPU 31 acquires the number of vertical and horizontal pixels of the tile from the visible light image acquired in step S50. More specifically, for example, an edge of a visible light image is detected by a Laplacian filter, and the number of vertical and horizontal pixels in the horizontal direction and the vertical direction is specified from the detected edge interval.
ステップS52では、CPU31は、熱画像における外面材を構成する要素(図6の例ではタイル)の水平周波数fhを特定する。より詳細には、可視光画像と熱画像の画素数の比(例えば、2:1)に基づいて、ステップS51で求めた横方向の画素数から水平周波数fhを求める。 In step S52, the CPU 31 specifies the horizontal frequency fh of the elements (tiles in the example of FIG. 6) constituting the outer surface material in the thermal image. More specifically, the horizontal frequency fh is obtained from the number of pixels in the horizontal direction obtained in step S51 based on the ratio of the number of pixels of the visible light image and the thermal image (for example, 2: 1).
ステップS53では、CPU31は、熱画像における外面材を構成する要素(図6の例ではタイル)の垂直周波数fvを特定する。より詳細には、可視光画像と熱画像の画素数の比(例えば、2:1)に基づいて、ステップS51で求めた縦方向の画素数から垂直周波数fvを求める。 In step S53, the CPU 31 specifies the vertical frequency fv of the elements (tiles in the example of FIG. 6) constituting the outer surface material in the thermal image. More specifically, the vertical frequency fv is obtained from the number of pixels in the vertical direction obtained in step S51 based on the ratio of the number of pixels of the visible light image and the thermal image (for example, 2: 1).
ステップS54では、CPU31は、例えば、DOG(Difference of Gaussian)フィルタ等により、熱画像からfh,fvの帯域成分を抽出する処理を実行する。これにより、タイルよりも空間周波数が低いと考えられる、天空反射、壁面の汚れ、日陰、照り返し、樹木の影響、室内の暖房等による成分を減衰することができる。また、熱画像では、含有する水分量の違いから、タイルの周囲の目地部の温度がタイルの温度よりも高く表れるが、このような成分はタイル自体よりも空間周波数が高いので、このような成分も減衰することができる。処理が完了すると、元の処理に復帰(リターン)する。 In step S54, the CPU 31 executes a process of extracting band components of fh and fv from the thermal image using, for example, a DOG (Difference of Gaussian) filter. As a result, it is possible to attenuate components due to sky reflection, dirt on the wall surface, shade, reflection, effects of trees, indoor heating, and the like, which are considered to have a lower spatial frequency than tiles. In addition, in the thermal image, the temperature of the joints around the tile appears higher than the temperature of the tile due to the difference in the amount of moisture contained, but such a component has a higher spatial frequency than the tile itself. Components can also be attenuated. When the process is completed, the process returns to the original process.
つぎに、図16を参照して、図13に示す撮像処理の詳細について説明する。図16に示すフローチャートが開始されると、以下のステップが実行される。 Next, details of the imaging process shown in FIG. 13 will be described with reference to FIG. When the flowchart shown in FIG. 16 is started, the following steps are executed.
ステップS70では、CPU31は、飛行体10を制御して上昇を開始させる。より詳細には、CPU31は、送信機20を介して制御信号を送ることで、飛行体10を垂直方向に上昇させる。なお、飛行体10は、GPS17からの出力と、センサ18からの出力に基づいて、飛行体10が垂直方向にずれなく、また、機体が傾いたりすることなく、上昇するように制御する。なお、センサ18には、障害物を検出するための超音波センサおよび画像センサも含まれているので、障害物を検出した場合には回避し、回避後は元の飛行経路に復帰するようにしてもよい。
In step S <b> 70, the CPU 31 controls the flying
ステップS71では、CPU31は、飛行中にジンバル13のチルト、構造物Bと飛行体10の距離、および、飛行速度を調整する飛行中調整処理を実行する。なお、この処理の詳細は、図17を参照して後述する。
In step S71, the CPU 31 executes an in-flight adjustment process for adjusting the tilt of the
ステップS72では、CPU31は、構造物Bの外面材の異常を検出する処理である異常検出処理を実行する。なお、この処理の詳細は、図18を参照して後述する。 In step S <b> 72, the CPU 31 executes an abnormality detection process that is a process of detecting an abnormality in the outer surface material of the structure B. Details of this process will be described later with reference to FIG.
ステップS73では、CPU31は、飛行体10によって撮像された可視光画像と熱画像をLCDタッチパネル38に表示するとともに、サーバ60に格納する処理を実行する。なお、この処理の詳細は、図19を参照して後述する。
In step S <b> 73, the CPU 31 executes a process of displaying the visible light image and the thermal image captured by the flying
ステップS74では、CPU31は、飛行体10によって撮像された可視光画像に基づいて、構造物Bの上側エッジ(例えば、構造物Bの屋上部と空との境界部)を検出したか否かを判定し、上側エッジを検出したと判定した場合(ステップS74:Y)にはステップS75に進み、それ以外の場合(ステップS74:N)にはステップS71に戻って前述の場合と同様の処理を繰り返す。なお、ステップS70〜ステップS74の処理により、図7に示す、Z軸方向の下から上に向かう矢印に対応する飛行および撮像が実行される。
In step S74, the CPU 31 determines whether or not the upper edge of the structure B (for example, the boundary between the roof of the structure B and the sky) is detected based on the visible light image captured by the flying
ステップS75では、CPU31は、飛行体10を左または右に一定距離移動させる。例えば、図7の例では、構造物Bの屋上付近において、X軸方向の右から左に飛行体10が移動する。なお、移動する距離としては、撮像漏れが生じないようにするために、撮像される画像の一部が重複するように設定することが望ましい。例えば、図7に示すように左側に移動する場合、移動前に撮像された画像の左端の領域と、移動後に撮像される画像の右端の領域とが重複(例えば、画像幅の1〜2割が重複)するように設定することが望ましい。
In step S75, the CPU 31 moves the flying
ステップS76では、CPU31は、飛行体10を制御して下降を開始させる。より詳細には、CPU31は、送信機20を介して制御信号を送ることで、飛行体10を垂直方向に下降させる。
In step S76, the CPU 31 controls the flying
ステップS77では、CPU31は、飛行中にジンバル13のチルト、構造物Bと飛行体10の距離、および、飛行速度を調整する飛行中調整処理を実行する。なお、この処理の詳細は、図17を参照して後述する。
In step S77, the CPU 31 executes an in-flight adjustment process for adjusting the tilt of the
ステップS78では、CPU31は、構造物Bの外面材の異常を検出する処理である異常検出処理を実行する。なお、この処理の詳細は、図18を参照して後述する。 In step S <b> 78, the CPU 31 executes an abnormality detection process that is a process of detecting an abnormality in the outer surface material of the structure B. Details of this process will be described later with reference to FIG.
ステップS79では、CPU31は、飛行体10によって撮像された可視光画像と熱画像をLCDタッチパネル38に表示するとともに、サーバ60に格納する処理を実行する。なお、この処理の詳細は、図19を参照して後述する。
In step S <b> 79, the CPU 31 executes a process of displaying the visible light image and the thermal image captured by the flying
ステップS80では、CPU31は、飛行体10のセンサ18が有する高度センサまたはGPS17からの情報により、所定の高度(例えば、構造物Bの外面のタイル等の下端が撮像できる高度)に下降したか否かを判定し、所定の高度まで下降したと判定した場合(ステップS80:Y)にはステップS81に進み、それ以外の場合(ステップS80:N)にはステップS77に戻って同様の処理を繰り返す。なお、ステップS76〜ステップS80の処理により、図7に示す、Z軸方向の上から下に向かう矢印に対応する飛行および撮像が実行される。
In step S80, the CPU 31 has lowered to a predetermined altitude (for example, an altitude at which the lower end of the tile on the outer surface of the structure B can be imaged) based on information from the altitude sensor of the
ステップS81では、CPU31は、飛行体10を左または右に所定距離移動させる。例えば、図7の例では、構造物Bの1階付近において、X軸方向の右から左に飛行体10が移動する。なお、移動する距離としては、撮像漏れが生じないようにするために、撮像される画像の一部が重複するように設定することが望ましい。例えば、図7に示すように左側に移動する場合、移動前に撮像される画像の左端の領域と、移動後に撮像される画像の右端の領域とが重複(例えば、画像幅の1〜2割が重複)するように設定することが望ましい。
In step S81, the CPU 31 moves the flying
ステップS82では、CPU31は、所定の外面の撮像が完了したか否かを判定し、終了したと判定した場合(ステップS82:Y)には元の処理に復帰(リターン)し、それ以外の場合(ステップS83:N)にはステップS70に戻って前述の場合と同様の処理を繰り返す。 In step S82, the CPU 31 determines whether or not imaging of a predetermined outer surface has been completed. If it is determined that the imaging has been completed (step S82: Y), the CPU 31 returns (returns) to the original processing, and otherwise. In (Step S83: N), the processing returns to Step S70 and the same processing as described above is repeated.
つぎに、図17を参照して、図16に示す飛行中調整処理の詳細について説明する。図17に示すフローチャートが開始されると、以下のステップが実行される。 Next, the details of the in-flight adjustment process shown in FIG. 16 will be described with reference to FIG. When the flowchart shown in FIG. 17 is started, the following steps are executed.
ステップS90では、端末装置30のCPU31は、外面材を構成する要素に関する画像成分である目的成分を抽出する処理(図15に示す処理)を実行する。
In step S <b> 90, the CPU 31 of the
ステップS91では、CPU31は、ジンバル13のチルトを調整する。これにより、ジンバル13の仰角または俯角が調整される。
In step S91, the CPU 31 adjusts the tilt of the
ステップS92では、CPU31は、ステップS90で抽出された目的成分のスペクトルが最大となる角度になったか否かを判定し、最大となった場合(ステップS92:Y)にはステップS93に進み、それ以外の場合(ステップS92:N)にはステップS90に戻って、前述の場合と同様の処理を繰り返す。なお、ステップS90〜ステップS92の処理によって、飛行体10の飛行中において、ジンバル13の仰角または俯角が、外面材の構成要素を的確に撮像するように調整される。
In step S92, the CPU 31 determines whether or not the spectrum of the target component extracted in step S90 has reached the maximum angle. If the spectrum has reached the maximum (step S92: Y), the process proceeds to step S93. Otherwise (step S92: N), the process returns to step S90, and the same processing as described above is repeated. Note that the elevation angle or depression angle of the
ステップS93では、CPU31は、外面材を構成する要素に関する画像成分である目的成分を抽出する処理(図15に示す処理)を実行する。 In step S <b> 93, the CPU 31 executes a process (process shown in FIG. 15) for extracting a target component that is an image component related to an element constituting the outer surface material.
ステップS94では、CPU31は、飛行体10と構造物Bの前後方向の位置関係を調整する。例えば、図7の例では、飛行体10と構造物BのY方向の距離を調整する。
In step S94, the CPU 31 adjusts the positional relationship between the flying
ステップS95では、CPU31は、ステップS93で抽出された目的成分のスペクトルが最大となる位置になったか否かを判定し、最大となった場合(ステップS95:Y)にはステップS96に進み、それ以外の場合(ステップS95:N)にはステップS93に戻って、前述の場合と同様の処理を繰り返す。なお、ステップS93〜ステップS95の処理によって、飛行体10の飛行中において、飛行体10と構造物Bの間の距離が、外面材の構成要素を的確に撮像するように調整される。
In step S95, the CPU 31 determines whether or not the spectrum of the target component extracted in step S93 has reached the maximum position, and if it has reached the maximum (step S95: Y), the process proceeds to step S96. Otherwise (step S95: N), the process returns to step S93, and the same process as described above is repeated. It should be noted that the distance between the flying
ステップS96では、CPU31は、外面材を構成する要素に関する画像成分である目的成分を抽出する処理(図15に示す処理)を実行する。 In step S <b> 96, the CPU 31 executes a process (process shown in FIG. 15) for extracting a target component that is an image component related to an element constituting the outer surface material.
ステップS97では、CPU31は、飛行体10と飛行速度を調整する。例えば、図7の例では、飛行体10の上昇速度または下降速度を調整する。
In step S97, the CPU 31 adjusts the flying speed with the flying
ステップS98では、CPU31は、ステップS96で抽出された目的成分のスペクトルが最大となる位置になったか否かを判定し、最大となった場合(ステップS98:Y)には元の処理に復帰(リターン)し、それ以外の場合(ステップS95:N)にはステップS95に戻って、前述の場合と同様の処理を繰り返す。なお、ステップS96〜ステップS98の処理によって、飛行体10の飛行中において、飛行体10の飛行速度が、外面材の構成要素を的確に撮像するように調整される。
In step S98, the CPU 31 determines whether or not the spectrum of the target component extracted in step S96 has reached the maximum position. If the spectrum has reached the maximum (step S98: Y), the process returns to the original process (step S98: Y). In other cases (step S95: N), the process returns to step S95 and the same process as described above is repeated. It should be noted that the flight speed of the flying
つぎに、図18を参照して、図16に示す異常検出処理の詳細について説明する。図18に示すフローチャートが開始されると、以下のステップが実行される。 Next, the details of the abnormality detection process shown in FIG. 16 will be described with reference to FIG. When the flowchart shown in FIG. 18 is started, the following steps are executed.
ステップS110では、CPU31は、外面材を構成する要素に関する画像成分である目的成分を抽出する処理(図15に示す処理)を実行する。 In step S <b> 110, the CPU 31 executes a process (process shown in FIG. 15) for extracting a target component that is an image component related to an element constituting the outer surface material.
ステップS111では、CPU31は、ステップS110の処理によって抽出された目的成分を参照し、周辺と温度が異なるタイルが存在するか否かを判定し、存在すると判定した場合(ステップS111:Y)にはステップS112に進み、それ以外の場合(ステップS111:N)には元の処理に復帰(リターン)する。より詳細には、目的成分として抽出されるのは、熱画像におけるタイルの温度差を示す情報であることから、この温度差が周辺とは異なる部分が存在する場合にはYと判定してステップS112に進む。 In step S111, the CPU 31 refers to the target component extracted by the process of step S110, determines whether there is a tile having a temperature different from that of the surrounding area, and determines that it exists (step S111: Y). The process proceeds to step S112, and otherwise returns (returns) to the original process (step S111: N). More specifically, since information indicating the temperature difference of the tile in the thermal image is extracted as the target component, if there is a portion where this temperature difference is different from the surroundings, it is determined that the step is Y. Proceed to S112.
ステップS112では、CPU31は、飛行体10を制御し、上昇飛行または下降飛行を中断し、ホバリングを開始させる。この結果、飛行体10は上昇飛行または下降飛行中に、異常が検出された場所においてホバリング状態となる。
In step S112, the CPU 31 controls the flying
ステップS113では、CPU31は、複数の画像によるノイズ削減処理を実行する。より詳細には、CPU31は、異常が検出された場所の熱画像を複数撮像する。例えば、熱画像を2〜10枚程度撮像する。そして、撮像した複数の熱画像の加算平均等を求めることで、ノイズを削減することができる。なお、加算平均以外の方法によって、ノイズを削減するようにしてもよい。 In step S113, the CPU 31 executes noise reduction processing using a plurality of images. More specifically, the CPU 31 takes a plurality of thermal images of places where an abnormality has been detected. For example, about 2 to 10 thermal images are taken. And noise can be reduced by calculating | requiring the addition average etc. of the several imaged thermal image. Note that noise may be reduced by a method other than averaging.
ステップS114では、CPU31は、ノイズを削減した熱画像に対して、外面材を構成する要素に関する画像成分である目的成分を抽出する処理(図15に示す処理)を施す。 In step S <b> 114, the CPU 31 performs a process (process shown in FIG. 15) for extracting a target component, which is an image component related to an element constituting the outer surface material, from the thermal image with reduced noise.
ステップS115では、CPU31は、ステップS114における処理によって得られた目的成分を参照し、周辺と温度が異なるタイルが存在するか否かを判定し、存在すると判定した場合(ステップS115:Y)にはステップS116に進み、それ以外の場合(ステップS115:N)には誤検出であると判定して元の処理に復帰(リターン)する。なお、ステップS112〜ステップS114の処理により、ノイズを削減した熱画像に基づいて異常箇所を検出することで、誤検出を低減することができる。なお、周辺と温度が異なるタイルが存在するか否かだけでなく、例えば、ノイズ削減処理によっても、温度が異なる領域の形状が変化しない場合に、Yと判定するようにしてもよい。 In step S115, the CPU 31 refers to the target component obtained by the process in step S114, determines whether there is a tile having a temperature different from that of the surrounding area, and determines that it exists (step S115: Y). The process proceeds to step S116, and in other cases (step S115: N), it is determined that there is a false detection, and the process returns (returns) to the original process. In addition, it is possible to reduce false detection by detecting an abnormal part based on the thermal image in which noise is reduced by the processes in steps S112 to S114. It should be noted that Y may be determined not only if there are tiles having different temperatures from the surroundings, but also if, for example, noise reduction processing does not change the shape of regions having different temperatures.
なお、ステップS112〜ステップS114の処理では、飛行経路上において、ホバリングするようにしたが、異常箇所を確実に検出するために、構造物Bに接近するようにしてもよい。 In the processing from step S112 to step S114, the hovering is performed on the flight path. However, the structure B may be approached in order to reliably detect the abnormal part.
ステップS116では、CPU31は、周辺と温度が異なるタイルを画像上においてマーキングする処理を実行する。これにより、例えば、図9および図10に示すように、異常箇所のタイルが実線の矩形によって囲まれる。 In step S116, the CPU 31 executes a process of marking a tile having a temperature different from that of the periphery on the image. As a result, for example, as shown in FIGS. 9 and 10, the tile at the abnormal location is surrounded by a solid rectangle.
ステップS117では、CPU31は、警告を発する処理を実行する。例えば、CPU31は、図示しないスピーカから異常を検出したことを示す警告音を発するようにすることができる。 In step S117, the CPU 31 executes a process for issuing a warning. For example, the CPU 31 can emit a warning sound indicating that an abnormality has been detected from a speaker (not shown).
なお、ステップS115において異常を検出した場合には、警告するだけでなく、飛行体10を該当するタイルまで接近させるとともに、微量の塗料等を噴射し、マーキングし、マーキングが終了すると、元の飛行経路に復帰するようにしてもよい。
When an abnormality is detected in step S115, not only a warning is given, but also the flying
つぎに、図19を参照して、図16に示す画像表示/格納処理の詳細について説明する。図19に示すフローチャートが開始されると、以下のステップが実行される。 Next, the details of the image display / storage processing shown in FIG. 16 will be described with reference to FIG. When the flowchart shown in FIG. 19 is started, the following steps are executed.
ステップS130では、CPU31は、例えば、送信機20を介して飛行体10から熱画像を取得する。
In step S <b> 130, the CPU 31 acquires a thermal image from the flying
ステップS131では、CPU31は、ステップS130で取得した熱画像に対して、外面材を構成する要素に関する画像成分である目的成分を抽出する処理(図15に示す処理)を施す。 In step S131, the CPU 31 performs a process (process shown in FIG. 15) for extracting a target component, which is an image component related to the elements constituting the outer surface material, on the thermal image acquired in step S130.
ステップS132では、CPU31は、ステップS131の処理によって得られた目的成分(温度を示す情報)を、色相を示す情報に変換する。この結果、温度差が大きくなるにつれて、黒、青、緑、赤、白と色相が変化する情報に変換される。 In step S132, the CPU 31 converts the target component (information indicating temperature) obtained by the processing in step S131 into information indicating hue. As a result, it is converted into information whose hue changes from black, blue, green, red, and white as the temperature difference increases.
ステップS133では、CPU31は、例えば、送信機20を介して飛行体10から可視光画像を取得する。
In step S133, the CPU 31 acquires a visible light image from the flying
ステップS134では、CPU31は、例えば、LCDタッチパネル38に対して所定の操作をすることで、画像の並置モードが選択されている場合(ステップS134:Y)にはステップS135に進み、それ以外の場合(ステップS134:N)にはステップS136に進む。例えば、LCDタッチパネル38に表示された画像表示モードを選択するアイコンが操作され、表示モードとして画像の並置モードが選択された場合にはステップS135に進み、表示モードとして画像の重畳モードが選択された場合にはステップS136に進む。
In step S134, for example, when the image juxtaposition mode is selected by performing a predetermined operation on the LCD touch panel 38 (step S134: Y), the CPU 31 proceeds to step S135, and otherwise. In (Step S134: N), the process proceeds to Step S136. For example, when the icon for selecting the image display mode displayed on the
ステップS135では、CPU31は、LCDタッチパネル38に対して、熱画像と可視光画像とを並置して表示させる。この結果、例えば、図9または図11に示すような態様で熱画像と可視光画像とが並置して表示される。
In step S135, the CPU 31 displays the thermal image and the visible light image side by side on the
ステップS136では、CPU31は、例えば、LCDタッチパネル38に対して所定の操作をすることで、画像の重畳モードが選択されている場合(ステップS136:Y)にはステップS137に進み、それ以外の場合(ステップS136:N)にはステップS141に進む。例えば、LCDタッチパネル38に表示された画像表示モードを選択するアイコンが操作され、表示モードとして画像の重畳モードが選択された場合にはステップS137に進み、それ以外の場合にはステップS141に進む。
In step S136, the CPU 31 proceeds to step S137 if the image superimposing mode is selected by performing a predetermined operation on the LCD touch panel 38 (step S136: Y), and otherwise In (Step S136: N), the process proceeds to Step S141. For example, when the icon for selecting the image display mode displayed on the
ステップS137では、CPU31は、可視光画像を構成するそれぞれの画素をα(α<1)倍する。 In step S137, the CPU 31 multiplies each pixel constituting the visible light image by α (α <1).
ステップS138では、CPU31は、熱画像を構成するそれぞれの画素を(1−α)倍する。 In step S138, the CPU 31 multiplies each pixel constituting the thermal image by (1−α).
ステップS139では、CPU31は、ステップS137とステップS138で得られた可視光画像と熱画像を合成する。なお、以上の処理により、可視光画像の上に熱画像がアルファブレンディング処理によって重畳合成される。 In step S139, the CPU 31 combines the visible light image and the thermal image obtained in steps S137 and S138. By the above processing, the thermal image is superimposed and synthesized on the visible light image by the alpha blending process.
ステップS140では、CPU31は、LCDタッチパネル38に対して、ステップS139の合成処理によって得られた画像を表示させる。この結果、例えば、図10または図12に示すような態様で熱画像と可視光画像と重畳して表示される。
In step S140, the CPU 31 causes the
ステップS141では、CPU31は、熱画像と可視光画像とを、ネットワーク50を介して送信し、サーバ60に格納させる。なお、熱画像の代わりに、ステップS131の処理で得られた目的成分を格納するようにしてもよい。
In step S <b> 141, the CPU 31 transmits the thermal image and the visible light image via the
以上に説明したように、図13〜図19に示すフローチャートによれば、前述した動作を実現することができる。 As described above, according to the flowcharts shown in FIGS. 13 to 19, the above-described operation can be realized.
(C)変形実施形態の説明
以上の各実施形態は一例であって、本発明が上述した場合のみに限定されるものでないことはいうまでもない。例えば、以上の例では、非可視光画像として、赤外線による熱画像を用いるようにしたが、これ以外の画像を用いるようにしてもよい。具体的には、例えば、紫外線を用いるようにしたり、MHzまたはGHz帯域の電磁波を用いるようにしたり、超音波を用いるようにしてもよい。なお、紫外線を用いる場合には、2次元の紫外線撮像素子を用いればよい。また、MHzまたはGHz帯域の電磁波を用いる場合、水平方向に複数の受信アンテナを配置し、送信アンテナから送信された電磁波が構造物Bによって反射され、これら複数の受信アンテナに到達する際の時間差から水平方向の角度を検出し、受信した信号の強度によって対象物の反射率等を特定することができる。また、超音波の場合も同様に、複数の受信素子を水平方向に配置し、複数の受信素子に到達する際の時間差から水平方向の角度を検出し、受信した信号の強度によって対象物の反射率等を特定することができる。
(C) Description of Modified Embodiment Each of the above embodiments is an example, and it is needless to say that the present invention is not limited to the case described above. For example, in the above example, an infrared thermal image is used as the invisible light image, but an image other than this may be used. Specifically, for example, ultraviolet rays may be used, electromagnetic waves in the MHz or GHz band may be used, or ultrasonic waves may be used. In the case where ultraviolet rays are used, a two-dimensional ultraviolet imaging element may be used. In addition, when using electromagnetic waves in the MHz or GHz band, a plurality of receiving antennas are arranged in the horizontal direction, and the electromagnetic waves transmitted from the transmitting antennas are reflected by the structure B, and from the time difference when reaching these receiving antennas By detecting the angle in the horizontal direction, the reflectance of the object can be specified by the intensity of the received signal. Similarly, in the case of ultrasonic waves, a plurality of receiving elements are arranged in the horizontal direction, the angle in the horizontal direction is detected from the time difference when reaching the plurality of receiving elements, and the reflection of the object is determined by the intensity of the received signal. The rate etc. can be specified.
また、以上の実施形態では、図13〜図19に示す処理は、端末装置30において実行するようにしたが、図13〜図19に示すフローチャートや、フローチャートを構成するステップを、飛行体10、送信機20、端末装置30、および、サーバ60のいずれかまたはこれらに分散して配置するようにしてもよい。例えば、図13〜図17に示す処理は、飛行体10において実行し、図19に示す処理を端末装置30またはサーバ60において実行するようにしてもよい。もちろん、図13〜図17に示す処理を全て端末装置30またはサーバ60において実行するようにしてもよい。
Moreover, in the above embodiment, although the process shown in FIGS. 13-19 was performed in the
また、以上の実施形態では、構造物としては、集合住宅を例に挙げて説明したが、これ以外にも、オフィスビル、戸建て家屋、橋梁、橋脚、トンネル、ダム等を対象として、外面材の異常を検出するようにしてもよい。また、外面材を構成する要素としては、タイルを例に挙げて説明したが、これ以外にも、サイディング、レンガ、および、表面コンクリートを対象として検査を行うことも可能である。 Further, in the above embodiment, the structure has been described by taking a collective housing as an example, but in addition to this, for exterior buildings for office buildings, detached houses, bridges, piers, tunnels, dams, etc. An abnormality may be detected. Moreover, although the tile was taken as an example as an element constituting the outer surface material, in addition to this, it is also possible to inspect siding, brick, and surface concrete.
また、図7に示す実施形態では、垂直方向の飛行時に構造物Bを撮像するようにしたが、水平方向の飛行時に構造物Bを撮像するようにしてもよい。また、図7の例では、屋上については撮像対象から除外しているが、屋上についても合わせて撮像してもよい。なお、その場合、図7の例では、X方向の飛行時に撮像し、Y方向に移動した後に、X方向に飛行しながら撮像する動作を繰り返すことで屋上全体をもれなく撮像できる。もちろん、Y方向の飛行時に撮像し、X方向に移動した後に、Y方向に飛行しながら撮像する動作を繰り返すようにしてもよい。なお、屋上については、屋上部分の防水シート等の剥離を検出するようにしてもよい。 In the embodiment shown in FIG. 7, the structure B is imaged when flying in the vertical direction, but the structure B may be imaged when flying in the horizontal direction. In the example of FIG. 7, the rooftop is excluded from the imaging target, but the rooftop may also be imaged. In that case, in the example of FIG. 7, the entire rooftop can be captured by repeating the operation of capturing images while flying in the X direction after capturing images during the flight in the X direction and moving in the Y direction. Of course, it is also possible to repeat the operation of capturing an image while flying in the Y direction, moving in the X direction, and then flying while flying in the Y direction. In addition, about rooftop, you may make it detect peeling of the waterproof sheet etc. of a rooftop part.
また、以上の実施形態では、熱画像から目的成分を抽出し、目的成分の大小によって撮像状態を判断するようにしたが、これ以外の方法によって撮像状態を判断するようにしてもよい。例えば、目的成分よりも空間周波数が低い成分(主に天空反射等のノイズ成分)および/または高い成分(主に目地の部分によるノイズ成分)が少なる場合を、撮像状態が良好と判断するようにしてもよい。また、可視光画像を周波数領域に変換し、主に含まれる空間周波数からタイルに係る成分を抽出し、当該成分に対応する成分を熱画像から抽出するようにしてもよい。そのような構成によれば、天空反射等の影響を受けにくい可視光画像に基づいて、適切な空間周波数成分を特定および抽出することができる。 In the above embodiment, the target component is extracted from the thermal image, and the imaging state is determined based on the size of the target component. However, the imaging state may be determined by other methods. For example, when the component having a lower spatial frequency (mainly a noise component such as sky reflection) and / or a higher component (mainly a noise component due to a joint portion) is less than the target component, the imaging state is determined to be good. It may be. Alternatively, the visible light image may be converted into a frequency domain, a component related to the tile may be extracted mainly from the spatial frequency included, and a component corresponding to the component may be extracted from the thermal image. According to such a configuration, it is possible to identify and extract an appropriate spatial frequency component based on a visible light image that is not easily affected by sky reflection or the like.
また、以上の実施形態では、赤外光撮像素子11および可視光撮像素子12が撮像するのは、動画または静止画のいずれかであるかについては明示していないが、これらのいずれも使用することができる。すなわち、静止画の場合には、直前に撮像した静止画と、上下方向に重複する範囲が存在するように撮像することができる。例えば、飛行体10が上昇している場合、直前に撮像した静止画の上部と、これから撮像しようとする静止画の下部の一部(例えば、静止画の1〜2割)が重複するタイミングで撮像すればよい。もちろん、飛行体10の飛行を制御するための画像が必要であるので、所定の間隔(例えば、1秒間に数枚等)で撮像した静止画を飛行の制御に使用しつつ、前述の重複の条件を満たす静止画を抽出して異常検出を行うことができる。また、動画の場合には、GOP(Group of Pictures)を構成するI(Intra)ピクチャを抽出することで、静止画の場合と同様に処理することができる。
Moreover, in the above embodiment, it is not specified whether the infrared
また、以上の実施形態では、異常を検出した場合には、飛行体10をホバリング状態にして撮像するようにしたが、ホバリングするのではなく、異常が検出された箇所を飛行しながら複数回撮像し、周辺と温度が異なる部分の形状が、撮像位置等によらず変化しない場合には、異常と判定するようにしてもよい。また、以上の実施形態では、飛行体10による構造物Bの撮像は1回のみとしたが、複数回撮像して得られた画像の所定回数以上に、同じ形状の異常箇所が撮像されている場合に異常と判定するようにしてもよい。例えば、図7に示す経路を矢印の方向に飛行した後、矢印の逆方向に再度飛行しながら撮像し、同じ箇所に同じ形状の異常が検出された場合に、異常と判定するようにしてもよい。真性の異常箇所は、撮像状態(例えば、飛行経路、ジンバル13のチルト、構造物Bからの距離等)によらず、同じ形状の異常箇所として撮像される可能性が高いからである。
Further, in the above embodiment, when an abnormality is detected, the flying
また、以上の実施形態では、異常を検出する処理としては、周辺のタイルとは温度が異なる(高いまたは低い)タイルを画像処理によって検出するようにしたが、例えば、CNN(Convolutional Neural Network)等のニューラルネットワークを用いて、学習処理によって異常箇所を検出するようにしてもよい。具体的には、Convolution層、Pooling層、全結合層等を有するCNNに対して、剥離したタイルを撮像した画像を学習用の画像として供給し、学習処理を施すことで、異常検出用のCNNを構成することができる。 Further, in the above embodiment, as processing for detecting an abnormality, tiles having a temperature different from that of surrounding tiles (higher or lower) are detected by image processing. However, for example, CNN (Convolutional Neural Network) or the like is used. An abnormal part may be detected by a learning process using the above neural network. Specifically, an abnormality detection CNN is supplied to a CNN having a Convolution layer, a Pooling layer, a fully connected layer, and the like by supplying an image obtained by imaging a peeled tile as a learning image and performing a learning process. Can be configured.
なお、図13〜図19に示すフローチャートは一例であって、本発明が図13〜図19に示すフローチャートに限定されるものではない。 Note that the flowcharts shown in FIGS. 13 to 19 are examples, and the present invention is not limited to the flowcharts shown in FIGS. 13 to 19.
1 :外面材調査システム
10 :飛行体
11 :赤外光撮像素子(非可視光撮像手段)
12 :可視光撮像素子(可視光撮像手段)
13 :ジンバル
14 :画像処理部
15 :送受信部
15a :アンテナ
16 :制御部(飛行体制御手段)
17 :GPS
18 :センサ
19 :モータ
20 :送信機
21 :送受信部
21a :アンテナ
22 :制御部
23 :ジョイスティック
24 :ジョイスティック
25 :操作部
26 :I/F
30 :端末装置
31 :CPU(画像処理手段、飛行体制御手段、異常検出手段)
32 :ROM
33 :RAM
34 :GPS
36 :I/F
37 :バス
38 :LCDタッチパネル(表示手段)
40 :基地局
50 :ネットワーク
60 :サーバ
61 :CPU
62 :ROM
63 :RAM
64 :HDD
65 :I/F
66 :バス
1: External surface material inspection system 10: Aircraft 11: Infrared light imaging device (invisible light imaging means)
12: Visible light imaging device (visible light imaging means)
13: Gimbal 14: Image processing unit 15: Transmission / reception unit 15a: Antenna 16: Control unit (aircraft control means)
17: GPS
18: Sensor 19: Motor 20: Transmitter 21: Transmitter / receiver 21a: Antenna 22: Control unit 23: Joystick 24: Joystick 25: Operation unit 26: I / F
30: Terminal device 31: CPU (image processing means, flying object control means, abnormality detection means)
32: ROM
33: RAM
34: GPS
36: I / F
37: Bus 38: LCD touch panel (display means)
40: Base station 50: Network 60: Server 61: CPU
62: ROM
63: RAM
64: HDD
65: I / F
66: Bus
上記課題を解決するために、本発明は、飛行体によって撮像した画像を処理して端末装置に表示し、構造物の外面材の状態を調査する外面材調査システムにおいて、前記飛行体は、可視光画像を撮像する可視光画像撮像手段と、被写体から放射される赤外線を検出し、前記被写体の各部の温度を示す熱画像を非可視光画像として撮像する非可視光画像撮像手段と、を有し、前記端末装置または前記飛行体は、前記可視光画像撮像手段によって撮像された前記可視光画像に基づいて前記外面材を構成する要素に対応する空間周波数成分を特定し、前記可視光画像と前記熱画像の相対的な関係に基づいて前記熱画像における前記要素の空間周波数成分を特定し、特定された空間周波数に対応する帯域成分を抽出する処理を実行する画像処理手段と、前記画像処理手段による画像処理結果に基づいて前記飛行体の飛行状態を制御する飛行体制御手段と、前記画像処理手段による画像処理結果に基づいて前記外面材の異常を検出する異常検出手段と、を有する、ことを特徴とする。
このような構成によれば、構造物の外面材の異常を短時間で検査することが可能になる。
In order to solve the above-described problems, the present invention provides an external material inspection system that processes an image captured by a flying object and displays the processed image on a terminal device to investigate the state of the external surface material of the structure. A visible light image capturing unit that captures a light image; and an invisible light image capturing unit that detects infrared rays emitted from the subject and captures a thermal image indicating the temperature of each part of the subject as a non-visible light image. Then, the terminal device or the flying object specifies a spatial frequency component corresponding to an element constituting the outer surface material based on the visible light image captured by the visible light image capturing unit, and the visible light image Image processing means for specifying a spatial frequency component of the element in the thermal image based on a relative relationship of the thermal image and executing a process of extracting a band component corresponding to the specified spatial frequency; A flying object control means for controlling the flight conditions of the aircraft based on the image processing result by the image processing means, and abnormality detecting means for detecting an abnormality of said outer members on the basis of a result of image processing by the image processing means, It is characterized by having.
According to such a structure, it becomes possible to test | inspect the abnormality of the outer surface material of a structure for a short time.
また、本発明は、前記飛行体制御手段は、前記画像処理手段によって検出される空間周波数に対応する帯域成分に基づいて、前記飛行体の前記構造物からの距離および/または飛行速度を調整することを特徴とする。
このような構成によれば、距離や飛行速度を適切に設定することができる。
Further, the present invention, the aircraft control means, based on the band component corresponding to the spatial frequencies detected by the image processing means, for adjusting the distance and / or flying speed of the said structure of the aircraft It is characterized by that.
According to such a configuration, the distance and the flight speed can be set appropriately.
また、本発明は、前記飛行体制御手段は、前記画像処理手段によって検出される空間周波数に対応する帯域成分に基づいて、前記可視光画像撮像手段および前記非可視光画像撮像手段の仰角または俯角を調整することを特徴とする。
このような構成によれば、仰角または俯角を適切に設定することができる。
Further, the present invention, the aircraft control means, based on the band component corresponding to the spatial frequencies detected by the image processing means, elevation or depression angle of the visible light image pickup means and said non-visible light image pickup means It is characterized by adjusting.
According to such a configuration, the elevation angle or depression angle can be set appropriately.
Claims (10)
前記飛行体は、
可視光画像を撮像する可視光画像撮像手段と、
可視光以外の領域の電磁波または音波による非可視光画像を撮像する非可視光画像撮像手段と、を有し、
前記端末装置または前記飛行体は、
前記可視光画像および/または前記非可視光画像に対して所定の画像処理を実行する画像処理手段と、
前記画像処理手段による画像処理結果に基づいて前記飛行体の飛行状態を制御する飛行体制御手段と、
前記画像処理手段による画像処理結果に基づいて前記外面材の異常を検出する異常検出手段と、を有する、
ことを特徴とする外面材調査システム。 In the exterior material investigation system that processes the image captured by the flying object and displays it on the terminal device, and investigates the state of the exterior material of the structure,
The aircraft is
A visible light image capturing means for capturing a visible light image;
A non-visible light image capturing means for capturing a non-visible light image by electromagnetic waves or sound waves in a region other than visible light,
The terminal device or the flying body is
Image processing means for executing predetermined image processing on the visible light image and / or the invisible light image;
A flying object control means for controlling a flight state of the flying object based on an image processing result by the image processing means;
An abnormality detection means for detecting an abnormality of the outer surface material based on an image processing result by the image processing means,
External material survey system characterized by that.
前記飛行体制御手段は、前記画像処理手段によって検出される前記要素に対応する前記画像成分に基づいて、前記飛行体の前記構造物からの距離および/または飛行速度を調整することを特徴とする請求項1に記載の外面材調査システム。 The image processing means executes a process of detecting an image component corresponding to an element constituting the outer surface material,
The aircraft control means adjusts the distance from the structure and / or the flight speed of the aircraft based on the image component corresponding to the element detected by the image processing means. The outer surface material investigation system according to claim 1.
前記飛行体制御手段は、前記画像処理手段によって検出される前記要素に対応する前記画像成分に基づいて、前記可視光画像撮像手段および前記非可視光画像撮像手段の仰角または俯角を調整することを特徴とする請求項1または2に記載の外面材調査システム。 The image processing means executes a process of detecting an image component corresponding to an element constituting the outer surface material,
The flying object control means adjusts the elevation angle or depression angle of the visible light image imaging means and the invisible light image imaging means based on the image component corresponding to the element detected by the image processing means. The exterior material inspection system according to claim 1 or 2, characterized in that
前記画像処理手段は、前記可視光画像撮像手段によって撮像された前記可視光画像に基づいて前記外面材を構成する要素に対応する空間周波数成分を特定し、前記可視光画像と前記熱画像の相対的な関係に基づいて前記熱画像における前記要素の空間周波数成分を特定し、特定された空間周波数に対応する帯域成分を抽出する処理を実行する、
ことを特徴とする請求項1乃至3のいずれか1項に記載の外面材調査システム。 The invisible light image capturing means detects infrared radiation emitted from the subject, captures a thermal image indicating the temperature of each part of the subject,
The image processing unit specifies a spatial frequency component corresponding to an element constituting the outer surface material based on the visible light image captured by the visible light image capturing unit, and relative to the visible light image and the thermal image. Specifying a spatial frequency component of the element in the thermal image based on a general relationship, and performing a process of extracting a band component corresponding to the specified spatial frequency,
The exterior material inspection system according to any one of claims 1 to 3, wherein:
前記異常検出手段は、ホバリング中に撮像された複数の前記非可視光画像に基づいて異常の有無を判定する、
ことを特徴とする請求項5に記載の外面材調査システム。 When an abnormality is detected by the abnormality detection means, the flying object control means sets the flying object in a hovering state,
The abnormality detection means determines the presence or absence of abnormality based on the plurality of invisible light images captured during hovering;
The exterior material inspection system according to claim 5, wherein
前記表示手段は、前記可視光画像と前記非可視光画像を並置して表示するか、または、前記可視光画像に前記非可視光画像を重畳して表示する、
ことを特徴とする請求項1乃至9のいずれか1項に記載の外面材調査システム。 The terminal device has display means for displaying an image,
The display means displays the visible light image and the non-visible light image juxtaposed or displays the non-visible light image superimposed on the visible light image.
The exterior material inspection system according to any one of claims 1 to 9, wherein
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017147260A JP6441421B1 (en) | 2017-07-28 | 2017-07-28 | External material inspection system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017147260A JP6441421B1 (en) | 2017-07-28 | 2017-07-28 | External material inspection system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6441421B1 JP6441421B1 (en) | 2018-12-19 |
JP2019027908A true JP2019027908A (en) | 2019-02-21 |
Family
ID=64668689
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017147260A Expired - Fee Related JP6441421B1 (en) | 2017-07-28 | 2017-07-28 | External material inspection system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6441421B1 (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102313627B1 (en) * | 2020-05-06 | 2021-10-19 | 고려대학교 산학협력단 | Method for measuring defect of steel concrete structure and apparatus for measuring defect of steel concrete structure |
WO2021241535A1 (en) * | 2020-05-29 | 2021-12-02 | 富士フイルム株式会社 | Structure inspection method and inspection system |
WO2021241534A1 (en) * | 2020-05-29 | 2021-12-02 | 富士フイルム株式会社 | Aerial photography system and method |
WO2021241533A1 (en) * | 2020-05-29 | 2021-12-02 | 富士フイルム株式会社 | Imaging system, imaging method, imaging program, and information acquisition method |
JP7385332B1 (en) * | 2022-09-06 | 2023-11-22 | 株式会社センシンロボティクス | Information processing system and program, information processing method, server |
WO2024009356A1 (en) * | 2022-07-04 | 2024-01-11 | 日本電信電話株式会社 | System, method, and device for inspecting blades of wind power generation facility |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110145989B (en) * | 2019-06-11 | 2020-12-29 | 广州珠江黄埔大桥建设有限公司 | Concrete crack detection device and detection method based on unmanned aerial vehicle |
JP7263983B2 (en) * | 2019-08-30 | 2023-04-25 | 富士通株式会社 | Photography omission detection device and photography omission detection method |
JP6730763B1 (en) * | 2019-10-25 | 2020-07-29 | 株式会社センシンロボティクス | Flight body flight path creation method and management server |
CN111103297B (en) * | 2020-01-20 | 2024-07-12 | 无锡市建筑工程质量检测中心 | Non-contact detection method and detection system for quality of building exterior wall surface layer |
JP2021067670A (en) * | 2020-06-30 | 2021-04-30 | 株式会社センシンロボティクス | Method of creating flight route for flying object and management server |
JP6810497B1 (en) * | 2020-09-01 | 2021-01-06 | 株式会社センシンロボティクス | Flight route creation method and management server for aircraft |
JP6810498B1 (en) * | 2020-09-01 | 2021-01-06 | 株式会社センシンロボティクス | Flight route creation method and management server for aircraft |
CN114839196B (en) * | 2022-07-01 | 2022-10-14 | 中国标准化研究院 | System of non-contact quality measurement research method based on computer vision |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005016995A (en) * | 2003-06-24 | 2005-01-20 | Railway Technical Res Inst | Infrared structure diagnosis method |
WO2016098146A1 (en) * | 2014-12-19 | 2016-06-23 | 株式会社 スカイロボット | Non-destructive structure inspection system |
WO2017065102A1 (en) * | 2015-10-15 | 2017-04-20 | 株式会社プロドローン | Flying-type inspection device and inspection method |
JP2017078575A (en) * | 2015-10-19 | 2017-04-27 | エナジー・ソリューションズ株式会社 | Checkup system, and checkup method |
GB2546564A (en) * | 2016-01-25 | 2017-07-26 | Above Surveying Ltd | Utilising UAVs for detecting defects in solar panel arrays |
-
2017
- 2017-07-28 JP JP2017147260A patent/JP6441421B1/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005016995A (en) * | 2003-06-24 | 2005-01-20 | Railway Technical Res Inst | Infrared structure diagnosis method |
WO2016098146A1 (en) * | 2014-12-19 | 2016-06-23 | 株式会社 スカイロボット | Non-destructive structure inspection system |
WO2017065102A1 (en) * | 2015-10-15 | 2017-04-20 | 株式会社プロドローン | Flying-type inspection device and inspection method |
JP2017078575A (en) * | 2015-10-19 | 2017-04-27 | エナジー・ソリューションズ株式会社 | Checkup system, and checkup method |
GB2546564A (en) * | 2016-01-25 | 2017-07-26 | Above Surveying Ltd | Utilising UAVs for detecting defects in solar panel arrays |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102313627B1 (en) * | 2020-05-06 | 2021-10-19 | 고려대학교 산학협력단 | Method for measuring defect of steel concrete structure and apparatus for measuring defect of steel concrete structure |
KR20210135944A (en) * | 2020-05-06 | 2021-11-16 | 고려대학교 산학협력단 | Method for measuring defect of steel concrete structure and apparatus for measuring defect of steel concrete structure |
KR102400954B1 (en) * | 2020-05-06 | 2022-05-24 | 고려대학교 산학협력단 | Method for measuring defect of steel concrete structure and apparatus for measuring defect of steel concrete structure |
WO2021241535A1 (en) * | 2020-05-29 | 2021-12-02 | 富士フイルム株式会社 | Structure inspection method and inspection system |
WO2021241534A1 (en) * | 2020-05-29 | 2021-12-02 | 富士フイルム株式会社 | Aerial photography system and method |
WO2021241533A1 (en) * | 2020-05-29 | 2021-12-02 | 富士フイルム株式会社 | Imaging system, imaging method, imaging program, and information acquisition method |
JP7436657B2 (en) | 2020-05-29 | 2024-02-21 | 富士フイルム株式会社 | Flight photography system and method |
JP7436656B2 (en) | 2020-05-29 | 2024-02-21 | 富士フイルム株式会社 | Shooting system, shooting method, shooting program, and information acquisition method |
WO2024009356A1 (en) * | 2022-07-04 | 2024-01-11 | 日本電信電話株式会社 | System, method, and device for inspecting blades of wind power generation facility |
JP7385332B1 (en) * | 2022-09-06 | 2023-11-22 | 株式会社センシンロボティクス | Information processing system and program, information processing method, server |
WO2024052997A1 (en) * | 2022-09-06 | 2024-03-14 | 株式会社センシンロボティクス | Information processing system and program, information processing method, and server |
Also Published As
Publication number | Publication date |
---|---|
JP6441421B1 (en) | 2018-12-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6441421B1 (en) | External material inspection system | |
CA3006155C (en) | Positioning system for aerial non-destructive inspection | |
US9996746B1 (en) | Systems and methods for autonomous perpendicular imaging with a target field of view | |
US10061470B2 (en) | Unmanned aerial vehicle rooftop inspection system | |
EP3818337B1 (en) | Defect detection system using a camera equipped uav for building facades on complex asset geometry with optimal automatic obstacle deconflicted flightpath | |
US20180275659A1 (en) | Route generation apparatus, route control system and route generation method | |
JP2018160228A (en) | Route generation device, route control system, and route generation method | |
EP3474109A1 (en) | Measuring device, control device for unmanned aerial vehicle and method for controlling unmanned aerial vehicle | |
WO2018089268A1 (en) | Systems and methods for autonomous imaging and structural analysis | |
WO2019041276A1 (en) | Image processing method, and unmanned aerial vehicle and system | |
JP6515367B1 (en) | Imaging system and imaging method | |
JP7436657B2 (en) | Flight photography system and method | |
JP6583840B1 (en) | Inspection system | |
JP7161304B2 (en) | localization system | |
JP6611146B1 (en) | Imaging system and imaging method | |
JP2020016663A (en) | Inspection system | |
US11566894B2 (en) | Systems and methods for generating a two-dimensional map | |
JP6611152B1 (en) | Imaging system and imaging method | |
JP7456908B2 (en) | Unmanned aerial vehicle control device for roof inspection | |
JP2020072465A (en) | Imaging system and imaging method | |
KR20200025996A (en) | Management system and method for solar panel using drone | |
JP6611149B1 (en) | Imaging system and imaging method | |
JP6611148B1 (en) | Imaging system and imaging method | |
US20240013460A1 (en) | Information processing apparatus, information processing method, program, and information processing system | |
JP6681102B2 (en) | Inspection system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181025 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181121 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6441421 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |