JP7436657B2 - 飛行撮影システム及び方法 - Google Patents

飛行撮影システム及び方法 Download PDF

Info

Publication number
JP7436657B2
JP7436657B2 JP2022526553A JP2022526553A JP7436657B2 JP 7436657 B2 JP7436657 B2 JP 7436657B2 JP 2022526553 A JP2022526553 A JP 2022526553A JP 2022526553 A JP2022526553 A JP 2022526553A JP 7436657 B2 JP7436657 B2 JP 7436657B2
Authority
JP
Japan
Prior art keywords
millimeter wave
flight
drone
millimeter
wave radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022526553A
Other languages
English (en)
Other versions
JPWO2021241534A1 (ja
JPWO2021241534A5 (ja
Inventor
直史 笠松
靖和 二瓶
博明 中村
那緒子 吉田
誠 與那覇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2021241534A1 publication Critical patent/JPWO2021241534A1/ja
Publication of JPWO2021241534A5 publication Critical patent/JPWO2021241534A5/ja
Application granted granted Critical
Publication of JP7436657B2 publication Critical patent/JP7436657B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0091—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by using electromagnetic excitation or detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C5/00—Measuring height; Measuring distances transverse to line of sight; Levelling between separated points; Surveyors' levels
    • G01C5/005—Measuring height; Measuring distances transverse to line of sight; Levelling between separated points; Surveyors' levels altimeters for aircraft
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0033—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by determining damage, crack or wear
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0075—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by means of external apparatus, e.g. test benches or portable test systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N22/00—Investigating or analysing materials by the use of microwaves or radio waves, i.e. electromagnetic waves with a wavelength of one millimetre or more
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N22/00—Investigating or analysing materials by the use of microwaves or radio waves, i.e. electromagnetic waves with a wavelength of one millimetre or more
    • G01N22/02—Investigating the presence of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/671—Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U30/00—Means for producing lift; Empennages; Arrangements thereof
    • B64U30/20—Rotors; Rotor supports
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00—Propulsion; Power supply
    • B64U50/10—Propulsion
    • B64U50/19—Propulsion using electrically powered motors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mechanical Engineering (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Radar Systems Or Details Thereof (AREA)

Description

本発明は飛行撮影システム及び方法に係り、特に飛行しながら構造物を撮影する技術に関する。
従来、ドローンなどの飛行装置に搭載されたカメラで、上下方向に長尺な構造物（鉄塔、タワー、高層建造物等）を撮像する撮像システムが提案されている（特許文献１）。
特許文献１に記載の撮像システムは、飛行装置が自律的に構造物の上下方向の一方から他方に移動しながら構造物をカメラで撮像する撮像ステップを実行する飛行制御部を備え、飛行装置の高さ位置が所定位置（周辺構造物の高さ位置に基づいて設定される下降下限位置）に達すると、下降を制限する飛行制御を行うようにしている。
一方、特許文献２には、構造物表面に存在する凹凸構造の影響を極力回避し、構造物に生じた劣化箇所をより高い精度で透視する、ミリ波帯の電磁波イメージングシステムが記載されている。
特許文献２に記載の電磁波イメージングシステムは、構造物表面の画像を撮像する画像撮像装置、ミリ波帯の電磁波を構造物に照射する電磁波発生装置、ミリ波帯の電磁波の反射波を検知する１次元検波器アレイ、及び移動距離を計測する距離センサ等を備え、１次元検波器アレイが検出した反射波の強度、及び距離センサが計測した移動距離に基づいて構造物の透視イメージを生成している。
特に、コンクリート構造物の表面に凹凸を有する表層カバーが設けられている場合に、表層カバーの凹凸の程度に応じたミリ波帯の電磁波の周波数を特定し、特定した周波数のミリ波帯の電磁波を使用することで、表層カバーの凹凸にかかわらず、表層カバーにより覆われているコンクリート構造物の透視イメージを生成することを特徴としている。尚、表層カバーの凹凸の程度は、画像撮像装置で撮影した構造物表面の画像を分析して求めている。
特開２０２０－７１８６３号公報 特開２００７－１８３２２７号公報
特許文献１に記載の撮影システムは、飛行装置に搭載したカメラで構造物を撮影するが、構造物の情報を取得するために、ミリ波レーダを使用する記載はない。
また、特許文献２に記載の電磁波イメージングシステムは、ミリ波帯の電磁波を使用して構造物の情報を取得する記載があるが、片手で操作可能な大きさのハンディ型装置であり、構造物の表面に沿って手で移動させられるものである。
本発明はこのような事情に鑑みてなされたもので、可視カメラ及びミリ波レーダを搭載した無人飛行体を使用し、この無人飛行体に搭載した可視カメラ及びミリ波レーダにより構造物を撮影する場合に好適な飛行撮影システム及び方法を提供することを目的とする。
上記目的を達成するために本発明の第１態様に係る飛行撮影システムは、可視画像を撮影する可視カメラと、第１のミリ波レーダと、可視カメラ及び第１のミリ波レーダを搭載した無人飛行体と、可視カメラ、第１のミリ波レーダ及び無人飛行体を制御するプロセッサと、を備え、プロセッサは、構造物を撮影する場合に、可視カメラにより構造物の表層の可視画像を撮影させる可視カメラの制御と、第１のミリ波レーダから構造物に向けてミリ波を送信させ、構造物からのミリ波の反射波を受信させる第１のミリ波レーダの制御とを行い、無人飛行体の飛行中に、無人飛行体に搭載した高度計測器により基準面からの無人飛行体の高度を計測させ、計測させた高度を示す高度情報を取得する処理を行い、高度情報は、無人飛行体を飛行させる場合に使用される。
本発明の第１態様によれば、可視カメラ及び第１のミリ波レーダを搭載した無人飛行体を使用することで、構造物を撮影する場合には、無人飛行体に搭載した可視カメラによる構造物の可視画像と第１のミリ波レーダによる構造物に対する情報を取得することができる。また、無人飛行体の飛行中には、無人飛行体に搭載した高度計測器により基準面からの無人飛行体の高度を計測し、無人飛行体の飛行制御に使用することができる。
本発明の第２態様に係る飛行撮影システムにおいて、高度計測器は、レーザ距離計であることが好ましい。レーザ距離計は、ミリ波レーダと比較して計測精度が高いからである。
本発明の第３態様に係る飛行撮影システムにおいて、レーザ距離計は、無人飛行体から構造物までの距離を更に計測することが好ましい。この計測した距離は、構造物に対して無人飛行体を所望の距離（撮影距離）に位置させる場合に使用することができる。
本発明の第４態様に係る飛行撮影システムにおいて、基準面がレーザ距離計で検出困難な基準面であるか否かを検知する基準面検知部を備え、レーザ距離計は、基準面がレーザ距離計で検出困難な面の場合には、レーザ距離計で検出可能な新たに設定した基準面を基準面として無人飛行体の高度を計測することが好ましい。
本発明の第５態様に係る飛行撮影システムにおいて、検出困難な基準面は、水面である。
本発明の第６態様に係る飛行撮影システムにおいて、新たに設定した基準面は、無人飛行体の鉛直下方向以外の方向に存在する地面である。
本発明の第７態様に係る飛行撮影システムにおいて、基準面検知部は、第２のミリ波レーダであることが好ましい。
本発明の第８態様に係る飛行撮影システムにおいて、第１のミリ波レーダは、第２のミリ波レーダとして兼用され、プロセッサは、構造物を撮影する場合に第１のミリ波レーダを構造物の方向に向け、無人飛行体の飛行中に第１のミリ波レーダを下方向に向けることが好ましい。
本発明の第９態様に係る飛行撮影システムにおいて、プロセッサは、構造物を撮影する場合に、第１のミリ波レーダが受信する構造物からのミリ波の反射波に基づいて、構造物の内部を示すミリ波画像を生成するミリ波画像生成処理を行うことが好ましい。
本発明の第１０態様に係る飛行撮影システムにおいて、可視カメラにより撮影される構造物の表層の可視画像の第１の撮影範囲と、生成されるミリ波画像の第２の撮影範囲との関係を記憶するメモリを備え、プロセッサは、メモリに記憶された第１の撮影範囲と第２の撮影範囲との関係に基づいて、可視画像にミリ波画像を合成する合成処理を行うことが好ましい。
本発明の第１１態様に係る飛行撮影システムにおいて、構造物は、コンクリート構造物であり、ミリ波画像は、コンクリート構造物の内部欠陥を示す画像である。
第１２態様に係る発明は、可視カメラ及び第１のミリ波レーダを搭載した無人飛行体による撮影及び飛行をプロセッサにより制御する飛行撮影方法であって、プロセッサの各処理は、構造物を撮影する場合に、可視カメラにより構造物の表層の可視画像を撮影させるステップと、第１のミリ波レーダから構造物に向けてミリ波を送信させ、構造物からのミリ波の反射波を受信させるステップと、を含み、無人飛行体の飛行中に、無人飛行体に搭載した高度計測器により基準面からの無人飛行体の高度を計測させ、計測させた高度を示す高度情報を取得するステップを含み、高度情報は、無人飛行体を飛行させる場合に使用される。
本発明によれば、可視カメラ及び第１のミリ波レーダを搭載した無人飛行体を使用することで、構造物を撮影する場合には、無人飛行体に搭載した可視カメラによる構造物の可視画像と第１のミリ波レーダによる構造物に対する情報を取得することができる。また、無人飛行体の飛行中には、無人飛行体に搭載した高度計測器により基準面からの無人飛行体の高度を計測し、無人飛行体の飛行制御に使用することができる。
図１は、本発明に係る飛行撮影システムの概略構成を示す図である。 図２は、本発明に係る飛行撮影システムの第１実施形態の概要を示す図であり、飛行時のドローンの状態を示す図である。 図３は、本発明に係る飛行撮影システムの第１実施形態の概要を示す図であり、撮影時のドローンの状態を示す図である。 図４は、可視画像とミリ波画像との関係を示す図である。 図５は、複数の距離と各距離におけるミリ波画像の４点の座標との関係を示すテーブルである。 図６は、ミリ波画像のある画素位置におけるミリ波の反射強度と距離との関係を模式的に示した図である。 図７は、可視画像と内部欠陥を示すミリ波画像との関係を示す図である。 図８は、本発明に係る飛行撮影システムの第２実施形態の概要を示す図である。 図９は、本発明に係る飛行撮影システムの第３実施形態の概要を示す図であり、飛行時のドローンの状態を示す図である。 図１０は、本発明に係る飛行撮影システムの第３実施形態の概要を示す図であり、撮影時のドローンの状態を示す図である。 図１１は、本発明に係る飛行撮影システムのハードウエア構成の実施形態を示すブロック図である。 図１２は、本発明に係る飛行撮影システムに適用されるサーバの実施形態を示すブロック図である。 図１３は、図１２に示したサーバの機能を示す機能ブロック図である。 図１４は、本発明に係る飛行撮影方法の実施形態を示すフローチャートである。
以下、添付図面に従って本発明に係る飛行撮影システム及び方法の好ましい実施形態について説明する。
［本発明の概要］
図１は、本発明に係る飛行撮影システムの概略構成を示す図である。
図１に示す飛行撮影システム１は、無人飛行体であるドローン１００、リモートコントローラ２００、ユーザ端末３００、及びサーバ４００から構成されている。ユーザ端末３００は、サーバ４００との間で通信可能なＰＣ（Personal Computer）（ノートＰＣ、タブレットＰＣ）、スマートフォン等が考えられる。
図２は、飛行中のドローンの状態を示す図であり、図３は、ドローンに搭載した可視カメラ等により構造物を撮影する撮影時のドローンの状態を示す図である。図２及び図３に示すようにドローン１００には、可視カメラ１２０及びミリ波レーダ（第１のミリ波レーダ）１３０が搭載されている。
この飛行撮影システム１は、ドローン１００で各撮影ポイントに順次移動し、各撮影ポイントで構造物を可視カメラ１２０で撮影し、構造物の表層の可視画像を取得し、また、可視画像に対応するミリ波画像を取得するために、各撮影ポイントでミリ波レーダ１３０から構造物に向けてミリ波を送信し、構造物からのミリ波の反射波を受信するものである。
構造物からのミリ波の反射波は、構造物の表面で反射するが、一部は構造物の表面から一定の距離（例えば、数ｃｍ）まで到達するため、ミリ波エリアから受信されるミリ波受信データは、構造物の表面から一定の距離までの３次元情報を含む。本例では、ミリ波受信データを取得することを、ミリ波レーダによるミリ波画像の撮影ともいう。
図２及び図３に示す構造物１０は、橋梁、トンネル等の社会インフラ構造物、及び建造物である。
ドローン１００は、例えば、予め決定した飛行ルートに沿って自律飛行し、又はリモートコントローラ２００からの指示を受けて半自律飛行する。飛行ルートは、構造物の各撮影ポイントを最短経路で結ぶように設計することが好ましい。
各撮影ポイントで撮影された可視画像及びミリ波画像は、全ての撮影ポイントでの撮影終了後にドローン１００からユーザ端末３００を介してサーバ４００に送信される。ドローン１００からユーザ端末３００への可視画像及びミリ波画像のデータの引き渡しは、可視画像及びミリ波画像が記録されたメモリカード１５０により行い、あるいはドローン１００とユーザ端末３００との間をＵＳＢ（Universal Serial Bus）ケーブル）で接続し、又は近距離無線で接続して行うことができる。
＜第１実施形態＞
図２及び図３は、本発明に係る飛行撮影システムの第１実施形態の概要を示す図であり、図２は、飛行時のドローンの状態を示し、図３は、撮影時のドローンの状態を示している。
〔飛行時〕
図２に示すミリ波レーダ１３０は、ミリ波レーダ１３０の全体、又は一部（例えば、送受信モジュール）がドローン１００に対して回転（チルト）できるように構成されている。
ドローン１００の飛行中は、ミリ波レーダ１３０を下方向に向ける。即ち、ミリ波レーダ１３０は、ミリ波レーダ１３０からのミリ波の送受信方向が、ドローン１００の下方向になるようにミリ波レーダ１３０の回転角度が制御される。
尚、本例では、可視カメラ１２０とミリ波レーダ１３０とは一体化され、同時に回転角度が制御されるが、個別に回転角度が制御できるように構成してもよい。また、ドローン１００の「飛行時」又は「飛行中」とは、ドローン１００が空中を移動している場合の飛行、及びドローン１００が空中で静止する静止飛行（ホバリング）を含むものとする。
ミリ波レーダ１３０は、例えば、ビーム切換方式、フェーズドアレー方式、デジタルビーム形成方式等の種々のものを適用することができる。
ビーム切換方式は、指向方向が少しずつ異なるビーム幅の狭い固定ビームを複数形成し、電気的に時分割で固定ビームを切り換える方式である。
フェーズドアレー方式は、複数の素子アンテナを一定の間隔に配置してなるフェーズドアレーアンテナを使用し、複数の素子アンテナに接続された位相器で信号の位相を制御することによりビームを高周波数帯で形成して走査する方式である。
デジタルビーム形成方式は、フェーズドアレー方式と同様にフェーズドアレーアンテナを使用し、複数の素子アンテナで受信される信号を受信内で検波してベースバンド信号に変換し、これをデジタル信号に変換した後、信号処理演算によりビームを形成する方式である。この方式は、受信信号の波形情報を数値データとして記憶するため、演算により様々な特性、形状をもつビーム等を形成することができる。
ミリ波レーダ１３０は、ミリ波レーダ１３０からのミリ波の送受信方向が、ドローン１００の下方向になるように制御される場合、地面又は水面の基準面２０上のミリ波エリア（ミリ波が送受信されるエリア）１３４内で距離を計測することができる。ミリ波エリア１３４内で計測した距離のうちの最短距離は、ドローン１００の基準面２０から高さ（高度）である。
本発明に係る飛行撮影システムの第１実施形では、ドローン１００の飛行中のミリ波レーダ１３０は高度計測器として機能し、ドローン１００の高度を計測する。計測した高度を示す高度情報は、ドローン１００を飛行（自律飛行、又は半自律飛行）させる場合の情報として使用する。
尚、一般にドローンには、ＧＰＳ(Global Positioning System)モジュールが搭載されており、ＧＰＳモジュールは、複数のＧＰＳ衛星から送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、ＧＰＳモジュールの緯度、経度、及び高度からなる位置情報を検出することができる。
しかしながら、ＧＰＳモジュールは、トンネル内、橋梁の下のようにＧＰＳ信号を受信することができない場所では、位置情報（高度情報）を取得すできないという欠点がある。
これに対し、ドローン１００に搭載したミリ波レーダ１３０によれば、いかなる環境下でもドローン１００の高度を計測することができ、計測した高度をドローン１００の自律飛行等に使用することができる。
〔撮影時〕
可視カメラ１２０は、可視カメラ１２０の全体、又は一部（例えば、レンズ及びイメージセンサを含む撮像部）がドローン１００に対して回転（チルト）できるように構成されている。
図３に示すようにドローン１００による撮影時は、ドローン１００は、空中で静止するホバリングに遷移する。ホバリング中は、ドローン１００に搭載されているジャイロセンサ及び加速度センサ等のセンサ出力に基づいて、ドローン１００の位置及び姿勢が保持されるように制御される。尚、ドローン１００の静止中、ドローン１００の高度は、ミリ波レーダ１３０により計測された高度情報に基づいて所望の高度になる制御されている。
また、ドローン１００の静止中は、可視カメラ１２０の撮影方向が構造物１０の方向になるように、可視カメラ１２０の回転角度が制御される。同様に、ミリ波レーダ１３０からのミリ波の送受信方向が、構造物１０の方向になるようにミリ波レーダ１３０の回転角度が制御される。
この場合、可視カメラ１２０及びミリ波レーダ１３０は、構造物１０と正対するように回転制御することが好ましい。
その後、ドローン１００は、ユーザ操作によりリモートコントローラ２００から撮影指示を受信すると、又はドローン１００が静止して撮影可能な状態になると自動的に、可視カメラ１２０により構造物１０の表層の可視画像を撮影させ、また、ミリ波レーダ１３０から構造物１０に向けてミリ波を送信させ、構造物１０からのミリ波の反射波を受信させ、ミリ波受信データを取得する。
＜可視画像とミリ波画像との関係＞
図４は、可視画像とミリ波画像との関係を示す図である。
図４において、１２４は、可視画像に対応する第１の撮影範囲（可視画像エリア）１２４を示し、１３４は、ミリ波画像に対応する第２の撮影範囲（ミリ波エリア）を示す。
図４に示すように可視画像エリア１２４を特定するｘｙ座標系（可視カメラ１２０のイメージセンサの座標系）において、予めミリ波エリア１３４の４点Ａ，Ｂ、Ｃ，Ｄの座標（Ａ(x1(d),y1(d)），Ｂ(x2(d),y2(d)）, Ｃ(x3(d),y3(d)）, Ｄ(x4(d),y4(d)）)を求めておく。例えば、予め工場で、ある距離ｄでのミリ波画像の４点が、可視画像内のどの位置に対応するかを計測する。ミリ波が強く反射するアルミ金属板を、可視画像の撮影エリア内に配置し、アルミ金属板をずらしながら、ミリ波の反射強度を観察し、ミリ波の反射波が最初に検出できなくなるアルミ金属板の可視画像エリア１２４内の位置に基づいて、ミリ波エリア１３４を同定する。
そして、距離ｄを変更して、複数の距離（ｄ１，ｄ２，ｄ３，…）ごとに、ミリ波エリア１３４の４点Ａ，Ｂ、Ｃ，Ｄの座標を求める。
図５は、複数の距離と各距離におけるミリ波画像の４点の座標との関係を示すテーブルである。
運用時は、ドローン１００と構造物１０との距離ｄを計測し、ミリ波エリア１３４の４点Ａ，Ｂ、Ｃ，Ｄが、可視画像内のどの画素位置かを、図５に示すテーブルを用いて推定する。計測した距離ｄがテーブルに存在しない場合には、その前後の距離に対応する４点Ａ，Ｂ、Ｃ，Ｄの画素位置を線形補間する。
さて、構造物１０がコンクリート構造物であり、構造物１０の内部に発生するひび割れ、あるいはコンクリートの浮きなどの内部欠陥１２がある場合、ミリ波レーダ１３０は、内部欠陥１２で反射する反射波も受信することができる。また、構造物１０に外壁タイルが貼られている場合、ミリ波レーダ１３０は、外壁タイルの浮き等の欠陥で反射する反射波を受信することができる。
図６は、ミリ波画像のある画素位置におけるミリ波の反射強度と距離との関係を模式的に示した図である。
図６において、Ｐ１は、構造物１０の表面からの反射波を示し、Ｐ２は、構造物１０の内部欠陥１２からの反射波を示している。
反射波Ｐ１とＰ２との距離は、内部欠陥１２の深さに対応する。
図７は、可視画像と内部欠陥を示すミリ波画像との関係を示す図である。
図７（Ａ）は、可視画像とミリ波画像とを重ね合わせた場合の正面図であり、図７（Ｂ）は、可視画像とミリ波画像の撮影対象の構造物１０を上から見た透視図である。
図７（Ｂ）において、ミリ波レーダ１３０から構造物１０のある位置にミリ波Ｔが照射された場合、構造物１０の表面からの反射波Ｐ１と、構造物１０の内部検出エリア１０Ａに存在する内部欠陥１２からの反射波Ｐ２として検出することができる。尚、反射波Ｐ１，Ｐ２の反射強度と距離は、図５に示した通りである。
したがって、内部欠陥１２からの反射波Ｐ２に基づいてミリ波画像を生成すると、ミリ波画像は、内部欠陥１２を示す画像となる。また、可視画像とミリ波画像との位置関係は、図６に示したテーブルに基づいて特定することができるため、可視画像にミリ波画像を合成することができる。
尚、図７（Ａ）上で、１３６は、ミリ波画像のある画素を表している。また、ミリ波画像は、赤色等の可視画像とは異なる色とし、深さや反射強度に応じた濃淡で表すことで、構造物１０の表層の可視画像と区別できるようにすることが好ましい。
図３に戻って、ミリ波レーダ１３０は、撮影時にドローン１００と構造物１０との距離ｄを計測することができる。
ミリ波レーダ１３０により計測される距離ｄは、図５に示したテーブルからミリ波エリア１３４の４点Ａ，Ｂ、Ｃ，Ｄの座標を読み出す場合に使用することができる。また、距離ｄは、ドローン１００から構造物１０までの撮影距離を、所望の撮影距離に保持する場合のドローン１００の撮影ポイントの位置制御に使用することができ、更に、可視カメラ１２０の撮影レンズの焦点合わせに使用することができる。
このようにして、ドローン１００は、ある撮影ポイントにおける可視画像とミリ波画像の撮影を行うと、次の撮影ポイントまで飛行して可視画像とミリ波画像の撮影を行い、これを、構造物１０の全ての撮影ポイントでの可視画像及びミリ波画像の撮影が終了するまで繰り返す。
＜第２実施形態＞
図８は、本発明に係る飛行撮影システムの第２実施形態の概要を示す図である。尚、図８において、図２等に示した第１実施形態の飛行撮影システムと共通する部分には同一の符号を付し、その詳細な説明は省略する。
図８に示す第２実施形態の飛行撮影システムは、ミリ波レーダ１３１が追加されている点で、図２等に示した第１実施形態の飛行撮影システムと相違する。
即ち、ミリ波レーダ（第１のミリ波レーダ）１３０は、構造物１０に向けられ、構造物１０のミリ波画像の撮影に使用され、ミリ波レーダ（第２のミリ波レーダ）１３１は、ドローン１００の下方向に向けられ、ドローン１００の高度を計測する高度計測器として機能する。
尚、第２実施形態の飛行撮影システムの他の構成及び機能は、図２から図７に示した第１実施形態の飛行撮影システムと共通する。
＜第３実施形態＞
図９及び図１０は、本発明に係る飛行撮影システムの第３実施形態の概要を示す図であり、図９は、飛行時のドローンの状態を示し、図１０は、撮影時のドローンの状態を示している。尚、図９及び図１０において、図２等に示した第１実施形態の飛行撮影システムと共通する部分には同一の符号を付し、その詳細な説明は省略する。
図９及び図１０に示す第３実施形態の飛行撮影システムは、レーザ距離計１４０が追加されている点で、図２等に示した第１実施形態の飛行撮影システムと相違する。
〔飛行時〕
図９に示すミリ波レーダ１３０は、ドローン１００の飛行中は第１実施形態と同様にミリ波レーダ１３０を下方向に向け、ドローン１００の高度を計測する。
ミリ波レーダ１３０は、レーザ距離計１４０と比較して距離の計測の精度が低いが、ドローン１００の飛行には支障がない程度に距離（高度）を計測することができ、特に基準面２０が水面の場合でも高度を計測できる点で、レーザ距離計１４０と比較して有利である。
また、ミリ波レーダ１３０は、ドローン１００の高度を計測する場合の基準となる基準面２０が、レーザ距離計１４０で検出困難な基準面であるか否かを検知する基準面検知部として兼用される。ここで、レーザ距離計１４０で検出困難な面とは、水面である。
図１０を使用して後に説明するが、ドローン１００の静止飛行時のドローン１００の高度ｈは、レーザ距離計１４０で計測する。レーザ距離計１４０は、ミリ波レーダ１３０と比較して精度よく距離（高度）を計測できるからである。
ミリ波レーダ１３０によりドローン１００の鉛直下方向の基準面が、レーザ距離計１４０で検出困難な面（水面）であると検知された場合には、レーザ距離計１４０で検出可能な新たに設定した基準面（地面）を、ドローン１００の高度計測の基準面とする。
ミリ波レーダ１３０は、ドローン１００の移動飛行中にドローン１００の高度を計測し、ドローン１００が空中で静止すると、ミリ波エリア内で地面エリアと水面エリアとを判別する。
ドローン１００が静止している場合、水面エリアからの反射波は、水面の波の影響を受けて強度が経時変化するのに対し、地面エリアからの反射波はその強度の経時変化はほとんどない。
したがって、ドローン１００が空中で静止し、構造物１０の撮影のためにミリ波レーダ１３０の方向を切り換える前に、ミリ波レーダ１３０から得られる反射波を解析することで、ミリ波エリア内における地面エリアと水面エリアとを判別することができる。
レーザ距離計１４０は、照射したレーザ光が測定対象で反射して受光するまでの時間を計測して、測定対象までの距離を測定するものであり、ＬｉＤＡＲ（Light Detection and Ranging）を使用することが好ましい。ＬｉＤＡＲは、自動運転システムにおいて使用されており、対象物までの距離の他に、対象物の空間内の位置、及び形状の測定が可能である。
レーザ距離計１４０は、ドローン１００の移動飛行時には飛行ルート上の障害物を検出したり、ドローン１００から構造物１０までの距離ｄを計測する。レーザ距離計１４０により計測される対象物の情報は、ドローン１００を自律飛行又は半自律飛行させる場合に使用される。例えば、ドローン１００と構造物１０との距離ｄを所望の距離に保持するようにドローン１００の自律飛行に使用することができる。
〔撮影時〕
図１０に示すようにドローン１００による撮影時は、ドローン１００は、空中で静止するホバリングに遷移する。
ドローン１００が静止すると、前述したように、構造物１０の撮影のためにミリ波レーダ１３０の方向を切り換える前に、ミリ波レーダ１３０から得られる反射波を解析し、ドローン１００の下方向のミリ波エリア内における地面エリアと水面エリアとを判別する。
ドローン１００の鉛直下方向のエリアが地面エリアと判別されると、その地面エリアに対応する地面を基準面２０Ａとし、レーザ距離計１４０により基準面２０Ａまでの距離を計測させる。そして、ドローン１００は、レーザ距離計１４０による計測された距離のうちの最短距離を、ドローン１００の高度ｈ（ｈ１）として取得する。
ドローン１００の鉛直下方向のエリアが水面エリアと判別されると、その水面エリアに対応する基準面２０Ｂの代わりに、レーザ距離計１４０で検出可能な新たな基準面２０Ａ（鉛直下方向以外の地面エリアに対応する地面の基準面）を設定し、レーザ距離計１４０によりドローン１００と新たな基準面２０Ａとの距離Ｌを計測させる。
そして、計測した距離Ｌと、距離Ｌの計測時のレーザ光の鉛直下方向とのなす角度θとに基づいて、ドローン１００の高度ｈ（ｈ２）を、次式、
［数１］
ｈ２＝Ｌ×cosθ
により算出する。
レーザ距離計１４０により計測されるドローン１００の高度情報は、ドローン１００の撮影ポイント（少なくとも高度）が設定されている場合、ドローン１００の静止時の高度の制御に使用することができる。
その後、図２等に示した第１実施形態と同様に、可視カメラ１２０の撮影方向が構造物１０の方向になるように、可視カメラ１２０の回転角度が制御される。同様に、ミリ波レーダ１３０からのミリ波の送受信方向が、構造物１０の方向になるようにミリ波レーダ１３０の回転角度が制御される。
ドローン１００は、ユーザ操作によりリモートコントローラ２００から撮影指示を受信すると、又はドローン１００が静止して撮影可能な状態になると自動的に、可視カメラ１２０により構造物１０の表層の可視画像を撮影させ、また、ミリ波レーダ１３０によりミリ波画像を撮影させる。
また、可視画像及びミリ波画像の撮影時には、レーザ距離計１４０によりドローン１００（可視カメラ１２０、ミリ波レーダ１３０）と構造物１０との距離ｄを計測させる。レーザ距離計１４０により計測される距離ｄは、図５に示したテーブルからミリ波エリア１３４の４点Ａ，Ｂ、Ｃ，Ｄの座標を読み出す場合に使用することができる。また、距離ｄは、ドローン１００から構造物１０までの撮影距離を、所望の撮影距離に保持する場合のドローン１００の撮影ポイントの位置制御に使用することができ、更に、可視カメラ１２０の撮影レンズの焦点合わせに使用することができる。
［飛行撮影システムのハードウエア構成］
図１１は、本発明に係る飛行撮影システムのハードウエア構成の実施形態を示すブロック図である。
図１１に示すドローン１００は、図９及び図１０に示した第３実施形態に対応するものであり、プロセッサ１０２、ジャイロセンサ１０４、ＧＰＳモジュール１０６、加速度センサ１０８、メモリ１１０、通信インターフェース（通信Ｉ／Ｆ）１１２、入出力Ｉ／Ｆ１１４、複数のプロペラ１１９、複数のプロペラ１１９をそれぞれ駆動する複数のモータ１１８、及び複数のモータ１１８の動作を制御するプロペラ制御部１１６の他に、可視カメラ１２０、ミリ波レーダ１３０、及びレーザ距離計１４０等を備えている。
メモリ１１０は、ＲＡＭ(Random Access Memory)、ＲＯＭ(Read Only Memory)、フラッシュＲＯＭ等を含み、ＲＯＭあるいはフラッシュＲＯＭには、オペレーティングシステム、飛行撮影方法を実行するためのプログラム、飛行ルート等の飛行計画情報、図５に示したテーブル等が記憶されている。ＲＡＭは、ＲＯＭあるいはフラッシュＲＯＭから読み出したプログラムを一時記憶するとともに、プロセッサ１０２の作業エリアとして機能する。また、フラッシュＲＯＭは、可視カメラ１２０で撮影された可視画像、及びミリ波レーダ１３０により撮影されたミリ波画像を記憶する内部メモリと機能することができる。
プロセッサ１０２は、メモリ１１０から各種のプログラム等を読み出し、各部を統括制御する部分であり、ドローン１００の飛行制御、可視カメラ１２０による可視画像の撮影制御、ミリ波レーダ１３０によるミリ波画像を撮影制御及び高度の計測、レーザ距離計１４０による高度の計測等を実施させる。
また、ジャイロセンサ１０４、ＧＰＳモジュール１０６、及び加速度センサ１０８の各出力信号は、プロセッサ１０２に入力される。プロセッサ１０２は、ジャイロセンサ１０４の出力信号に基づいて、ドローン１００の姿勢、角速度、及び角加速度を知ることができる。また、プロセッサ１０２は、ＧＰＳモジュール１０６のＧＰＳ信号に基づいて、ドローン１００の位置（緯度、経度、高度）を知ることができる。更に、プロセッサ１０２は、加速度センサ１０８の出力信号に基づいて、ドローン１００の加速度を知ることができる。
プロセッサ１０２は、ジャイロセンサ１０４、ＧＰＳモジュール１０６、及び加速度センサ１０８の各出力信号に基づいて、複数のモータ１１８をそれぞれプロペラ制御部１１６を介して制御することにより、予め飛行計画により設定された飛行ルートにしたがってドローン１００の離陸、移動飛行、ホバリング、旋回及び着陸などの自律飛行、あるいは飛行中の一部をリモートコントローラ２００からの指示を受け付けて飛行する半自律飛行の各種の動作を実行する。
尚、ドローン１００は、自律飛行、あるいは半自律飛行以外に、リモートコントローラ２００からの飛行指示に基づいて任意に飛行できることは言うまでもない。また、ホバリング時には、ジャイロセンサ１０４や加速度センサ１０８の検出出力に基づいてドローン１００の位置及び姿勢を保持するように自動制御することができる。更に、ジャイロセンサ１０４は、ドローン１００の移動による角速度を検知し、角速度の積分演算により角度を検出することができ、加速度センサ１０８は、ドローン１００の傾き（重力方向）の検出、平行移動、積分による速度等の検出が可能である。
プロセッサ１０２は、可視カメラ１２０により構造物の表層の可視画像を撮影させる処理、ミリ波レーダ１３０から構造物に向けてミリ波を送信させ、構造物からのミリ波の反射波を受信させてミリ波画像を撮影させる処理、ドローン１００の移動飛行中に、ミリ波レーダ１３０により基準面からの高度を計測させ、ドローン１００の静止飛行時にレーザ距離計１４０により基準面からの高度を計測させる。これらの高度を示す高度情報は、ドローン１００の飛行制御に使用される。
このドローン１００は、ミリ波レーダ１３０、及びレーザ距離計１４０により計測される高度、構造物との距離等の情報を使用することで、ＧＰＳ電波の届かない環境での自律飛行、又は半自律飛行を行うことができる。
ドローン１００は、ミリ波レーダ１３０又はレーザ距離計１４０により計測される基準面からの距離（高度）、及び構造物１０との距離を一定に保ちながら飛行することができる。尚、ドローン１００の飛行すべき高度、及び構造物１０との距離は、メモリ１１０から飛行ルート等の飛行計画情報として取得することができ、又はリモートコントローラ２００からユーザ指示により受け付けることができる。
また、プロセッサ１０２によるドローン１００の飛行時、及び撮影時の具体的な制御については、図９及び図１０を使用して説明した第３実施形態と同様であるため、ここではその説明は省略する。
リモートコントローラ２００は、ユーザ操作によりドローン１００を遠隔制御するために使用されるもので、通信Ｉ／Ｆ２１０、ＣＰＵ（Central Processing Unit）２２０、操作部２３０、メモリ２４０、及びモニタ２５０を備えている。
ＣＰＵ２２０は、メモリ２４０に記憶されたファームウエアを実行することで、各部を統括制御する。ドローン１００のプロセッサ１０２とリモートコントローラ２００のＣＰＵ２２０とは、通信Ｉ／Ｆ１１２、２１０を介して必要な情報のやり取りを行うことができ、また、リモートコントローラ２００は、可視カメラ１２０により撮影されるライブビュー画像を通信Ｉ／Ｆ１１２、２１０を介して受信し、モニタ２５０に表示させることができる。
ユーザは、モニタ２５０に表示されるライブビュー画像を見ながら操作部２３０を操作し、構造物１０の最初の撮影ポイントまでドローン１００の飛行を誘導することができる。また、最初の撮影ポイントまでの飛行ルートがＧＰＳ電波を受信できる環境の場合には、予め飛行ルートをドローン１００に設定しておくことで、ドローン１００は、ＧＰＳモジュール１０６で現在位置を捕捉しながら最初の撮影ポイントまで自律飛行することができる。この場合、ユーザは、リモートコントローラ２００から最初の撮影ポイントまでの自律飛行の指示をドローン１００に与える。
ドローン１００が最初の撮影ポイントに到達すると、ユーザは、リモートコントローラ２００から本発明に係る飛行撮影方法を実行させる指示をドローン１００に与える。これにより、ドローン１００は、ミリ波レーダ１３０、及びレーザ距離計１４０により計測される高度、構造物１０との距離等の情報を取得し、ドローン１００を予め設定した高度、及び構造物１０との距離を維持しながら各撮影ポイントに移動する。そして、ドローン１００は、各撮影ポイントで静止して可視カメラ１２０により可視画像の撮影、及びミリ波レーダ１３０によるミリ波画像の撮影を行わせる。
各撮影ポイントでの可視カメラ１２０により可視画像の撮影、及びミリ波レーダ１３０によるミリ波画像の撮影は、各撮影ポイントでのドローン１００のホバリングが安定した時点で自動的に行うようにしてもよいし、ユーザ操作によるリモートコントローラ２００からの撮影指示を受け付けて行うようにしてもよい。
ドローン１００は、ある撮影ポイントでの撮影が終了すると、次に撮影ポイントに移動する。各撮影ポイントの間の距離は、撮影される可視画像に対応する構造物１０上の撮影エリアに基づいて予め設定することができる。例えば、各撮影ポイントの間の距離は、ドローン１００を水平方向に移動させる場合には、撮影エリアの長辺の長さよりも短い距離とし、ドローン１００を鉛直方向に移動させる場合には、撮影エリアの短辺の長さよりも短い距離とすることが好ましい。これは、撮影された可視画像をパノラマ合成する場合、隣接する可視画像間で重複する画像エリアが必要だからである。
加速度センサ１０８の検出出力に基づいてドローン１００の移動距離を推定することができるため、ある撮影ポイントからのドローン１００の移動距離が、予め設定した距離に達する位置を次の撮影ポイントとしてドローン１００を停止させることができる。また、ある撮影ポイントから次の撮影ポイントまでの速度パターンが決まっている場合には、飛行時間を制御して次に撮影ポイントまでドローン１００を移動させることができる。
ドローン１００により最後の撮影ポイントでの撮影が終了すると、ユーザは、モニタ２５０に表示されるライブビュー画像を見ながら操作部２３０を操作し、ドローン１００を帰還させることができる。また、ＧＰＳ電波を受信できる環境の場合には、ユーザはリモートコントローラ２００から帰還を指示することで、ドローン１００を自動帰還させることができる。
図１２は、本発明に係る飛行撮影システムに適用されるサーバの実施形態を示すブロック図である。
図１２に示すサーバ４００は、ユーザ端末３００からアップロードされ、又はユーザ端末３００から集信した可視画像及びミリ波画像を処理し、その処理結果をユーザ端末３００に返信するもので、通信Ｉ／Ｆ４１０、ＣＰＵ４２０、メモリ４３０、及びデータベース４４０を備えている。
ＣＰＵ２２０は、メモリ２４０に記憶されたプログラムを実行することで、各部を統括制御するとともに、後述するように可視画像に基づいて構造物１０の表層に現れる損傷を検出する処理、構造物の表層から所定の深さまでの３次元情報を含むミリ波受信データから構造物の内部のミリ波画像を生成する処理、及び可視画像とミリ波画像の合成処理等を行う。
データベース４４０は、ユーザ端末３００から通信Ｉ／Ｆ４１０を介して取得した可視画像及びミリ波受信データと、可視画像及びミリ波受信データに対する処理結果とを保存、管理する。
図１３は、図１２に示したサーバの機能を示す機能ブロック図である。
図１３に示すサーバ４００は、主として入力部４１０Ａ、損傷検出部４２２、ミリ波画像生成処理部４２４、合成処理部４２６、及び出力部４１０Ｂを備えている。
入力部４１０Ａは、ユーザ端末３００から可視画像１２２及びミリ波受信データ１３２を取得する。この入力部４１０Ａは、ユーザ端末３００から送信された可視画像１２２及びミリ波受信データ１３２を受信するサーバ４００の通信Ｉ／Ｆ４１０に相当する。
損傷検出部４２２は、可視画像１２２に基づいて構造物１０の表層に現れる損傷（例えば、ひび割れ、遊離石灰、鉄筋露出、コンクリート剥離等）を検出する処理を行い、損傷エリア及び損傷種類を特定して、損傷画像を出力する。
損傷検出部４２２は、画像処理アルゴリズムにより行うものでもよいし、人工知能（ＡＩ：artificial intelligence）により行うようにしてもよい。ＡＩとしては、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Convolution Neural Network）による学習済みモデルを使用することができる。
ミリ波画像生成処理部４２４は、構造物からのミリ波の反射波を示すミリ波受信データ１３２に基づいて、構造物の内部を示すミリ波画像を生成する。図６に示したようにミリ波の反射波は、構造物の表面からの反射波、及び構造物の内部欠陥等からの反射波を含み、前者の反射波は、後者の反射波よりも反射強度が大きい。ミリ波画像生成処理部４２４は、構造物の表面からの反射波以外の反射波を示すミリ波受信データを抽出し、抽出したミリ波受信データに基づいてミリ波画像を生成することが好ましい。また、ミリ波画像は、赤色等の可視画像とは異なる色とし、深さや反射強度に応じた濃淡で表すことで、構造物１０の表層の可視画像と区別できるようにすることが好ましい。
合成処理部４２６は、可視画像と損傷検出部４２２部から出力される損傷画像と、ミリ波画像生成処理部４２４から出力されるミリ波画像とを合成する。尚、可視画像とミリ波画像との位置関係は、図６に示したテーブルに基づいて特定することができるため、可視画像にミリ波画像を合成することができる。
本例では、可視画像と損傷画像とミリ波画像とを合成するが、これに限らず、可視画像とミリ波画像とを合成してもよいし、損傷画像とミリ波画像とを合成するようにしてもよい。また、サーバ４００では、可視画像等のパノラマ合成も行うことができる。
損傷検出部４２２、ミリ波画像生成処理部４２４、及び合成処理部４２６は、サーバ４００のＣＰＵ４２０の各機能に相当する。
合成処理部４２６により合成された合成画像は、出力部４１０Ｂを介してユーザ端末３００に送信される。この入力部４１０Ａは、サーバ４００の通信Ｉ／Ｆ４１０に相当する。
これにより、ユーザは、構造物の表層の損傷の他に、内部欠陥を確認することができる。
尚、本例のサーバ４００の処理機能を、ユーザ端末３００が持つように構成してもよい。
［飛行撮影方法］
図１４は、本発明に係る飛行撮影方法の実施形態を示すフローチャートである。
図１４に示す各ステップの処理は、例えば、図１１に示したドローン１００のプロセッサ１０２等により行われる。
図１３において、ドローン１００を構造物の撮影を行う最初の撮影ポイントに移動（飛行）させる（ステップＳ１０）。このドローン１００の飛行は、飛行計画にしたがったドローン１００の自律飛行により行ってもよいし、ユーザ操作されるリモートコントローラ２００からの指示によりおこなってもよい。
プロセッサ１０２は、ドローン１００が最初の撮影ポイントに移動したか否かを判別する（ステップＳ１２）。最初の撮影ポイントに移動したと判別すると（「Yes」の場合）、プロセッサ１０２は、ドローン１００を撮影ポイントにて静止飛行させ、レーザ距離計１４０によりドローン１００の基準面からの距離（高度）を計測させる（ステップＳ１３）。
続いて、プロセッサ１０２は、可視カメラ１２０により構造物の可視画像を撮影させ（ステップＳ１４）、ミリ波レーダ１３０により構造物のミリ波画像を撮影させる（ステップＳ１６）。ミリ波画像の撮影は、構造物にミリ波を送信させ、ミリ波エリアからの反射波を受信させ、ミリ波受信データを取得することで行う。
プロセッサ１０２は、撮影された可視画像とミリ波画像とを関連付けてメモリ１１０に記憶させる（ステップＳ１８）。
プロセッサ１０２は、撮影ポイントでの構造物の撮影が終了すると、飛行計画にしたがってドローン１００を次の撮影ポイントに移動させる（ステップＳ２０）。
次の撮影ポイントに移動したと判別すると（「Yes」の場合）、プロセッサ１０２は、ステップＳ１３に遷移させ、ここで、撮影ポイントにて静止飛行させ、レーザ距離計１４０によりドローン１００の高度を計測させる。
プロセッサ１０２は、全ての撮影ポイントでの撮影が終了するまで、ステップＳ１３からステップＳ２２までの処理を繰り返す。
［その他］
本発明に係る飛行撮影システムの無人飛行体のプロセッサ、サーバのＣＰＵの各種プロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device；ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。飛行撮影システムを構成する１つの処理部は、上記各種プロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサで構成されてもよい。例えば、１つの処理部は、複数のＦＰＧＡ、あるいは、ＣＰＵとＦＰＧＡの組み合わせによって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip；ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウエア的な構造として、上記各種プロセッサを１つ以上用いて構成される。更に、これらの各種のプロセッサのハードウエア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
また、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
１ 飛行撮影システム
１０ 構造物
１２ 内部欠陥
２０、２０Ａ、２０Ｂ 基準面
１００ ドローン
１０２ プロセッサ
１０４ ジャイロセンサ
１０６ ＧＰＳモジュール
１０８ 加速度センサ
１１０ メモリ
１１２ 通信Ｉ／Ｆ
１１４ 入出力Ｉ／Ｆ
１１６ プロペラ制御部
１１８ モータ
１１９ プロペラ
１２０ 可視カメラ
１２２ 可視画像
１２４ 可視画像エリア
１３０、１３１ ミリ波レーダ
１３２ ミリ波受信データ
１３４ ミリ波エリア
１４０ レーザ距離計
１５０ メモリカード
２００ リモートコントローラ
２１０ 通信Ｉ／Ｆ
２２０ ＣＰＵ
２３０ 操作部
２４０ メモリ
２５０ モニタ
３００ ユーザ端末
４００ サーバ
４１０ 通信Ｉ／Ｆ
４１０Ａ 入力部
４１０Ｂ 出力部
４２０ ＣＰＵ
４２２ 損傷検出部
４２４ ミリ波画像生成処理部
４２６ 合成処理部
４３０ メモリ
４４０ データベース
Ｓ１０～Ｓ２２ ステップ

Claims (10)

  1. 可視画像を撮影する可視カメラと、
    第１のミリ波レーダと、
    レーザ距離計と、
    基準面が前記レーザ距離計で検出困難な面であるか否かを検知する基準面検知部と、
    前記可視カメラ、前記第１のミリ波レーダ、前記レーザ距離計及び前記基準面検知部を搭載した無人飛行体と、
    前記可視カメラ、前記第１のミリ波レーダ、前記レーザ距離計、前記基準面検知部及び前記無人飛行体を制御するプロセッサと、を備え、
    前記プロセッサは、
    構造物を撮影する場合に、前記可視カメラにより前記構造物の表層の可視画像を撮影させる前記可視カメラの制御と、前記第１のミリ波レーダから前記構造物に向けてミリ波を送信させ、前記構造物からの前記ミリ波の反射波を受信させる前記第１のミリ波レーダの制御とを行い、
    前記無人飛行体の飛行中に、前記基準面が前記レーザ距離計で検出困難な面でないことを前記基準面検知部により検知した場合には、前記レーザ距離計により前記基準面からの前記無人飛行体の高度を計測させ、前記基準面が前記レーザ距離計で検出困難な面であることを前記基準面検知部により検知した場合には、前記レーザ距離計で検出可能な面を新たな基準面として設定し、前記レーザ距離計により前記新たな基準面からの前記無人飛行体の高度を計測させ、前記計測させた高度を示す高度情報を取得する処理を行い、
    前記高度情報は、前記無人飛行体を飛行させる場合に使用される、
    飛行撮影システム。
  2. 前記レーザ距離計は、前記無人飛行体から前記構造物までの距離を更に計測する、
    請求項１に記載の飛行撮影システム。
  3. 前記検出困難な基準面は、水面である、
    請求項１または２に記載の飛行撮影システム。
  4. 前記新たな基準面は、前記無人飛行体の鉛直下方向以外の方向に存在する地面である、
    請求項１から３のいずれか１項に記載の飛行撮影システム。
  5. 前記基準面検知部は、第２のミリ波レーダである、
    請求項１から４のいずれか１項に記載の飛行撮影システム。
  6. 前記第１のミリ波レーダは、前記第２のミリ波レーダとして兼用され、
    前記プロセッサは、構造物を撮影する場合に前記第１のミリ波レーダを前記構造物の方向に向け、前記無人飛行体の飛行中に前記第１のミリ波レーダを下方向に向ける、
    請求項５に記載の飛行撮影システム。
  7. 前記プロセッサは、前記構造物を撮影する場合に、前記第１のミリ波レーダが受信する前記構造物からの前記ミリ波の反射波に基づいて、前記構造物の内部を示すミリ波画像を生成するミリ波画像生成処理を行う、
    請求項１から６のいずれか１項に記載の飛行撮影システム。
  8. 前記可視カメラにより撮影される前記構造物の表層の可視画像の第１の撮影範囲と、前記生成される前記ミリ波画像の第２の撮影範囲との関係を記憶するメモリを備え、
    前記プロセッサは、前記メモリに記憶された前記第１の撮影範囲と前記第２の撮影範囲との関係に基づいて、前記可視画像に前記ミリ波画像を合成する合成処理を行う、
    請求項７に記載の飛行撮影システム。
  9. 前記構造物は、コンクリート構造物であり、
    前記ミリ波画像は、前記コンクリート構造物の内部欠陥を示す画像である、
    請求項７又は８に記載の飛行撮影システム。
  10. 可視画像を撮影する可視カメラと、第１のミリ波レーダと、レーザ距離計と、基準面が前記レーザ距離計で検出困難な面であるか否かを検知する基準面検知部と、を搭載した無人飛行体による撮影及び飛行をプロセッサにより制御する飛行撮影方法であって、
    前記プロセッサの各処理は、
    構造物を撮影する場合に、前記可視カメラにより前記構造物の表層の可視画像を撮影させるステップと、前記第１のミリ波レーダから前記構造物に向けてミリ波を送信させ、前記構造物からの前記ミリ波の反射波を受信させるステップと、
    前記無人飛行体の飛行中に、前記基準面が前記レーザ距離計で検出困難な面でないことを前記基準面検知部により検知した場合には、前記レーザ距離計により前記基準面からの前記無人飛行体の高度を計測させ、前記基準面が前記レーザ距離計で検出困難な面であることを前記基準面検知部により検知した場合には、前記レーザ距離計で検出可能な面を新たな基準面として設定し、前記レーザ距離計により前記新たな基準面からの前記無人飛行体の高度を計測させ、前記計測させた高度を示す高度情報を取得するステップと、を含み、
    前記高度情報は、前記無人飛行体を飛行させる場合に使用される、
    飛行撮影方法。
JP2022526553A 2020-05-29 2021-05-25 飛行撮影システム及び方法 Active JP7436657B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020094326 2020-05-29
JP2020094326 2020-05-29
PCT/JP2021/019701 WO2021241534A1 (ja) 2020-05-29 2021-05-25 飛行撮影システム及び方法

Publications (3)

Publication Number Publication Date
JPWO2021241534A1 JPWO2021241534A1 (ja) 2021-12-02
JPWO2021241534A5 JPWO2021241534A5 (ja) 2023-03-23
JP7436657B2 true JP7436657B2 (ja) 2024-02-21

Family

ID=78744402

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022526553A Active JP7436657B2 (ja) 2020-05-29 2021-05-25 飛行撮影システム及び方法

Country Status (3)

Country Link
US (1) US20230101728A1 (ja)
JP (1) JP7436657B2 (ja)
WO (1) WO2021241534A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114383576B (zh) * 2022-01-19 2023-04-07 西北大学 一种空地一体化滑坡监测方法及其监测装置
CN114593710B (zh) * 2022-03-04 2024-02-06 四川傲势科技有限公司 一种无人机测量方法、***、电子设备及介质
CN116203554B (zh) * 2023-05-06 2023-07-07 武汉煜炜光学科技有限公司 一种环境点云数据扫描方法和***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050110672A1 (en) 2003-10-10 2005-05-26 L-3 Communications Security And Detection Systems, Inc. Mmw contraband screening system
JP2007121214A (ja) 2005-10-31 2007-05-17 Nippon Telegr & Teleph Corp <Ntt> 電磁波イメージングシステム及び移動型電磁波照射・検知装置
JP2008203123A (ja) 2007-02-21 2008-09-04 Japan Aerospace Exploration Agency 航空機用水面及び地面観測装置
JP2016111414A (ja) 2014-12-03 2016-06-20 コニカミノルタ株式会社 飛行体の位置検出システム及び飛行体
JP2019027908A (ja) 2017-07-28 2019-02-21 株式会社ＴｏｎＴｏｎ 外面材調査システム
JP2019130927A (ja) 2018-01-29 2019-08-08 株式会社プロドローン 無人航空機
JP2020504811A (ja) 2016-12-08 2020-02-13 ユニバーシティ オブ ワシントンＵｎｉｖｅｒｓｉｔｙ ｏｆ Ｗａｓｈｉｎｇｔｏｎ ミリ波および／またはマイクロ波撮像システム、および、区分化インバース、拡張分解能モードおよび撮像デバイスの例を含む方法、

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050110672A1 (en) 2003-10-10 2005-05-26 L-3 Communications Security And Detection Systems, Inc. Mmw contraband screening system
JP2007121214A (ja) 2005-10-31 2007-05-17 Nippon Telegr & Teleph Corp <Ntt> 電磁波イメージングシステム及び移動型電磁波照射・検知装置
JP2008203123A (ja) 2007-02-21 2008-09-04 Japan Aerospace Exploration Agency 航空機用水面及び地面観測装置
JP2016111414A (ja) 2014-12-03 2016-06-20 コニカミノルタ株式会社 飛行体の位置検出システム及び飛行体
JP2020504811A (ja) 2016-12-08 2020-02-13 ユニバーシティ オブ ワシントンＵｎｉｖｅｒｓｉｔｙ ｏｆ Ｗａｓｈｉｎｇｔｏｎ ミリ波および／またはマイクロ波撮像システム、および、区分化インバース、拡張分解能モードおよび撮像デバイスの例を含む方法、
JP2019027908A (ja) 2017-07-28 2019-02-21 株式会社ＴｏｎＴｏｎ 外面材調査システム
JP2019130927A (ja) 2018-01-29 2019-08-08 株式会社プロドローン 無人航空機

Also Published As

Publication number Publication date
US20230101728A1 (en) 2023-03-30
WO2021241534A1 (ja) 2021-12-02
JPWO2021241534A1 (ja) 2021-12-02

Similar Documents

Publication Publication Date Title
JP7436657B2 (ja) 飛行撮影システム及び方法
JP7263630B2 (ja) 無人航空機による３次元再構成の実行
US10852723B2 (en) Unmanned aerial vehicle swarm photography
JP7025156B2 (ja) データ処理装置、データ処理方法およびデータ処理用プログラム
JP6138326B1 (ja) 移動体、移動体の制御方法、移動体を制御するプログラム、制御システム、及び情報処理装置
JP7007137B2 (ja) 情報処理装置、情報処理方法および情報処理用プログラム
GB2494505A (en) Image based position determination based on perspective shift
JP2017201757A (ja) 画像取得システム、画像取得方法、画像処理方法
CN112335190A (zh) 无线电链路覆盖图和减损***及方法
WO2019230604A1 (ja) 検査システム
JP2023100642A (ja) 検査システム
JP2024072827A (ja) 制御装置、撮像システム及び撮像方法
JP2019056562A (ja) 制御装置、無人航空機、制御処理方法および制御処理用プログラム
US20210229810A1 (en) Information processing device, flight control method, and flight control system
EP4095561A1 (en) Reality capture device
JP7069632B2 (ja) 制御装置、移動体、及び移動体の分散制御プログラム
US20220221857A1 (en) Information processing apparatus, information processing method, program, and information processing system
US20220276387A1 (en) Image processing method, image processing apparatus, and image processing program
US20230142394A1 (en) Contour scanning with an unmanned aerial vehicle
EP3943979A1 (en) Indoor device localization
JP7004374B1 (ja) 移動体の移動経路生成方法及びプログラム、管理サーバ、管理システム
WO2021087785A1 (zh) 地形检测方法、可移动平台、控制设备、***及存储介质
TWI766427B (zh) 無人機裝置及無人機工作區的部署方法
RU174052U1 (ru) Программно-аппаратный комплекс мониторинга состояния воздушных линий электропередач
JP2020160019A (ja) 物体の三次元形状の測定方法

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A5211

Effective date: 20221020

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230131

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240208

R150 Certificate of patent or registration of utility model

Ref document number: 7436657

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150