JP2023128381A - 飛行装置、飛行制御方法及びプログラム - Google Patents
飛行装置、飛行制御方法及びプログラム Download PDFInfo
- Publication number
- JP2023128381A JP2023128381A JP2022032699A JP2022032699A JP2023128381A JP 2023128381 A JP2023128381 A JP 2023128381A JP 2022032699 A JP2022032699 A JP 2022032699A JP 2022032699 A JP2022032699 A JP 2022032699A JP 2023128381 A JP2023128381 A JP 2023128381A
- Authority
- JP
- Japan
- Prior art keywords
- flight
- camera
- inspection
- obstacle
- uav
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 75
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 title claims description 9
- 238000007689 inspection Methods 0.000 claims abstract description 187
- 238000001514 detection method Methods 0.000 claims abstract description 100
- 238000012545 processing Methods 0.000 claims abstract description 52
- 230000008569 process Effects 0.000 claims description 34
- 238000004891 communication Methods 0.000 claims description 4
- 238000013459 approach Methods 0.000 claims 1
- 230000008901 benefit Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 10
- 238000012937 correction Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 239000000575 pesticide Substances 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、飛行装置、飛行制御方法及びプログラムに関する。
本技術分野の背景技術として、特開2016-111414(特許文献1)がある。該広報には、「[課題]GPS信号に頼らずに無人飛行体の位置を精度良く求めることができる飛行体の位置検出システム及びそれを用いた飛行体を提供する。[解決手段]測距データと撮像により得られた2次元画像データとを利用して自己位置を把握する事により、GPS信号に頼ることなく無人飛行体100を構造物OBJとの距離を一定に保って飛行させ、検査を行う事ができる。」と記載されている。
近年の労働人口減少に伴い、作業効率化や、危険を伴う作業の削減・代替が求められている。このような背景のもと、ドローンに代表される無人航空機(UAV,Unmanned Aerial Vehicle)を用いた農薬散布や空撮、点検、輸送等が行われるようになってきている。中でも点検業務、とりわけ高所点検や山間部等人が分け入りにくい箇所の点検は危険ポテンシャルが高く、直接目視に代わる検査方法が待ち望まれており、UAVはこのような目的に最適である。
前記特許文献1では、GPS信号が受信しにくい環境においても自己位置を推定し、UAVの飛行をさせることができることが記載されている。しかし、所望の点検対象をフレームアウトすることなく撮影するにあたり、UAVがどこを飛行するか精密なルーティングが必要であり、自己位置の精度や三次元マップの精度が要求される点、および飛行ルート上に障害物が存在した場合に回避する手段が存在しない点において、改善の余地がある。
そこで、本発明は、点検対象物に沿って自律的に飛行体を飛行させ、点検を行うことを目的とする。本発明によれば、例えば、点検対象および周辺の障害物を認識し、点検対象との相対位置を算出して、所定の位置関係を保持するよう制御することによって、厳密な自己位置推定やルート設定を必要とせず、大まかなウェイポイント指示だけで、ルート上の障害物を回避しながら、点検対象をフレームアウトすることなく撮影し続けることができるという効果を得ることができる。
上記目的を解決するために、代表的な本発明の飛行装置、飛行制御方法及びプログラムの一つは、飛行装置に備えた1又は複数のカメラで周囲を撮影し、カメラからの映像を解析して点検対象物と障害物を検出し、指定された飛行経路情報、点検対象物の検出結果及び障害物の検出結果に応じて飛行経路を動的に決定し、決定した飛行経路に沿って飛行を制御するものである。
本発明によれば、厳密な自己位置推定やルート設定を必要とせず、大まかなウェイポイント指示だけで、ルート上の障害物を回避しながら、点検対象をフレームアウトすることなく撮影し続けることができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
以下、本発明の実施形態を図面を用いて説明する。
本発明の一実施例である飛行装置、飛行管理方法及びプログラムの構成と動作について、図1、図2、図3、図4、図5、図6、を用いて説明する。
図1は、実施例1のUAVの構成を示す構成図である。図1に示すUAV10は、点検に供される飛行体であり、点検用カメラ101、障害物検知用カメラ102、信号処理部103、GPS受信部104、IMU105、制御部106、記録部107を有してなる。
本実施例では、点検対象物として、電線、電柱および電柱に付随する配電設備を例示する。点検対象物は、延在する点検対象物である延在対象物と、延在対象物の中継機能を有する点検対象物である中継対象物とを包含する。電線は、延在対象物の一例であり、電線及び配電設備は、中継対象物の一例である。延在対象物は、当該延在対象物に沿った飛行経路の設定に用いることができる。中継対象物は、延在対象物の物理的な中継や、機能的な中継を行う。例えば、電柱は、電線を支持する物理的な中継対象物であり、配電設備は電線の電気特性を維持する中継対象物である。
本実施例では、点検対象物として、電線、電柱および電柱に付随する配電設備を例示する。点検対象物は、延在する点検対象物である延在対象物と、延在対象物の中継機能を有する点検対象物である中継対象物とを包含する。電線は、延在対象物の一例であり、電線及び配電設備は、中継対象物の一例である。延在対象物は、当該延在対象物に沿った飛行経路の設定に用いることができる。中継対象物は、延在対象物の物理的な中継や、機能的な中継を行う。例えば、電柱は、電線を支持する物理的な中継対象物であり、配電設備は電線の電気特性を維持する中継対象物である。
点検用カメラ101は、UAV10に取り付けられており、点検対象の外観画像を取得するカメラである。取得された外観画像は後段の信号処理部103へ送られる。
障害物検知用カメラ102は、UAV10に取り付けられており、周辺障害物の外観画像および障害物までの距離情報を取得するカメラであり、例えばステレオカメラである。取得された外観画像および距離情報は後段の信号処理部103へ送られる。
信号処理部103は、点検用カメラ101および障害物検知用カメラ102から送信された画像および距離情報を処理し、後段の制御部106へ処理結果を送出する。信号処理部103は、点検対象検出部1031、障害物検出部1032を有してなる。
点検対象検出部1031は、点検用カメラ101および障害物検知用カメラ102から送信された点検対象の外観画像に対して認識処理を施し、当該点検対象が画像中のどこに、どの程度の大きさで写っているかを判断し、判断結果を制御部106へ送出する。
障害物検出部1032は、障害物検知用カメラ102から送信された周辺障害物の外観画像および距離情報に対して認識処理を施し、当該障害物が画像内のどの位置に、どの程度の距離で存在するかを判断し、判断結果を制御部106へ送出する。
GPS受信部104は、GPS衛星からの信号を受信し、UAV10の位置情報、具体的には緯度、経度、高度を算出し、制御部106へ送出する。
IMU105は、UAV10に取り付けられている慣性計測装置(Inertial Measurement Unit,IMU)であり、ジャイロ、加速度計、コンパスの信号を制御部106へ送出する。
制御部106は、指定された飛行経路情報、点検対象物の検出結果及び障害物の検出結果に応じて飛行経路を動的に決定し、決定した飛行経路に沿ってUAV10の飛行を制御する。飛行経路の動的な決定とは、例えば、点検対象物である電線を検出しつつ、これに沿って飛行するよう経路の修正を随時実行する処理である。同様に、検知された障害物を回避しつつ、点検対象物(電線、電柱、付随する配電設備等)を撮影可能な経路を決定する処理も含まれる。具体的には、制御部106は、記録部107に対して読み取り操作を行い、所定のルート情報を読み出し、GPS受信部104から入力される現在位置情報を照合し、次の時間ステップにおけるUAV10の進路を決定する。また、信号処理部103から入力される外観画像および距離情報、GPS受信部104から入力される緯度、経度、高度情報、IMU105から入力されるジャイロ、加速度計、コンパスの信号情報、後述する記録部107から入力される経路情報を元に、UAV10が安定するよう姿勢制御を行うと同時に、図示しない複数の推力発生用モータへ印加する電圧のバランスを制御することにより、UAV10が所望の方向へ移動するよう制御する。
記録部107は、UAV10がたどるべきルート情報を格納する記録媒体であり、例えば不揮発性の半導体メモリである。
図2は、実施例1における制御のフローチャートを表した図である。
図3は、点検動作時のUAV10のトラッキングモードにおける動作を示した図を表した図である。
図4は、点検動作時のUAV10の障害物回避時における動作を示した図を表した図である。
図5は、点検動作時のUAV10の通る経路を示した図を表した図である。
図6は、点検動作時のUAV10の動作を示した図(重要点検ポイントと障害物が経路上に混在する場合)を表した図である。
図3は、点検動作時のUAV10のトラッキングモードにおける動作を示した図を表した図である。
図4は、点検動作時のUAV10の障害物回避時における動作を示した図を表した図である。
図5は、点検動作時のUAV10の通る経路を示した図を表した図である。
図6は、点検動作時のUAV10の動作を示した図(重要点検ポイントと障害物が経路上に混在する場合)を表した図である。
本実施例の動作について、以下説明する。本実施例に示すのは、UAVを用いて電線、電柱、およびこれらに付属する配電設備を点検する方式についてである。
本実施例の飛行装置、飛行管理方法及びプログラムは、UAV10が備える制御部106による制御の下、障害物検知用カメラ102によって検知された障害物を回避しつつ、点検用カメラ101によって点検対象である電線、電柱、付随する配電設備を撮影し、点検用途に活用可能な映像を取得するものである。飛行にあたっては、電線を検出しつつ、これに沿って飛行させることを特徴とする。
本実施例においては、電柱や配電設備が検出されるまで電線に沿って飛行する動作モード(トラッキングモード)、および電柱や配電設備を重点的に点検する動作モード(点検モード)の2つの動作モードが存在する。点検モードにおいては、例えば当該点検対象の周囲を、点検用に別途作成した周回軌道に沿って飛行し、点検対象の全周囲画像を得るように制御される。
本実施例における設備点検の方法について、図2のフローチャートを用いて説明する。図2の処理手順は、UAV10が離陸し、最初に電線を検出したときに開始する。
まず、制御部106は、IMU105よりジャイロ、加速度計、コンパスの信号を受信し(ステップS101)、姿勢制御処理によりUAV10がホバリングするために必要な推力発生用モータへの印加電圧をそれぞれ算出する(ステップS102)。次いで制御部106は、GPS受信部104より緯度、経度、高度情報を受信し(ステップS103)、自己位置把握処理により現在の機体の位置を算出する(ステップS104)。ここで自己位置把握とは、得られた生の緯度、経度、高度情報をカルマンフィルタ等により適切にフィルタリングすることにより、GPS信号が本来持っている誤差要因や不確実性を除去するための処理を指す。
次いで、制御部106は、現在の動作モードが何であるかの分岐処理(ステップS105)により、動作モードに応じた分岐が発生する。動作モードがトラッキングモードであった場合には、制御部106は、記録部107に記録されているルート情報を読み出し、ステップS104にて算出した自己位置と照合することにより、次に進むべき方向を定める(ステップS106)。
動作モードが点検モードであった場合には、制御部106は、前述の通り点検対象物を周回する周回軌道が設定されているので、この周回軌道とステップS104にて算出した自己位置とを照合することにより、次に進むべき方向を定める(ステップS107)。
次いで、前述のステップS106もしくはステップS107で定めた進路方向の障害物を検出する(ステップS108)。障害物の有無は、障害物検知用カメラ102にて取得した障害物の外観画像、および距離情報を障害物検出部1032において解析することにより判断する。ここで、障害物検知用カメラ102の光軸方向はUAV10の正面方向(進行方向と一致するように制御される)を向いて取り付けられており、角度の調節機能を持たない。したがって、例えば障害物検知用カメラ102の画角を広角に設定することにより、進行方向およびそこからずれた範囲における障害物をもれなく検出することが可能である。あるいは、障害物検知用カメラ102の角度が制御部106によって調整されるような構成でもよい。制御部106ではUAV10の進行方向と障害物検知用カメラ102の光軸方向がどのような相対関係にあるかを把握することにより、進路方向に対してどの位置に障害物があるかを算出することができる。
次いで、制御部106は、障害物の有無、および当該障害物との距離に応じて、進路の修正を行う(ステップS109)。具体的には、まず障害物までの距離が所定の閾値よりも遠い場合には、本ステップでは特段の処理を行わない。障害物までの距離が所定の閾値を下回る場合には、当該障害物を回避するようにルートの補正を行う。補正の方法は、例えば当該障害物を跨ぐように、UAV10を上昇させるように進路を修正する方式でもよいし、当該障害物の形状や種類を障害物検出部1032において検出し、その形状や種類に応じて(例えば障害物が樹木なら跨ぐように、街灯などの柱上であれば水平方向にかわすように)進路を修正する方式でもよい。
次いで、現在の動作モードが何であるかの分岐処理(ステップS110)により、動作モードに応じた分岐が発生する。動作モードがトラッキングモードであった場合には、電線検出処理が実行される(ステップS111)。電線検出処理は、点検用カメラ101と障害物検知用カメラ102から入力される画像データのいずれか、あるいは両方を、点検対象検出部1031において処理することにより実現される。検出手段は例えばエッジ検出によってもよいし、ハフ変換のような直線検知アルゴリズムによってもよいし、ディープラーニングなどの機械学習を用いた方法でもよい。電線検出により、電線が画像中のどの位置に、どの角度で写るかが判定される。
この情報をもとに、制御部106は、UAV10の進路にさらに修正を加える(ステップS112)。修正の方式は、例えば電線が画像上半分に写っていると判定された場合には、UAV10を上昇させるよう進路を修正する。また別の例では、電線が画像中に斜めの線として検出された場合にはUAVの進行方向を調整(例えば右上がりなら右方向に旋回するように調整)することにより、電線と点検用カメラ101が正対するよう、相対位置を設定することができるようになり、電線に沿った飛行が実現できる。
次いで、点検対象物検知処理が実行される(ステップS113)。電線検出処理は、点検用カメラ101と障害物検知用カメラ102から入力される画像データのいずれか、あるいは両方を、点検対象検出部1031において処理することにより実現される。検出手段は例えばテンプレートマッチングによってもよいし、弱識別器を直列に並べたカスケード識別器によってもよいし、ディープラーニングなどの機械学習を用いた方法でもよい。
次いで、点検対象物の有無による分岐処理(ステップS114)が実行される。点検対象物が存在しないと判定された場合には、特段の処理を行わず、ステップS101に戻る。点検対象物が存在すると判定された場合には、その画像中における位置と大きさが算出される。その位置と大きさにより、点検対象物がUAV10のどの方向に、どの程度の距離にあるかが推定できる。当該対象物が所定の閾値よりも近いと判定された場合には、これらの情報を元に、当該対象物の周囲を回る周回軌道(点検ルート)を設定する。次いで、現在位置を点検ルートの始点として記憶する(ステップS116)。記憶先は記録部107でもよいし、図示していないRAMなどの一時記憶媒体でもよい。次いで、動作モードをトラッキングモードから点検モードへ遷移させ(ステップS117)、ステップS101に戻る。
一方、前述のステップS110における分岐処理において、動作モードが点検モードであった場合には、現在位置がステップS116にて記憶された点検ルートの始点と一致、あるいは十分近いと判定(ステップS118;YES)された場合に、動作モードをトラッキングモードから点検モードへ遷移させ(ステップS119)、ステップS101に戻る。点検ルートの始点でなければ(ステップS118;NO)、そのままステップS101に戻る。
以上、一連の動作により、UAV10が電線に沿って飛行し、点検対象物を周回する点検ルートと電線に沿って飛行する通常ルートを自律的に切り替えながら飛行する動作を実現することが可能である。特に、記録部107に格納されているルート情報が電線や点検対象物に必ずしも沿っているものではなくても、点検用カメラ101により得られた画像を解析することにより点検対象物に沿った飛行が可能である。
続いて、電線に沿って飛行させるためのルート設定の方法について、図3から図6を用いて説明する。図3は記録部107に記録されているルート情報と、点検対象検出部1031で検出した電線の方向および電線までの距離を用いて電線に沿った経路設定をする方法を説明する図であり、電線およびUAV10の経路を真上から見下ろすように描かれている。図中において、WP1、WP2は記録部107に記録されている通過点情報(ウェイポイント)である。これらの通過点情報は事前に設定しておく必要があるが、点検対象の位置情報は不明確なことが多いため、大まかな位置情報を設定しておき、UAV10がウェイポイントで指示される飛行ルートを、電線に沿った飛行ルートとなるよう適宜修正しながら飛行する。以下、その方法について説明する。
UAV10は、本来はWP1とWP2を結ぶ経路L1(図中点線)に沿って飛行するよう制御される。しかしながら、経路L1は延在対象物である電線Pとは平行になっているとは限らず、例えば本図の例ではUAV10は電線Pから徐々に遠ざかるように飛行する。このような場合、点検用カメラ101で取得した画像においては電線や点検対象物が想定より小さいサイズで写るため、想定する点検の用をなさない可能性がある。そこで、例えば以下に示すようなフィードフォワード制御によって、UAV10が電線に沿って平行に飛行するよう制御することが可能である。
まず、初期状態としてUAV10がWP1に存在している状態を仮定する。次に、当初の設定経路L1に沿ってUAV10が飛行した場合に、微小時刻Δt経過後に想定される位置をU1とする。この場合、UAV10はWP1からU1へ向かう経路L11に沿って飛行しようとする。ここで、点検用カメラ101がUAV10の進行方向と直角に取り付けられているものとする。すると、点検用カメラ101で電線を撮影する場合には、経路L1と電線Pがなす角の分だけ電線を斜めに写すことになる。ここでどの程度の角度で撮影されているかは、例えば点検対象検出部1031における認識処理の過程で推定することができる。そこで、UAV10の飛行経路が電線Pと平行となるよう、当初の飛行経路L11を飛行経路L21のように補正することが可能である。この結果、UAV10の行き先はU1からV1へ補正されることになる。
次の時間ステップにおいても同様の補正がなされ、現在位置V1からさらに微小時刻Δt経過後に想定される行先U2を向いた場合に、点検用カメラ101で撮影した電線の向きから経路L21と電線Pのなす角を算出し、その角度分を補正するように新たな行き先V2を算出する。これを繰り返すことにより、電線Pに沿った経路L22、L23・・・を設定することが可能である。
次に、経路中に障害物が発見された場合のルート設定の方法について、図4を用いて説明する。まず、初期状態としてUAV10がWP1に存在している状態を仮定する。次に、当初の設定経路L1に沿ってUAV10が飛行した場合に、微小時刻Δt経過後に想定される位置をU1とする。この場合、UAV10はWP1からU1へ向かう経路L11に沿って飛行しようとする。ここで、点検用カメラ101がUAV10の進行方向と直角に取り付けられているものとする。すると、点検用カメラ101で電線を撮影する場合には、経路L1と電線Pがなす角の分だけ電線を斜めに写すことになる。ここでどの程度の角度で撮影されているかは、例えば点検対象検出部1031における認識処理の過程で推定することができる。そこで、UAV10の飛行経路が電線Pと平行となるよう、当初の飛行経路L11を飛行経路L21のように補正することが可能である。この結果、UAV10の行き先はU1からV1へ補正されることになる。
次の時間ステップにおいて同様の補正を行うべきところであるが、図中の位置に障害物T(この場合は樹木)が存在する場合には、障害物検知用カメラ102により障害物Tが存在することが検出される。ここで、V1から障害物Tまでの距離Dが所定の閾値を下回る(これ以上近づけない)状況を考える。この場合には、電線に沿って経路設定をするよりも、障害物Tと一定の距離を保つ方が優先される。そこで、障害物Tを中心として半径D仮想的な球面Qを考え、この球面Q上に次の経路を設定することを考える。次の経路の設定方法はいくつか考えられ、たとえば前述のように、障害物Tの真上を通るように経路設定してもよいし、高度を保ちつつ障害物Tを回り込むように経路設定してもよいし、これらを障害物Tの種類の検出結果に応じて決定してもよい。図では障害物Tを回り込むような経路設定を示している。以上のように、次の経路W2を決定できる。これを繰り返すことにより、W3以降の経路を順次設定していくことが可能である。
障害物を回り込んで回避する場合には、UAV10は、正面方向を維持したスライドによって障害物を迂回する。このため、障害物検知用カメラ102は同一方向を撮影し続ける。そして、障害物が障害物検知用カメラ102の撮影範囲を外れた時、すなわち障害物がフレームアウトしたときに、UAV10は障害物の迂回を終了し、電線をトラッキングする経路に戻る。
次に、経路中に点検対象物が検出された場合の動作について、図5を用いて説明する。まず、初期状態としてUAV10がWP1に存在している状態を仮定する。次に、当初の設定経路L1に沿ってUAV10が飛行した場合に、微小時刻Δt経過後に想定される位置をU1とする。この場合、UAV10はWP1からU1へ向かう経路L11に沿って飛行しようとする。ここで、点検用カメラ101がUAV10の進行方向と直角に取り付けられているものとする。すると、点検用カメラ101で電線を撮影する場合には、経路L1と電線Pがなす角の分だけ電線を斜めに写すことになる。ここでどの程度の角度で撮影されているかは、例えば点検対象検出部1031における認識処理の過程で推定することができる。そこで、UAV10の飛行経路が電線Pと平行となるよう、当初の飛行経路L11を飛行経路L21のように補正することが可能である。この結果、UAV10の行き先はU1からV1へ補正されることになる。
次の時間ステップにおいて同様の補正を行うべきところであるが、図中の位置に点検対象物O(この場合は中継対象物である電柱および電柱に付随する配電設備)が存在する場合には、点検用カメラ101により点検対象物Oが存在することが検出される。ここで、V1から点検対象物Oまでの距離Dが所定の閾値を下回る状況を考える。この場合には、現在位置V1を通り、点検対象物Oを中心とした半径Dの円周軌道Xが定義され、UAV10はこの円周軌道Xに沿って飛行するよう制御されるよう、動作モードが切り替わる(点検モード)。現在位置V1は円周軌道Xの始点として記憶される。以降、GPS受信部104から受信された位置情報を元に、円周軌道X上の点X2、X3、X4、X5・・・が順次決定され、UAV10はこれらの点を通過するよう制御されて飛行する。やがてUAV10が円周軌道Xを一周し、現在位置が記憶された始点V1と一致するか十分近いと判定された場合には、再度動作モードが切り替わり(トラッキングモード)、前述の動作と同様に、電線の向きを点検用カメラ101で得られた画像から推定することにより、電線に沿って飛行するよう制御される。
点検対象物を周回する場合には、UAV10は、点検用カメラ101の撮影範囲に点検対象物が入るように姿勢制御を行う。このため、障害物検知用カメラ102は、その時点のUAV10の進行方向(周回軌道の周方向)を撮影することになる。
またこれらの組み合わせとして、点検モードで周回軌道X上を飛行している際に障害物Tを発見した場合には、障害物Tを回避する方が優先される。具体例を図6に示す。図6は、点検対象物O(この場合は電柱)を点検すべく周回軌道Xを飛行中に、障害物T(この場合は樹木)を発見した場合の動作である。この場合、周回軌道Xが所定の障害物最近接距離を表す球面Qの内側に入っており、障害物Tと衝突の可能性がある。そこで、このような場合には、球面Qに沿って新たな周回軌道X’が定義され、UAV10はX’に沿って飛行するよう経路が変更される。障害物Tと十分離隔が取れたと判断された場合(球面Qの内側に入ることはないと判断された場合)には、UAV10は再度周回軌道X上を飛行するよう制御される。このような制御を行うことにより、障害物を回避しつつ点検対象物の周囲を旋回ながら点検に用いる画像データを取得することが可能となる。
以上、図1から図6を用いて本実施例について説明してきたが、本実施例は上記の構成に限定されるものではない。例えば、点検用カメラ101と障害物検知用カメラ102は別のカメラとして説明してきたが、両方の機能を兼ね備える単一のカメラによって構成されてもよい。これにより、例えばUAV10の総重量が軽減され、飛行時間の延長などのメリットがある。
また、点検用カメラ101は、それ自身が距離計測機能を有するカメラ(例えばステレオカメラやTOFカメラ等)であってもよい。これにより、点検用カメラ101で得られた電線画像から電線までの距離や電線との相対的な角度の情報をより正確に求めることができ、電線トラッキング動作の精度を向上させることができるというメリットがある。
また、点検用カメラ101は、他に距離センサ(例えば超音波センサ、レーダー等)を備えていてもよい。これにより、点検用カメラ101で得られた電線画像から電線までの距離や電線との相対的な角度の情報をより正確に求めることができ、電線トラッキング動作の精度を向上させることができるというメリットがある。
また、障害物検知用カメラ102は実施例ではステレオカメラとして説明したが、他の方式、例えばTOFカメラや、カメラと他の距離センサ(例えば超音波センサ、レーダー等)の組み合わせによって距離情報を得る構成であってもよいし、これらのうち複数を備える構成であってもよい。これにより、UAV10の進行方向だけでなく、上方・下方・後方の障害物を検出し、UAV10の衝突可能性をより低減させることができるというメリットがある。
また、障害物検知用カメラ102は、映像解析により距離情報を得る方式、例えばディープラーニングによる距離推定方式や、時間差をおいて撮影した複数の画像の変化から周辺物体との距離を推定する方式(Visual SLAMやSfM(Structure from Motion))等の方式であってもよい。これにより、ステレオカメラを単眼カメラで代替することができ、例えば超広角カメラを採用し周囲の障害物を広く検知することができるようになる等のメリットがある。
また、障害物検知用カメラ102は単一のステレオカメラとして説明したが、障害物検知用カメラ102は複数のカメラ、あるいはセンサとの組み合わせであってもよい。例えば、ステレオカメラを複数配置し、UAV10の全周囲を撮影対象とする構成でもよい。あるいは、特定の方向はカメラで撮影しつつ、別の方向はセンサを用いて探査する方法でもよい。これにより、UAV10の進行方向だけでなく、上方・下方・後方の障害物を検出し、UAV10の衝突可能性をより低減させることができるというメリットがある。
また、記録部107はUAV10に付随するとして説明してきたが、記録部107の一部あるいは全部はUAV10と異なる場所(例えば地上)に存在し、これらの間は例えば無線通信などにより接続されているという構成でもよい。これにより、記録部107の容量に関する制約が緩和されたり、あるいは図示しない他の装置(例えばPC)からも書き換え可能とすることにより、ルートを動的に変更したり、追加したりすることが可能となり、システム運用の柔軟性を向上させることができるというメリットがある。
また、UAV10はGPS受信部104およびIMU105を有する構成として説明してきたが、これらの一部機能、あるいは全部を点検用カメラ101および障害物検知用カメラ102を画像解析して得られる情報で代替する構成であってもよい。例えば、GPSによる自己位置推定の一部あるいは全部をVisual SLAM等の別の自己位置推定方式により代替あるいは併用してもよい。これにより、例えば見通しの悪い箇所で点検を行うような場合で電波状況がよくなくても、トラッキング動作や周回動作の位置誤差を低減させることが可能であり、UAV10の衝突や墜落等の危険ポテンシャルを低減させることができるというメリットがある。
また、信号処理部103において点検対象検出部1031と障害物検出部1032は別の構成要素として説明したが、これらは単一の構成要素であってもよい。この場合には、例えば単一の演算装置を時分割で使い分け、点検対象検出処理と障害物検出処理の両方を実施する構成であってもよい。これにより、構成点数を減らすことができ、UAV10の軽量化、飛行時間の延長などのメリットがある。
また、上記実施例では点検対象物の周囲を周回飛行する点検モードが存在する例を示したが、点検モードは必須ではなく、トラッキングモードのみを有する構成でもよい。これにより、障害物回避動作との組み合わせパターンを減らすことができ、演算の高速化、およびこれに伴うフィードバック制御の時定数低減による飛行の安定化、さらに演算装置をより簡易にすることによりUAV10の軽量化が可能であるというメリットがある。
本実施例により、点検対象および周辺の障害物を認識し、点検対象との相対位置を算出して、所定の位置関係を保持するよう制御することにより、厳密な自己位置推定やルート設定を必要とせず、大まかなウェイポイント指示だけで、ルート上の障害物を回避しながら、点検対象をフレームアウトすることなく撮影し続けることができるという効果を得ることができる。
実施例1では、点検用カメラの撮影範囲がUAVに対して固定された構成を例示した。本実施例2では、点検用カメラの撮影範囲を変更可能とする構成と動作について、図7、図8を用いて説明する。
図7は、実施例2のUAVの構成を示す構成図である。図7に示すUAV20は、点検に供される飛行体であり、点検用カメラ201、障害物検知用カメラ102、信号処理部103、GPS受信部104、IMU105、制御部106、記録部107、雲台208、ズーム制御部209を有してなる。
点検用カメラ201は、雲台208に取り付けられており、点検対象の外観画像を取得するカメラである。取得された外観画像は後段の信号処理部103へ送られる。
制御部206は、記録部107に対して読み取り操作を行い、所定のルート情報を読み出し、GPS受信部104から入力される現在位置情報を照合し、次の時間ステップにおけるUAV20の進路を決定する。また、信号処理部103から入力される外観画像および距離情報、GPS受信部104から入力される緯度、経度、高度情報、IMU105から入力されるジャイロ、加速度計、コンパスの信号情報、後述する記録部107から入力される経路情報を元に、UAV20が安定するよう姿勢制御を行うと同時に、図示しない複数の推力発生用モータへ印加する電圧のバランスを制御することにより、UAV20が所望の方向へ移動するよう制御する。また、信号処理部103から入力される外観画像および距離情報をもとに、雲台208およびズーム制御部209の動作を制御する。
雲台208は、UAV20に取り付けられ、点検用カメラ201を搭載する台座である。制御部106からの制御により、点検用カメラ201の向き(パン角、チルト角)を設定する。
ズーム制御部209は、点検用カメラ201のレンズ部分に取り付けられ、制御部206からの制御により、点検用カメラ201のズーム倍率を設定する。
本実施例の動作について、以下説明する。
本実施例に示すのは、UAVを用いて電線、電柱、およびこれらに付属する配電設備を点検する方式についてである。ただし、点検用カメラ201がUAV20に固定角度で取り付けられているのではなく、点検用カメラ201が雲台208の上に取り付けられており、さらに点検用カメラのレンズ部分にズーム制御部209が取り付けられており、さらに雲台208およびズーム制御部209が制御部206から制御できるように接続されている点が実施例1と異なる。
本実施例に示すのは、UAVを用いて電線、電柱、およびこれらに付属する配電設備を点検する方式についてである。ただし、点検用カメラ201がUAV20に固定角度で取り付けられているのではなく、点検用カメラ201が雲台208の上に取り付けられており、さらに点検用カメラのレンズ部分にズーム制御部209が取り付けられており、さらに雲台208およびズーム制御部209が制御部206から制御できるように接続されている点が実施例1と異なる。
本実施例の飛行装置、飛行管理方法及びプログラムは、UAV20が備える制御部206による制御の下、障害物検知用カメラ102によって検知された障害物を回避しつつ、点検用カメラ201によって点検対象である電線、電柱、付随する配電設備を撮影し、点検用途に活用可能な映像を取得するものである。飛行にあたっては、電線を検出しつつ、これに沿って飛行させることを特徴とする。
本実施例においては、電柱や配電設備が検出されるまで電線に沿って飛行する動作モード(トラッキングモード)、および電柱や配電設備を重点的に点検する動作モード(点検モード)の2つの動作モードが存在する。点検モードにおいては、例えば当該点検対象の周囲を、点検用に別途作成した周回軌道に沿って飛行し、点検対象の全周囲画像を得るように制御される。
本実施例における設備点検の方法について、図8のフローチャートを用いて説明する。図8の処理手順は、UAV20が離陸し、最初に電線を検出したときに開始する。
まず、制御部206は、IMU105よりジャイロ、加速度計、コンパスの信号を受信し(ステップS201)、姿勢制御処理によりUAV20がホバリングするために必要な推力発生用モータへの印加電圧をそれぞれ算出する(ステップS202)。次いで制御部206は、GPS受信部104より緯度、経度、高度情報を受信し(ステップS203)、自己位置把握処理により現在の機体の位置を算出する(ステップS204)。ここで自己位置把握とは、得られた生の緯度、経度、高度情報をカルマンフィルタ等により適切にフィルタリングすることにより、GPS信号が本来持っている誤差要因や不確実性を除去するための処理を指す。
次いで、制御部206は、現在の動作モードが何であるかの分岐処理(ステップS205)により、動作モードに応じた分岐が発生する。動作モードがトラッキングモードであった場合には、制御部206は、記録部107に記録されているルート情報を読み出し、ステップS204にて算出した自己位置と照合することにより、次に進むべき方向を定める(ステップS206)。
動作モードが点検モードであった場合には、制御部206は、前述の通り点検対象物を周回する周回軌道が設定されているので、この周回軌道とステップS204にて算出した自己位置とを照合することにより、次に進むべき方向を定める(ステップS207)。
次いで、前述のステップS206もしくはステップS207で定めた進路方向の障害物を検出する(ステップS208)。障害物の有無は、障害物検知用カメラ102にて取得した障害物の外観画像、および距離情報を障害物検出部1032において解析することにより判断する。ここで、障害物検知用カメラ102の光軸方向はUAV20の正面方向(進行方向と一致するように制御される)を向いて取り付けられており、角度の調節機能を持たない。したがって、例えば障害物検知用カメラ102の画角を広角に設定することにより、進行方向およびそこからずれた範囲における障害物をもれなく検出することが可能である。あるいは、障害物検知用カメラ102の角度が制御部206によって調整されるような構成でもよい。制御部206ではUAV20の進行方向と障害物検知用カメラ102の光軸方向がどのような相対関係にあるかを把握することにより、進路方向に対してどの位置に障害物があるかを算出することができる。
次いで、制御部206は、障害物の有無、および当該障害物との距離に応じて、進路の修正を行う(ステップS209)。具体的には、まず障害物までの距離が所定の閾値よりも遠い場合には、本ステップでは特段の処理を行わない。障害物までの距離が所定の閾値を下回る場合には、当該障害物を回避するようにルートの補正を行う。補正の方法は、例えば当該障害物を跨ぐように、UAV20を上昇させるように進路を修正する方式でもよいし、当該障害物の形状や種類を障害物検出部1032において検出し、その形状や種類に応じて(例えば障害物が樹木なら跨ぐように、街灯などの柱上であれば水平方向にかわすように)進路を修正する方式でもよい。
次いで、現在の動作モードが何であるかの分岐処理(ステップS210)により、動作モードに応じた分岐が発生する。動作モードがトラッキングモードであった場合には、電線検出処理が実行される(ステップS211)。電線検出処理は、点検用カメラ201と障害物検知用カメラ102から入力される画像データのいずれか、あるいは両方を、点検対象検出部1031において処理することにより実現される。検出手段は例えばエッジ検出によってもよいし、ハフ変換のような直線検知アルゴリズムによってもよいし、ディープラーニングなどの機械学習を用いた方法でもよい。電線検出により、電線が画像中のどの位置に、どの角度で写るかが判定される。
この情報を元に、制御部206は、雲台208およびズーム制御部209の設定値を調整する(ステップS212)。調整の方式は、例えば電線が画像上半分に写っていると判定された場合には、雲台208のチルト角を調整し、カメラの角度が上向きになるよう調整する。また、電線が斜めに写っているような場合には、雲台208のパン角を調整することにより、カメラと電線を正対する向きに設定する。
次いで、点検対象物検知処理が実行される(ステップS213)。点検対象物検知処理は、電線以外の点検対象物を検知する処理であり、点検用カメラ201と障害物検知用カメラ102から入力される画像データのいずれか、あるいは両方を、点検対象検出部1031において処理することにより実現される。検出手段は例えばテンプレートマッチングによってもよいし、弱識別器を直列に並べたカスケード識別器によってもよいし、ディープラーニングなどの機械学習を用いた方法でもよい。
次いで、点検物検知処理の結果を用い、点検対象物の有無による分岐処理(ステップS214)が実行される。点検物検知処理で点検対象物が存在しないと判定された場合には、特段の処理を行わず、ステップS201に戻る。点検物検知処理で点検対象物が存在すると判定された場合には、その画像中における位置と大きさが算出される。その位置と大きさにより、点検物検知処理で検知された点検対象物がUAV20のどの方向に、どの程度の距離にあるかが推定できる。当該対象物が所定の閾値よりも近いと判定された場合には、これらの情報を元に、当該対象物の周囲を回る周回軌道(点検ルート)を設定する。次いで、現在位置を点検ルートの始点として記憶する(ステップS216)。記憶先は記録部107でもよいし、図示していないRAMなどの一時記憶媒体でもよい。次いで、点検対象検出部1031において点検対象の大きさ・位置を判定し、当該点検対象が画像内で大きなサイズで、かつ画像中心部付近に写るよう、雲台208によりカメラのパン角及びチルト角を、同時にズーム制御部209によりズーム倍率を制御する(ステップS220)。その後、動作モードをトラッキングモードから点検モードへ遷移させ(ステップS217)、ステップS201に戻る。
一方、前述のステップS210における分岐処理において、動作モードが点検モードであった場合には、現在位置がステップS216にて記憶された点検ルートの始点と一致、あるいは十分近いと判定(ステップS218;YES)された場合に、動作モードをトラッキングモードから点検モードへ遷移させ(ステップS219)、ステップS201に戻る。点検ルートの始点でなければ(ステップS218;NO)、点検対象検出部1031において点検対象の大きさ・位置を判定し、当該点検対象が画像内で大きなサイズで、かつ画像中心部付近に写るよう、雲台208によりカメラのパン角及びチルト角を、同時にズーム制御部209によりズーム倍率を制御する(ステップS221)。その後、ステップS201に戻る。
以上、一連の動作により、UAV20が電線に沿って飛行し、電線以外の点検対象物を周回する点検ルートと電線に沿って飛行する通常ルートを自律的に切り替えながら飛行する動作を実現することが可能である。特に、記録部107に格納されているルート情報が電線や他の点検対象物に必ずしも沿っているものではなくても、点検用カメラ201により得られた画像を解析することにより点検対象物に沿った飛行が可能であり、かつ雲台208およびズーム制御部209の連動動作により、点検対象物の拡大画像を安定的に得ることができる点が本実施例の大きな優位点である。
以上、図7から図8を用いて本実施例について説明してきたが、本実施例は上記の構成に限定されるものではない。例えば、点検用カメラ201と障害物検知用カメラ102は別のカメラとして説明してきたが、両方の機能を兼ね備える単一のカメラによって構成されてもよい。これにより、例えばUAV20の総重量が軽減され、飛行時間の延長などのメリットがある。
また、点検用カメラ201は、それ自身が距離計測機能を有するカメラ(例えばステレオカメラやTOFカメラ等)であってもよい。これにより、点検用カメラ201で得られた電線画像から電線までの距離や電線との相対的な角度の情報をより正確に求めることができ、電線トラッキング動作の精度を向上させることができるというメリットがある。
また、点検用カメラ201は、他に距離センサ(例えば超音波センサ、レーダー等)を備えていてもよい。これにより、点検用カメラ201で得られた電線画像から電線までの距離や電線との相対的な角度の情報をより正確に求めることができ、電線トラッキング動作の精度を向上させることができるというメリットがある。
また、障害物検知用カメラ102は実施例ではステレオカメラとして説明したが、他の方式、例えばTOFカメラや、カメラと他の距離センサ(例えば超音波センサ、レーダー等)の組み合わせによって距離情報を得る構成であってもよいし、これらのうち複数を備える構成であってもよい。これにより、UAV20の進行方向だけでなく、上方・下方・後方の障害物を検出し、UAV20の衝突可能性をより低減させることができるというメリットがある。
また、障害物検知用カメラ102は、映像解析により距離情報を得る方式、例えばディープラーニングによる距離推定方式や、時間差をおいて撮影した複数の画像の変化から周辺物体との距離を推定する方式(Visual SLAMやSfM(Structure from Motion))等の方式であってもよい。これにより、ステレオカメラを単眼カメラで代替することができ、例えば超広角カメラを採用し周囲の障害物を広く検知することができるようになる等のメリットがある。
また、障害物検知用カメラ102は単一のステレオカメラとして説明したが、障害物検知用カメラ102は複数のカメラ、あるいはセンサとの組み合わせであってもよい。例えば、ステレオカメラを複数配置し、UAV20の全周囲を撮影対象とする構成でもよい。あるいは、特定の方向はカメラで撮影しつつ、別の方向はセンサを用いて探査する方法でもよい。これにより、UAV20の進行方向だけでなく、上方・下方・後方の障害物を検出し、UAV20の衝突可能性をより低減させることができるというメリットがある。
また、記録部107はUAV20に付随するとして説明してきたが、記録部107の一部あるいは全部はUAV20と異なる場所(例えば地上)に存在し、これらの間は例えば無線通信などにより接続されているという構成でもよい。これにより、記録部107の容量に関する制約が緩和されたり、あるいは図示しない他の装置(例えばPC)からも書き換え可能とすることにより、ルートを動的に変更したり、追加したりすることが可能となり、システム運用の柔軟性を向上させることができるというメリットがある。
また、UAV20はGPS受信部104およびIMU105を有する構成として説明してきたが、これらの一部機能、あるいは全部を点検用カメラ201および障害物検知用カメラ102を画像解析して得られる情報で代替する構成であってもよい。例えば、GPSによる自己位置推定の一部あるいは全部をVisual SLAM等の別の自己位置推定方式により代替あるいは併用してもよい。これにより、例えば見通しの悪い箇所で点検を行うような場合で電波状況がよくなくても、トラッキング動作や周回動作の位置誤差を低減させることが可能であり、UAV20の衝突や墜落等の危険ポテンシャルを低減させることができるというメリットがある。
また、信号処理部103において点検対象検出部1031と障害物検出部1032は別の構成要素として説明したが、これらは単一の構成要素であってもよい。この場合には、例えば単一の演算装置を時分割で使い分け、点検対象検出処理と障害物検出処理の両方を実施する構成であってもよい。これにより、構成点数を減らすことができ、UAV20の軽量化、飛行時間の延長などのメリットがある。
また、上記実施例では点検対象物の周囲を周回飛行する点検モードが存在する例を示したが、点検モードは必須ではなく、トラッキングモードのみを有する構成でもよい。これにより、障害物回避動作との組み合わせパターンを減らすことができ、演算の高速化、およびこれに伴うフィードバック制御の時定数低減による飛行の安定化、さらに演算装置をより簡易にすることによりUAV20の軽量化が可能であるというメリットがある。
また、本実施例では電線や点検対象物を検出し撮影する際に、雲台208およびズーム制御部209を制御し、UAV20のルートに関しては電線・点検対象物の検出結果による修正は行わない例を示したが、本発明は本実施例に限定されるものではない。例えば、実施例1で示したルート修正の考え方と、実施例2で示したパン・チルト・ズームを調整するという考え方は排他的なものではなく、双方を実現するようなシステムとしてもよい。これにより、本実施例のメリットである点検対象物の拡大映像が得られるという点と、ルート変更により撮影に適した角度でUAV20の姿勢を設定できるという双方のメリットを併せ持つシステムを構成することができる。
本実施例により、点検対象および周辺の障害物を認識し、点検対象との相対位置を算出して、所定の位置関係を保持するよう制御することにより、厳密な自己位置推定やルート設定を必要とせず、大まかなウェイポイント指示だけで、ルート上の障害物を回避しながら、点検対象をフレームアウトすることなく撮影し続けることができるという効果を得ることができる。
以上、説明したように、厳密な自己位置推定やルート設定を必要とせず、大まかなウェイポイント指示だけで、ルート上の障害物を回避しながら、点検対象をフレームアウトすることなく撮影し続けることができる。
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
例えば、上記の各実施例では、飛行経路情報としてのルート情報を記録部107に格納する構成を例示して説明を行ったが、飛行経路情報は、飛行装置と離れたサーバなどの制御装置から通信手段によって伝送されてもよい。
また、上記の各実施例では、延在する延在対象物として電線を例示し、延在対象物の中継機能を有する点検対象物(中継対象物)として電柱などを例示したが、本発明はこれに限定されるものではない。例えば、電車の架線、モノレール、ケーブルカー、索道などに適用可能である。ここで、索道には、ロープウェイ、ゴンドラリフト、スキー場のリフトなどが含まれる。
また、上記の実施例では、延在対象物をトラッキングに用い、中継対象物の周囲を周回する場合を例示したが、例えば延在対象物に異常を検知したならば、異常を検知した箇所を中心として延在対象物の周囲を周回してもよい。
また、延在対象物や中継対象物の点検に加え、ウェイポイントの点検に用いることもできる。すなわち、延在対象物に沿って飛行中に、ウェイポイントの方向と飛行方向の差分を記録することで、ウェイポイントの位置が適正であるか否かを判定するのである。
また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
10・・・・・UAV
101・・・・・点検用カメラ
102・・・・・障害物検知用カメラ
103・・・・・信号処理部
1031・・・・・点検対象検出部
1032・・・・・障害物検出部
104・・・・・GPS受信部
105・・・・・IMU
106・・・・・制御部
107・・・・・記録部
20・・・・・UAV
201・・・・・点検用カメラ
206・・・・・制御部
208・・・・・雲台
209・・・・・ズーム制御部
101・・・・・点検用カメラ
102・・・・・障害物検知用カメラ
103・・・・・信号処理部
1031・・・・・点検対象検出部
1032・・・・・障害物検出部
104・・・・・GPS受信部
105・・・・・IMU
106・・・・・制御部
107・・・・・記録部
20・・・・・UAV
201・・・・・点検用カメラ
206・・・・・制御部
208・・・・・雲台
209・・・・・ズーム制御部
Claims (14)
- 所定の点検対象物を空中で撮影する飛行装置であって、
該飛行装置自体の周囲を撮影する1又は複数のカメラと、
前記カメラからの映像を解析して前記点検対象物を検出する第1の画像処理部と、
前記カメラからの映像を解析して飛行を阻害する障害物を検出する第2の画像処理部と、
指定された飛行経路情報、前記点検対象物の検出結果及び前記障害物の検出結果に応じて飛行経路を動的に決定し、決定した飛行経路に沿って前記飛行装置の飛行を制御する制御部と
を備えることを特徴とする飛行装置。 - 前記制御部は、延在する点検対象物である延在対象物に沿って飛行経路を設定することを特徴とする請求項1記載の飛行装置。
- 前記制御部は、電線を前記延在対象物として用いることを特徴とする請求項2記載の飛行装置。
- 前記制御部は、前記延在対象物の中継機能を有する点検対象物である中継対象物を検知した場合に、前記中継対象物の周囲を周回する飛行経路を設定することを特徴とする請求項2記載の飛行装置。
- 前記制御部は、前記延在対象物からの距離を維持しつつ前記飛行経路情報により指定された地点に接近する飛行経路を設定することを特徴とする請求項2記載の飛行装置。
- 前記制御部は、前記障害物と所定の離隔を保つよう飛行経路を設定することを特徴とする請求項1記載の飛行装置。
- 前記制御部は、前記障害物に係る飛行経路の設定を前記点検対象物に係る飛行経路の設定に対して優先することを特徴とする請求項1記載の飛行装置。
- 前記飛行装置の進行方向に直交する方向を撮影可能な第1のカメラと、
前記飛行装置の進行方向を少なくとも撮像する第2のカメラと、を備え、
前記第1の画像処理部は、前記第1のカメラからの映像を解析して前記点検対象物を検出し、
前記第2の画像処理部は、前記第2のカメラからの映像を解析して前記障害物を検出する
ことを特徴とする請求項1記載の飛行装置。 - 前記第1のカメラおよび前記第2のカメラのうち少なくとも1つは対象物までの距離を測定する機能を有することを特徴とする請求項8記載の飛行装置。
- 前記飛行経路情報は、前記飛行装置と離れた制御装置から通信手段によって伝送されることを特徴とする請求項1記載の飛行装置。
- 前記制御部が飛行の制御に用いる位置情報を、GPS(Global Positioning System)を用いて取得することを特徴とする請求項1記載の飛行装置。
- 前記制御部が飛行の制御に用いる位置情報を、前記1又は複数のカメラからの映像を解析することにより算出することを特徴とする請求項1記載の飛行装置。
- 所定の点検対象物を空中で撮影する飛行装置を制御する飛行制御方法であって、
前記飛行装置が具備する1又は複数のカメラからの映像を解析して前記点検対象物を検出する第1の画像処理ステップと、
前記飛行装置が具備する前記1又は複数のカメラからの映像を解析して飛行を阻害する障害物を検出する第2の画像処理ステップと、
指定された飛行経路情報、前記点検対象物の検出結果及び前記障害物の検出結果に応じて飛行経路を動的に決定し、決定した飛行経路に沿って前記飛行装置の飛行を制御する飛行制御ステップと
を含むことを特徴とする飛行制御方法。 - コンピュータに所定の点検対象物を空中で撮影する飛行装置を制御させるプログラムであって、
前記飛行装置が具備する1又は複数のカメラからの映像を解析して前記点検対象物を検出する第1の画像処理プロセスと、
前記飛行装置が具備する前記1又は複数のカメラからの映像を解析して飛行を阻害する障害物を検出する第2の画像処理プロセスと、
指定された飛行経路情報、前記点検対象物の検出結果及び前記障害物の検出結果に応じて飛行経路を動的に決定し、決定した飛行経路に沿って前記飛行装置の飛行を制御する飛行制御プロセスと
をコンピュータに実行させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022032699A JP2023128381A (ja) | 2022-03-03 | 2022-03-03 | 飛行装置、飛行制御方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022032699A JP2023128381A (ja) | 2022-03-03 | 2022-03-03 | 飛行装置、飛行制御方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023128381A true JP2023128381A (ja) | 2023-09-14 |
Family
ID=87973173
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022032699A Pending JP2023128381A (ja) | 2022-03-03 | 2022-03-03 | 飛行装置、飛行制御方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023128381A (ja) |
-
2022
- 2022-03-03 JP JP2022032699A patent/JP2023128381A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210065400A1 (en) | Selective processing of sensor data | |
US20220124303A1 (en) | Methods and systems for selective sensor fusion | |
CN109478068B (zh) | 动态地控制运载工具的方法、装置和存储介质 | |
US20180032042A1 (en) | System And Method Of Dynamically Controlling Parameters For Processing Sensor Output Data | |
EP2895819B1 (en) | Sensor fusion | |
US9070289B2 (en) | System and method for detecting, tracking and estimating the speed of vehicles from a mobile platform | |
CN110268356B (zh) | 前导无人机的*** | |
US20190243376A1 (en) | Actively Complementing Exposure Settings for Autonomous Navigation | |
Nieuwenhuisen et al. | Obstacle detection and navigation planning for autonomous micro aerial vehicles | |
US11148804B2 (en) | System and method for tracking targets | |
WO2017168423A1 (en) | System and method for autonomous guidance of vehicles | |
Beul et al. | A high-performance MAV for autonomous navigation in complex 3D environments | |
US11598878B2 (en) | Vision-cued random-access lidar system and method for localization and navigation | |
JP2017182690A (ja) | 自律移動ロボット | |
JP2016181178A (ja) | 自律移動ロボット | |
CN110997488A (zh) | 动态控制用于处理传感器输出数据的参数的***和方法 | |
Klavins et al. | Unmanned aerial vehicle movement trajectory detection in open environment | |
JP7351609B2 (ja) | 経路探索装置及びプログラム | |
JP2023128381A (ja) | 飛行装置、飛行制御方法及びプログラム | |
JP7130409B2 (ja) | 管制装置 | |
JP7176068B1 (ja) | 飛行制御システム、飛行制御方法、及び無人飛行体 | |
WO2021140916A1 (ja) | 移動体、情報処理装置、情報処理方法、及びプログラム | |
KR20230013875A (ko) | 피사체 추적 촬영제어장치, 드론 및 그것의 동작 방법 | |
KR20220031574A (ko) | 3차원 측위 및 지도작성 시스템 및 방법 | |
Zhou et al. | On-board sensors-based indoor navigation techniques of micro aerial vehicle |