JP6719738B2 - 自律移動撮影制御システムおよび自律移動体 - Google Patents

Description

本発明は、カメラを搭載した自律移動体の移動制御と撮影制御とを行う自律移動撮影制御システムおよび自律移動体に関する。

従来、人が立ち入ることが困難な高所の設備や広大な設備の微細なキズの点検などに使用する画像は、ヘリコプターにカメラマンを搭乗させ、高精細なハイビジョンカメラをカメラマンがマニュアル操作して撮影されてきた。しかし、このような撮影方法には、費用が高額であること、ヘリコプターの台数が限られていること、準備から撮影まで時間がかかること、天候に工程が左右されることなどにより撮影できる箇所が限られるという課題があった。そのため、近年、カメラを搭載した自律航行可能な無人航空機、所謂ドローンを用いて、遠隔操作または自動で撮影を行う試みがなされている。

例えば、ドローンを予め設定された飛行経路上の地点を示すウェイポイントなどの航行制御情報に基づいて自動航行させつつ、撮影制御情報に基づいてカメラを制御して撮影する方法（特許文献１参照）や、観測経路情報と設備情報に基づいて無人飛行機の飛行経路および無人飛行機を運搬する台車の経路を算出する方法（特許文献２参照）が提案されている。また、無人航空機に搭載された複数のセンサデータに基づいて環境タイプを判断し、その環境タイプに応じた飛行モードにて無人航空機を動作させるよう構成する方法（特許文献３参照）も提案されている。

また、従来の無人航空機自動航行システムでは、予め離陸地点、経由地点および着陸地点などのウェイポイントを利用者が指定して航行制御情報を作成し、その航行制御情報に従って無人航空機を飛行させている。そのため、目視外での自動航行では、未知の障害物、強風などの飛行環境変化、更に撮影対象物の状態変化など、航行制御情報作成時には想定されていない事象が発生する劣環境では、自動での正常な航行および撮影は困難である。

それでもやむを得ず目視外で航行させる場合は、飛行経路周辺に劣環境の影響が十分に小さい空間があるかを予め確認するか、飛行環境の変化や撮影対象物の状態変化が生じても接触しないように、設備に対して十分な離隔距離を取るなどして航行制御情報を作成する必要がある。しかし、高解像度の画像を取得するにはできる限り撮影対象物に接近することが有効であるため、離隔距離を大きく取り過ぎると、撮影対象物を高精細に撮影することはより困難になる。

そのため、目視外で安全飛行を維持しつつ高解像度の映像を撮影する１つの方法としては、上記のように十分な離隔距離を確保する代わりに、無人航空機に取り付けた測距センサやカメラが異常を検知した時に自律的に退避動作を行う処理を組み込むことが考えられる。すなわち、無人航空機に各種センサやカメラを複数搭載し、最小限の離脱と最大限の接近とを両立させる、検知技術、画像処理技術、および飛行制御技術が一体的に組み上げられた総合型自律制御システムが考えられる。

特開２０１７−０７８５７５号公報 特開２０１７−１２０５３８号公報 特表２０１７−５０１４７５号公報

しかしながら、それら各種先進的・革新的技術は各専門分野に精通した開発者によって技術の進展とともにそれぞれ個別に修正・改良がなされ続けるが、その修正・改良を総合型自律制御システムに反映させるためには、複数の技術が一体的に組み上げられていることから、都度、システム全体を一体的に再開発しなければならないという課題がある。

また、撮影対象物が、送電線・架空地線のように背景と距離がある細い物体である場合、接触回避のために十分な離隔距離を取って飛行する不安定なドローンなどに搭載されたカメラから、カメラのオートフォーカス（ＡＦ）機能のみで正確に撮影対象物に焦点を合わせ続けることは困難であるという課題がある。

本発明は、このような事情に鑑みてなされたもので、その目的とするところは、カメラを搭載した自律移動体において、撮影対象設備の形状情報、各測位部および各種センサの出力情報、ならびに各制御部の指令に基づき、自律移動体の位置制御とカメラのＡＦ制御とを統合することで所定の撮影対象物を自律的に高精細かつ安全に撮影する自律移動撮影制御システムおよび自律移動体を提供することにある。

上記の課題を解決するために、本発明の一実施態様では、カメラを搭載し、駆動部を有して自律的に移動可能な自律移動体であって、電力設備の送電線・架空地線に沿って移動しながら当該送電線・架空地線を撮影する自律移動体において、前記送電線・架空地線を含む撮影対象物の形状情報および撮影場所の位置情報を含む対象設備情報を予め記憶する設備情報記憶部と、前記自律移動体の姿勢と方位を計測するＩＭＵ（慣性測定ユニット：Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）部と、前記自律移動体の水平方向および鉛直方向の位置を測位する衛星測位センサと、前記自律移動体の鉛直方向の位置を測位する高度計測センサと、前記自律移動体周囲の障害物との離隔を計測する障害物計測センサと、前記自律移動体と前記自律移動体周囲の前記送電線・架空地線との相対距離および相対角度を計測する測距センサと、前記送電線・架空地線からの電磁界を計測する電磁界センサと、前記カメラで撮影した画像を解析する画像解析部であって、前記カメラで撮影した複数の画像を連結して前記送電線・架空地線全体の画像を合成する画像解析部と、飛行状況に応じた複数の指令を統合した統合指令に基づき前記自律移動体の位置および姿勢を制御する制御部であって、ａ）前記ＩＭＵ部から取得した方位の情報、前記衛星測位センサおよび前記高度計測センサから取得した前記水平方向の位置および前記鉛直方向の位置を含む自位置情報から前記送電線・架空地線の位置情報が示す撮影開始位置までの経路を生成し、前記経路に沿って前記撮影開始位置まで移動するための経路追従指令と、前記障害物計測センサにより前記自律移動体と前記自律移動体周囲の障害物との離隔距離が所定の離隔距離よりも短くなった場合に前記自律移動体が前記自律移動体周囲の障害物から遠ざかる接近回避制御指令とを統合した統合指令、ｂ）前記衛星測位センサによる自位置情報によらず、前記測距センサから計測される相対距離に基づいて、前記送電線・架空地線の前記撮影開始位置まで接近する特徴接近制御指令と、前記電磁界センサで所定値以上の値を計測した場合、前記送電線・架空地線から遠ざかる電磁界回避制御指令とを統合した統合指令、および、ｃ）前記衛星測位センサによる自位置情報によらず、前記測距センサから計測される相対距離に基づいて、前記送電線・架空地線に接近する接近追従制御指令と、前記画像解析部により生成された、前記カメラで撮影した画像から、前記自律移動体と前記撮影対象物との相対角度を補正する指令と、前記カメラで撮影した画像から検知した異常箇所の撮影位置に移動する指令のうち、複数の指令を統合した統合指令に基づき前記自律移動体の位置および姿勢を制御する制御部と、前記相対距離に基づき前記カメラの焦点を調整して前記撮影対象物を撮影するカメラ制御部とを備えたことを特徴とする。

また、別の態様では、前記制御部は、前記電磁界センサで所定値以上の値を計測した場合、前記自位置情報が示す自位置に最も近い電磁界発生源の位置を前記対象設備情報から特定し、前記磁界発生源から遠ざかる電磁界回避制指令をさらに生成することを特徴とする。

また、別の態様では、前記カメラ制御部は、前記電磁界センサで所定値以上の値を計測した場合、前記電磁界回避制御指令による前記自律移動体に追従して前記カメラのズーム倍率を調整し、前記画像解析部は、追従速度を調整するための撮影制御出力を前記制御部に出力し、前記カメラ制御部は、前記電磁界センサの値が所定値以下となる位置で撮影を継続することを特徴とする。

また、別の態様では、前記画像解析部は、前記送電線・架空地線の画像のフレーム各辺に対する傾き角度を算出し、前記傾き角度に基づき前記自律移動体と前記送電線・架空地線との相対角度を補正する撮影制御出力を前記制御部に出力することを特徴とする。

また、別の態様では、前記制御部が生成する各前記指令は、速度ベクトルであり、前記統合指令は、前記速度ベクトルを合成したものであることを特徴とする。

本発明は、カメラを搭載した自律移動体において、撮影対象設備の形状情報、各測位部および各種センサの出力情報、ならびに各制御部の指令に基づき、自律移動体の位置制御とカメラのＡＦ制御とを統合することで所定の撮影対象物の高精細かつ安全な画像取得を可能にする。

本発明の一実施形態に係る自律移動撮影制御システムの機能構成図である。 本実施形態に係る自律移動撮影制御システムが実装された自律移動体が使用される環境を示す図である。 本発明の一実施形態に係る自律移動撮影制御システムの制御部が実装されるハードウェア構成を示す図である。 本発明の一実施形態に係る自律移動撮影制御システムの指令手続きの概要を示す図である。 本発明の一実施形態に係る自律移動撮影制御システムにおいてステップ１で使用する制御則を示す図である。 （ａ）は、本発明の一実施形態に係る自律移動撮影制御システムの高速位置制御出力と接近回避制御出力とを統合して速度制御指令を生成する例を示す図であり、（ｂ）は、本発明の一実施形態に係る自律移動撮影制御システムのステップ１における離陸から測距センサにより撮影対象物を検知できる撮影対象物までの移動過程を示す図である。 本発明の一実施形態に係る自律移動撮影制御システムにおいてステップ２で使用する制御則を示す図である。 （ａ）は、本発明の一実施形態に係る自律移動撮影制御システムの特徴接近制御出力と電磁界回避制御出力とを統合して速度制御指令を生成する例を示す図であり、（ｂ）は、本発明の一実施形態に係る自律移動撮影制御システムのステップ２における撮影開始位置までの移動過程を示す図である。 本発明の一実施形態に係る自律移動撮影制御システムにおいてステップ３で使用する制御則を示す図である。 （ａ）は、本発明の一実施形態に係る自律移動撮影制御システムの接近追従制御出力と撮影制御出力とを統合して速度制御指令を生成する例を示す図であり、（ｂ）は、本発明の一実施形態に係る自律移動撮影制御システムのステップ３における画像連結および異常検知の過程を示す図である。 本発明の一実施形態に係る自律移動撮影制御システムにおいてステップ３ａで使用する制御則を示す図である。 （ａ）は、本発明の一実施形態に係る自律移動撮影制御システムの異常検知時の接近追従制御出力と撮影制御出力とを統合して速度制御指令を生成する例を示し、（ｂ）は、本発明の一実施形態に係る自律移動撮影制御システムのステップ３ａにおける異常検知箇所の過程を示す図である。 本発明の一実施形態に係る自律移動撮影制御システムにおいてステップ３ｂで使用する制御則を示す図である。 （ａ）は、本発明の一実施形態に係る自律移動撮影制御システムの特徴接近制御出力と電磁界回避制御出力とを統合して速度制御指令を生成する例を示す図であり、（ｂ）は、本発明の一実施形態に係る自律移動撮影制御システムのステップ３ｂの一例を示し、送電鉄塔間にて上部の地絡線の撮影を完了し、新たな撮影対象物である本線に接近した場合の動作例を示す図である。 本発明の一実施形態に係る自律移動撮影制御システムにおいてステップ３ｃで使用する制御則を示す図である。 本発明の一実施形態に係る自律移動撮影制御システムのステップ３ｃにおける固定設備点検時の様子を示す図である。 本発明の一実施形態に係る自律移動撮影制御システムにおいてステップ４で使用する制御則を示す図である。 本発明の一実施形態に係る自律移動撮影制御システムのステップ４における撮影位置から着陸までの移動過程を示す図である。

撮影対象物の多くは設置場所や形状、特徴などが分かる高精度な形状情報が予め存在しており、場合によっては対象設備の管理者がセンサやカメラで判断しやすいように目印を任意に取り付けてられている場合もある。そこで、自律移動体に点検対象物の位置情報および形状情報を含む対象設備情報を予め記憶させ、その対象設備情報とセンサおよびカメラからの情報とを組み合わせることにより移動し、撮影する、自律移動撮影制御システムを考案する。

本発明は、上記自律移動撮影制御システムを実現するために、高速移動に重点を置いた高速位置制御則、高精度飛行に重点を置いた高精度位置制御則、撮影対象物との距離を計測し接近する特徴接近制御則、撮影対象位置との距離を一定に保ちながら移動する接近追従制御則、未知の障害物を検知し回避する接近回避制御則、自律移動体の移動に影響する電磁界をセンサにて検知し、対象設備情報から発生源を特定して回避する電磁界回避制御則と、それら各制御則に基づく制御出力を統合する指令統合部とを備える。また、カメラで撮影した画像を解析して、撮影対象物全体を撮影できたか否か、撮影された画像を過去の画像など基準となる画像と比較し、異常を検出する画像解析部を備える。これら各種制御則、指令統合部および画像解析部はプログラムとして記憶媒体に記録され、実行されることでそれらの機能を実現される。

（１）既知情報とセンサ、カメラ情報を複合的に組み合わせた各種制御則
無人航空機などの自律移動体に搭載したカメラよって撮影対象物を撮影する場合、同じ位置を同じ方向から定期的に撮影することも多く、同じ種別の撮影対象物であれば形状の差異があろうとも撮影する目的からその手順は類似してくる。よって、地図情報、対象物情報などの撮影に関する既知の情報、センサ、カメラからの情報を整えることにより、自位置と対象物との位置関係を認識できるため、移動制御情報を予め決めた撮影手順および制御則に基づき各種制御手順を自動生成することが可能である。

また、移動制御情報を用いない場合も、センサやカメラからの情報に基づき回避動作、接近動作、撮影動作を行うため、自律移動体が処理可能とすることにより安全かつ高品質な情報が得られる自律的な撮影制御を導入することができる。

（２）各種制御則の分散化・カプセル化による平行導入と指令統合部の採用
自律移動体に付与すべき機能に応じて、制御則を個別に構成することにより、各機能を実現するために使用するセンサやカメラからの情報や設備情報、周辺情報を無駄なくかつ最大限に利用することが可能となる。

仮に統合型自律制御則として複数の制御則を一体的に組み上げた場合、各情報の形式や更新周期やタイミングが一致していないため、自律飛行の手続きに応じて各情報を選別したり、重みづけしたり、推定したり、同期調整したりする大がかりなフィルタが別途必要となるが、分散化してカプセル化することによりフィルタを制御則に内包化でき、フィルタの無駄を省くことにもなる。そして各航行制御則の指令を速度ベクトルなどに統一すれば、異なる技術により得られた各指令を同調せずに統合することが可能となる。また、各制御則は各技術に精通した開発者が個別に修正、改良できるようになるため、常に最新技術が採用された自律高速移動性能を得ることが可能となる。

また、全てを一体的に構築した統合型自律制御の処理周期は、最も処理に時間がかかる画像処理などの計算時間に支配されてしまう。しかし、本発明では、制御則毎の処理を分散化・カプセル化することで、安全航行制御則などの各制御則の処理が速いものは処理周期を短くして高速・高頻度に処理し、自律高速移動の信頼性を高めることができる。

以下、本発明の実施の形態について、詳細に説明する。

図１に、本発明の一実施形態に係る自律移動撮影制御システムの機能構成図を示す。また、図２に、本実施形態に係る自律移動撮影制御システムが実装された自律移動体が使用される環境を示す。本実施形態に係る自律移動撮影制御システムは、無人航空機１００などの自律移動体およびそこに搭載されるカメラ５の制御を行い、未知の障害物３００を避けながら、点検を行う対象設備２００の所定の部分（撮影対象物）の撮影を行うことができる。

本発明の一実施形態に係る自律移動撮影制御システムは、点検を行う撮影対象物の基準点の緯度、経度、標高情報、およびＣＡＤデータなどの詳細な形状情報を含む対象設備情報１と、移動状態を把握するために用いる各種センサを含むセンサ部２と、各種制御則に基づき指令値を演算する制御部３と、無人航空機１００に搭載されたモータの駆動制御を行うモータ駆動部４と、カメラ５とを備えている。

センサ部２は、方位と加速度を計測するＩＭＵ（慣性測定ユニット：Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）部２１、衛星測位部２２、高度を計測する気圧センサ２３、高度ＬＩＤＡＲ（光検出と測距：ＬＩｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）部２４、撮影対象物との相対距離と相対角度を計測する測距センサ２５、自律移動体周囲の障害物との離隔を計測する障害物ＬＩＤＡＲ部２６、赤外線センサ２７、超音波センサ２８、電磁界を計測する電磁界センサ２９を含む。なお、センサの種類はこれに限定されるものではなく、求められる位置制御の精度や使用環境に応じて必要なセンサを選択ないし追加すればよい。

制御部３は、独立した各種制御則、すなわち姿勢制御３１、速度制御３２、高速位置制御３３、高精度位置制御３４、特徴接近制御３５、接近追従制御３６、接近回避制御３７、電磁界回避制御３８、撮影制御３９、それら制御則の指令値を集約する指令統合部４０を備えている。制御則のうち姿勢制御３１および速度制御３２については従来の無人航空機で使用されたものと同じで良い。但し、従来の位置制御では十分な精度の運航が困難であるため、本発明では新たに高速位置制御３３、高精度位置制御３４、特徴接近制御３５、接近追従制御３６、接近回避制御３７、および電磁界回避制御３８を採用する。さらに、これら複数の制御則を指令統合部４０にて統合する構成とする。また、カメラ５で撮影した画像を解析する画像解析部４１を備える。

カメラ５は、無人航空機１００に搭載されたカメラ５をパン・チルト・ズーム（ＰＴＺ）動作させるカメラ駆動部５１と、ＡＦ、絞り、ＩＳＯ感度、シャッタースピードなどの撮影パラメータを調整して映像または画像を撮影するカメラ撮影部５２とを備える。

図３に、本発明の一実施形態に係る自律移動撮影制御システムの制御部３が実装されるハードウェア構成を示す。各種制御３１〜３９、指令統合部４０、画像解析部４１は、プログラムとしてストレージ３０３に記憶され、ＣＰＵ３０２によって実行されることにより実現される。メモリ３０１は、ＲＡＭなどのメインメモリである。なお、ストレージ３０３に、対象設備情報１を記録してもよい。センサ部２、モータ駆動部４およびカメラ５とは、入出力インターフェース（Ｉ／Ｆ）３０８を介してＣＰＵ３０２と接続される。また、本発明は各制御則を分散化・カプセル化しているため、画像解析部４１の処理にＧＵＰ３０４やＤＲＡＭ３０５を用いたり、従来の姿勢制御３１、速度制御３２が組み込まれた移動体制御ユニット３０６を用いてもよい。通信部３０７は、自律制御中の無人航空機１００の情報を送信したり、衛星測位部２２の高精度化するための補足情報を受信するなどのデータの送受信を可能にするほか、必要があれば撮影した画像を外部に送信したり、外部からの指令や画像解析情報を受信することも可能である。

以下、高精細な画像で撮影することが要求される電力設備の架空地線点検を例として、マルチコプタなどの無人航空機１００の自律飛行システムを指令統合部４０で処理される手続きの実施例として示す。なお、本発明は、撮影対象物が鉄塔、ダム、ビル、橋梁、煙突などの他の大型設備などであっても、高精度情報がある構造物であれば、同様に無人航空機１００による接近撮影を可能とする。また、ここでは無人航空機１００を使用した例を示すが、無人航空機に限定されるものではなく、位置制御が可能な他の自律移動体を使用してもよい。

図４に、本発明の一実施形態に係る自律移動撮影制御システムの指令手続きの概要を示す。対象設備情報１を保持しているため、自位置およびバッテリーの残量から点検のための撮影を行う最寄りの撮影対象設備２００、続けて点検を行うその他の撮影対象設備２００、および目標とする最終的な着陸地点までの経路および手順を提案することができる。そのため、本発明では、ウェイポイント（経路上の地点情報）などの航行制御情報を人手によって設定する必要はない。

以下、指令手続きの詳細について説明する。

（ステップ１）離陸・高速移動
図５に、本発明の一実施形態に係る自律移動撮影制御システムにおいてステップ１で使用する制御則を示す。ステップ１では、姿勢制御３１および速度制御３２に加え、無人航空機１００を離陸させて撮影対象物の撮影位置まで効率的かつ高速に接近させるために、高速位置制御３３、接近回避制御３７の２つの制御則を採用する。後述のステップ２でセンサが確実に検知するエリアに無人航空機１００が侵入できれば良いが、飛行時間はバッテリー容量の制約を受けるため、飛行開始前に衛星測位部２２を使用して取得した自位置情報と対象設備情報１から取得した撮影対象設備２００の位置情報とから飛行経路を自動生成する。

ただし、無人航空機１００の離陸地点や着陸地点は法令や規則などにより飛行に都合がよい場所を設定できるとは限らないため、対象設備情報１から判断できる障害物については衝突を回避するように経路が生成される。

この飛行経路に沿って移動するよう制御しながら、同時に各センサにより検出される未知の障害物３００および電磁界を回避する制御を組み合わせる。

図６（ａ）に、本発明の一実施形態に係る自律移動撮影制御システムの高速位置制御出力と接近回避制御出力とを統合して速度制御指令を生成する例を示す。また図６（ｂ）に、本発明の一実施形態に係る自律移動撮影制御システムのステップ１における離陸から測距センサ２５により撮影対象物を検知できる撮影対象物までの移動過程を示す。高速位置制御３３と接近回避制御３７は互いに独立して指令統合部４０に指令を出力するが、それらの出力はいずれも速度ベクトルであるので、指令統合部４０にて、例えば図６（ａ）に示すように指令値を合成することで統合した速度指令を出力することができる。そのため、未知の障害物３００への衝突を回避しながら、撮影対象物周辺まで接近することができる。

図５、図６（ａ）に示すように、離陸して飛行を開始すると、主として高速位置制御３３にて衛星測位部２２または気圧センサ２３または高度ＬＩＤＡＲ部２４で高度を計測しながら上昇飛行し、衛星測位部２２にて水平位置を計測しつつ間接的に姿勢制御３１から得られる無人航空機１００の姿勢に基づいて水平飛行し、またはその組み合わせにより、予め設定した飛行手続き経路に沿って撮影対象物周辺に向かって移動する。その際、図６（ｂ）に示すように、予め設定した飛行手続き経路上に未知の障害物３００があった場合は、それを自律移動体周囲の障害物との離隔距離を計測する障害物ＬＩＤＡＲ部２６、赤外線センサ２７、超音波センサ２８で検知した場合は接近回避制御３７が未知の障害物３００から遠ざかる向きの速度ベクトルである回避指令を出力する。接近回避制御３７は、予め設定した所定の離隔距離以上を確保しながら未知の障害物３００を回避することができるように、各センサが計測した離隔距離を比例ではなくガウス関数やシグモイド関数に変換したり、速度ベクトルを水平成分と垂直成分に分解して無人航空機１００の応答性が悪い水平成分の重みをある程度大きくしてもよい。また、ステップ１は測距センサ２５が安定して撮影対象物を検知できるよう、安全に高速移動することが目的であるため、無人航空機１００が接近回避制御３７により飛行経路から外れても飛行経路に戻る必要はない。

（ステップ２）撮影開始地点移動
図７に、本発明の一実施形態に係る自律移動撮影制御システムにおいてステップ２で使用する制御則を示す。ステップ１において高速位置制御出力と接近回避制御出力の大きさが十分に小さく、かつ測位センサ２５が安定的に撮影対象物との離隔距離を計測できる位置まで無人航空機１００が接近したとき、ステップ２に移行する。ステップ２では測距センサ２５から計測される離隔距離に基づき撮影対象物の撮影位置までさらに接近する。ステップ２ではステップ３で高精細な画像を取得するために精度の高い相対位置を維持するとともに、無人航空機１００が停止することが求められる。そのため、ステップ１で用いた高速位置制御３３および接近回避制御３７に代えて、高精度位置制御３４、特徴接近制御３５、および電磁界回避制御３８を使用する。

図８（ａ）に、本発明の一実施形態に係る自律移動撮影制御システムの特徴接近制御出力と電磁界回避制御出力とを統合して速度制御指令を生成する例を示す。また図８（ｂ）に、本発明の一実施形態に係る自律移動撮影制御システムのステップ２における撮影開始位置までの移動過程を示す。

撮影時に求められる撮影対象物と無人航空機１００との位置精度は、衛星測位部２２にて得られる位置精度情報および情報出力周期では、対象設備に衝突する恐れがあるため、物体に接近するためのセンサとしては性能が不十分である。

そこで、本発明では、対象設備情報１と近距離の精密な測定が可能な測距センサ２５とを活用することで、無人航空機１００と撮影対象物との相対位置をセンチメートル以下の計測精度で、数十センチメートル以下の高精度位置制御３４を行う。特徴接近制御３５では、対象設備情報１に含まれる撮影対象物の設備情報と測距センサ２５により計測された撮影対象物の形状とを対応付けることにより、撮影対象物を特定して撮影開始位置まで誘導する。なお、図２では説明のため撮影対象物を上から撮影する想定としているが、撮影対象物の撮影方向は無人航空機１００に取り付けられた位置の制約がなければ任意の撮影開始位置を設定できる。このとき、撮影開始位置が移動経路上、撮影対象設備の一部に妨げられることがないように、ステップ１にて安全な接近開始エリアが設定されている。また別の手段として、撮影対象設備に対して未知の障害物３００が異常に接近していて無人航空機１００を迂回させたくない場合に、ステップ２にて対象設備情報１により撮影対象設備近くに移動経路を設定するのを補助してもよい。また別の手段として、撮影対象物に野鳥の巣などの未知の障害物３００も回避させたい場合に備えて接近回避制御３７を加えてもよい。

また、運用中の送電設備に接近して撮影する場合、電線付近などで強力な電磁場が発生することから、電場により無人航空機１００の電気電子回路に不具合が生じたり、磁場によりＩＭＵ部２１に内蔵されている電子コンパスが方位を見失ったりする恐れがある。そこでステップ２では、電磁界回避制御３８を導入して安全飛行を確保する。なお、電磁界センサ２９では無人航空機１００が受ける電磁界の大きさは判断できるが、発生源を特定することは困難である。しかし、電磁界センサ２９から得られる計測値に加え、自位置と対象設備情報１とに基づけば電磁界発生源を特定できる。

この電磁界発生源の特定は、電磁界回避指令の出力ベクトルを固有値と固有ベクトルから導くこととし、固有値については電磁界センサ２９から得られる計測値とし、固有ベクトルについては対象設備情報１と測距センサ２５に基づいて電磁界発生元に対して回避すべき方向を求めることで実現する。例えば、図８では無人航空機１００の下側に課電している送電線により電磁界が生じているため、電磁界の強さが所定の閾値を超えた場合に離隔距離を確保するために上方向の速度ベクトルが生成される。なお、ＩＭＵ部２１が備える電子コンパスにて磁界の大きさを測位できる場合は、ＩＭＵ部２１を磁界センサとして活用してもよい。また別の方法としては、送電線の潮流情報により送電線の電磁界の大きさを知ることができれば、通信部３０７を経由してそれを活用してもよい。

（ステップ３）接近追従撮影
図９に、本発明の一実施形態に係る自律移動撮影制御システムにおいてステップ３で使用する制御則を示す。ステップ３では、ステップ２により撮影対象物の撮影位置に高精度で到達しているので、撮影制御３９において、カメラ５のカメラ駆動部５１およびカメラ撮影部５２に対し、測距センサ２５により得られた相対位置に基づいてＰＴＺ制御量を算出し撮影開始の指令を出力する。また同時に、接近追従制御３６ではステップ２の特徴接近制御３５と同様、衛星測位情報に頼らず、測距センサ２５により求められる撮影対象物との相対位置に基づいて撮影対象物に沿って移動しながら位置制御を行う。図１０は架空地線に沿って高精度に移動するため、自ずと電線が描くカテナリ曲線に沿った飛行軌跡を描く。また、仮に撮影対象物の架空地線が揺れた場合は、その揺れに追従して飛行する。

図１０（ａ）に、本発明の一実施形態に係る自律移動撮影制御システムの接近追従制御出力と撮影制御出力とを統合して速度制御指令を生成する例を示す。また図１０（ｂ）に、本発明の一実施形態に係る自律移動撮影制御システムのステップ３における画像連結および異常検知の過程を示す。

なお、カメラ５により撮影した画像から安定性を維持できる範囲で姿勢を調整することも可能である。例えば、架空地線を直上から撮影したとき、画像解析部４１はカメラ５で撮影された架空地線の画像のフレーム各辺に対する傾き角度を算出し、指令統合部４０を介して画像から得られる撮影対象物の角度と無人航空機１００のヨー角との相対角度を判断し、姿勢制御３１に送信して無人航空機１００のヨー角を制御することで画像中の撮影対象物の角度を垂直や水平に補正することも可能である。

接近追従制御３６により撮影対象物に対して接近するが、無人航空機１００は横風などの外乱を絶えず受けるため、常にある程度の一時的な位置変動が生じる。カメラ５による高精細撮影時には無人航空機１００の位置変動に伴ってカメラブレが生じるため、焦点距離が長く被写界深度が浅い望遠レンズでは画像がピンボケし易くなってしまう。また、通常のカメラのオートフォーカス（ＡＦ）機能では空中に浮いた細い電線や小さなネジなどは、画像に対する映り込みの面積が小さいため、焦点を合わせ続けることは困難である。そこで、本発明では、撮影対象物に確実に合焦させ続けるために、カメラ撮影部５２は、接近追従制御３６において対象設備情報１と測距センサ２５から得られる撮影対象物までの相対位置に基づき焦点を調整する。または、無人航空機１００の周囲に対象設備が明らかに存在しない場合は、カメラ撮影部５２は、測距センサ２５から出力される距離情報を直接取得し、その中から後述するように撮影対象物までの相対位置のみを抽出し、抽出した距離情報に基づき焦点調整を行ってもよい。

別の方法としては、測距センサ２５で得られる相対位置から撮影対象物までの相対位置のみを抽出するためには、例えば、計測された各相対位置情報の中から、最も距離の短い距離を測距センサ２５と撮影対象物との相対距離としてもよい。但し、この場合、カメラ５に最も近い点に焦点が調整されるため奥行がある物体を撮影すると手前以外がピンボケとなる。

別の方法としては、形状が比較的大きく測距センサ２５で判断できる場合において、その他の相対位置情報を排除して相対位置を判断してもよいし、撮影対象物の色に特徴があるのであればピンボケでも画像解析部４１で大まかな位置を判断できるため、測距センサ２５から得られる相対位置情報のうちで有効な情報を限定して相対距離を明らかにすることもできる。

さらに別の方法としては、対象設備情報１と自位置とから、撮影対象物までのおよその距離を特定し、測距センサ２５により計測された距離の内、特定された距離に最も近い距離を測距センサ２５と撮影対象物との相対距離としてもよい。

なお、撮影対象物とカメラ５との相対距離は、撮影対象物と測距センサ２５との相対距離および相対角度から、カメラ５と測距センサ２５との間の相対位置およびカメラ５と測距センサ２５とのそれぞれの相対位置ならびに、カメラ５および測距センサ２５の配置状態に基づき算出する。

高精細な画像を取得するためには、上述のように焦点を正確に合わせることに加え、飛行日時や天候、撮影対象物の色、材質などに応じてＩＳＯ感度、絞りおよびシャッタースピードを適切に調整する必要がある。本発明では、撮影対象物が予め特定できているため、対象設備情報１に撮影対象物の色や材質、および直前に撮影した画像の画像解析部４１での評価に基づき補正すべきパラメータを記録し、ＩＳＯ感度、絞りおよびシャッタースピードを再調整することで画質の向上を図ることもできる。

撮影中、無人航空機１００に横風などの外乱が加わり、予定通りの経路・タイミングで撮影できない場合があり、取得した複数の画像に連続性が失われ、撮影対象物の一部画像が取得できていないこともある。そのため、画像解析部４１は、例えば、得られた複数の画像を撮影対象物の特徴点を基準に連結し、撮影対象物の画像取得に抜けが無いか否かを確認し、抜けがあればその個所の撮影を行うために接近追従制御３６を指示する。

別の方法としては、画像解析部４１が架空地線の撮影画像から両端に架空地線がかかっていなかったり、映り込んでいなかったりした場合は明らかに抜けがあるため、ただちに再度行うなどしてもよい。

以上の処理を経て得られた画像は、画像とともに撮影開始時間、撮影終了時間、撮影開始座標、撮影終了座標、画角内の撮影対象物の位置情報、ならびにカメラ５の各調整値がストレージ３０３へ記録される。

このとき、画像解析部４１は、ストレージ３０３に記憶された過去の撮影結果と比較することで異常を認識することができるが、過去の画像と現在の画像とでは記録された座標が完全には一致しない。そのため、取得した画像の開始終了座標から過去に取得した記録群の中から近い画像を対応付けることで異常個所を検知する。また別の方法としては、撮影対象物の経年変化が小さい場合に、比較対象として敷設直後の見本画像を利用してもよい。画像解析部４１は、比較の結果、差異が大きい、または変色など異常が疑われる差異が確認された場合、異常検知信号を指令統合部４０に通知する。異常検知信号には、対象設備位置情報および撮影位置情報が含まれている。

画像の連結や異常箇所の検知など画像解析部４１での処理については、無人航空機１００に搭載可能なＣＰＵ３０２，ＧＰＵ３０４，ＤＲＡＭ３０５にて処理することとなるが、処理を高度化するほど搭載するバッテリーの消費量が増大する傾向がある。そこで別の方法としては、通信部３０７の伝送帯域が十分であれば、消費電力を抑えるために外部のコンピュータに送信し、画像解析部４１での処理を外部で行ってもよい。

また、電磁界回避制御３８は、ステップ２と同様に、撮影中に無人航空機１００に影響する電磁界を検知した場合、対象設備情報１と測距センサ２５に基づいて電磁界発生元に対して回避すべき方向を固有ベクトル、電磁界センサ２９から得られる計測値を固有値として電磁界回避制御出力を生成する。このとき、電磁界回避制御出力は接近追従制御出力に反する指令であるため、電磁界回避制御出力が出力されている間は電磁界の影響を受けない時の相対位置と異なる地点で接近追従を継続する。ただし、撮影制御３９は相対距離が異なる状態でも一定の画質を確保するため、カメラ駆動部５１はズーム倍率を調整し、それに伴い画角も変化する。そのため、画像解析部４１は追従速度の調整を指令統合部４０に指示し、指令統合部４０は接近追従制御３６に速度調整を指令する。さらに別の方法としては、電磁界発生源から発せられる電磁界の大きさは一定ではないことから、電磁界の影響が収まった時に再度撮影するように撮影制御３９を中止してもよい。なお、撮影中、課電された電線から非常に大きな磁界を検知した場合、電磁界回避制御出力が大きくなって撮影対象物が測距センサ２５の検知範囲外まで退避する場合があるが、その際はステップ２に移行する。

また、山や未知の障害物３００が影響して通信モジュール３０４が外部とデータの送受信が困難になった場合でも、データの送受信が回復するまで無人航空機１００を待機または飛行してきた経路に沿って自律的に帰還させてもよい。なお、強風や磁界の影響を受けたり、後述のステップ３ａに頻繁に移行するなどによりバッテリーを大きく消費したりする場合に備え、バッテリーの電圧または容量を監視してもよく、一定値以下となった際にはステップ４へ移行する。

（ステップ３ａ）異常箇所の詳細撮影
図１１に、本発明の一実施形態に係る自律移動撮影制御システムにおいてステップ３ａで使用する制御則を示す。また、図１２（ａ）に、本発明の一実施形態に係る自律移動撮影制御システムの異常検知時の接近追従制御出力と撮影制御出力とを統合して速度制御指令を生成する例を示し、図１２（ｂ）に、本発明の一実施形態に係る自律移動撮影制御システムのステップ３ａにおける異常検知箇所撮影の過程を示す。ステップ３において、指令統合部４０が画像解析部４１から異常検知の通知情報を受けると、ステップ３ａへ移行する。ステップ３ａでは、指令統合部４０から接近追従制御３６に対して異常検知があった場所に停止するよう指令し、撮影制御３９からのカメラ駆動部５１により高精細な画像が撮影できるように、ズームにより高倍率側に再調整を行う指令を出力する。

なお、ズームにより撮影対象点を拡大してより鮮明な画像を撮影しようとすると画角が狭まるが、無人航空機１００の一時的な位置変動の大きさは変わらないため撮影対象箇所が画像に映り込まなくなる頻度が高くなる。そのため、図１２（ｂ）に示すように、撮影制御３９は、異常が疑われる映像が撮影可能となる安定した状態になるまで接近追従制御３６で自律的な追従を継続し、撮影可能になった時点で撮影を開始する。なお、撮影が完了した場合は撮影制御が指令統合部４０に完了を通知し、その通知情報を受けてステップ３またはステップ４へ移行する。

（ステップ３ｂ）撮影地点間移動
図１３に、本発明の一実施形態に係る自律移動撮影制御システムにおいてステップ３ｂで使用する撮影地点間移動の制御則を示す。撮影対象物が単一でない場合、次の撮影対象物まで移動する際の制御はステップ２と同様に撮影対象物の撮影開始位置まで接近する。なお、ステップ３で撮影が完了した撮影対象物は、新たな障害物となることから、特徴接近制御３５は離脱出力と新たな接近出力との合成指令となる。別の方法としては、元の撮影対象物が既知の障害物となることから、離脱出力については高速位置制御３３を利用しても良い。また別の方法としては、一旦撮影が完了した撮影対象物から距離を置いてから次の撮影対象物まで移動させてもよい。

図１４（ａ）に、本発明の一実施形態に係る自律移動撮影制御システムの特徴接近制御出力と電磁界回避制御出力とを統合して速度制御指令を生成する例を示し、図１４（ｂ）に、ステップ３ｂの一例を示し、送電鉄塔間にて上部の架空地線の撮影を完了し、新たな撮影対象物である本線に接近した場合の動作例を示している。ただし、課電されている電線に対して接近する場合は、撮影対象物が電磁界発生源になるため、接近中も電線から遠ざかる方向に電磁界回避制御出力が生成されるので、架空地線への接近よりも接近速度は遅くなる。無人航空機１００に異常を生じさせる可能性のある強い電磁界が生じている領域の手前で特徴接近制御出力と電磁界回避制御出力とが拮抗するよう出力を調整し、特徴接近制御出力と電磁界回避制御出力とが拮抗する位置を新たな撮影位置とすることで、所定値以上の強い電磁界が生じている領域に入らないようにすることができる。

（ステップ３ｃ）固定設備点検
図１５に、本発明の一実施形態に係る自律移動撮影制御システムにおいてステップ３ｃで使用する固定設備点検の制御則を示す。また図１６に、本発明の一実施形態に係る自律移動撮影制御システムのステップ３ｃにおける固定設備点検時の様子を示す。

鉄塔などの構造物、またはそこに固定された設備、例えば碍子やアークホーンなどを近接撮影する場合、撮影位置まで移動すると同時に、ステップ３と同様、カメラ駆動部５１およびカメラ撮影部５２へ相対距離などの情報とともに撮影指令を出力する。動作させる制御則もステップ３と同様であるが、架空地線や電線などのように撮影時の状況により位置が大きく変化することがない物体であるため、対象設備情報１を更に有効に活用して無人航空機１００の位置情報を補正することができる。また、測距センサ２５では物体を複数検知することになるため、撮影制御３９ではカメラ５の焦点を移動させることにより複数の画像を取得することができる。

（ステップ４）目標位置に着陸
図１７に、本発明の一実施形態に係る自律移動撮影制御システムにおいてステップ４で使用する目標位置に着陸する制御則を示す。また図１８に、本発明の一実施形態に係る自律移動撮影制御システムのステップ４における撮影位置から着陸までの移動過程を示す。

ステップ４は、無人航空機１００を目標地点、例えば離陸地点へ帰還する際に選択される手続きであり、撮影完了となった場合や残り飛行時間が僅かな場合、強風や強電磁界により無人航空機１００での自律撮影飛行が困難となった場合、あるいは通信部３０７を通じて操作者から帰還指令を受信した場合にステップ１と同じ制御則にて任意の地点へ着陸する。

着陸する地点は無人航空機１００が離陸した地点に加えて、離陸地点とは異なる着陸候補地点を予め複数設定することで、バッテリー状態に応じた残り飛行時間や劣環境状態により適した地点を判断して着陸地点を適宜変更することができ、より安全性を高めることもできる。

１ 対象設備情報
２ センサ部
３ 制御部
４ モータ駆動部
５ カメラ
２１ ＩＭＵ部
２２ 衛星測位部
２３ 気圧センサ
２４ 高度ＬＩＤＡＲ部
２５ 測距センサ
２６ 障害物ＬＩＤＡＲ部
２７ 赤外線センサ
２８ 超音波センサ
２９ 電磁界センサ
３１ 姿勢制御
３２ 速度制御
３３ 高速位置制御
３４ 高精度位置制御
３５ 特徴接近制御
３６ 接近追従制御
３７ 接近回避制御
３８ 電磁界回避制御
３９ 撮影制御
４０ 指令統合部
４１ 画像解析部
５１ カメラ駆動部
５２ カメラ撮影部
１００ 無人航空機
２００ 撮影対象設備
３００ 未知の障害物
３０１ メモリ
３０２ ＣＰＵ
３０３ ストレージ
３０４ ＧＰＵ
３０５ ＤＲＡＭ
３０６ 移動体制御ユニット
３０７ 通信部
３０８ 入出力Ｉ／Ｆ

Claims (5)

1. カメラを搭載し、駆動部を有して自律的に移動可能な自律移動体であって、電力設備の送電線・架空地線に沿って移動しながら当該送電線・架空地線を撮影する自律移動体において、
   前記送電線・架空地線を含む撮影対象物の形状情報および撮影場所の位置情報を含む対象設備情報を予め記憶する設備情報記憶部と、
   前記自律移動体の姿勢と方位を計測するＩＭＵ部と、
   前記自律移動体の水平方向および鉛直方向の位置を測位する衛星測位センサと、
   前記自律移動体の鉛直方向の位置を測位する高度計測センサと、
   前記自律移動体周囲の障害物との離隔を計測する障害物計測センサと、
   前記自律移動体と前記自律移動体周囲の前記送電線・架空地線との相対距離および相対角度を計測する測距センサと、
   前記送電線・架空地線からの電磁界を計測する電磁界センサと、
   前記カメラで撮影した画像を解析する画像解析部であって、前記カメラで撮影した複数の画像を連結して前記送電線・架空地線全体の画像を合成する画像解析部と、
   飛行状況に応じた複数の指令を統合した統合指令に基づき前記自律移動体の位置および姿勢を制御する制御部であって、
   ａ）前記ＩＭＵ部から取得した方位の情報、前記衛星測位センサおよび前記高度計測センサから取得した前記水平方向の位置および前記鉛直方向の位置を含む自位置情報から前記送電線・架空地線の位置情報が示す撮影開始位置までの経路を生成し、前記経路に沿って前記撮影開始位置まで移動するための経路追従指令と、前記障害物計測センサにより前記自律移動体と前記自律移動体周囲の障害物との離隔距離が所定の離隔距離よりも短くなった場合に前記自律移動体が前記自律移動体周囲の障害物から遠ざかる接近回避制御指令とを統合した統合指令、
   ｂ）前記衛星測位センサによる自位置情報によらず、前記測距センサから計測される相対距離に基づいて、前記送電線・架空地線の前記撮影開始位置まで接近する特徴接近制御指令と、前記電磁界センサで所定値以上の値を計測した場合、前記送電線・架空地線から遠ざかる電磁界回避制御指令とを統合した統合指令、および、
   ｃ）前記衛星測位センサによる自位置情報によらず、前記測距センサから計測される相対距離に基づいて、前記送電線・架空地線に接近する接近追従制御指令と、前記画像解析部により生成された、前記カメラで撮影した画像から、前記自律移動体と前記撮影対象物との相対角度を補正する指令と、前記カメラで撮影した画像から検知した異常箇所の撮影位置に移動する指令のうち、複数の指令を統合した統合指令に基づき前記自律移動体の位置および姿勢を制御する制御部と、
   前記相対距離に基づき前記カメラの焦点を調整して前記撮影対象物を撮影するカメラ制御部と
   を備えたことを特徴とする自律移動体。
2. 前記制御部は、前記電磁界センサで所定値以上の値を計測した場合、前記自位置情報が示す自位置に最も近い電磁界発生源の位置を前記対象設備情報から特定し、前記電磁界発生源から遠ざかる電磁界回避制御指令をさらに生成することを特徴とする請求項１に記載の自律移動体。
3. 前記カメラ制御部は、前記電磁界センサで所定値以上の値を計測した場合、前記電磁界回避制御指令による前記自律移動体に追従して前記カメラのズーム倍率を調整し、
   前記画像解析部は、追従速度を調整するための撮影制御出力を前記制御部に出力し、
   前記カメラ制御部は、前記電磁界センサの値が所定値以下となる位置で撮影を継続することを特徴とする請求項１または２に記載の自律移動体。
4. 前記画像解析部は、前記送電線・架空地線の画像のフレーム各辺に対する傾き角度を算出し、前記傾き角度に基づき前記自律移動体と前記送電線・架空地線との相対角度を補正する撮影制御出力を前記制御部に出力することを特徴とする請求項１、２または３に記載の自律移動体。
5. 前記制御部が生成する各前記指令は、速度ベクトルであり、前記統合指令は、前記速度ベクトルを合成したものであることを特徴とする請求項１乃至４のいずれか一項に記載の自律移動体。

Images