JP2016082441A - 制御装置、制御方法及びコンピュータプログラム - Google Patents

Abstract

【課題】移動体が撮像した画像を用いて、移動体に対して直感的に移動を指示する制御装置を提供する。【解決手段】撮像装置を備えた移動体（ホバリングカメラ）１００と、移動体１００で撮像された画像と移動体１００との合成画像を生成する画像処理部を有する制御装置２００から成る。制御装置２００は合成画像を表示し、表示した合成画像に対する操作に応じて移動体を移動させるための移動情報を生成して移動体１００を制御する。【選択図】図２

Description

本開示は、制御装置、制御方法及びコンピュータプログラムに関する。

無線で操縦できる飛行体にカメラを取り付けて、そのカメラで撮像するという写真の撮像方法に関する技術が開示されている（例えば特許文献１等参照）。飛行体にカメラを取り付けることで、上空からや、三脚が立てられない場所からの写真を撮像することが可能になる。また飛行体にカメラを取り付けて撮像することで、本物の飛行機やヘリコプターを使用した場合よりもコストを抑えることが出来る、安全に撮像が出来る、低空や狭い場所でも撮像が出来る、目標に接近して撮像が出来る等の様々な利点がもたらされる。

特開２００６−２７４４８号公報

このようなカメラが備えられた飛行体やロボット等の移動体の操作は、通常は専用のコントローラが必要になる。ここで、移動体が撮像した画像を用いて、その移動体に対する移動指示をユーザから簡単に指定することができれば、移動体の操作に慣れていないユーザであっても、目的の位置に移動させることが容易になると考えられる。

そこで本開示では、移動体が撮像した画像を用いて移動体に対して直感的に移動を指示させることが可能な、新規かつ改良された制御装置、制御方法及びコンピュータプログラムを提案する。

本開示によれば、撮像装置を備えた移動体で撮像された画像から合成画像を生成する画像処理部と、前記画像処理部が生成した前記合成画像に対する操作に応じて前記移動体を移動させるための移動情報を生成する移動情報生成部と、を備える、制御装置が提供される。

また本開示によれば、撮像装置を備えた移動体で撮像された画像から合成画像を生成することと、生成された前記合成画像に対する操作に応じて前記移動体を移動させるための移動情報を生成することと、を含む、制御方法が提供される。

また本開示によれば、コンピュータに、撮像装置を備えた移動体で撮像された画像から合成画像を生成することと、生成された前記合成画像に対する操作に応じて前記移動体を移動させるための移動情報を生成することと、を実行させる、コンピュータプログラムが提供される。

以上説明したように本開示によれば、移動体が撮像した画像を用いて移動体に対して直感的に移動を指示させることが可能な、新規かつ改良された制御装置、制御方法及びコンピュータプログラムが提供される。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態の概要について説明する説明図である。 本開示の一実施形態にかかる点検システム１０のシステム構成例を示す説明図である。 本開示の一実施形態にかかるホバリングカメラ１００の機能構成例を示す説明図である。 本開示の一実施形態にかかる制御端末２００の機能構成例を示す説明図である。 本開示の一実施形態にかかる点検システム１０の動作例を示す流れ図である。 制御端末２００の表示部２１０に表示される画面の一例を示す説明図である。 制御端末２００の表示部２１０に表示される画面の一例を示す説明図である。 制御端末２００の表示部２１０に表示される画面の一例を示す説明図である。 ホバリングカメラ１００による橋梁１の底面の撮像の様子を概念的に示す説明図である。 本開示の一実施形態にかかる点検システム１０におけるホバリングカメラ１００の動作を概念的に示す説明図である。 本開示の一実施形態にかかる点検システム１０におけるホバリングカメラ１００の動作を概念的に示す説明図である。 制御端末２００の表示部２１０に表示される画面の一例を示す説明図である。 橋桁３の底面を点検する場合の概要を示す説明図である。 ホバリングカメラ１００が撮像した静止画像をスティッチングして得られた画像２０の例を示す説明図である。 本開示の一実施形態に係る情報処理装置３００の機能構成例を示す説明図である。 本開示の一実施形態に係る情報処理装置３００の動作例を示す流れ図である。 本開示の一実施形態に係る制御端末２００の動作例を示す流れ図である。 ホバリングカメラ１００に地面の方向を撮像させている様子を示す説明図である。 合成画像を用いて、ホバリングカメラ１００の飛行経路をユーザに指定させている様子を示す説明図である。 ホバリングカメラ１００に上方の方向（橋梁の裏面）を撮像させている様子を示す説明図である。 合成画像を用いて、ホバリングカメラ１００の飛行経路をユーザに指定させている様子を示す説明図である。 制御端末２００で合成画像を生成して表示している様子を示す説明図である。 合成画像に対するユーザの入力に基づく、制御端末２００の飛行経路の生成処理について説明する説明図である。 合成画像の例を示す説明図である。 合成画像の例を示す説明図である。 本開示の一実施形態に係る制御端末２００の動作例を示す流れ図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．本開示の一実施形態
１．１．概要
１．２．システム構成例
１．３．機能構成例
１．４．動作例
１．５．損傷データの生成例
１．５．１ 機能構成例
１．５．２ 動作例
１．６．合成画像を用いた飛行指示の例
２．まとめ

＜１．本開示の一実施形態＞
［１．１．概要］
本開示の一実施形態について詳細に説明するにあたり、まずは本開示の一実施形態の概要について説明する。

道路や橋梁、トンネル、ビルディング等の構築物の維持管理には、人間による構築物の状態の確認が欠かせない。通常、このような構築物の目視による確認は、作業員が当該構築物に近づき、腐食やヒビ割れ等の損傷や、ボルト等の連結部材の緩みが構造物に生じていないかどうかを目で確認したり、これら異常の有無の確認のために打音検査したりするのが一般的である。

橋梁、特にコンクリート橋の維持管理のためには、橋桁や橋脚の目視検査や打音検査を行なう作業員のために、例えば橋脚や橋桁の裏面部に足場を組む必要があったり、作業員の安全を確保したり、作業車両を配置したりするために一部又は全部の車線を通行止めにしたりする必要が生じたりしていた。これらの要因により、点検に要するコストだけでなく、通行止めによる道路誘導員の手配に要するコスト、さらには通行止めにより生じうる迂回路の交通渋滞が問題となり得る。

また、河川や海の上に建設されている等の理由で、足場を組むのが容易で無かったり、そもそも足場が組めなかったりする橋梁も存在する。従って、これらの事情を鑑みて、安全で、交通に影響を与えず、かつ低コストの構築物の点検作業が実現可能な技術が望まれる。

そこで本件開示者らは、上記事情を鑑みて、安全で、交通に影響を与えず、かつ低コストの構築物の点検作業が実現可能な技術について検討した。そして本件開示者らは、以下で説明するように、撮像装置を備えた飛行体（以下の説明では、撮像装置を備えた飛行体のことを「ホバリングカメラ」とも称する）を用いて、安全で、交通に影響を与えず、かつ低コストで可能な点検作業が可能な技術を考案するに至った。

図１は、本開示の一実施形態の概要について説明する説明図である。図１には、例えばコンクリートで構築された橋梁１が模式的に示されている。コンクリートで構築された橋梁１を点検する場合、上述したように、従来は作業員がヒビ割れや腐食等の損傷が生じていないかの目視点検を行なうために、橋脚２や橋桁３の裏面部に足場を組む必要があったり、作業員の安全を確保したり、作業車両を配置したりするために一部又は全部の車線を通行止めにしたりする必要が生じたりしていた。

本開示の一実施形態では、橋梁１を点検する場合に、ホバリングカメラ１００を用いる。ホバリングカメラ１００は、予め設定された飛行情報（本実施形態では、飛行経路及び静止画像の撮像位置の情報を含むものをいう）に従って自動飛行するよう構成された、撮像装置を備える飛行体である。なお静止画像の撮像位置の情報には、例えば撮像処理を実行する位置、撮像する方向、次の撮像処理を実行する位置までの移動時間等が含まれ得る。

例えば橋桁３の裏側（底面）を点検する場合、ホバリングカメラ１００を自動飛行させて、ホバリングカメラ１００に橋桁３の裏側を撮像させる。ホバリングカメラ１００に橋桁３の裏側を撮像させることで、橋桁３の点検のために橋脚２や橋桁３の裏面部に足場を組む必要が無くなったり、車線を通行止めにする頻度が軽減され、または通行止めが不要になったりする。また例えば橋桁３の横側（側面）を点検する場合、ホバリングカメラ１００を自動飛行させて、ホバリングカメラ１００に橋桁３の横側を撮像させる。従ってホバリングカメラ１００を自動飛行させて、ホバリングカメラ１００に橋桁３の裏側や横側を撮像させることで、作業員の安全を確保し、交通に影響を与えずに、かつ低コストで橋梁１の点検が可能となる。

ホバリングカメラ１００を自動飛行させて橋桁３の裏側を撮像させるためには、ホバリングカメラ１００の飛行経路の設定と、橋桁３の裏側の位置における静止画像の撮像位置の情報の設定が必要になる。本開示の一実施形態では、ホバリングカメラ１００に設定する飛行情報を、橋梁１の概況に関する情報を用いて効率的に作成することで、橋梁１の効率的な点検を可能にすることを目的とする。

以上、本開示の一実施形態の概要について説明した。続いて、本開示の一実施形態にかかる点検システムの構成例について説明する。

［１．２．システム構成例］
図２は、本開示の一実施形態にかかる点検システム１０のシステム構成例を示す説明図である。図２に示した本開示の一実施形態にかかる点検システム１０は、構築物、例えば橋梁１の点検を効率的に行なうことを目的としたシステムである。以下、図２を用いて本開示の一実施形態にかかる点検システム１０のシステム構成例について説明する。

図２に示したように、本開示の一実施形態にかかる点検システム１０は、ホバリングカメラ１００と、制御端末２００と、情報処理装置３００と、無線中継ノード４００と、位置推定ノード５００と、ベースステーション６００と、充電ステーション７００と、サーバ装置８００と、を含んで構成される。

ホバリングカメラ１００は、本開示の撮像装置の一例であり、上述したように撮像装置を備える飛行体である。ホバリングカメラ１００は、指定された飛行経路に基づいて自動飛行し、指定された撮像位置において撮像装置で静止画像を撮像することが出来るよう構成された飛行体である。ホバリングカメラ１００は、例えば４つのロータにより飛行することが可能であり、各ロータの回転を制御することで、上昇、下降、水平移動しつつ飛行することが出来る。もちろんロータの数は係る例に限定されるものではない。

ホバリングカメラ１００に設定される飛行開始位置から飛行終了位置までの飛行経路や撮像位置は、例えばＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ；全地球測位システム）の位置情報として設定される。従ってホバリングカメラ１００は、ＧＰＳ衛星からの電波を受信して現在位置を算出するＧＰＳ受信機が組み込まれ得る。ホバリングカメラ１００に設定される飛行経路は、緯度、経度、高度の全てがＧＰＳの位置情報として設定されていてもよく、緯度、経度のみがＧＰＳの位置情報として設定され、高度については例えば後述のベースステーション６００からの相対的な高さとして設定されていてもよい。

制御端末２００は、本開示の制御装置の一例であり、ホバリングカメラ１００の飛行に関する制御を実行する端末である。制御端末２００は、ホバリングカメラ１００の飛行に関する制御として、例えばホバリングカメラ１００に送る飛行情報の生成、ホバリングカメラ１００への離陸指示や、後述のベースステーション６００への帰還指示、ホバリングカメラ１００が何らかの理由で自動で飛行出来なくなった場合のホバリングカメラ１００の操縦等がある。制御端末２００によるホバリングカメラ１００の飛行情報の生成処理については、後に詳述するが、ここで簡単に一例を説明する。

ホバリングカメラ１００の飛行情報を生成する際には、制御端末２００は、点検を行う橋梁１の概況に関する情報、例えば点検を行う橋梁１の概況図を読み込み、画面に表示させる。この橋梁１の概況図上の点には、予め詳細なＧＰＳ情報が入った地図データ上の点を対応付けておく。この対応付けは最低２組の点で行なわれていることが望ましい。橋梁１の概況図に、予め、詳細なＧＰＳ情報が入った地図データ上の点が対応付けられていることで、ホバリングカメラ１００の飛行経路がＧＰＳの値として定義される。そして制御端末２００は、この橋梁１の概況図に基づいてホバリングカメラ１００の飛行経路を生成する。ホバリングカメラ１００の飛行経路は、ユーザ（構築物点検の作業員）が分かりやすいよう、概況図上に重ねて表示させる。

制御端末２００は、ホバリングカメラ１００の飛行情報を生成する際に、橋梁１の構造や、寸法、ホバリングカメラ１００に撮像させる橋梁１の部分を考慮してもよい。制御端末２００は、ホバリングカメラ１００の飛行情報を生成する際に、損傷している可能性が高いと考えられる部分についてはホバリングカメラ１００に詳細に撮像させるような飛行情報を生成してもよい。

上述したように、ホバリングカメラ１００に設定される飛行経路は、緯度、経度、高度の全てがＧＰＳの位置情報として設定されていてもよいが、橋梁１の概況図に高度データが存在しない場合が考えられる。橋梁１の概況図に高度データが存在しない場合は、ホバリングカメラ１００に設定される飛行経路は、緯度、経度のみがＧＰＳの位置情報として設定され、高度については例えばベースステーション６００からの相対的な高さとして設定されていてもよい。

制御端末２００は、ホバリングカメラ１００へ設定する飛行情報を設定する際に、ホバリングカメラ１００が橋梁１を撮像する際の、撮像対象面との距離が一定になるような飛行情報を生成することが望ましい。ホバリングカメラ１００が橋梁１を撮像する際に、撮像対象面との距離が一定となるような飛行情報を生成することで、制御端末２００は、同縮尺の画像をホバリングカメラ１００に生成させることが出来る。

制御端末２００は、例えばノート型コンピュータやタブレット型の端末等の持ち運び可能な装置であり、ホバリングカメラ１００との間で無線により情報の送受信を行なう。制御端末２００は、ホバリングカメラ１００との間の無線通信を、ホバリングカメラ１００との間で直接行っても良いが、構築物、特に橋梁１の点検においては制御端末２００の通信可能範囲を超えてホバリングカメラ１００が飛行することもあり得るので、点検時に設置される無線中継ノード４００を介して行なっても良い。

制御端末２００は、ホバリングカメラ１００が飛行中に撮像装置で撮像した画像を取得し、必要に応じて表示する。制御端末２００は、ホバリングカメラ１００が飛行中に撮像装置で撮像している動画像をストリーミングで取得し、表示してもよい。ホバリングカメラ１００が飛行中に撮像装置で撮像している動画像をストリーミングで取得し、表示することで、制御端末２００は、ホバリングカメラ１００がどのような位置を飛行しているのかをユーザに提示することが出来る。

情報処理装置３００は、様々な情報を処理する装置であり、例えばパーソナルコンピュータ（ＰＣ）やゲーム機等の情報を処理する機能を有する装置であり得る。本実施形態では、情報処理装置３００は、特にホバリングカメラ１００が撮像した画像を表示して、橋梁１の状態をユーザに確認させる機能を有する装置である。また情報処理装置３００は、ホバリングカメラ１００が撮像した画像から、橋桁３の絶対的な損傷位置を算出し、後述の損傷データを生成する機能を有する。情報処理装置３００は、生成した損傷データを、サーバ装置８００へ送信する機能を有していても良い。なお、ホバリングカメラ１００が撮像した画像から、橋桁３の絶対的な損傷位置を算出し、後述の損傷データを生成する機能は、制御端末２００が有していても良い。

情報処理装置３００は、ホバリングカメラ１００が撮像した画像を、例えば制御端末２００から取得する。ホバリングカメラ１００が撮像した画像を情報処理装置３００が取得するのは特定のタイミングに限定されないが、例えば、情報処理装置３００は、ホバリングカメラ１００の一度の飛行が終了したタイミングでホバリングカメラ１００が撮像した画像を制御端末２００から取得してもよい。

無線中継ノード４００は、ホバリングカメラ１００と制御端末２００との間の無線通信を中継する装置である。上述したように、構築物、特に橋梁１の点検においては、制御端末２００の通信可能範囲を超えてホバリングカメラ１００が飛行することもあり得る。従って、構築物の点検時に設置される無線中継ノード４００を介して、ホバリングカメラ１００と制御端末２００との間の無線通信が行われ得る。無線中継ノード４００の数は１つだけとは限らず、橋梁１の点検範囲によっては複数設置され得る。従って、ホバリングカメラ１００と制御端末２００との間の無線通信は、複数の無線中継ノード４００を介して行われ得る。ホバリングカメラ１００は電波の状況に応じて、通信先を制御端末２００と無線中継ノード４００との間で切り替え得る。

無線中継ノード４００は、橋梁１の点検時に、橋面上（歩道上が望ましい）の適切な場所に設置され得る。また無線中継ノード４００は、橋桁３の欄干部から吊り下げられるようにして設置されても良い。そして橋梁１の点検前には、所定の方法によって無線中継ノード４００が正常に動作することを、例えば制御端末２００を用いて確認することが望ましい。

位置推定ノード５００は、ホバリングカメラ１００に現在位置を推定させるための装置である。上述したように、ホバリングカメラ１００の飛行経路は、例えばＧＰＳの位置情報として設定される。この際に、ＧＰＳ衛星からの電波を遮るものが無い場合は、ホバリングカメラ１００は現在位置を極めて高い精度で知ることが出来る。しかし、ホバリングカメラ１００は橋桁３の下に潜り込んでしまうことが避けられず、橋桁３によってＧＰＳ衛星からの電波が遮られたり、橋梁１による電波の反射等に起因するマルチパスが発生したりしてしまうと、ホバリングカメラ１００は現在位置を高い精度で知ることが出来なくなるおそれがある。

そこで本実施形態では、橋桁３の下においてホバリングカメラ１００に現在位置を正確に取得させるために位置推定ノード５００を設ける。位置推定ノード５００としては、例えばＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ；拡張現実）マーカーを用いてもよく、ＧＰＳ信号の発信機を用いてもよい。

位置推定ノード５００としてＡＲマーカーを用いた場合、ホバリングカメラ１００に現在位置を認識させるためには、例えば橋梁１の両端から位置推定ノード５００をぶら下げて、ホバリングカメラ１００に位置推定ノード５００を撮像させる。そして位置推定ノード５００を撮像したホバリングカメラ１００に、指定した位置推定ノード５００の間を飛行させる。ホバリングカメラ１００は、位置推定ノード５００間の位置を、例えばホバリングカメラ１００に備えたセンサ（例えばＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）センサ）の積算値と、撮像した画像から算出した移動先の位置推定ノード５００までの距離とで把握することが可能になる。従ってホバリングカメラ１００は位置推定ノード５００を撮像することで、橋桁３の下においても現在位置を正確に取得することが出来る。

また位置推定ノード５００としてＧＰＳ信号の発信機を用いた場合、ホバリングカメラ１００に現在位置を認識させるためには、例えば橋梁１の対角や四隅に位置推定ノード５００を設置する。ホバリングカメラ１００は位置推定ノード５００から発したＧＰＳ信号を受信することで、橋桁３の下においても現在位置を正確に取得することが出来る。

ベースステーション６００は、ホバリングカメラ１００の離着陸のために設けられる装置である。ベースステーション６００は、ＧＰＳ受信機を備え、ＧＰＳ衛星からの電波の受信によって現在位置を算出する。ベースステーション６００が算出した現在位置は制御端末２００に送られる。ベースステーション６００が算出した現在位置が制御端末２００に送られることで、制御端末２００は、橋梁１の概況図上にベースステーション６００の位置を表示することが可能になる。

ベースステーション６００は、ホバリングカメラ１００の動作確認を行なう機能を有していても良い。ベースステーション６００が実行するホバリングカメラ１００の動作確認には、例えば通信機能の確認、撮像機能の確認、飛行機能の確認、各種センサのキャリブレーションなどが含まれ得る。なおホバリングカメラ１００のセンサのキャリブレーション方法としては、ベースステーション６００を用いた方法に限られないことは言うまでもなく、ホバリングカメラ１００のセンサのキャリブレーション方法として、例えばキャリブレーション専用の治具にホバリングカメラ１００を固定させて、ピッチ方向やロール方向にホバリングカメラ１００を回転させてセンサを較正する方法もあり得る。

充電ステーション７００は、ホバリングカメラ１００に備えられる二次電池への充電を行なう。ホバリングカメラ１００はバッテリを動力源としており、飛行や撮像に伴ってバッテリに蓄えられた電力を消費する。充電ステーション７００は、ホバリングカメラ１００に備えられるバッテリが二次電池であれば、そのバッテリへの充電を行なうことで、ホバリングカメラ１００が消費した電力を回復させることができる。充電ステーション７００は、ケーブル等をホバリングカメラ１００に接続してホバリングカメラ１００へ給電することでホバリングカメラ１００を充電してもよく、非接触電力伝送方式によってホバリングカメラ１００へ給電することでホバリングカメラ１００を充電しても良い。

サーバ装置８００は、各種データを格納する装置である。本実施形態では、サーバ装置８００は、情報処理装置３００が生成した損傷データを格納しても良い。

本開示の一実施形態にかかる点検システム１０は、図２に示したような構成を有することで、ホバリングカメラ１００に橋梁１を撮像させて、橋梁１の画像を取得することが出来る。ホバリングカメラ１００に橋梁１を撮像させることで、本開示の一実施形態にかかる点検システム１０は、橋脚や橋桁に足場を組む必要が無くなったり、作業員の安全を確保するために一部又は全部の車線を通行止めにする頻度が軽減され、または通行止めが不要になったりすることで、橋梁１の低コストでかつ効率的な点検が可能となる。

本開示の一実施形態にかかる点検システム１０のシステム構成例について説明した。続いて、本開示の一実施形態にかかる点検システム１０を構成するホバリングカメラ１００及び制御端末２００の機能構成例について説明する。

［１．３．機能構成例］
まず、本開示の一実施形態にかかるホバリングカメラ１００の機能構成例について説明する。図３は、本開示の一実施形態にかかるホバリングカメラ１００の機能構成例を示す説明図である。以下、図３を用いて本開示の一実施形態にかかるホバリングカメラ１００の機能構成例について説明する。

図３に示したように、本開示の一実施形態に係るホバリングカメラ１００は、撮像装置１０１と、ロータ１０４ａ〜１０４ｄと、モータ１０８ａ〜１０８ｄと、制御部１１０と、通信部１２０と、センサ部１３０と、位置情報取得部１３２と、記憶部１４０と、バッテリ１５０と、を含んで構成される。

制御部１１０は、ホバリングカメラ１００の動作を制御する。例えば制御部１１０は、モータ１０８ａ〜１０８ｄの回転速度の調整によるロータ１０４ａ〜１０４ｄの回転速度の調整、撮像装置１０１による撮像処理、通信部１２０を介した他の装置（例えば制御端末２００）との間の情報の送受信処理、記憶部１４０に対する情報の記憶や読出しを制御し得る。

本実施形態では、制御部１１０は、制御端末２００から送信された飛行情報に基づいてモータ１０８ａ〜１０８ｄの回転速度を調整しての飛行および撮像装置１０１に対する静止画像の撮像処理の実行を制御する。制御部１１０は、制御端末２００から送信された飛行情報に基づいてモータ１０８ａ〜１０８ｄや撮像装置１０１を制御することで、制御端末２００の要求に基づいた画像を制御端末２００に提供することが可能になる。

撮像装置１０１は、レンズやＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ等の撮像素子、フラッシュ等で構成されている。ホバリングカメラ１００に備えられる撮像装置１０１は、制御端末２００からの制御により静止画像または動画像の撮像を実行する。撮像装置１０１が撮像する画像は、通信部１２０から制御端末２００へ送信される。また本実施形態では、撮像装置１０１は、制御端末２００から送信された飛行情報に含まれる静止画像の撮像位置の情報に基づいて撮像処理を実行する。撮像装置１０１の撮像処理によって得られた画像は、記憶部１４０に記憶されたり、通信部１２０から制御端末２００へ送信されたりし得る。ホバリングカメラ１００で橋梁１の底面側を撮像する場合は、太陽光が橋梁１に遮られて明るさが足りないことが考えられるので、ホバリングカメラ１００は、橋梁１の底面側の撮像時にフラッシュを発光させるとよい。

撮像装置１０１は、撮像する方向を、例えば制御部１１０からの制御によって任意の方向に変更することが出来る。例えばホバリングカメラの水平方向を０度とした時に、上下方向に±９０度の範囲で表される撮像方向を撮像可能とすることができる。撮像装置１０１が、撮像する方向を変更できることで、ホバリングカメラ１００は所定の方向の画像を撮像し、制御端末２００に撮像画像を提供することが出来る。そして制御部１１０は、撮像装置１０１が静止画像を撮像した時点のホバリングカメラ１００の位置情報（ＧＰＳによる測位や、位置推定ノード５００を用いた測位による位置情報が含まれ得る。位置推定ノード５００を用いた測位については後述する）、撮像時の機体情報（例えばヨー角、ピッチ角、加速度、角速度）、撮像方向の情報を、その静止画像のメタデータとして関連付ける。関連付けたメタデータの格納方法としては、メタデータを静止画像データの付加情報領域（例えばＥｘｉｆフォーマットの特定の領域）に付加してもよいし、メタデータを画像ファイルと別ファイルに記録するなど別体のデータとしてもよい。

ロータ１０４ａ〜１０４ｄは、回転により揚力を生じさせることでホバリングカメラ１００を飛行させる。ロータ１０４ａ〜１０４ｄの回転はモータ１０８ａ〜１０８ｄの回転によりなされる。モータ１０８ａ〜１０８ｄは、ロータ１０４ａ〜１０４ｄを回転させる。モータ１０８ａ〜１０８ｄの回転は制御部１１０によって制御され得る。

通信部１２０は、制御端末２００との間で無線通信による情報の送受信処理を行う。ホバリングカメラ１００は、撮像装置１０１で撮像されている画像を通信部１２０から制御端末２００へ送信する。またホバリングカメラ１００は、飛行に関する指示を制御端末２００から通信部１２０で受信する。

センサ部１３０は、ホバリングカメラ１００の状態を取得する装置群であり、例えば加速度センサ、ジャイロセンサ、超音波センサ、気圧センサ、オプティカルフローセンサ、レーザーレンジファインダー等で構成され得る。センサ部１３０は、取得したホバリングカメラ１００の状態を所定の信号に変換して、必要に応じて制御部１１０に提供し得る。位置情報取得部１３２は、例えばＧＰＳやビジョンセンサ等を用いてホバリングカメラ１００の現在位置の情報を取得する。位置情報取得部１３２は、取得したホバリングカメラ１００の現在位置の情報を、必要に応じて制御部１１０に提供し得る。制御部１１０は、位置情報取得部１３２が取得したホバリングカメラ１００の現在位置の情報を用いて、制御端末２００から受信した飛行情報に基づいたホバリングカメラ１００の飛行制御を実行する。

またセンサ部１３０は、飛行時に飛行を妨げる可能性のある障害物を検知する。センサ部１３０が障害物を検知することで、ホバリングカメラ１００はその検知した障害物に関する情報を制御端末２００に提供することが出来る。

記憶部１４０は、様々な情報を記憶する。記憶部１４０が記憶する情報としては、例えば制御端末２００から送信されたホバリングカメラ１００の飛行情報、撮像装置１０１で撮像した画像等があり得る。

バッテリ１５０は、ホバリングカメラ１００を動作させるための電力を蓄える。バッテリ１５０は、放電のみが可能な一次電池であってもよく、充電も可能な二次電池であってもよいが、バッテリ１５０が二次電池である場合は、バッテリ１５０は、例えば図２に示した充電ステーション７００から電力の供給を受け得る。

本開示の一実施形態に係るホバリングカメラ１００は、図３に示したような構成を有することで、制御端末２００から送信された飛行情報に含まれる飛行経路に基づいて自動飛行して、制御端末２００から送信された飛行情報に含まれる静止画像の撮像位置の情報に基づいて撮像処理を実行することが出来る。

以上、図３を用いて本開示の一実施形態にかかるホバリングカメラ１００の機能構成例について説明した。続いて、本開示の一実施形態にかかる制御端末２００の機能構成例について説明する。

図４は、本開示の一実施形態にかかる制御端末２００の機能構成例を示す説明図である。以下、図４を用いて本開示の一実施形態にかかる制御端末２００の機能構成例について説明する。

図４に示したように、本開示の一実施形態にかかる制御端末２００は、表示部２１０と、通信部２２０と、制御部２３０と、記憶部２４０と、を含んで構成される。

表示部２１０は、例えば液晶表示装置、有機ＥＬ表示装置等の平板表示装置からなる。表示部２１０は、例えば、撮像装置１０１が撮像している画像や、ホバリングカメラ１００の動作を制御するための情報を表示し得る。表示部２１０にはタッチパネルが備えられ、ユーザは表示部２１０を指等で触ることで表示部２１０に表示される情報に対して直接操作することができる。

通信部２２０は、ホバリングカメラ１００との間で無線通信による情報の送受信を行う。制御端末２００は、撮像装置１０１で撮像されている画像を、ホバリングカメラ１００から通信部２２０で受信する。また制御端末２００は、ホバリングカメラ１００の飛行に関する指示を通信部２２０からホバリングカメラ１００へ送信する。ホバリングカメラ１００の飛行に関する命令は、制御部２３０で生成され得る。

制御部２３０は、制御端末２００の動作を制御する。例えば制御部２３０は、表示部２１０への文字、図形、画像その他の情報の表示処理、通信部２２０を介した他の装置（例えばホバリングカメラ１００）との間の情報の送受信処理を制御し得る。また制御部２３０は、飛行情報生成部２３２と、表示制御部２３４と、を含んで構成される。

飛行情報生成部２３２は、ホバリングカメラ１００に送信する飛行情報を生成する。飛行情報生成部２３２は、飛行情報の生成に際して、例えば、後述の記憶部２４０に記憶されている、点検対象の構築物に関する情報を用いる。飛行情報生成部２３２は、飛行情報を生成すると、ホバリングカメラ１００の離陸前に、生成した飛行情報を通信部２２０から送信させる。

飛行情報生成部２３２による飛行情報の生成処理については後に詳述するが、飛行情報生成部２３２による飛行情報の生成処理の一例について簡単に説明する。飛行情報生成部２３２は、ホバリングカメラ１００の飛行情報を生成する際に、点検を行う橋梁１の概況図を読み込む。読み込んだ橋梁１の概況図は、表示制御部２３４によって表示部２１０に表示させる。上述したようにこの橋梁１の概況図上の点には、予め、詳細なＧＰＳ情報が入った地図データ上の点を対応付けておく。この対応付けは最低２組の点で行なわれていることが望ましい。橋梁１の概況図に、予め、詳細なＧＰＳ情報が入った地図データ上の点が対応付けられていることで、ホバリングカメラ１００の飛行経路がＧＰＳの値（緯度及び経度の組）として定義される。

そして飛行情報生成部２３２は、この橋梁１の概況図に基づいてホバリングカメラ１００の飛行経路を生成する。飛行情報生成部２３２は、ホバリングカメラ１００の飛行経路を生成する際に、橋梁１の構築方法、幅、径間長等の構造に関する情報、ホバリングカメラ１００の飛行可能時間、橋梁１の点検方法等の情報を用いる。コンクリート橋は、補強方法によって鉄筋コンクリート（ＲＣ）とＰＣ（プレストレストコンクリート）に分けられ、桁の形状によって、例えばＲＣＴ桁橋、ＰＣＴ桁橋、ＰＣ中空床版橋、ＲＣ箱桁橋、ＰＣ箱桁橋等に分けられる。従って点検対象となる橋梁１の構築方法が分かれば、飛行情報生成部２３２は、橋梁１の構築方法に適した飛行経路を生成することが出来る。そして、飛行情報生成部２３２は、ホバリングカメラ１００の飛行経路を、橋梁１の概況図上に重ねて表示させる。

飛行情報生成部２３２は、ホバリングカメラ１００の飛行経路を、上述したようにＧＰＳの値（緯度及び経度の組）として定義する。飛行情報生成部２３２がホバリングカメラ１００の飛行経路をＧＰＳの値として定義することで、ホバリングカメラ１００は、飛行時にどの位置で撮像処理を実行すべきかを、ＧＰＳの値に基づいて判断できる。

表示制御部２３４は、表示部２１０への文字、図形、画像その他の情報の表示を制御する。後述の説明で参照する図面において表示部２１０に表示される文字、図形、記号、画像その他の情報は、表示制御部２３４によって表示が制御されるものである。例えば、表示制御部２３４は、飛行情報生成部２３２がホバリングカメラ１００に送信する飛行情報を生成する際に、点検対象の構築物（橋梁１）の概況図や、生成した飛行情報を表示部２１０へ表示する制御を実行する。

記憶部２４０は、各種情報を記憶する。記憶部２４０に記憶される情報としては、例えば点検対象の構築物（橋梁１）に関する情報がある。点検対象の構築物に関する情報には、例えば点検対象の構築物（橋梁１）の概況図、点検対象の構築物の構築方法が含まれ得る。また点検対象の構築物について、損傷が生じやすいと考えられる場所が予め分かっていれば、点検対象の構築物に関する情報には、損傷している可能性が高いと考えられる部分の情報が含まれ得る。

なお制御端末２００は、点検対象の構築物（橋梁１）に関する情報を予め記憶部２４０に記憶しておかなくとも、当該構築物の点検時に、例えば情報処理装置３００から受信するようにしてもよい。

本開示の一実施形態に係る制御端末２００は、図４に示したような構成を有することで、ホバリングカメラ１００に送信する飛行情報を、点検対象の構築物（橋梁１）に関する情報に基づいて生成して、飛行情報に基づいて飛行するホバリングカメラ１００で、飛行情報に基づき撮像された画像を取得することが出来る。

以上、図４を用いて本開示の一実施形態にかかる制御端末２００の機能構成例について説明した。続いて、本開示の一実施形態にかかる点検システム１０の動作例について説明する。

［１．４．動作例］
図５は、本開示の一実施形態にかかる点検システム１０の動作例を示す流れ図である。図５に示したのは、ホバリングカメラ１００を飛行させて、ホバリングカメラ１００に橋梁１を撮像させることで橋梁１を点検する際の、本開示の一実施形態にかかる点検システム１０の動作例である。なお、ホバリングカメラ１００を用いて橋梁１を点検する際には、橋梁１の適切な位置に無線中継ノード４００や位置推定ノード５００が予め設置されているものとする。以下、図５を用いて本開示の一実施形態にかかる点検システム１０の動作例について説明する。

ホバリングカメラ１００の飛行情報を生成する制御端末２００は、点検対象の橋梁１の概況図を含んだ、橋梁１に関する情報を読み込み、橋梁１の概況図を表示部２１０に表示する（ステップＳ１０１）。橋梁１に関する情報の読み込みは、例えば飛行情報生成部２３２が実行し、橋梁１の概況図の表示部２１０への表示は、例えば表示制御部２３４が実行する。橋梁１の概況図を表示部２１０に表示している制御端末２００は、ユーザに対して、表示部２１０に表示している橋梁１の概況図を用いて、点検する橋梁１の領域をユーザに指定させる（ステップＳ１０２）。ステップＳ１０２のユーザに指定させる処理は例えば飛行情報生成部２３２が実行する。

例えば橋梁１の一部分を点検対象とする場合は、制御端末２００は、表示部２１０に表示している橋梁１の概況図における点検対象の領域をユーザに指定させる。また例えば橋梁１の全体を点検対象とする場合は、制御端末２００は、表示部２１０に表示している橋梁１の概況図における、橋梁１の全ての部分の領域をユーザに指定させる。

図６は、制御端末２００の表示部２１０に表示される画面の一例を示す説明図である。図６に示したのは、上記ステップＳ１０２で、点検する橋梁１の領域をユーザに指定させる際に表示部２１０に表示される画面の一例である。図６には、点検する橋梁１の領域として橋桁を指定した場合に、表示部２１０に表示される画面が表示されているものとする。制御端末２００は、図示せぬ入力部として例えばタッチパネルを有し、例えばユーザに画面をなぞらせたり、点検対象の径間を選択させたりすることで、橋梁１の領域をユーザに指定させることが出来る。もちろん点検する橋梁１の領域をユーザに指定させる方法は係る例に限定されるものではない。また、ユーザに指定された領域の表示も、図６に示した例に限定されるものではない。

図６には、ベースステーション６００の位置を示すマークＢ１が橋梁１の概況図に重畳されて表示されている様子も示されている。上述したように、ベースステーション６００は、ＧＰＳ受信機を備え、ＧＰＳ衛星からの電波の受信によって現在位置を算出することが出来る。従って制御端末２００は、ベースステーション６００が算出した現在位置の情報に基づいて、ベースステーション６００の位置を示すマークＢ１を橋梁１の概況図に重畳させて表示することが出来る。

点検する橋梁１の領域をユーザに指定させると、続いて制御端末２００は、橋梁１に関する情報に基づき、ユーザが指定した、点検する領域におけるホバリングカメラ１００の飛行情報を生成する（ステップＳ１０３）。ステップＳ１０３の飛行情報の生成処理は、例えば飛行情報生成部２３２が実行する。

制御端末２００は、上記ステップＳ１０３でホバリングカメラ１００の飛行情報を生成する際に、橋梁１の構築方法、幅、径間長等の構造に関する情報、ホバリングカメラ１００の飛行可能時間、橋梁１の点検方法等の情報を用いる。例えば、橋梁１の構築方法としてＴ桁が用いられている場合は、制御端末２００は、ホバリングカメラ１００が橋梁１の底面側で浮上と下降を繰り返すような飛行経路を飛行情報として生成する。また制御端末２００は、上記ステップＳ１０３でホバリングカメラ１００の飛行情報を生成する際に、橋梁１の撮像対象面の情報を用いてもよい。例えば橋梁１の側面を撮像することをユーザが選択した場合は、制御端末２００は、橋梁１の側面に沿った飛行経路を飛行情報として生成し、橋梁１の底面を撮像することをユーザが選択した場合は、制御端末２００は、橋梁１の底面側を往復するような飛行経路を飛行情報として生成する。

制御端末２００が生成する飛行情報の一例を説明する。飛行情報は、例えば撮像処理を実行する位置毎のリストを以下のようなフォーマットで指定してもよい。
ＩＤ：（撮像点の相対座標，撮像方向，撮像時の速度，次の撮像点までの移動時間，その他）
撮像点の相対座標は、Ｘ軸、Ｙ軸、Ｚ軸の３点で指定する。なお、Ｘ軸を緯度方向、Ｙ軸を経度方向、Ｚ軸を高さ方向とする。またその他の情報としては、例えば特殊な撮像を制御する情報が含まれ得る。特殊な撮像を制御する情報には、例えば、同一の位置で複数の撮像方向で撮像するための情報、ブラケット撮像（同一の位置及び撮像方向において異なる露出、シャッタスピード、ＩＳＯ感度等で撮像することをいう）のためのパラメータに関する情報、撮像時の赤外線の波長の情報が含まれ得る。このフォーマットに従えば、制御端末２００が生成する飛行情報は以下の様な値のリストで構成され得る。
０：（０，０，０，０，０，２，１．０）
１：（５，０，０，０，０，２，１．０）
２：（７，０，０，０，０，２，１．０）
３：（９，０，０，０，０，２，１．０）
制御端末２００が生成する飛行情報に含まれる撮像点は、例えばベースステーション６００の絶対座標や１回目の撮像位置等の任意の位置の絶対座標を基準点とし、その基準点からの相対座標で指定されてもよい。ホバリングカメラ１００は、基準点の絶対座標からの相対座標を絶対座標に変換して、飛行時に変換後の座標を参照してもよい。また、制御端末２００が生成する飛行情報に含まれる撮像点は、相対座標ではなく絶対座標で指定されてもよい。また、制御端末２００が生成する飛行情報に含まれる特殊な撮像を制御する情報には所定の値が格納され得る。例えば、特殊な撮像を制御する情報には、１：複数の撮像方向での撮像、２：ブラケット撮像（シャッタスピードの変化）、３：ブラケット撮像（ＩＳＯ感度の変化）、・・・などの値が格納され得る。制御端末２００は、例えば記憶部２４０に記憶されている、橋桁３において損傷が生じやすいと考えられる場所については、特殊な撮像を制御する情報を飛行情報に含めてもよい。

制御端末２００は、上記ステップＳ１０３の飛行情報の生成処理の際には、例えば橋梁１の橋桁３の裏面を、ホバリングカメラ１００に等間隔で撮像させるような飛行情報を生成してもよい。従って制御端末２００は、ステップＳ１０３の飛行情報の生成処理の際に、静止画像の撮像位置が等間隔となるように飛行情報を生成してもよい。

制御端末２００は、上記ステップＳ１０３でホバリングカメラ１００の飛行情報を生成する際に、損傷している可能性が高いと考えられる部分の情報が予め記憶部１４０に記憶されていれば、その記憶されている情報を読み出して、その部分についてホバリングカメラ１００に詳細に撮像させるような飛行情報を生成してもよい。損傷している可能性が高いと考えられる部分をホバリングカメラ１００に撮像させる際には、制御端末２００は、上述の特殊な撮像を制御する情報を飛行情報に含めてもよい。もちろん損傷している可能性が高いと考えられる部分の情報は、予め記憶部１４０に記憶されていなくてもよく、その場合は損傷している可能性が高いと考えられる部分の情報をユーザが点検時に入力してもよい。

点検する橋梁１の領域をホバリングカメラ１００に飛行させる際に、ホバリングカメラ１００の飛行可能時間によっては、一度にその領域をホバリングカメラ１００に飛行させることが出来ないことが考えられる。ホバリングカメラ１００の飛行可能時間は、予めバッテリ１５０の容量や、ロータ１０４ａ〜ｄを動かすためのモータ１０８ａ〜１０８ｄの消費電力、撮像装置１０１、制御部１１０、通信部１２０の消費電力等から求めることが可能である。そして飛行情報を生成する際に、スタート位置（例えばベースステーション６００）から最初の撮像地点までの予定移動時間、撮像地点間の予定移動時間、最後の撮像地点からスタート位置に戻るまでの予定移動時間等から、ホバリングカメラ１００の一度の点検飛行に要する時間を見積もることも可能である。従って、点検する橋梁１の領域に対する飛行経路をホバリングカメラ１００が一度の点検飛行では飛行できない場合は、制御端末２００は、生成した飛行経路をいくつかに分割してもよい。

また制御端末２００は、上記ステップＳ１０３でホバリングカメラ１００の飛行情報を生成する際に、複数の飛行経路を生成し、表示部２１０にその飛行経路を表示してもよい。図７は、制御端末２００の表示部２１０に表示される画面の一例を示す説明図である。図７に示したのは、上記Ｓ１０３でホバリングカメラ１００の飛行情報が生成される際に、複数の飛行経路が生成され、表示部２１０にその飛行経路Ｒ１、Ｒ２が表示されている状態の一例である。制御端末２００は、表示部２１０に複数の飛行経路を表示して、ユーザに飛行経路を１つ選択させる。制御端末２００は、ユーザの飛行経路の選択に基づいて飛行情報を生成する。

上記ステップＳ１０３でホバリングカメラ１００の飛行情報を生成すると、続いて制御端末２００は、生成した飛行情報をホバリングカメラ１００に送信し、離陸指示をホバリングカメラ１００に送信する（ステップＳ１０４）。生成した飛行情報の送信及び離陸指示の送信は、例えば飛行情報生成部２３２が通信部２２０を通じて実行する。

図８は、制御端末２００の表示部２１０に表示される画面の一例を示す説明図である。図８に示したのは、ホバリングカメラ１００へ離陸指示を送信する際に制御端末２００の表示部２１０に表示される画面の一例である。ユーザは、表示部２１０に表示される離陸指示ボタン２１１を触ることで、制御端末２００からホバリングカメラ１００へ離陸指示を送信させることが出来る。なお制御端末２００からホバリングカメラ１００へ離陸指示を送信させる際には、その離陸指示の前に上記ステップＳ１０３で生成した飛行情報が制御端末２００からホバリングカメラ１００へ送信されてもよいが、制御端末２００からホバリングカメラ１００へ離陸指示を送信した後に、上記ステップＳ１０３で生成した飛行情報が制御端末２００からホバリングカメラ１００へ送信されてもよい。

制御端末２００から飛行情報及び離陸指示を受信し、ベースステーション６００から離陸したホバリングカメラ１００は、制御端末２００から送られた飛行情報に基づいて飛行して、撮像処理を実行して静止画像を得る（ステップＳ１０５）。ホバリングカメラ１００は、静止画像を得る撮像処理を実行した際の位置情報や撮像処理時の機体の情報を取得し、静止画像に紐づけておく。撮像処理時の機体の情報には、例えばヨー角、ピッチ角、加速度、角速度の情報が含まれ得る。またホバリングカメラ１００は、飛行中に撮像装置１０１で撮像している動画像を制御端末２００にストリーミング送信してもよい。制御端末２００は、ホバリングカメラ１００が飛行中に撮像装置で撮像している動画像をストリーミングで取得し、表示することで、制御端末２００は、ホバリングカメラ１００がどのような位置を飛行しているのかをユーザに提示することが出来る。

ホバリングカメラ１００は、撮像処理を実行する際には、全ての撮像地点で、撮像対象面（例えば橋桁３の側面や底面）との間の距離を一定に保つことが望ましい。全ての撮像地点で撮像対象面との間の距離を一定に保つことで、ホバリングカメラ１００は、同じ大きさで撮像した静止画像を得ることが出来る。

損傷している可能性が高いと考えられる部分がホバリングカメラ１００の飛行経路に含まれている場合、ホバリングカメラ１００は、その部分については、撮像装置の撮像方向を変化させたり、波長の異なる赤外線を当てたり、シャッタスピードを変化させたりして、複数の静止画像を撮像してもよい。また損傷している可能性が高いと考えられる部分がホバリングカメラ１００の飛行経路に含まれている場合、ホバリングカメラ１００は、その部分については撮像処理を行なう位置の間隔を他の部分より狭くしてもよい。

図９は、本開示の一実施形態にかかる点検システム１０におけるホバリングカメラ１００の動作を概念的に示す説明図である。ホバリングカメラ１００が飛行情報に基づいて橋梁１の底面側を飛行する場合、ホバリングカメラ１００は例えば時刻ｔ_１の時点で停止して橋梁１の底面を撮像し、撮像後に時刻ｔ_２で撮像を行なう位置まで飛行し、時刻ｔ_２の時点で停止して橋梁１の底面を別の位置で撮像し、以後は橋梁１の底面側の撮像のために飛行、停止、撮像を時刻ｔ_ｎの時点まで繰り返す。ホバリングカメラ１００が飛行、停止、撮像を繰り返すことで橋梁１の底面の画像が得られる。

ホバリングカメラ１００は、飛行情報に基づいて飛行する際に、ＧＰＳ衛星からの電波を障害無く受信出来れば現在位置を正確に把握できる。しかし、橋梁１の下など、ＧＰＳ衛星からの電波を受信しづらい位置では、ホバリングカメラ１００は、現在位置の正確な把握が困難になる。そこで本実施形態では、位置推定ノード５００を用いることで、ＧＰＳ衛星からの電波を受信しづらい位置でもホバリングカメラ１００に正確な現在位置を把握させる。

図１０は、本開示の一実施形態にかかる点検システム１０におけるホバリングカメラ１００の動作を概念的に示す説明図である。例えば図１０のＳｔａｒｔからＧｏａｌまでをホバリングカメラ１００が飛行するような経路が設定された場合、ホバリングカメラ１００は、ＧＰＳ衛星３０からの電波を障害なく受信して測位するＧＰＳ測位エリア４０と、例えばビジョンセンサを用いて現在位置を推定するセンサ測位エリア５０とを行き来することになる。

ホバリングカメラ１００は、ＧＰＳ測位エリア４０ではＧＰＳ衛星３０からの電波を用いて現在位置を把握する。ホバリングカメラ１００は、センサ測位エリア５０では位置推定ノード５００間の位置を、位置推定ノード５００がＡＲマーカーであれば、ホバリングカメラ１００に備えたセンサ（例えばＩＭＵセンサ）の積算値と、撮像装置１０１で撮像した画像から算出した移動先の位置推定ノード５００までの距離とで現在位置を把握する。位置推定ノード５００がＧＰＳ信号の発信機であれば、ホバリングカメラ１００は、位置推定ノード５００から発信される信号を用いて、それぞれ把握する。

このように位置推定ノード５００を用いることで、ホバリングカメラ１００は、ＧＰＳ衛星からの電波を受信しづらい位置に移動しても、正確な現在位置を把握することが出来る。

ホバリングカメラ１００は、最後の撮像地点での撮像処理を完了すると、自動的にベースステーション６００まで飛行して、ベースステーション６００に帰還する（ステップＳ１０６）。そして制御端末２００は、ベースステーション６００に帰還したホバリングカメラ１００が撮像した画像をホバリングカメラ１００から取得する（ステップＳ１０７）。なおホバリングカメラ１００が撮像した画像の取得は、このようにホバリングカメラ１００がベースステーション６００に帰還してから取得してもよいが、制御端末２００は、ホバリングカメラ１００が撮像処理を実行して静止画像を得る度にその静止画像を逐次取得してもよい。

本開示の一実施形態に係る点検システム１０は、ホバリングカメラ１００及び制御端末２００が図５に示したような動作を実行することで、ホバリングカメラ１００に送信する飛行情報を、点検対象の構築物（橋梁１）に関する情報に基づいて制御端末２００で生成して、飛行情報に基づいて飛行するホバリングカメラ１００で飛行情報に基づき画像を撮像し、ホバリングカメラ１００が撮像した画像を制御端末２００で取得することが出来る。

なお、ホバリングカメラ１００が飛行している間、ホバリングカメラ１００が撮像する動画像を見て、詳細に撮像したい部分をユーザが見つけたとする。その場合、例えばユーザは制御端末２００を操作して、ホバリングカメラ１００に対して自動飛行を停止してマニュアル操作に切り替える指示を制御端末２００から送出させてもよい。

上述の例では、制御端末２００で飛行情報を生成して、生成した飛行情報に基づいてホバリングカメラ１００が自動飛行し、撮像処理を実行する処理を示した。しかし、橋梁１の概況図では分からない障害物が飛行経路上に存在することも考えられる。

図１１は、本開示の一実施形態にかかる点検システム１０におけるホバリングカメラ１００の動作を概念的に示す説明図である。図１１には、橋桁３の下に樹木４が生えている様子が示されている。この樹木４は、橋梁１の概況図には現れない障害物であり、ホバリングカメラ１００の飛行時に初めて存在が明らかになる場合がある。

従って、本実施形態では、制御端末２００で生成した飛行情報に基づいてホバリングカメラ１００を一度テスト飛行させ、飛行情報に含まれる飛行経路上に障害物がないかどうかを確認するようにしても良い。

制御端末２００で生成した飛行情報に基づいてホバリングカメラ１００を一度テスト飛行させる際には、ホバリングカメラ１００が撮像している動画像を制御端末２００でストリーミング受信して、飛行情報に含まれる飛行経路上に障害物がないかどうかを、ユーザがその動画像を見ながら確認するようにしても良く、ホバリングカメラ１００のセンサ部１３０によって障害物を検知させても良い。障害物の詳細な位置は、ホバリングカメラ１００の撮像装置１０１としてステレオカメラを備えておき、ステレオカメラによる撮像で障害物までの距離を把握したり、ホバリングカメラ１００の向きによって障害物の方向を特定したりすることで把握することが可能である。なお、ホバリングカメラ１００をテスト飛行させている際に、飛行経路上に障害物が存在していれば、ホバリングカメラ１００は自動飛行を停止してホバリング状態に移行し、ユーザからの操作を待機してもよく、自動的にベースステーション６００に帰還するようにしてもよい。

飛行情報に含まれる飛行経路上に障害物が存在することが分かったら、制御端末２００は、障害物の場所を橋梁１の概況図に登録してもよい。障害物の場所はユーザが手入力してもよく、ホバリングカメラ１００がセンサ部１３０によって障害物を検知した場合にはその検知した障害物の場所をホバリングカメラ１００から取得して、障害物の場所を橋梁１の概況図に登録してもよい。

図１２は、制御端末２００の表示部２１０に表示される画面の一例を示す説明図である。図１２に示したのは、ホバリングカメラ１００のテスト飛行によって飛行経路上に障害物が存在することが分かった場合の、表示部２１０に表示される画面の一例である。ホバリングカメラ１００のテスト飛行によって飛行経路上に障害物が存在することが分かれば、制御端末２００は、障害物の場所を示すマークＯ１を橋梁１の概況図に重ねて表示させる。

障害物の場所が分かれば、制御端末２００は、その障害物の場所を避けるような飛行経路となるように飛行情報を再生成し、ホバリングカメラ１００に再生成した飛行情報を送信する。ホバリングカメラ１００は、制御端末２００が再生成した飛行情報に基づいて飛行することで、障害物（樹木４）を避けて飛行及び撮像処理を行なうことが出来る。

ホバリングカメラ１００を飛行させて障害物の場所を把握する方法は係る例に限定されるものではない。例えば、制御端末２００が生成した飛行経路の外周を、ホバリングカメラ１００に撮像装置１０１で動画像を撮像させながら単純な経路で飛行させて、橋桁３の下に障害物があるかどうかを確認するようにしてもよい。

［１．５．損傷データの生成例］
ホバリングカメラ１００を飛行させて、ホバリングカメラ１００に橋梁１を撮像させることで、例えば橋桁３の底面のような作業員が容易に近づけない場所の様子が把握可能となる。ホバリングカメラ１００が撮像した静止画像には、例えば、その静止画像を撮像したホバリングカメラ１００の位置情報（ＧＰＳによる測位や、位置推定ノード５００を用いた測位による位置情報が含まれ得る）、撮像時の機体情報（例えばヨー角、ピッチ角、加速度、角速度）、撮像方向の情報が紐付けられる。またホバリングカメラ１００が全ての撮像地点で撮像対象面との間の距離を一定に保って撮像することで、画像中の損傷が発生している場所の相対的な位置が分かる。従って、ホバリングカメラ１００が撮像した静止画像に、橋桁３の損傷部分が含まれていれば、その損傷部分の絶対的な場所の把握が可能になる。例えば、静止画像の中心を原点として損傷している場所の相対値を算出し、その画像を撮像した際のホバリングカメラ１００の位置情報にその相対値を算出することで、損傷部分の位置情報が求められる。なお、損傷部分の位置情報として例えば下記のようなデータを記録することができる。
（１）その静止画像の撮像位置の情報を損傷部分の位置として記録する（相対値（オフセット）を記録しない）。
（２）その静止画像の撮像位置の情報及び損傷部分に対応する相対値（オフセット）を損傷部分の位置として記録する。
（３）基準となる絶対値（例えば後述するように、位置情報の精度が高いと考えられる四隅の静止画像の撮像位置や、位置推定ノード５００の座標）及び相対値（オフセット）を損傷部分の位置として記録する。
（４）算出された絶対値（例えば緯度、経度、高度）を損傷部分の位置として記録する。

レンズの焦点距離、イメージセンサのサイズ、撮像対象までの距離等の数値を用いることによって撮像範囲の物理サイズを求める技術が知られている。従って損傷部分の把握の際に、ホバリングカメラ１００から撮像対象（例えば橋桁３の裏面や側面）までの距離情報や、撮像装置１０１の画角情報を用いて、ホバリングカメラ１００の撮像範囲の物理サイズが推定されてもよい。撮像画像の中心位置（ホバリングカメラ１００が撮像を行った位置）を原点として、その原点からの損傷部分までの物理的な相対位置が推定され、この相対位置に撮像画像の原点の位置座標が足し合わされることで、損傷部分の物理的な位置情報が決定される。なお、これらの距離情報や画角情報は、撮像の際にホバリングカメラ１００が有するセンサを介して取得し、画像と関連付けて記録しておいたものを利用してもよいし、予めホバリングカメラ１００または撮像装置１０１に設定された値を用いても良い。また撮像位置情報、距離情報や画角情報以外にも撮像時の機体情報（例えばヨー角、ピッチ角、加速度、角速度）、撮像方向の情報を用いて損傷部分の位置情報を算出してもよい。

ホバリングカメラ１００が撮像した静止画像からの損傷部分の検出は、ユーザ自身が目で見て行なっても良いが、画像処理によって例えば情報処理装置３００が自動的に行なっても良い。損傷部分の検出を自動化する際には、例えばパターンマッチング処理等の画像処理技術が用いられ得る。

損傷データのデータ構成は、例えば以下のフォーマットで定義される。
（画像ＩＤ、損傷ＩＤ、損傷部分の位置情報、損傷部分の画像上での座標、損傷種類ＩＤ、損傷程度）
損傷種類ＩＤは、例えばヒビ、剥離、漏水、遊離石灰等の損傷の種類にそれぞれ付与されたＩＤのことをいう。また損傷程度のフィールドには、損傷の最大幅や、画像中の損傷部分の長さ等が記録され得る。ホバリングカメラ１００が撮像した静止画像から、ユーザの手入力、または情報処理装置３００による自動処理で、本実施形態にかかる点検システム１０は、上述したフォーマットに従った損傷データを生成することが出来る。そして、本実施形態にかかる点検システム１０が生成した損傷データは、橋梁１に生じた損傷を修復するための工事業者に対する発注処理に用いられ得る。

しかし、ホバリングカメラ１００は一度の点検飛行で数多くの静止画像を撮像する。従って、ホバリングカメラ１００が点検飛行の際に撮像した静止画像を１枚ずつ確認するのはユーザの負担が大きい。

そこで、ホバリングカメラ１００が撮像した静止画像を繋ぎあわせて（スティッチングして）１枚の画像を得る。ホバリングカメラ１００が撮像した静止画像をスティッチングすることで、例えば橋桁３の１径間分の底面の様子が１枚の画像として得られることになる。そして、ホバリングカメラ１００が撮像した静止画像をスティッチングして得られた橋桁３の１径間分の底面の画像を確認することで、ユーザは橋桁３の底面に損傷があるかどうかを確認することが出来る。なお、静止画像のスティッチング処理は、制御端末２００で行われてもよく、情報処理装置３００で行われても良い。

図１３は、ホバリングカメラ１００が撮像した静止画像に基づいて橋桁３の底面を点検する場合の概要を示す説明図である。橋桁３の底面のある一部分（例えば橋桁３の１径間長分）をホバリングカメラ１００に撮像させ、ホバリングカメラ１００が撮像した静止画像をスティッチングすることで、橋桁３の底面を撮像した１枚の画像２０が得られる。なお符号２１に示したのは、ホバリングカメラ１００の一度の撮像処理で撮像される画像を示している。

ホバリングカメラ１００が撮像した静止画像をスティッチングして得られた画像から損傷部分の絶対的な場所を求める際には、スティッチングした画像のうち撮像時の位置情報の精度が相対的に高い位置情報を基準点として選択することができる。基準点としてスティッチングした画像の基になる四隅の静止画像の撮像時の、ホバリングカメラ１００の位置情報を用いても良い。スティッチングした画像の基になる四隅の静止画像は一番歪みが少なく、またＧＰＳ測位エリアの方が位置情報の誤差が少なくなり、ＧＰＳ測位エリアとなる、またＧＰＳ測位エリアに近い四隅の撮像時の位置情報を基準点として使うのが好ましいと考えられるので、四隅の静止画像に対応するホバリングカメラ１００の位置情報から、損傷部分の絶対的な場所を求めることで、その損傷部分の位置を精度よく求めることが可能となる。なお、各位置情報の精度として、例えばＧＰＳ位置測位データ中の測位ステータス情報（２Ｄ測位中、３Ｄ測位中又は測位不能の状態を表す情報や受信衛星数等のデータ）を用いてもよい。

図１４は、ホバリングカメラ１００が撮像した静止画像をスティッチングして得られた画像２０の例を示す説明図である。画像２０の基となる四隅の静止画像Ｃ１〜Ｃ４の中心Ｇ１〜Ｇ４が、それぞれの静止画像を撮像した際のホバリングカメラ１００の位置に対応する。本実施形態では、この四隅の静止画像Ｃ１〜Ｃ４に対応するホバリングカメラ１００の位置情報を用いて、画像２０におけるそれぞれの損傷部分の絶対位置を算出する。

スティッチングした画像から損傷データを生成する際には、損傷データのデータ構成は、例えば以下のフォーマットで定義される。すなわち、上述した損傷データから画像ＩＤが削除される。
（損傷ＩＤ、損傷部分の位置情報、損傷部分の画像上での座標、損傷種類ＩＤ、損傷程度）
なお、スティッチングした画像の画像ＩＤを生成し、スティッチングした画像の画像ＩＤを損傷データに含めても良い。スティッチングした画像から、ユーザの手入力、または情報処理装置３００による自動処理で、本実施形態にかかる点検システム１０は、上述したフォーマットに従った損傷データを生成することが出来る。

［１．５．１．機能構成例］
図１５は、本開示の一実施形態に係る情報処理装置３００の機能構成例を示す説明図である。図１５に示したのは、ホバリングカメラ１００が撮像した静止画像から橋桁３の絶対的な損傷位置を求めて損傷データを生成する機能を有する、本開示の一実施形態に係る情報処理装置３００の機能構成例である。以下、図１５を用いて本開示の一実施形態に係る情報処理装置３００の機能構成例について説明する。

図１５に示したように、本開示の一実施形態にかかる情報処理装置３００は、表示部３１０と、通信部３２０と、制御部３３０と、記憶部３４０と、を含んで構成される。

表示部３１０は、例えば液晶表示装置、有機ＥＬ表示装置等の平板表示装置からなる。表示部３１０は、例えば、ホバリングカメラ１００の撮像装置１０１が撮像した画像や、その撮像装置１０１が撮像した画像から得られる橋梁１の損傷に関する情報等を表示し得る。

通信部３２０は、例えば制御端末２００との間で無線通信による情報の送受信を行う。情報処理装置３００は、ホバリングカメラ１００が撮像した画像を、その画像の絶対的な撮像位置の情報と共に、制御端末２００から通信部３２０で受信する。

制御部３３０は、情報処理装置３００の動作を制御する。例えば制御部３３０は、表示部３１０への文字、図形、画像その他の情報の表示処理、通信部３２０を介した他の装置（例えば制御端末２００）との間の情報の送受信処理を制御し得る。また制御部３３０は、撮像位置情報取得部３３２と、損傷位置算出部３３４と、画像合成部３３６と、損傷データ生成部３３８と、を含んで構成される。

撮像位置情報取得部３３２は、ホバリングカメラ１００が橋梁１を撮像した際にホバリングカメラ１００で取得された、その撮像時の撮像位置の情報を取得する。損傷位置算出部３３４は、ホバリングカメラ１００が撮像した画像から橋梁１の損傷部分を、例えばパターンマッチング処理等の画像処理技術を用いて検出し、その損傷部分の絶対的な位置を、撮像位置情報取得部３３２が取得した撮像位置の情報を用いて算出する。

画像合成部３３６は、ホバリングカメラ１００が撮像した静止画像を繋ぎあわせて１つの画像を生成するスティッチングする画像処理を実行する。画像合成部３３６は、ホバリングカメラ１００が撮像した静止画像をスティッチングする際に、各静止画像の撮像時の撮像位置の情報を用いても良い。

損傷位置算出部３３４は、損傷位置の算出の際に、画像合成部３３６でスティッチングした画像の基になる撮像画像における隅の撮像画像（例えば四隅のそれぞれ）の撮像位置の情報を用いてもよい。上述したように、スティッチングした画像の基になる撮像画像における四隅の静止画像は一番歪みが少ないと考えられるので、損傷位置算出部３３４は、スティッチングした画像の基になる撮像画像における隅の撮像画像の撮像位置の情報を用いることで、より正確な損傷位置を求めることが出来る。

損傷データ生成部３３８は、損傷位置算出部３３４が算出した、橋梁１の損傷部分の絶対的な位置を用いて、上述したような損傷データを生成する。損傷データ生成部３３８は、１枚の静止画像単位で損傷データを生成してもよく、画像合成部３３６がスティッチングした画像に対して１つの損傷データを生成してもよい。

記憶部３４０は、各種情報を記憶する。記憶部３４０に格納される情報には、例えば、ホバリングカメラ１００の撮像装置１０１が撮像した静止画像及びその静止画像を撮像した際のホバリングカメラ１００の絶対的な撮像位置の情報、損傷データ生成部３３８が生成した損傷データの情報が含まれ得る。

本開示の一実施形態に係る情報処理装置３００は、図１５に示したような構成を有することで、ホバリングカメラ１００が撮像した静止画像から損傷データを生成することが可能となり、従って本開示の一実施形態に係る情報処理装置３００は、点検対象の構築物である橋梁１の点検結果を効率的に生成することが可能となる。なお上述したように、損傷データは情報処理装置３００ではなく、制御端末２００が生成してもよい。従って、図１５に示した動作は情報処理装置３００の制御部３３０の構成は、制御端末２００が有してもよい。また、点検対象の構築物である橋梁１の点検結果は、公の、また私的なデータベースに蓄積し、活用することができる。なお上述したように、損傷データは情報処理装置３００ではなく、制御端末２００が生成してもよい。従って、図１５に示した動作は情報処理装置３００の制御部３３０の構成は、制御端末２００が有してもよい。

以上、図１５を用いて本開示の一実施形態に係る情報処理装置３００の機能構成例について説明した。続いて本開示の一実施形態に係る情報処理装置３００の動作例について説明する。

［１．５．２．動作例］
図１６は、本開示の一実施形態に係る情報処理装置３００の動作例を示す流れ図である。図１６に示したのは、ホバリングカメラ１００が撮像した静止画像から橋桁３の絶対的な損傷位置を求めて損傷データを生成する際の、本開示の一実施形態に係る情報処理装置３００の動作例である。以下、図１６を用いて本開示の一実施形態に係る情報処理装置３００の動作例について説明する。

情報処理装置３００は、まずホバリングカメラ１００が橋梁１の周縁を飛行しつつ撮像した、撮像位置の情報が紐付いた画像を取得する（ステップＳ３０１）。ステップＳ３０１で撮像位置の情報が紐付いた画像を取得すると、続いて情報処理装置３００は、その画像から損傷部分を、例えばパターンマッチング処理等の画像処理技術を用いて検出する（ステップＳ３０２）。ステップＳ３０２の損傷部分の検出処理は、例えば損傷位置算出部３３４が実行し得る。

上記ステップＳ３０２で画像から損傷部分を検出すると、続いて情報処理装置３００は、その損傷部分の絶対的な位置の算出を行なう（ステップＳ３０３）。ステップＳ３０３の算出処理は、例えば損傷位置算出部３３４が実行し得る。情報処理装置３００は、ステップＳ３０３での損傷部分の絶対的な位置の算出を、ホバリングカメラ１００が撮像した静止画像の撮像位置の情報に基づいて行なう。情報処理装置３００は、損傷部分の絶対的な位置の算出の際に、ホバリングカメラ１００から撮像対象（例えば橋桁３の裏面や側面）までの距離情報や、撮像装置１０１の画角情報によって、ホバリングカメラ１００の撮像範囲の物理サイズが推定されてもよい。撮像画像の中心からの損傷部分までの物理的な相対位置を推定し、この相対位置に撮像画像の原点としての位置座標を足し合わせることで、情報処理装置３００は、損傷部分の物理的な位置情報を決めることができる。そして情報処理装置３００は、損傷部分の絶対的な位置を含んだ損傷データの生成を行なう（ステップＳ３０４）。ステップＳ３０４の損傷データの生成処理は、例えば損傷データ生成部３３８が実行し得る。

本開示の一実施形態に係る情報処理装置３００は、図１６に示したような動作を実行することで、ホバリングカメラ１００が撮像した静止画像から損傷データを生成することが可能となり、従って本開示の一実施形態に係る情報処理装置３００は、点検対象の構築物である橋梁１の点検結果を効率的に生成することが可能となる。なお上述したように、損傷データは情報処理装置３００ではなく、制御端末２００が生成してもよい。従って、図１６に示した動作は制御端末２００が実行してもよい。

図１７は、本開示の一実施形態に係る制御端末２００の動作例を示す流れ図である。図１７に示したのは、情報処理装置３００が生成した損傷データを用いた、制御端末２００による飛行情報の生成処理の一例である。以下、図１７を用いて本開示の一実施形態に係る制御端末２００の動作例について説明する。

ホバリングカメラ１００が撮像した静止画像を制御端末２００が表示し、その静止画像上で損傷の場所がユーザによって指定されると（ステップＳ３１１）、制御端末２００は、その指定された場所の損傷位置を、情報処理装置３００が生成した損傷データから取得する（ステップＳ３１２）。損傷場所の指定方法は問わないが、例えば静止画像を表示し、制御端末２００のタッチパネルを指などで触らせることで損傷場所をユーザに指定させてもよい。

ユーザに指定された場所の損傷位置を損傷データから取得すると、続いて制御端末２００は、損傷データから取得した損傷位置へホバリングカメラ１００を飛行させて、損傷位置を撮像させる飛行情報を生成する（ステップＳ３１３）。ステップＳ３１３の処理は、例えば飛行情報生成部２３２が実行する。制御端末２００がこのステップＳ３１３で生成する飛行情報は、損傷位置を詳細に確認するためであるので、上述の図５の説明で述べた制御端末２００が生成する飛行情報に比べ、撮像位置の間隔を狭めたり、各撮像位置で特殊な撮像を実行したりするようにホバリングカメラ１００へ指示するものであってもよい。

上記ステップＳ３１３で飛行情報を生成すると、図５のステップＳ１０４、Ｓ１０５で示したように、制御端末２００は生成した飛行情報をホバリングカメラ１００に送信し、ホバリングカメラ１００は飛行情報に基づいて飛行および撮像処理を実行する。そして図５のステップＳ１０６、Ｓ１０７で示したように、ホバリングカメラ１００は、最後の撮像地点での撮像処理を完了すると、自動的にベースステーション６００まで飛行して、ベースステーション６００に帰還し、制御端末２００は、ホバリングカメラ１００が撮像した画像をホバリングカメラ１００から取得する。

本開示の一実施形態に係る制御端末２００は、図１７に示したような動作を実行することで、情報処理装置３００が生成した損傷データを用いて、橋桁３の損傷部分をホバリングカメラ１００に詳細に撮像させるための飛行情報を生成することが出来る。

［１．６．合成画像を用いた飛行指示の例］
ホバリングカメラ１００に動画像、または所定の間隔で静止画像を撮像させて制御端末２００に送信すると、制御端末２００は、ホバリングカメラ１００が撮像した動画像を所定のフレームごとに、または所定の間隔で撮像した静止画像をリアルタイムで合成する処理（リアルタイムスティッチング処理）を行なうことが出来る。制御端末２００は、合成画像を用いて、ホバリングカメラ１００の目標位置をユーザに指定させることが出来る。そして制御端末２００は、ユーザが指定した目標位置まで飛行する飛行情報を、ホバリングカメラ１００に送信する。

制御端末２００は、このように画像を合成して合成画像を表示部２１０に表示し、合成画像に対して指定された目標位置まで飛行する飛行情報を生成することで、より直感的にユーザにホバリングカメラ１００の飛行経路を生成することが出来る。また制御端末２００は、ホバリングカメラ１００が撮像した動画像または静止画像から合成画像を生成して合成画像を表示部２１０に表示することで、航空写真を得るのが難しい場合、例えば橋梁の裏側のような場所に対しても、地図や航空写真では得られないような細かい画像情報や現在の状況を使って飛行経路を指定させることが出来るとともに、外部の地図情報等のデータベースへのアクセスを要しない。また制御端末２００は、ホバリングカメラ１００が撮像した動画像または静止画像から合成画像を生成することで、屋内でのホバリングカメラ１００の飛行経路の指定も可能になる。

図１８は、ホバリングカメラ１００を飛行させている際に、ホバリングカメラ１００に地面の方向を撮像させている様子を示す説明図である。そして図１９は、ホバリングカメラ１００に撮像させた画像を合成するとともに、その合成画像を用いて、ホバリングカメラ１００の飛行経路をユーザに指定させている様子を示す説明図である。

図１９には、上空から撮像した結果得られる合成画像２５１に重畳されて、ホバリングカメラ１００の現在位置を示す現在位置マーク２５２が示されている。制御端末２００は、合成画像２５１を生成する際には、例えば後述するように特徴点マッチング等を用いる。

ユーザが例えば図１９に示したようにホバリングカメラ１００の目標位置２５３を合成画像２５１上で指定すると、制御端末２００は、現在位置マーク２５２から目標位置２５３までホバリングカメラ１００を飛行経路２５４で飛行させるための飛行情報を生成してホバリングカメラ１００に送信する。ホバリングカメラ１００は、制御端末２００から送信された飛行情報に基づいて飛行する。

図２０は、ホバリングカメラ１００を飛行させている際に、ホバリングカメラ１００に上方の方向（橋梁の裏面）を撮像させている様子を示す説明図である。そして図２１は、ホバリングカメラ１００に撮像させた画像を合成するとともに、その合成画像を用いて、ホバリングカメラ１００の飛行経路をユーザに指定させている様子を示す説明図である。

図２１には、図１９と同様に、橋梁の裏面を撮像した結果得られる合成画像２６１に重畳されて、ホバリングカメラ１００の現在位置を示す現在位置マーク２６２が示されている。制御端末２００は、合成画像２６１を生成する際には、例えば後述するように特徴点マッチング等を用いる。

ユーザが例えば図２１に示したようにホバリングカメラ１００の目標位置２６３を合成画像２６１上で指定すると、制御端末２００は、現在位置マーク２６２から目標位置２６３までホバリングカメラ１００を飛行経路２６４で飛行させるための飛行情報を生成してホバリングカメラ１００に送信する。ホバリングカメラ１００は、制御端末２００から送信された飛行情報に基づいて飛行する。

まず、制御端末２００による合成画像の生成例を示す。図２２は、制御端末２００で合成画像を生成して表示部２１０に表示している様子を示す説明図である。なお、以下で説明する処理は、例えば制御端末２００の表示制御部２３４が実行してもよい。従って、表示制御部２３４は、本開示の画像処理部の一例として機能し得る。

図２２には、例えば時刻ｔ−５〜ｔ−１で撮像された画像群２７１と、時刻ｔで撮像された画像２７２と、を用いて、制御端末２００で合成画像を生成して表示している様子が示されている。時刻ｔで撮像された画像２７２が制御端末２００に送信された場合、制御端末２００は、時刻ｔで撮像された画像２７２の特徴点と、画像群２７１の中から時刻ｔ−１で撮像された画像の特徴点との照合を行なう。なお制御端末２００は、時刻ｔで撮像された画像２７２の特徴点と、既に画像群２７１を用いて合成した合成画像の特徴点との照合を行なってもよい。

続いて制御端末２００は、特徴点の位置誤差が最小となるような回転・並進パラメータ（またはアフィン変換パラメータ）を求める。続いて制御端末２００は、新しい画像２７２を基準に、これまでのスティッチング処理で生成した合成画像を、回転・並進パラメータ（またはアフィン変換パラメータ）を使った変換で合成（αブレンディング）する。制御端末２００は、この合成により、合成画像の中心に時刻ｔで撮像された画像がくるような新たな合成画像を生成することが出来る。そして。制御端末２００は、合成画像の中心、すなわち、時刻ｔで撮像された画像の中心２７３がホバリングカメラ１００の位置となるように合成画像を表示する。

続いて、このように生成された合成画像に対するユーザの入力に基づく、制御端末２００の飛行経路の生成処理について説明する。

図２３は、合成画像に対するユーザの入力に基づく、制御端末２００の飛行経路の生成処理について説明する説明図である。制御端末２００が生成した合成画像２７５に対してユーザが目標位置２７６を指定すると、ホバリングカメラ１００の現在位置から目標位置に対する方向が分かる。合成画像は、ホバリングカメラ１００が撮像した画像に基づいて生成されるので、その目標位置に対する方向は現在のホバリングカメラ１００からの方向を表している。

なお、目標位置２７６は、まだホバリングカメラ１００によって撮像されていない場所がユーザによって指定されても良い。

例えば撮像画像の上方がホバリングカメラ１００の前方、左方向がホバリングカメラ１００の左方向であるように、ホバリングカメラ１００に下向きに撮像装置が設けられているとする。従って、図２３に示した合成画像２７５に対してユーザが目標位置２７６を指定すると、目標位置２７６はホバリングカメラ１００の現在位置（すなわち中心２７３）から見て左後方の方向になる。

従って、制御端末２００は、ホバリングカメラ１００の現在位置から見て左後方の方向にホバリングカメラ１００が飛行するような飛行経路２７７を決定し、その飛行経路２７７で水平飛行するような飛行情報を生成し、ホバリングカメラ１００に送信する。飛行経路２７７の決定や飛行情報の生成は例えば飛行情報生成部２３２が実行してもよい。ホバリングカメラ１００は、制御端末２００から送信された飛行情報に基づき、左後方に水平飛行する。

そしてホバリングカメラ１００の水平飛行の開始に伴い、制御端末２００はホバリングカメラ１００による新たな撮像画像を得る事が出来る。制御端末２００は、ホバリングカメラ１００の移動によって得られる新たな撮像画像を用いて合成画像の更新を行なう。制御端末２００は、合成画像の更新の際に、画像の向きや位置を更新するだけでなく、目標位置も更新する。画像の向きや位置、目標位置も更新されることで、目標位置は、ユーザに指定された時の位置と一緒に移動する。図２４は、ホバリングカメラ１００の目標位置２７６への移動によって得られる新たな撮像画像を用いた更新後の合成画像の例を示す説明図である。図２４は、図２３と比較すると、中心２７３の位置は常に同じであり、目標位置２７６が中心２７３に近づいている。すなわち、図２４は、図２３に示したものから、目標位置２７６が移動していることが分かる。

制御端末２００は、ホバリングカメラ１００による新たな撮像および合成画像の更新により、目標位置２７６が中心２７３に所定の距離以下まで近づくようなフィードバック制御を掛けて飛行情報を生成し、生成した飛行情報をホバリングカメラ１００に送信する。

上述の例では、ホバリングカメラ１００の回転を伴わずに目標位置へ移動させる方法を示したが、本開示は係る例に限定されない。制御端末２００は、目標位置が指定されると、まずホバリングカメラ１００を目標位置に向けて回転させる飛行情報を生成し、ホバリングカメラ１００を回転させた後に目標位置へ向けて移動させる飛行情報を生成してもよい。ホバリングカメラ１００を回転させる場合であっても、制御端末２００は、上述したように特徴点マッチングを行なうので、合成画像はホバリングカメラ１００の回転に伴って回転させることが出来る。

なお、画像中の移動方向は、ホバリングカメラ１００への撮像装置の取り付け方によって異なる。従って、例えばホバリングカメラ１００に撮像装置１０１が上向きに取り付けられていれば、下向きに取り付けられていた場合と移動方向が反転することになる。

ホバリングカメラ１００に撮像装置１０１を横方向に設置することも、もちろん可能である。ホバリングカメラ１００に撮像装置１０１が横方向に設置されている場合、ホバリングカメラ１００の移動方向は、上下と回転、または上下と左右の組み合わせになる。図２５は、ホバリングカメラ１００に撮像装置１０１が横方向に設置されている場合における合成画像の例を示す説明図である。図２５には、ホバリングカメラ１００が撮像した画像から生成した合成画像２８１が示されている。また符号２８２で囲まれているのは、ホバリングカメラ１００が現在の位置から撮像している画像を示している。

上述した説明を踏まえて、本開示の一実施形態に係る制御端末２００の動作例について説明する。

図２６は、本開示の一実施形態に係る制御端末２００の動作例を示す流れ図である。図２６に示したのは、ホバリングカメラ１００で撮像された画像から合成画像を生成し、その合成画像に基づいて飛行情報を生成してホバリングカメラ１００に送出する際の制御端末２００の動作例である。

制御端末２００は、最初に初期化処理を表示制御部２３４で行なう（ステップＳ４０１）。この初期化処理は、ホバリングカメラ１００から最初に送られてきた撮像画像を入力画像とし、その入力画像を最初の合成画像とする処理である。

制御端末２００は、続いてホバリングカメラ１００で撮像された画像を入力画像として、入力画像及び合成画像の特徴点抽出を表示制御部２３４で行なう（ステップＳ４０２）。特徴点抽出を行なうと、続いて制御端末２００は、抽出した特徴点のマッチングを行って、特徴点間の移動量や回転量の算出を表示制御部２３４で行なう（ステップＳ４０３）。

制御端末２００は、続いて、上記ステップＳ４０３で求めた特徴点間の移動量や回転量に合わせて、表示制御部２３４で合成画像を変換する（ステップＳ４０４）。この変換の際に、目標位置が既に指定されていれば、制御端末２００は、表示制御部２３４で目標位置も合わせて変換する。

制御端末２００は、続いて、それまでの合成画像に入力画像を合成して新たな合成画像として、その合成画像の表示処理を表示制御部２３４で行なう（ステップＳ４０５）。

制御端末２００は、続いて、合成画像が表示されている表示部２１０に対するユーザ入力があったかどうかを表示制御部２３４で判断する（ステップＳ４０６）。合成画像が表示されている表示部２１０に対するユーザ入力とは、例えば表示部２１０に設けられているタッチパネルに対するユーザ入力である。そして、表示部２１０に設けられているタッチパネルに対するユーザ入力があった場合は、制御端末２００は、ユーザによって入力された画像上の座標位置を、例えば表示制御部２３４で検出する。合成画像に対するユーザ入力があった場合は（ステップＳ４０６、Ｙｅｓ）、制御端末２００は、ユーザのタッチ位置を目標位置として登録する処理を表示制御部２３４で行なう（ステップＳ４０７）。合成画像に対するユーザ入力がなかった場合は（ステップＳ４０６、Ｎｏ）、制御端末２００は、上記ステップＳ４０７の処理をスキップする。

制御端末２００は、続いて、目標位置が登録されているかどうかを表示制御部２３４で判断する（ステップＳ４０８）。目標位置が登録されていれば（ステップＳ４０８、Ｙｅｓ）、制御端末２００は、続いて、その目標位置の現在位置からの方向を表示制御部２３４で求める（ステップＳ４０９）。

目標位置の現在位置からの方向を求めると、制御端末２００は、続いて、撮像装置１０１の取り付けに合わせて、画像上での方向からホバリングカメラ１００の機体の移動方向に変換する（ステップＳ４１０）。そして制御端末２００は、その変換後の移動方向へ移動するためのコマンドを飛行情報として飛行情報生成部２３２で生成し、ホバリングカメラ１００へ送出する（ステップＳ４１１）。

制御端末２００は、ホバリングカメラ１００へ飛行情報を送出すると、上記ステップＳ４０２の特徴点の抽出処理に戻る。

一方、上記ステップＳ４０８の判断の結果、目標位置が登録されていなければ（ステップＳ４０８、Ｎｏ）、制御端末２００は、上記ステップＳ４０９〜Ｓ４１１の処理をスキップして、上記ステップＳ４０２の特徴点の抽出処理に戻る。

本開示の一実施形態に係る制御端末２００は、上述した処理を実行することで、ホバリングカメラ１００が撮像した画像を随時合成して合成画像を生成するとともに、その合成画像に対して指定された位置へ飛行するような飛行情報を生成して、ホバリングカメラ１００に送出することが出来る。

なお上述した例では、合成画像に対するタッチ処理に応じてホバリングカメラ１００の飛行を制御する飛行情報を制御端末２００で生成したが、本開示は係る例に限定されるものではない。

例えば、合成画像に対するピンチイン操作による縮小処理や、ピンチアウト操作による拡大処理、また合成画像に対する回転操作に応じてホバリングカメラ１００の飛行を制御する飛行情報を制御端末２００で生成してもよい。

すなわち制御端末２００は、合成画像に対するピンチイン操作が行われると、ホバリングカメラ１００を撮像対象から遠ざけるような飛行情報を生成してもよい。また制御端末２００は、合成画像に対するピンチイン操作が行われると、ホバリングカメラ１００を撮像対象に近づけるような飛行情報を生成してもよい。また制御端末２００は、合成画像に対する回転操作が行われると、ホバリングカメラ１００の撮像装置１０１が撮像対象に向いたまま回転するような飛行情報を生成してもよい。

また、上述した例では、ホバリングカメラ１００が撮像した画像に対する合成処理を制御端末２００が行って、制御端末２００からホバリングカメラ１００へ飛行指示を送出していたが、例えば撮像装置を備えるロボットのような移動体全般に対する制御に、本実施形態の技術が適用できることは言うまでもない。

上述した例では、ホバリングカメラ１００が撮像した画像に対する合成処理を制御端末２００が行って、制御端末２００からホバリングカメラ１００へ飛行指示を送出していた。この場合、ホバリングカメラ１００から制御端末２００へは、ホバリングカメラ１００が撮像した画像が撮像の度に送信され、制御端末２００からホバリングカメラ１００へは、制御端末２００が生成した飛行情報、すなわち、ホバリングカメラ１００にとって移動方向が直接解釈できる情報が、飛行情報の生成及び更新の度に送信される。

しかし、本開示は係る例に限定されない。例えば、ホバリングカメラ１００が撮像した画像に対する画像処理によるパラメータの抽出及びホバリングカメラ１００の飛行を制御するコマンドの生成をホバリングカメラ１００が実行し、制御端末２００は、ホバリングカメラ１００が撮像した画像に対する合成処理及びユーザからの目標位置の入力のみを受け付けるようにしても良い。この場合、ホバリングカメラ１００から制御端末２００へは、ホバリングカメラ１００が撮像した画像が撮像の度に送信され、制御端末２００からホバリングカメラ１００へは、ユーザが指定した目標位置の情報が、ユーザの指定の度に送信される。

ホバリングカメラ１００が撮像した画像に対する画像処理によるパラメータの抽出及びホバリングカメラ１００の飛行を制御するコマンドの生成をホバリングカメラ１００が実行することで、フィードバック制御がホバリングカメラ１００の中だけで完結する。従って、制御端末２００とホバリングカメラ１００との間の情報のやり取りに要する通信量の削減や、制御端末２００とホバリングカメラ１００との間の通信が切断した場合でもホバリングカメラ１００を安全に飛行させることが可能になる。

また上述した例では、ホバリングカメラ１００で最も新しく撮像された画像が画面の中央部分に来るように合成画像を生成していたが、本開示は係る例に限定されるものではない。すなわち、合成画像の表示位置を固定にして、ホバリングカメラ１００で撮像された画像を合成画像に合成するようにしてもよい。合成画像の表示位置を固定にした場合は、目標位置が固定され、ホバリングカメラ１００の現在位置が、合成画像の更新とともに移動することになる。また合成画像の表示位置を固定にした場合に、合成画像の更新によって合成画像が画面の端部に達した時は、最も新しく撮像された画像が画面に収まるように合成画像全体をスクロールさせて、現在位置及び目標位置を更新するようにしてもよい。

撮像装置１０１は、撮像方向が固定されるようにホバリングカメラ１００に取り付けられてもよく、例えばモータ等によって撮像方向が変化するようにホバリングカメラ１００に取り付けられてもよい。撮像方向が変化するようにホバリングカメラ１００に撮像装置１０１が取り付けられている場合は、その撮像装置１０１の撮像方向を例えば制御部１１０で検知して、制御部１１０が検知した撮像方向に応じて、合成画像の生成処理や、ホバリングカメラ１００の移動方向を指定する処理が行われるようにしても良い。

＜２．まとめ＞
以上説明したように本開示の一実施形態によれば、設定された飛行情報に基づいて自動飛行し、点検対象の構築物を撮像するホバリングカメラ１００、及びホバリングカメラ１００に撮像させた静止画像に基づいて構築物の損傷状態を確認可能な点検システム１０が提供される。

本開示の一実施形態に係る点検システム１０は、ホバリングカメラ１００に送信する飛行情報を制御端末２００で生成する際に、点検対象の構築物に関する情報を用いる。点検対象の構築物に関する情報を用いることで、制御端末２００は、ホバリングカメラ１００を飛行させて点検対象の構築物を効率よく点検するための飛行情報を生成することが出来る。

また、本開示の一実施形態によれば、ホバリングカメラ１００が撮像した画像から合成画像を生成し、その合成画像に対する入力によってホバリングカメラ１００を移動させるための飛行情報を生成することが可能な制御端末２００が提供される。本開示の一実施形態に係る制御端末２００は、ホバリングカメラ１００が撮像した画像から合成画像を生成し、その合成画像に対する入力によってホバリングカメラ１００を移動させるための飛行情報を生成することで、ユーザに直感的にホバリングカメラ１００を操作させることが可能になる。従って本開示の一実施形態に係る制御端末２００は、複雑な操作をユーザに強いること無く、ユーザにより容易にホバリングカメラ１００を操作させることが可能になる。

なお、上記実施形態では、ホバリングカメラ１００が撮像する画像は静止画像であり、その静止画像を用いて橋梁１の損傷状態を点検する場合の点検システム１０の例を示したが、本開示は係る例に限定されるものではない。ホバリングカメラ１００は、飛行しながら橋梁１を動画像として撮像してもよく、情報処理装置３００は、そのホバリングカメラ１００が撮像した動画像を用いて損傷データを生成してもよい。ホバリングカメラ１００は、動画像の撮像処理の実行時に定期的に位置情報を取得し、動画像の撮像時刻と、位置情報の取得時刻とを紐付けることで、情報処理装置３００は、動画像を用いた損傷データの生成が可能になる。

本明細書の各装置が実行する処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、各装置が実行する処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

また、各装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した各装置の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供されることが可能である。また、機能ブロック図で示したそれぞれの機能ブロックをハードウェアまたはハードウェア回路で構成することで、一連の処理をハードウェアまたはハードウェア回路で実現することもできる。また上述の説明で用いた機能ブロック図で示したそれぞれの機能ブロックの一部又は全部は、たとえばインターネット等のネットワークを介して接続されるサーバ装置で実現されてもよい。また上述の説明で用いた機能ブロック図で示したそれぞれの機能ブロックの構成は、単独の装置で実現されてもよく、複数の装置が連携するシステムで実現されても良い。複数の装置が連携するシステムには、例えば複数のサーバ装置の組み合わせ、サーバ装置と端末装置との組み合わせ等が含まれ得る。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
撮像装置を備えた移動体で撮像された画像から合成画像を生成する画像処理部と、
前記画像処理部が生成した前記合成画像に対する操作に応じて前記移動体を移動させるための移動情報を生成する移動情報生成部と、
を備える、制御装置。
（２）
前記移動情報生成部は、前記合成画像に対して指定された指定位置に基づく場所へ前記移動体を移動させるための移動情報を生成する、前記（１）に記載の制御装置。
（３）
前記移動情報生成部は、前記移動情報の生成の際に、前記移動体における前記撮像装置の設置状態に基づいて前記移動体の移動方向を決定する、前記（２）に記載の制御装置。
（４）
前記画像処理部は、合成画像の生成の際に、生成前の合成画像における前記指定位置を生成後の合成画像における位置に移動させる、前記（２）または（３）に記載の制御装置。
（５）
前記移動情報生成部は、前記指定位置に基づく場所に正面を向けるよう前記移動体の向きを変化させてから該場所へ前記移動体を移動させるための移動情報を生成する、前記（２）〜（４）のいずれかに記載の制御装置。
（６）
前記移動情報生成部は、前記合成画像に対する拡大処理に基づいて、前記撮像装置の撮像対象に近づくように前記移動体を移動させるための移動情報を生成する、前記（１）〜（５）のいずれかに記載の制御装置。
（７）
前記移動情報生成部は、前記合成画像に対する縮小処理に基づいて、前記撮像装置の撮像対象から遠ざかるように前記移動体を移動させるための移動情報を生成する、前記（１）〜（５）のいずれかに記載の制御装置。
（８）
前記移動情報生成部は、前記合成画像に対する回転処理に基づいて、前記撮像装置が撮像対象を向いたまま回転するように前記移動体を移動させるための移動情報を生成する、前記（１）〜（５）のいずれかに記載の制御装置。
（９）
前記画像処理部は、最も新しく前記移動体で撮像された画像の中心が画面の中心に位置するように合成画像を生成する、前記（１）〜（８）のいずれかに記載の制御装置。
（１０）
前記移動体は、飛行装置である、前記（１）〜（９）のいずれかに記載の制御装置。
（１１）
撮像装置を備えた移動体で撮像された画像から合成画像を生成することと、
生成された前記合成画像に対する操作に応じて前記移動体を移動させるための移動情報を生成することと、
を含む、制御方法。
（１２）
コンピュータに、
撮像装置を備えた移動体で撮像された画像から合成画像を生成することと、
生成された前記合成画像に対する操作に応じて前記移動体を移動させるための移動情報を生成することと、
を実行させる、コンピュータプログラム。

１０ 点検システム
１００ ホバリングカメラ
１０１ 撮像装置
１０４ａ〜１０４ｄ ロータ
１０８ａ〜１０８ｄ モータ
１１０ 制御部
１２０ 通信部
１３０ センサ部
１３２ 位置情報取得部
１４０ 記憶部
１５０ バッテリ
２００ 制御端末
３００ 情報処理装置
４００ 無線中継ノード
５００ 位置推定ノード
６００ ベースステーション
７００ 充電ステーション

Claims (12)

1. 撮像装置を備えた移動体で撮像された画像から合成画像を生成する画像処理部と、
   前記画像処理部が生成した前記合成画像に対する操作に応じて前記移動体を移動させるための移動情報を生成する移動情報生成部と、
   を備える、制御装置。
2. 前記移動情報生成部は、前記合成画像に対して指定された指定位置に基づく場所へ前記移動体を移動させるための移動情報を生成する、請求項１に記載の制御装置。
3. 前記移動情報生成部は、前記移動情報の生成の際に、前記移動体における前記撮像装置の設置状態に基づいて前記移動体の移動方向を決定する、請求項２に記載の制御装置。
4. 前記画像処理部は、合成画像の生成の際に、生成前の合成画像における前記指定位置を生成後の合成画像における位置に移動させる、請求項２に記載の制御装置。
5. 前記移動情報生成部は、前記指定位置に基づく場所に正面を向けるよう前記移動体の向きを変化させてから該場所へ前記移動体を移動させるための移動情報を生成する、請求項２に記載の制御装置。
6. 前記移動情報生成部は、前記合成画像に対する拡大処理に基づいて、前記撮像装置の撮像対象に近づくように前記移動体を移動させるための移動情報を生成する、請求項１に記載の制御装置。
7. 前記移動情報生成部は、前記合成画像に対する縮小処理に基づいて、前記撮像装置の撮像対象から遠ざかるように前記移動体を移動させるための移動情報を生成する、請求項１に記載の制御装置。
8. 前記移動情報生成部は、前記合成画像に対する回転処理に基づいて、前記撮像装置が撮像対象を向いたまま回転するように前記移動体を移動させるための移動情報を生成する、請求項１に記載の制御装置。
9. 前記画像処理部は、最も新しく前記移動体で撮像された画像の中心が画面の中心に位置するように合成画像を生成する、請求項１に記載の制御装置。
10. 前記移動体は、飛行装置である、請求項１に記載の制御装置。
11. 撮像装置を備えた移動体で撮像された画像から合成画像を生成することと、
    生成された前記合成画像に対する操作に応じて前記移動体を移動させるための移動情報を生成することと、
    を含む、制御方法。
12. コンピュータに、
    撮像装置を備えた移動体で撮像された画像から合成画像を生成することと、
    生成された前記合成画像に対する操作に応じて前記移動体を移動させるための移動情報を生成することと、
    を実行させる、コンピュータプログラム。