JP2017174159A - 無人飛行装置制御システム、無人飛行装置制御方法および画像投影装置 - Google Patents

Abstract

【課題】無人飛行装置が撮像した画像に基づき無人飛行装置を制御して対象物の付近の目標位置近傍に無人飛行装置を誘導する場合において、無人飛行装置の影響による、撮像された画像の欠落を防止すること。【解決手段】画像投影部１０１は、撮像装置を搭載する無人飛行装置の動作を制御するための画像を対象物に投影する。制御部１０３は、撮像装置によって撮像された画像に基づき、無人飛行装置の動作を制御する。位置設定部１０５は、画像投影部の位置と無人飛行装置が画像を撮像する撮像位置と画像が投影される投影位置との関係に基づいて、投影される画像の光束の範囲内における無人飛行装置の存在の有無を判定し、判定結果に基づいて、撮像位置および前記投影位置の一方あるいは両方を設定する。【選択図】図２１

Description

本発明は、無人飛行装置を制御する無人飛行装置制御システム、無人飛行装置制御方法、および、その無人飛行装置制御システムに適用可能な画像投影装置に関する。

無人飛翔体を用いた建築物の状態検査（インフラストラクチャ劣化診断）が行われている。例えば、無人飛翔体に搭載されたカメラにより撮像された建築物の表面状態から、建築物の劣化状態を推定できる。以下、無人飛翔体をＵＡＶ（Unmanned Aerial Vehicle ）と記す。なお、ＵＡＶは、無人飛行装置と称することもできる。

ＵＡＶをインフラストラクチャ劣化診断に用いるために、診断対象の建築物の付近にＵＡＶを誘導する制御が必要である。

一般的な技術では、ＵＡＶの制御部は、ＵＡＶを目標位置に誘導するために、ＧＰＳ（Global Positioning System ）信号を用いてＵＡＶの位置を把握する。特許文献１には、ＧＰＳアンテナを有するＧＰＳ装置と、撮像部とを備えたカメラを具備する航空写真装置が記載されている。

特開２０１４−６２７８９号公報

ＧＰＳ信号によって位置を把握するＵＡＶを用いて、インフラストラクチャ劣化診断を行う場合、以下に示す問題が生じる。単体アンテナをＵＡＶ等の移動体に取り付けたＧＰＳでは、リアルタイム測位精度は数メートルの誤差を含む。その結果、インフラストラクチャ劣化診断の対象となる建築物にＵＡＶが近付く場合、ＵＡＶのＧＰＳ測定位置誤差が大きいため、建築物とＵＡＶとの距離が遠すぎたり近すぎたりすることがある。また、ＵＡＶと、ＧＰＳ衛星との位置関係によっては、ＧＰＳ信号の強度が弱い場所をＵＡＶが通過することもあり得る。ＧＰＳ信号の強度が弱い場所をＵＡＶが通過する場合、ＵＡＶは、そのＵＡＶの位置を正確に把握できず、目標位置への誘導精度が悪くなる。

この問題を簡易な構成で解決するために、建築物等の対象物にＵＡＶの動作を制御するための画像を投影し、投影された画像をＵＡＶに搭載されたカメラにより撮像することで、対象物の付近の目的位置近傍にＵＡＶを誘導することが考えられる。

このような画像に基づくＵＡＶの誘導制御において、画像を投影するために対象物に照射される光がＵＡＶにより遮られる場合がある。その結果、ＵＡＶに搭載されたカメラにより撮像された画像の一部が欠落し、画像に基づくＵＡＶ制御が正しく行われない場合がある。

なお、このような課題は、インフラストラクチャ劣化診断におけるＵＡＶ制御に限らず、建築物の巡回監視等、対象物の付近の目標位置へ誘導するためのＵＡＶ制御においても同様に生じ得る。

そこで、本発明は、無人飛行装置が撮像した画像に基づき無人飛行装置を制御して対象物の付近の目標位置近傍に無人飛行装置を誘導する場合において、無人飛行装置の影響による、撮像された画像の欠落を防止することができる無人飛行装置制御システム、無人飛行装置制御方法、および、その無人飛行装置制御システムに適用可能な画像投影装置を提供することを目的とする。

本発明による無人飛行装置制御システムは、撮像装置を搭載する無人飛行装置の動作を制御するための画像を対象物に投影する画像投影部と、撮像装置によって撮像された画像に基づき、無人飛行装置の動作を制御する制御部と、画像投影部の位置と無人飛行装置が画像を撮像する撮像位置と画像が投影される投影位置との関係に基づいて、投影される画像の光束の範囲内における無人飛行装置の存在の有無を判定し、判定結果に基づいて、撮像位置および投影位置の一方あるいは両方を設定する位置設定部とを備える。

また、本発明による無人飛行装置制御方法は、画像投影部により、撮像装置を搭載する無人飛行装置の動作を制御するための画像を対象物に投影し、撮像装置によって撮像された画像に基づき、無人飛行装置の動作を制御し、画像投影部の位置と無人飛行装置が画像を撮像する撮像位置と画像が投影される投影位置との関係に基づいて、投影される画像の光束の範囲内における無人飛行装置の存在の有無を判定し、判定結果に基づいて、撮像位置および投影位置の一方あるいは両方を設定する。

また、本発明による画像投影装置は、撮像装置を搭載する無人飛行装置の動作を制御するための画像を対象物に投影する画像投影装置であって、画像投影装置の位置と無人飛行装置が画像を撮像する位置と画像が投影される位置との関係に基づいて、投影される画像の光束の範囲内に無人飛行装置の存在の有無を判定し、判定結果に基づいて、撮像位置および投影位置の一方あるいは両方を設定する位置設定部を備える。

本発明によれば、無人飛行装置が撮像した画像に基づき無人飛行装置を制御して対象物の付近の目標位置近傍に無人飛行装置を誘導する場合において、無人飛行装置の影響による、撮像された画像の欠落を防止することができる。

本発明の無人飛行装置制御システムおよび検査対象となる建築物を示す模式図である。 目標位置からずれた箇所でＵＡＶが撮影を行った場合に、ＵＡＶが次の目標位置までの移動制御内容を把握する状況を示す模式図である。 情報画像の例を示す説明図である。 図３に例示した情報画像内の記号の意味を示す説明図である。 バーの表示態様の例を示す説明図である。 ＵＡＶの構成例を示すブロック図である。 カメラの視野の例を示す模式図である。 図７（ｂ）に示す視野を撮像することによって生成したカメラ画像の例を示す模式図である。 図８に示すカメラ画像に、輪郭情報が示すカメラ画像内の輪郭を重ね合わせた状態の例を示す模式図である。 投影ステーションの構成例を示す模式的ブロック図である。 本発明の第１の実施形態の処理経過の例を示すフローチャートである。 情報画像を認識できないカメラ画像の例を示す模式図である。 情報画像とＵＡＶの影とが重なって写ったカメラ画像の例を示す模式図である。 ＵＡＶが移動することによって、情報画像とＵＡＶの影とが重ならない状態になったカメラ画像の例を示す模式図である。 ＵＡＶの経路の例を示す模式図である。 情報画像の投影面と、状態検査のための撮像の対象面とが異なる状況の例を示す模式図である。 水平な直線を表すパターン画像の例を示す模式図である。 段差が生じた建築物の表面にパターン画像を投影し、カメラがその投影箇所を撮像している状態を示す模式図である。 図１８に示す状態の模式的側面図である。 パターン画像を撮像した結果得られたカメラ画像の例を示す模式図である。 本発明の無人飛行装置制御システムの概要を示す模式図である。

以下、本発明の実施形態を図面を参照して説明する。

実施形態１．
図１は、本発明の無人飛行装置制御システムおよび検査対象となる建築物を示す模式図である。本発明の無人飛行装置制御システムは、無人飛翔体（以下、ＵＡＶと記す。）１０と、投影ステーション２０とを備える。前述のように、ＵＡＶは、無人飛行装置と称することもできる。

ＵＡＶ１０は、カメラを搭載している。ＵＡＶ１０に搭載されたカメラは、検査対象となる建築物３０の表面を撮像し、建築物の表面の画像を生成する。この画像によって、建築物の状態検査（インフラストラクチャ劣化診断）を行える。

投影ステーション２０は、プロジェクタ２１を備え、プロジェクタ２１から、ＵＡＶ１０の制御内容を示す情報を含む画像（以下、情報画像と記す）を、建築物３０の表面に投影する。投影ステーション２０は、車両２９に搭載され、移動したり、同じ場所で停止し続けたりすることができる。

投影ステーション２０は、検査対象の建築物３０の外観および３次元形状の情報を予め記憶している。さらに、投影ステーション２０は、投影ステーション２０と建築物３０との位置関係を認識する。投影ステーション２０と建築物３０との位置関係は、図示しない様々な測量装置を用いて行い、３次元空間上の位置だけでなく、向きも高精度に測定しておく。なお、建築物３０の３次元形状を得る方法は、設計時の図面や３Ｄ−ＣＡＤ（3Dimension Computer-Aided Design）データを用いる方法でもよいし、３Ｄ−ＬｉＤＡＲ（3Dimension Light Detection and Ranging）等を用いて現物を予め測定する方法でもよい。また、建築物３０の３次元形状の情報は、建築物３０全体に関する情報に限らず、建築物３０のうち本発明を用いて観察する部分に関する情報であってもよい。また、建築物３０と投影ステーション２０との位置関係を精度良く知る方法については、トータルステーション等を用いた三角測量等、既知の手法が多数あるため、説明を省略する。投影ステーション２０と建築物３０との位置関係は予め計測しておくのが基本である。ただし、風等の影響で作業中に建築物３０が変形する可能性がある場合や、投影ステーション２０が船上等の不安定な位置にある場合には、本発明による作業中に位置関係を計測してもよい。

投影ステーション２０は、その位置関係および記憶している情報に基づいて、建築物３０の表面上における情報画像の投影箇所を複数定め、ＵＡＶ１０の経路３５を導出する。また、投影ステーション２０は、その各投影箇所に投影する情報画像を生成する。また、投影ステーション２０は、ＵＡＶ１０が情報画像を撮像するための位置（以下、目標位置と記す。）やその目標位置での姿勢（傾きまたは向き）やカメラの向きを定める。この姿勢やカメラの向きは、情報画像を撮像する際の姿勢やカメラの向きである。投影ステーション２０は、例えば、次の目標位置までの移動制御内容や、移動時の姿勢やカメラの向きを指示するための情報画像を、目標位置間の位置関係に基づいて生成する。また、情報画像には、ＵＡＶ１０に状態検査のための撮像を指示する情報も含まれる。投影ステーション２０は、順次、情報画像を建築物３０の表面に投影する。なお、後述するように、実際には、ＵＡＶ１０は目標位置からずれた位置で情報画像を撮像することが一般的であり、情報画像を撮像する際の姿勢やカメラの向きも、定められた姿勢でなくてよい。

ＵＡＶ１０は、情報画像が投影された建築物３０の表面をカメラによって撮像する。以下、ＵＡＶ１０のカメラが撮像したことによって得られた画像をカメラ画像と記す。ＵＡＶ１０は、カメラ画像内の情報画像（カメラ画像内に写っている情報画像）が示している制御内容に従って動作する。例えば、ＵＡＶ１０は、カメラ画像内の情報画像に基づいて、状態検査のための撮像を行ったり、次の目標位置の方向に移動したりする。

ＵＡＶ１０は、カメラ画像内の情報画像に基づいて動作することによって、経路３５の近傍を移動しつつ、状態検査のために建築物３０の表面を撮像する。

ＵＡＶ１０は、経路３５上の目標位置で情報画像を撮像するとは限らない。ＵＡＶ１０は風等の種々の影響を受けるので、ＵＡＶ１０が予め定められた目標位置と同一の箇所に到達することは困難であることが一般的である。そのため、ＵＡＶ１０は、目標位置の近傍に到達したならば、建築物３０の表面を撮像する。ＵＡＶ１０は、その結果得られたカメラ画像に基づいて、その位置と、目標位置のずれを計算する。そして、ＵＡＶ１０は、カメラ画像内の情報画像が示す移動制御内容と、計算したずれとに基づいて、現在位置から次の目標位置までの移動のための制御内容を導出する。

図２は、目標位置からずれた箇所でＵＡＶ１０が撮影を行った場合に、ＵＡＶ１０が次の目標位置までの移動制御内容を把握する状況を示す模式図である。図２に示す例において、建築物３０の表面の領域Ａ１，Ａ２は、情報画像の投影箇所である。また、領域Ａ１に投影された情報画像を撮像するための位置として目標位置Ｐ１が定められているとする。同様に、領域Ａ２に投影された情報画像を撮像するための位置として目標位置Ｐ２が定められているとする。また、目標位置Ｐ１，Ｐ２それぞれにおけるＵＡＶ１０の姿勢やカメラの向きも定められている。上記のように、ＵＡＶ１０は風等の種々の影響を受けるので、ＵＡＶ１０は、目標位置Ｐ１と完全に一致する位置で、領域Ａ１に投影された情報画像を撮像することは困難である。そのため、ＵＡＶ１０は、目標位置Ｐ１の近傍の位置Ｐ１’で、領域Ａ１に投影された情報画像を撮像する。このときの、ＵＡＶ１０の姿勢やカメラの向きも、予め定められた目標位置Ｐ１における姿勢やカメラの向きと一致していないことが一般的である。

ＵＡＶ１０は、目標位置Ｐ１において、定められた姿勢およびカメラの向きで、領域Ａ１に投影された情報画像を撮像したと仮定した場合におけるカメラ画像内の情報画像の輪郭と、実際に、位置Ｐ１’で情報画像を撮像して得たカメラ画像内の情報画像の輪郭とに基づいて、目標位置Ｐ１と位置Ｐ１’とのずれＭ（図２参照）を計算する。また、領域Ａ１に投影された情報画像には、目標位置Ｐ１から目標位置Ｐ２に移動するための移動制御内容が示されている。ＵＡＶ１０は、その移動制御内容と、計算したずれＭとに基づいて、位置Ｐ１’から目標位置Ｐ２に移動するための制御内容を導出し、その制御内容に基づいて、次の目標位置Ｐ２に向けて移動する。ＵＡＶ１０は、領域Ａ２に投影された情報画像を撮像する場合にも、目標位置Ｐ２の近傍で情報画像を撮像し、同様に、次の目標位置に移動するための制御内容を導出する。

なお、予め定められた目標位置において、定められた姿勢およびカメラの向きで、情報画像を撮影したと仮定した場合におけるカメラ画像内の情報画像の輪郭の情報は、事前にＵＡＶ１０に与えられる。

また、ＵＡＶ１０は、風等の種々の影響により、情報画像の正面位置で情報画像を撮影できないことが一般的である。そのため、カメラ画像において、情報画像は歪んで写っていることが一般的である。ＵＡＶ１０は、その情報画像の歪みを取り除く処理を行ってから、カメラ画像内に写っている情報画像が示している制御内容を認識する。

図３は、投影ステーション２０が投影する情報画像の例を示す説明図である。図４は、図３に例示した情報画像内の記号の意味を示す説明図である。

情報画像４０は、例えば、移動制御記号４１と、カメラ向き制御記号４３と、姿勢制御記号４４とを含む。

移動制御記号４１は、ＵＡＶ１０の移動に関する制御内容を示す記号である。移動制御記号４１によって、進行方向の指示、滞空指示および速度指示を行うことができる。図３に例示する移動制御記号４１は、矢印の形状をしており、その矢印の示す方向が、指示している進行方法である。図３に示す例では、下方への移動を指示している。移動制御記号４１によって指示する進行方向は、下方向に限定されない。

また、移動制御記号４１は、付加されているバー４２によって、ＵＡＶ１０に滞空することを指示することができる。バー４２は、滞空の指示を意味している。移動制御記号４１のアローヘッド（arrowhead ）とは反対側の端部にバー４２が設けられた場合、滞空してから、矢印方向（本例では、下方）に移動することを意味する。また、移動制御記号４１のアローヘッド側の端部にバー４２を表示することによって、移動してから滞空することを指示することもできる。以下の説明では、説明を簡単にするために、ＵＡＶ１０が、情報画像４０が示す制御内容を認識してから滞空し、その滞空時間内に状態検査のための撮像を行い、その後、指示された方向に移動するものとして説明する。この場合、バー４２はアローヘッドとは反対側の端部に表示される。また、バー４２は、滞空中に状態検査のための撮像を指示する意味も有しているものとして説明する。

また、移動制御記号４１は、移動制御記号４１（矢印形状の記号）の内部の色の濃淡の変化の仕方によって、ＵＡＶ１０が移動する際の移動速度を指示する。なお、図３および図４では、矢印形状の記号の色の濃淡の変化を、便宜的に、模様の変化で表している。実際の矢印形状内の色の濃淡は、例えば、徐々に変化してもよい。

なお、バー４２の向きは、例えば、矢印の向きと垂直に定められる。ただし、バー４２の向きの定め方は、この例に限られず、例えば、常に水平であってもよい。図５は、バー４２の表示態様の例を示す説明図である。図５では、移動制御記号４１内部の色の濃淡の表示を省略している。図５（ａ）は、バー４２の向きを矢印の向きと垂直に定める場合の例を示している。図５（ｂ）は、バー４２の向きを常に水平に定める場合の例を示している。図５に例示するように矢印が右向きである場合、図５（ａ）に示す例では、バー４２は縦向きのバーとして定められる。一方、図５（ｂ）に示す例では、バー４２は水平であり、矢印の内部に示される。

カメラ向き制御記号４３は、ＵＡＶ１０に搭載されているカメラの向きに関する制御内容を表す記号である。カメラ向き制御記号４３によって、カメラの仰俯角および水平角が制御される。図３では、カメラ向き制御記号４３がＵ字回転矢印である場合を例示している。本例では、Ｕ字回転矢印は、カメラの仰俯角を上向きにし、水平角は固定することを意味しているものとする。カメラの向きに関する制御内容と、カメラ向き制御記号４３の形状との対応関係は、予め定めておけばよい。

なお、次の目標位置までの移動中のカメラの向きと、次の目標位置に対応する撮影時のカメラの向きとを別々に規定している場合には、投影ステーション２０は、それぞれの向きに対応するカメラ向き制御記号を、情報画像４０に含めてもよい。

姿勢制御記号４４は、ＵＡＶ１０の姿勢に関する制御内容を表す記号である。図３では、姿勢制御記号４４が半円図形である場合を例示している。本例では、半円図形は、ＵＡＶ１０の姿勢を水平に制御することを意味しているものとする。ＵＡＶ１０の姿勢に関する制御内容と、姿勢制御記号４４の形状との関係は、予め定めておけばよい。

なお、次の目標位置までの移動中の姿勢と、次の目標位置に対応する撮影時の姿勢とを別々に規定している場合には、投影ステーション２０は、それぞれの姿勢に対応する姿勢制御記号を、情報画像４０に含めてもよい。

また、図３では、図示を省略しているが、ある目標位置で、その目標位置に対応して定められた姿勢およびカメラの向きで情報画像を撮像したと仮定した場合におけるカメラ画像内の情報画像の輪郭を表す情報が、情報画像４０に含まれていてもよい。以下、ある目標位置で、その目標位置に対応して定められた姿勢およびカメラの向きで情報画像を撮像したと仮定した場合におけるカメラ画像内の情報画像の輪郭を表す情報を輪郭情報と記す。

移動制御記号４１、バー４２、カメラ向き制御記号４３および姿勢制御記号４４は、ＵＡＶ１０の制御内容を識別する識別情報であり、情報画像４０は、そのような識別情報を含む画像であると言うことができる。また、図３では、制御内容を識別する識別情報（移動制御記号４１、バー４２、カメラ向き制御記号４３および姿勢制御記号４４）が図形の記号で表されている場合を例示している。制御内容を識別する識別情報を、図３に例示するように、図形の記号等で表すことにより、検査作業者が遠方からでも視認しやすくすることができる。

また、ＵＡＶ１０の制御内容を識別する識別情報は、ＱＲコード（登録商標）やバーコード等の記号であってもよい。

また、ＵＡＶ１０の制御内容を識別する識別情報は、漢字、数字または象形文字等の記号であってもよい。

また、ＵＡＶ１０の制御内容を識別する識別情報は、例えば、「３０秒滞在後下に１メートル飛行」のような文章であってもよい。

また、検査作業者の見やすさの観点から、投影ステーション２０は、情報画像４０内の情報（制御内容を識別する識別情報）を、例えば、点滅させるようにして、情報画像４０を投影してもよい。このように情報画像４０を投影することで、情報画像４０の内容を目立たせることができ、検査作業者は、その内容を認識しやすくなる。

また、投影ステーション２０は、制御内容を識別する識別情報の他に、他の情報も情報画像４０に含めてよい。例えば、投影ステーション２０は、状態情報（例えば、ＵＡＶ１０の現在の高度や、作業の進み具合を示すステップ番号等）を情報画像４０に含めてもよい。

前述の輪郭情報は、目標位置Ｐ１と実際の位置Ｐ１’とのずれＭを求める際に用いられる。目標位置Ｐ１と実際の位置Ｐ１’とのずれＭを求めるために必要な情報は、前述の輪郭情報でなくてもよい。投影ステーション２０は、目標位置Ｐ１と実際の位置Ｐ１’とのずれＭを求めるために必要な情報を情報画像４０に含め、ＵＡＶ１０はその情報を予め記憶していてもよい。例えば、投影ステーション２０は、輪郭情報の代わりに４隅に特別なアイコンを含んだ情報画像４０を投影し、ＵＡＶ１０はカメラ画像内に写ったそれらのアイコンの位置関係によって、ずれＭを求めてもよい。このように、輪郭を用いずに認識しやすい形状を用いることで、ＵＡＶ１０がずれＭを誤認識する可能性を減らすことができる。

また、投影ステーション２０は、目標位置Ｐ１と実際の位置Ｐ１’とのずれＭを求めるために必要な情報を、情報画像４０内に固定的に含めてもよい。例えば、検査区域を示す検査区域番号（図示略）が情報画像４０に含まれるとする。投影ステーション２０は、検査区域番号の前半部分を例えばアルファベット等で固定的に定め、後半部分を任意に定めてもよい。ＵＡＶ１０はカメラ画像内に写ったその固定的な部分の変形によって、ずれＭを求めてもよい。このように情報画像４０の一部を固定的に定め、カメラ画像内におけるその部分の画像に基づいてずれＭを求めることによって、ずれＭを求めるための情報画像４０内の要素が、検査作業者の邪魔にならないようにすることができる。

次に、ＵＡＶ１０の構成例について説明する。図６は、ＵＡＶ１０の構成例を示すブロック図である。本例では、ＵＡＶ１０が４つのプロペラ（図６において図示略）を有し、４つのプロペラと一対一に対応する４つのモータを有する場合を例にして説明する。ただし、プロペラおよびモータの数は、上記の例に限定されない。

ＵＡＶ１０は、カメラ１１と、制御部１３と、カメラ角度制御部１５と、モータドライバ１６と、４つのモータ１７ａ〜１７ｄと、通信部１８とを備える。

カメラ１１は、インフラストラクチャ劣化診断の検査対象となる建築物３０（図１参照）の表面を撮像し、建築物の表面を写したカメラ画像を生成する。カメラの視野内に情報画像が投影されている場合には、その情報画像もカメラ画像内に写っている。カメラ１１は、生成したカメラ画像を制御部１３に入力する。カメラ１１の向きは制御可能である。

ここで、建築物３０（図１参照）の表面におけるカメラの視野と、その視野を撮影した場合のカメラ画像について説明する。

図７は、建築物３０（図１参照）の表面におけるカメラの視野の例を示す模式図である。図７（ａ）は、ＵＡＶ１０（図７において図示略）のカメラ１１が、建築物３０の表面３０ａを撮像する状況の例を示す模式的上面図である。また、建築物３０の表面３０ａには、情報画像４０が投影されているものとする。風等の影響により、カメラ１１が建築物３０の表面３０ａと完全に正対して表面３０ａを撮像することは困難である。そのため、図７（ａ）に示すように、カメラ１１が、斜め方向から建築物３０の表面３０ａを撮像することが一般的である。図７（ｂ）は、図７（ａ）に示す状態における建築物３０の表面３０ａ上のカメラ１１の視野を示す模式図である。表面３０ａにおけるカメラ１１の視野４９は、四角形である。図７（ｂ）に示す例では、カメラ１１が斜め方向から建築物３０の表面３０ａを撮像する状態となっていることによって、視野４９が台形である場合を例示している。視野４９が台形になるとは限らない。ただし、視野４９が長方形になるのは、カメラ１１が建築物３０の表面３０ａと正対している場合であり、図７（ａ）に示すようにカメラ１１が斜め方向から建築物３０の表面３０ａを撮像する場合、視野４９が長方形になることはない。また、投影ステーション２０は、表面３０ａ上で情報画像４０が長方形になるように、情報画像４０を投影する。従って、表面３０ａ上に投影された情報画像４０は長方形である。視野４９の頂点をＡ，Ｂ，Ｃ，Ｄとする。また、建築物３０の表面３０ａに投影された情報画像４０の頂点をａ，ｂ，ｃ，ｄとする。なお、図７（ｂ）において、情報画像４０内の種々の記号の図示は省略している。この点は、図８等においても同様である。

カメラ１１は、視野４９を撮像し、カメラ画像を生成する。図８は、図７（ｂ）に示す視野４９を撮像することによって生成したカメラ画像の例を示す模式図である。カメラ画像５０は、長方形である。カメラ画像５０の個々の頂点はそれぞれ、図７（ｂ）に示す視野４９の個々の頂点と対応している。視野４９の頂点Ａに対応するカメラ画像５０の頂点も符号Ａで表す。他のカメラ画像の頂点も同様である。また、カメラ画像５０に写った情報画像４０（図８参照）の個々の頂点は、建築物３０の表面３０ａに投影された情報画像４０（図７（ｂ）参照）の個々の頂点と対応している。図７（ｂ）に示す情報画像４０の頂点ａに対応するカメラ画像５０内の情報画像４０（図８参照）の頂点も符号ａで表す。カメラ画像５０内の情報画像４０の他の頂点も同様である。以下、カメラ画像５０内の情報画像４０の輪郭を、輪郭ａｂｃｄと記す。

カメラ１１は、長方形ではない視野４９を撮影し、長方形のカメラ画像５０を生成する。従って、カメラ１１の視野４９内に投影されていた長方形の情報画像４０は、図８に示すように、カメラ画像５０内で歪んで写っている。

制御部１３は、カメラ１１からカメラ画像５０が入力されると、カメラ画像５０内の情報画像４０の輪郭ａｂｃｄを検出する。

また、制御部１３には、事前に輪郭情報が与えられている。既に説明したように、輪郭情報は、ある目標位置で、その目標位置に対応して定められた姿勢およびカメラの向きで情報画像を撮像したと仮定した場合におけるカメラ画像内の情報画像の輪郭を表す情報である。図９は、図８に示すカメラ画像に、輪郭情報が示すカメラ画像内の輪郭を重ね合わせた状態の例を示す模式図である。制御部１３は、輪郭情報が示すカメラ画像５０内の輪郭５１と、カメラ画像５０内の情報画像４０の輪郭ａｂｃｄとに基づいて、ＵＡＶ１０の現在位置と目標位置とのずれＭを計算する。なお、ずれＭには位置に留まらず姿勢情報も含まれる。以後も同様であるので、特に記載がない場合は姿勢情報について省略する。

制御部１３は、カメラ画像内に情報画像を認識できなかった場合には、モータドライバ１６を介して各モータ１７ａ〜１７ｄを制御することで、ＵＡＶ１０を移動させる。

また、制御部１３は、カメラ画像内に情報画像を認識できた場合には、ＵＡＶ１０の現在位置と目標位置とのずれＭを計算する。さらに、制御部１３は、カメラ画像５０内の情報画像４０の歪みを取り除く処理（換言すれば、カメラ画像５０内の情報画像４０を長方形にする処理）を行い、その処理後の情報画像４０が示す制御内容を把握し、その制御内容に従って、ＵＡＶ１０を制御する。例えば、制御部１３は、情報画像４０が示す制御内容に従って、建築物３０の表面の状態検査のための撮像を行う。また、制御部１３は、計算したずれＭ（ＵＡＶ１０の現在位置と目標位置のずれ）と、情報画像４０が示す次の目標位置までの移動制御内容と、現在位置から次の目標位置までの移動のための制御内容を導出し、その制御内容に応じてモータドライバ１６を介して各モータ１７ａ〜１７ｄを制御することで、ＵＡＶ１０を移動させる。また、制御部１３は、情報画像４０が示す制御内容に従って、ＵＡＶ１０の姿勢を制御したり、カメラ角度制御部１５を介してカメラ１１の向きを制御したりする。

カメラ角度制御部１５は、制御部１３に従い、カメラ１１の向きを制御する。具体的には、カメラ角度制御部１５は、カメラ角度制御部１５は、カメラ１１の仰俯角および水平角を制御する。

モータドライバ１６は、制御部１３に従って、各モータ１７ａ〜１７ｄを駆動する。モータドライバ１６は、各モータ１７ａ〜１７ｄを別々に駆動可能である。従って、制御部１３は、ＵＡＶ１０を前後に移動させる制御、ＵＡＶ１０を左右に移動させる制御、ＵＡＶ１０を上下に移動させる制御、ピッチ角制御、ロール角制御およびヨー角制御を実現できる。

通信部１８は、投影ステーション２０との通信に用いられる通信インタフェースである。

制御部１３およびカメラ角度制御部１５は、例えば、プログラムに従って動作するコンピュータのＣＰＵによって実現されていてもよい。この場合、ＣＰＵがそのプログラムを読み込み、そのプログラムに従って、制御部１３およびカメラ角度制御部１５として動作すればよい。また、制御部１３およびカメラ角度制御部１５がそれぞれ別々のハードウェアで実現されていてもよい。

次に、投影ステーション２０の構成例について説明する。図１０は、投影ステーション２０の構成例を示す模式的ブロック図である。投影ステーション２０は、プロジェクタ２１と、プロジェクタ制御部２２と、データ記憶部２３と、経路導出部２４と、情報画像生成部２５と、通信部２７とを備える。

データ記憶部２３は、建築物の外観および建築物の３次元形状の情報を記憶する記憶装置である。

経路導出部２４は、投影ステーション２０と建築物との位置関係を認識する。このとき、経路導出部２４は、投影ステーション２０の現在位置を、例えば、外部から与えられてもよい。経路導出部２４は、その位置関係と、建築物の外観および建築物の３次元形状の情報との情報に基づいて、建築物３０の表面上における情報画像の投影箇所を複数定める。さらに、経路導出部２４は、ＵＡＶ１０の経路を導出する。

経路導出部２４は、例えば、データ記憶部２３に記憶されている情報に基づいて、建築物の表面を格子状に区切ることによって、複数の検査区域を定め、個々の検査区域内の所定箇所（例えば、検査区域の中央）を情報画像の投影箇所として定めてもよい。ただし、情報画像の投影箇所の決定方法は、上記の例に限られず、他の方法で、投影箇所を決定してもよい。また、経路導出部２４は、その各投影箇所に投影された情報画像を撮像できるようにＵＡＶ１０の経路を定めればよい。このとき、経路導出部２４は、ＵＡＶ１０の消費電力が最小となる経路を定めることが好ましい。ただし、経路導出部２４は、消費電力以外の基準に基づいて経路を定めてもよい。

このとき、経路導出部２４は、投影箇所に投影された情報画像をＵＡＶ１０が撮影するための目標位置を、投影箇所に対応させて決定する。さらに、経路導出部２４は、その目標位置でのＵＡＶ１０の姿勢やカメラの向きを定める。この姿勢やカメラの向きは、情報画像を撮像する際の姿勢やカメラの向きである。ただし、風等の影響により、実際に移動するＵＡＶ１０が、定められた目標位置で、定められた姿勢およびカメラの向きで情報画像を撮像することは困難である。そのため、ＵＡＶ１０は、目標位置の近傍で情報画像を撮像すればよい。また、そのときのＵＡＶ１０の姿勢やカメラの向きも、目標位置とともに定められた姿勢やカメラの向きと一致していなくよい。

情報画像生成部２５は、投影箇所毎に、情報画像を生成する。情報画像生成部２５は、投影箇所（＃ｉとする。）に対応する目標位置（＃Ｐ_ｉとする。）と、その次の投影箇所（＃ｉ＋１とする。）に対応する目標位置（＃Ｐ_ｉ＋１とする。）との位置関係に基づいて、投影箇所＃ｉに投影する情報画像を生成すればよい。また、情報画像生成部２５は、目標位置毎に輪郭情報を生成する。

プロジェクタ２１は、情報画像を建築物の表面に投影する。プロジェクタ２１の向きは可変である。

プロジェクタ制御部２２は、プロジェクタ２１の向きを制御する。プロジェクタ制御部２２がプロジェクタ２１の向きを変えることで、定められた投影箇所に情報画像を投影することができる。

また、プロジェクタ制御部２２は、プロジェクタ２１を情報画像の投影箇所に向ける際に、そのプロジェクタ２１の向き、建築物の外観および建築物の３次元形状の情報に基づいて、建築物の表面上で情報画像が歪まないように、情報画像を補正する。換言すれば、プロジェクタ制御部２２は、建築物の表面上に長方形の情報画像が投影されるように、情報画像を補正する。プロジェクタ２１は、プロジェクタ制御部２２によって補正された情報画像を投影する。なお、以降の説明では、プロジェクタ制御部２２による情報画像の補正動作についての説明を省略する場合がある。

通信部２７は、ＵＡＶ１０との通信に用いられる通信インタフェースである。

経路導出部２４、情報画像生成部２５およびプロジェクタ制御部２２は、例えば、プログラムに従って動作するコンピュータのＣＰＵによって実現されていてもよい。この場合、ＣＰＵがそのプログラムを読み込み、そのプログラムに従って、経路導出部２４、情報画像生成部２５およびプロジェクタ制御部２２として動作すればよい。また、経路導出部２４、情報画像生成部２５およびプロジェクタ制御部２２がそれぞれ別々のハードウェアで実現されていてもよい。

また、制御部１３（図６参照）が、ＵＡＶ１０ではなく、投影ステーション２０または他の情報処理装置に設けられていてもよい。そして、制御部１３の動作が、投影ステーション２０または他の情報処理装置で行われ、ＵＡＶ１０の移動制御、姿勢制御、カメラ１１の向きの制御等が外部（例えば、投影ステーション２０）との通信によって実現されてもよい。

次に、本発明の第１の実施形態の処理経過について説明する。図１１は、本発明の第１の実施形態の処理経過の例を示すフローチャートである。なお、図１１に示すフローチャートは例示であり、本発明の処理経過は、図１１に示すフローチャートに限定されない。

また、投影ステーション２０の経路導出部２４は、予め、建築物の表面上における情報画像の投影箇所を複数定め、ＵＡＶ１０の経路を導出し、ＵＡＶ１０が情報画像を撮像するための各目標位置、並びに、各目標位置でのＵＡＶ１０の姿勢およびカメラの向きを定めているものとする。また、第１の実施形態では、説明を簡単にするために、検査途中での経路の変更はないものとして説明する。また、瞬間的に生じた大きな外乱によるＵＡＶ１０への影響（例えば、瞬間的な突風によりＵＡＶ１０が経路から大きく外れてしまうこと等）はないものとして説明する。ただし、通常の風等に起因する目標位置からのずれ（図２参照）は生じ得る。

投影ステーション２０は、プロジェクタ２１から、情報画像を、建築物の表面上におけるその画像の投影箇所に投影する（ステップＴ１）。１回目のステップＴ１では、投影ステーション２０は、１番目の情報画像をその画像の投影箇所に投影する。

また、制御部１３は、ステップＴ１で投影された目標画像を撮像するための目標位置に向けてＵＡＶ１０を移動させる（ステップＢ１）。１番目の情報画像が投影されている場合には、検査作業者がＵＡＶ１０を遠隔操作する。検査作業者は、１番目の情報画像がカメラ１１の視野内に入るように、ＵＡＶ１０を移動させる。制御部１３は、検査作業者による遠隔操作に従い、建築物の表面上に投影された情報画像がカメラ１１の視野内に入るようにＵＡＶ１０を移動させる。

また、ＵＡＶ１０は、移動しながら、カメラ１１によって建築物の表面を撮像し、カメラ画像を得る（ステップＢ２）。カメラ１１は、生成したカメラ画像を制御部１３に入力する。

制御部１３は、カメラ画像が入力されると、カメラ画像の中の情報画像を検索する（ステップＢ３）。検索に成功したということは、カメラ画像内に情報画像を認識できたということである。また、検索に失敗したということは、カメラ画像内に情報画像を認識できなかったということである。カメラ画像内に情報画像を認識できた場合（ステップＢ３のＹｅｓ）、制御部１３は、ＵＡＶ１０の現在位置と目標位置とのずれを計算する（ステップＢ４）。情報画像がカメラ画像内にない場合や、情報画像が途切れている場合等、ステップＢ３でカメラ画像内に情報画像を認識できなかった場合、ＵＡＶ１０は移動を続ける。

図１２は、情報画像を認識できないカメラ画像の例を示す模式図である。

図１２（ａ）は、カメラ画像５０内に情報画像が写っていない場合を示している。この場合、カメラ画像内に情報画像が存在しないので、制御部１３は、カメラ画像内に情報画像を認識できない。

図１２（ｂ）は、カメラ画像５０内に情報画像４０の一部のみが写っている場合を示している。この場合、情報画像４０が途切れているので、制御部１３は、カメラ画像内に情報画像を認識できない。

図１２（ｃ）は、カメラ画像５０内に情報画像４０が写っているが、カメラ画像５０内の情報画像４０の面積が非常に小さい場合（閾値よりも小さい場合）である。この場合、情報画像４０の面積が小さすぎるために、制御部１３は、カメラ画像内に情報画像を認識できない。

カメラ画像内に情報画像を認識できなかった場合（ステップＢ３のＮｏ）、ＵＡＶ１０は、ステップＢ１以降の動作を繰り返す。なお、１番目の投影箇所に対応する目標位置方向に移動している場合、制御部１３は、直近に得られたカメラ画像に基づいてどの方向に移動すればよいのかを判定できない場合には、引き続き、検査作業者による遠隔操作に従ってＵＡＶ１０を移動させる。例えば、直近に得られたカメラ画像に情報画像が全く写っていない場合、制御部１３は、引き続き、検査作業者による遠隔操作に従ってＵＡＶ１０を移動させる。また、制御部１３は、直近に得られたカメラ画像に基づいてどの方向に移動すればよいのかを判定できる場合には、検査作業者による遠隔操作に依らず、自律的な動作を開始する。例えば、図１２（ｂ）に例示するように、直近に得られたカメラ画像５０内に情報画像４０の一部が写っている場合、制御部１３は、情報画像４０全体をカメラ１１の視野内に入れるためには、どちらの方向にＵＡＶ１０を移動させればよいのかを判定できる。この場合、制御部１３は、情報画像４０全体をカメラ１１の視野内に入れるように、自律的にＵＡＶ１０を移動させる。

カメラ画像の中に情報画像を認識できなかった場合（ステップＢ３のＮｏ）、カメラ画像の中に情報画像を認識できるまで、ステップＢ１〜Ｂ３を繰り返す。

カメラ画像の中に情報画像を認識できる場合は、図９に例示するように、カメラ画像５０内に情報画像４０が適度な大きさで写っていて（換言すれば閾値以上の面積で写っていて）、情報画像４０の輪郭ａｂｃｄを検出できる場合である。この場合、制御部１３は、輪郭情報が示すカメラ画像５０内の輪郭５１（図９参照）と、カメラ画像５０内の情報画像４０の輪郭ａｂｃｄ（図９参照）とに基づいて、ＵＡＶ１０の現在位置と目標位置とのずれを計算する（ステップＢ４）。

カメラ画像の中に情報画像を認識できたということは、ＵＡＶ１０が目標位置の近傍に存在していると言うことができる。なお、実際には、ＵＡＶ１０は、移動しながらステップＢ１〜Ｂ３の処理を繰り返している。そのため、カメラ画像の中に情報画像が全て入った瞬間に、ステップＢ３で情報画像が完全に認識されたとして、ステップＢ４に進んでしまう。換言すると、ＵＡＶ１０が目標位置から比較的離れた位置であってもカメラ画像の端の方に情報画像が入った瞬間に、制御部１３は、ステップＢ４を実行してしまう。これを防ぐため、図１１では省略しているが、「情報画像がカメラ画像のある一定の範囲に入るまでステップＢ４への移行を停止する」、あるいは、「カメラ画像のある一定の範囲に情報画像を入れるための移動方向を判定しステップＢ１以降を繰り返す」、あるいは、「一定時間（または一定フレーム数）、情報画像がカメラ画像内で認識されるまでステップＢ４への移行を停止する」等の処理があってもよい。あるいは、ステップＢ４においてずれＭを計算できるため、このずれＭに対応した移動量を計算しステップＢ１以降を繰り返すとなお良い。これに加えて、ずれＭが規定の形状となるようカメラの向きを制御しつつステップＢ１を繰り返すとさらに良い。ずれＭを基にしたＵＡＶ１０の移動やカメラ１１の制御により、より精確な位置にＵＡＶ１０を移動させたり、より精確な姿勢にＵＡＶ１０をさせたりすることができるからである。

ＵＡＶ１０の現在位置と目標位置とのずれを計算した後、制御部１３は、カメラ画像５０内の情報画像４０の歪みを取り除く（ステップＢ５）。既に説明したように、建築物の表面に投影されている情報画像４０は長方形であり、カメラの視野４９は長方形ではない（図７（ｂ）参照）。一方、その視野４９を撮像することによって得られるカメラ画像５０は長方形である。従って、カメラ画像５０内に写っている情報画像４０は、長方形ではなく、歪んだ状態になっている（図８参照）。ステップＢ５において、制御部１３は、この歪みを取り除く。

続いて、制御部１３は、歪みが取り除いた後の情報画像４０が示す命令（制御内容）を認識し、その命令を実行する（ステップＢ６）。

本例では、制御部１３が、図３に例示する情報画像４０が示す命令（制御内容）を認識し、その命令を実行する場合を例にして説明する。

具体的には、制御部１３は、その場で所定時間滞空し、滞空中に建築物の表面の状態検査のための撮像をする旨を認識する。そして、制御部１３は、その命令に従って、その場で所定時間滞空し、滞空中に建築物の表面をカメラ１１によって撮像する。このとき、カメラ１１の視野内に情報画像４０が投影された状態のままであってもよい。

また、制御部１３は、所定時間滞空後に下降する旨、下降する際にカメラ１１の水平角を固定したままカメラ１１を上向きにする旨、および、ＵＡＶ１０の姿勢を水平に制御する旨を認識する。このとき、制御部１３は、ステップＢ４で計算したＵＡＶ１０の現在位置と目標位置とのずれと、下降する旨の移動制御内容とに基づいて、次の目標位置までの移動のための制御内容を導出し、その制御内容に応じてモータドライバ１６を介して各モータ１７ａ〜１７ｄを制御することで、ＵＡＶ１０を移動させる。すなわち、制御部１３は、情報画像４０が示す移動に関する制御内容を、ステップＢ４で計算したずれによって補正し、補正後の制御内容に基づいて、ＵＡＶ１０を移動させる。

また、制御部１３は、情報画像４０が示す命令を認識した後、命令認識が完了した旨を、投影ステーション２０に通知する（ステップＢ７）。

制御部１３は、上述の補正後の制御内容に基づいて、ＵＡＶ１０の移動を開始すると、ステップＢ１以降の動作を繰り返す。このステップＢ１では、１番目の投影箇所に対応する目標位置に向けて移動する場合と異なり、制御部１３は、検査作業者による遠隔操作に依らず、自律的にＵＡＶ１０を移動させる。

プロジェクタ制御部２２は、命令認識が完了した旨の通知をＵＡＶ１０から受信すると、プロジェクタ２１にそれまで投影していた情報画像の投影を停止させる。また、情報画像生成部２５は、命令認識が完了した旨の通知をＵＡＶ１０から受信すると、次の情報画像の投影箇所（ここでは、２番目の情報画像の投影箇所）を特定し、その投影箇所に投影する２番目の情報画像を生成する（ステップＴ２）。本例では、情報画像生成部２５は、２番目の目標位置の近傍で状態検査のための撮像を指示する命令や、２番目の目標位置から３番目の目標位置までＵＡＶ１０を移動させるための命令等を含む情報画像を生成する。

ＵＡＶ１０は、移動しながらカメラ１１によって建築物の表面を撮像し（ステップＢ２）、制御部１３は、ステップＢ３を実行する。２番目の情報画像が投影されるまでの間、２番目の情報画像はカメラ画像に写らないので、ＵＡＶ１０は、ステップＢ１〜Ｂ３を繰り返す。

プロジェクタ制御部２２は、情報画像生成部２５がステップＴ２で、次の投影箇所に投影する情報画像（ここでは、２番目の情報画像）を生成すると、その情報画像をその投影箇所に投影するようにプロジェクタ２１を制御する。この結果、プロジェクタ２１は、２番目の情報画像の投影箇所に、２番目の情報画像を投影する（ステップＴ１）。

新たに投影された情報画像がカメラ１１の視野内に入る位置までＵＡＶ１０が移動し、カメラ画像内に情報画像を認識できた場合（ステップＢ３のＹｅｓ）、ＵＡＶ１０は、ステップＢ４以降の処理を繰り返せばよい。また、投影ステーション２０は、ステップＢ７の通知を受けた場合、それまで投影していた情報画像の投影を停止し、ステップＴ２，Ｔ１を実行すればよい。

上記の処理を繰り返すことによって、ＵＡＶ１０は、定められた経路の近傍を移動しつつ、状態検査のために建築物の表面を撮像することができる。

また、投影ステーション２０が、最後の情報画像を投影し、制御部１３が、最後の情報画像に示されている命令を実行した場合、ステップＢ７の通知を行うことなく、無人飛行装置制御システムは処理を終了してよい。この場合、投影ステーション２０が、最後の情報画像内に、最後の情報画像であることを示す所定の記号を含めておき、制御部１３が最後の情報画像であることを認識できるようにしておけばよい。

本実施形態によれば、制御部１３は、カメラ画像内に情報画像を認識できるまで、ステップＢ１〜Ｂ３を繰り返し、カメラ画像内に情報画像を認識できた場合には、ずれＭを計算し、カメラ画像内の情報画像のゆがみを取り除き、情報画像が示す命令を認識し、その命令に従って動作する。制御部１３がこの動作を繰り返すことで、定められた経路の近傍を移動しつつ、状態検査のために建築物の表面を撮像することができる。従って、簡易な構成で、建築物の付近の目標位置近傍にＵＡＶ１０を誘導することができる。

また、本発明では、情報画像によってＵＡＶ１０を誘導するので、ＵＡＶ１０はＧＰＳ信号を受信する必要がない。従って、本発明では、どの場所においてもＧＰＳ信号による位置情報を得るために、ＧＰＳ衛星の代わりとなる設備を多数設ける必要がない。この点でも、本発明では、システムの構成を簡易にすることができる。

また、本発明では、情報画像によってＵＡＶ１０を誘導する。ＵＡＶ１０は情報画像に近付いてずれを求めるため、情報画像とＵＡＶ１０の位置および姿勢を精確に得ることが可能である。すなわち、測定装置であるＵＡＶ１０は、測定対象である情報画像に近接しているため誤差要因が少なくなり、この結果、ＧＰＳや他の方法に比べて精緻な位置測定、および、測定結果に基づいた誘導が可能となる。

また、ＵＡＶ１０は、ＵＡＶ１０の現在位置と目標位置とのずれを、情報画像に基づいて導出する。このずれを差分として用いることで、ＵＡＶ１０は精確に目標位置に移動することもできる。

また、ＵＡＶ１０は、ＵＡＶ１０の現在位置と目標位置とのずれと、情報画像が示す移動制御内容とに基づいて、次の目標位置までの移動制御内容を導出する。この結果、ＵＡＶ１０は、次の目標位置の近傍まで移動することができる。すなわち、良好な精度でＵＡＶ１０の移動を制御することができる。また、上記のように、本発明では、ＵＡＶ１０はＧＰＳ信号を受信する必要がない。従って、ＧＰＳ信号の受信が困難な場所であっても、精度良くＵＡＶ１０を制御することができる。

また、投影ステーション２０は情報画像を一定の大きさで建築物に投影しており、ＵＡＶ１０はこの情報画像を監視している。また、この情報画像とＵＡＶ１０との位置関係はＵＡＶ１０の内部で計算できるため、ＵＡＶ１０は、その位置関係を、ほぼリアルタイムで連続して取得できる。従って、例えば、突風等の外乱によりＵＡＶ１０の位置が大きく変化したり姿勢が崩れたりしても、ＵＡＶ１０は建築物に接触する前に位置や姿勢を補正することができる。

次に、第１の実施形態の変形例について説明する。

上記の実施形態では、ステップＢ５において、制御部１３は、カメラ画像５０内の情報画像４０の歪みを取り除く場合を説明した。情報画像４０の歪みを取り除かなくても、情報画像４０が示す命令を制御部１３が認識できるのであれば、ステップＢ５を省略してもよい。

また、上記の実施形態では、ステップＢ６において、建築物の状態検査のために建築物の表面を撮像する際、カメラ１１の視野内に情報画像４０が投影された状態のまま、建築物の表面を撮像する場合を示した。建築物の状態検査のために建築物の表面を撮像する際、制御部１３が、投影ステーション２０に情報画像の投影の停止を指示してもよい。この場合、投影ステーション２０の情報画像生成部２５は、１つの投影箇所に対して、状態検査のための撮像を指示する情報画像と、次の目標位置への移動を指示する情報画像とを生成すればよい。情報画像生成部２５は、状態検査のための撮像を指示する情報画像内に、その情報画像の投影中止を投影ステーション２０に通知する旨の命令、その通知後に（換言すれば、投影ステーション２０がその通知に応じて投影を中止した後に）状態検査のために建築物を撮像する旨の命令、およびその撮像完了後に撮像完了を投影ステーション２０に通知する旨の命令を含める。投影ステーション２０は、その情報画像を先に投影箇所に投影する。制御部１３がそれらの命令を認識し、投影中止を投影ステーション２０に通知した場合、投影ステーション２０は、その情報画像の投影を中止する。ＵＡＶ１０は、その状態で、建築物の表面を撮像する。また、ＵＡＶ１０が、撮像完了を投影ステーション２０に通知した場合には、次の目標位置への移動を指示する情報画像を同じ投影箇所に投影する。このとき、状態検査のための撮像を行っている間に、風等の影響によりＵＡＶ１０が多少移動することがある。そのため、次の目標位置への移動を指示する情報画像が投影後も、ＵＡＶ１０は、ステップＢ２以降の動作を再度行うことが好ましい。ＵＡＶ１０の現在位置と目標位置とのずれを再度計算するためである。そして、ステップＢ６において、制御部１３は、その情報画像が示す移動に関する制御内容をそのずれによって補正すればよい。

情報画像が投影された状態で建築物の表面を撮像すると、カメラ画像において、情報画像以外の部分が相対的に暗くなってしまう場合がある。上記のように、ＵＡＶ１０が状態検査のための撮像を行う場合に、投影ステーション２０が情報画像の投影を停止することで、そのようなことを防止できる。

また、ＵＡＶ１０が状態検査のための撮像を行うときに投影ステーション２０が情報画像の投影を停止する場合、プロジェクタ制御部２２は、プロジェクタ２１に情報画像の投影を停止させた後、プロジェクタ２１に白色光または適当な色の光を照射させてもよい。このとき、プロジェクタ２１は、プロジェクタ制御部２２に従い、状態検査の対象となる建築物の表面に光を照射する。この結果、ＵＡＶ１０は、建築物の表面に光が照射された状態で、建築物の状態検査のために建築物の表面を撮像する。

プロジェクタ２１が建築物の表面に光を照射することによって、ＵＡＶ１０のカメラ１１が建築物の表面を撮像する際における光量不足を補える。例えば、カメラ１１が建築物の奥まった箇所を撮像する場合や、夜間に無人飛行装置制御システムを運用する場合、光量が不足して、建築物の表面が明瞭に写っているカメラ画像が得られない。ＵＡＶ１０のカメラ１１が建築物の状態検査のために建築物の表面を撮像する時に、プロジェクタ２１が建築物の表面に光を照射することによって、上記のように光量不足を補うことができ、カメラ１１は、建築物の表面が明瞭に写っているカメラ画像を生成することができる。

なお、投影ステーション２０は、プロジェクタ２１とは別に、光を照射するための投光器を備えていてもよい。

また、投光ステーション２０から投影する情報画像の輪郭の形状は、常に同じでなくてもよい。輪郭情報は、情報画像を認識するステップＢ３の前に既知である必要がある。そのため、１つ前の情報画像に含めておいたり、投影ステーション２０が通信によってＵＡＶ１０に通達したり、あるいは、予め情報画像毎の輪郭情報をＵＡＶ１０に記憶させておいたりすればよい。制御部１３は、ずれＭを計算する毎に、情報画像に対応する輪郭情報を適用すればよい。また、情報画像の輪郭の形状を変形させることにより、建築物の状態検査の際に情報画像が邪魔にならないようにすることができる。

以下に示す各実施形態では、既に説明した事項と同様の事項については、説明を省略する。

実施形態２．
本発明の第２の実施形態では、ＵＡＶ１０が大きな外乱を受けたことによって、ＵＡＶ１０の姿勢や位置が変化し、制御部１３がカメラ画像内に写っていた情報画像を見失った場合の動作について説明する。ＵＡＶ１０が外乱を受ける前にカメラ画像内に情報画像が写っていて、制御部１３がその情報画像を認識していたとしても、外乱によってＵＡＶ１０の姿勢や位置が変化したことによって、建築物に投影されている情報画像がカメラ１１の視野外に出てしまうと、カメラ画像内に情報画像が写らなくなる。すなわち、制御部１３がカメラ画像内の情報画像を見失うことになる。

この場合、制御部１３は、ＵＡＶ１０の姿勢を各方向に変化させ、カメラ１１により撮像を行う。あるいは、制御部１３は、カメラ角度制御部１５を介して、カメラ１１の向きを変化させ、カメラ１１により撮像を行う。このとき、制御部１３は、ＵＡＶ１０の姿勢を変化させるととともに、カメラ１１の向きを変化させてもよい。この結果、制御部１３は、情報画像が写っているカメラ画像を取得したならば、ステップＢ４（図１１参照）以降の動作を行えばよい。

また、このとき、制御部１３は、直近の複数のフレームのカメラ画像に基づいて、ＵＡＶ１０の位置および姿勢が、制御部１３がカメラ画像内の情報画像を認識していた時の位置および姿勢からどれだけ変化したかを検出してもよい。

あるいは、ＵＡＶ１０が慣性航法装置を備えていてもよい。そして、ＵＡＶ１０の位置および姿勢が、制御部１３がカメラ画像内の情報画像を認識していた時の位置および姿勢からどれだけ変化したかを、慣性航法装置が検出してもよい。

そして、制御部１３は、ＵＡＶ１０の位置および姿勢それぞれの変化量に基づいて、カメラ１１の視野を情報画像方向に向けるために、ＵＡＶ１０の姿勢やカメラ１１の向きをどの方向に向けるかを判定してもよい。制御部１３は、その判定結果に応じて、ＵＡＶ１０の姿勢やカメラ１１の向きを変化させればよい。この場合、制御部１３は、迅速に、カメラ１１の視野を情報画像方向に向けることができ、投影されている情報画像を早めに撮像することができる。

また、制御部１３は、制御部１３がカメラ画像内の情報画像を認識していた時からのＵＡＶ１０の位置および姿勢の変化量を投影ステーション２０に通知してもよい。制御部１３は、上記の例と同様に、この変化量を、直近の複数のフレームのカメラ画像に基づいて検出してもよい。あるいは、ＵＡＶ１０が慣性航法装置を備え、制御部１３がカメラ画像内の情報画像を認識していた時からのＵＡＶ１０の位置および姿勢の変化量を慣性航法装置が検出してもよい。

ＵＡＶ１０の位置および姿勢の変化量を通知されると、投影ステーション２０の情報画像生成部２５（図１０参照）は、その変化量に基づいて、カメラ１１の視野範囲を計算し、その視野範囲に投影する情報画像を生成する。この情報画像は、制御部１３がカメラ画像内の情報画像を認識していた位置までＵＡＶ１０を誘導するための情報画像である。プロジェクタ制御部２２は、計算されたカメラの視野範囲の方向にプロジェクタ２１を向け、プロジェクタ２１にその情報画像を投影させる。そして、カメラ１１が撮像を行い（ステップＢ２）、その後、ＵＡＶ１０は、ステップＢ３以降の動作を行えばよい。この結果、ＵＡＶ１０は、その情報画像に従って、制御部１３がカメラ画像内の情報画像を認識していた位置まで戻ることができる。また、プロジェクタ制御部２２は、ステップ７の通知を受けた後に、元の投影箇所に元の情報画像をプロジェクタに再度投影させればよい。この場合にも、カメラ１１が撮像を行い（ステップＢ２）、その後、ＵＡＶ１０は、ステップＢ３以降の動作を行えばよい。

また、投影ステーション２０が、ＵＡＶ１０を追尾しながらＵＡＶ１０を撮像する追尾カメラ（図示略）と、その追尾カメラによって得られたＵＡＶ１０の画像に基づいて、ＵＡＶ１０の位置および姿勢の変化量を検出する状態変化量検出部（図示略）とを備える構成であってもよい。この場合、状態変化量検出部は、追尾カメラによって得られた画像に基づいて、ＵＡＶ１０が外乱によって急激に移動したことを検出した場合、その移動の直前の時点からのＵＡＶ１０の位置および姿勢の変化量を検出する。そして、上記の場合と同様に、情報画像生成部２５（図１０参照）は、その変化量に基づいて、カメラの視野範囲を計算し、その視野範囲に投影する情報画像を生成する。この情報画像は、制御部１３がカメラ画像内の情報画像を認識していた位置までＵＡＶ１０を誘導するための情報画像である。プロジェクタ制御部２２は、計算されたカメラの視野範囲の方向にプロジェクタ２１を向け、プロジェクタ２１にその情報画像を投影させる。その後の動作については、上記と同様であり、説明を省略する。

第２の実施形態によれば、ＵＡＶ１０は、外乱によって、カメラ１１の視野が情報画像とは異なる方向に向いてしまったとしても、ＵＡＶ１０は、再度、その情報画像を捉え、通常の制御に復帰することができる。

実施形態３．
本発明の第３の実施形態では、無人飛行装置制御システムは、情報画像とＵＡＶ１０の影とが重なってカメラ画像に写る状態を回避する。

投影ステーション２０の経路導出部２４は、情報画像の投影箇所として、ＵＡＶ１０の影と重ならない投影箇所やＵＡＶ１０の撮像目標位置を定める。

例えば、経路導出部２４が情報画像の投影箇所を定める際に、投影ステーション２０の位置と情報画像の投影位置との３次元空間上の位置関係より、情報画像の光束（Ｌｉｇｈｔ ｆｌｕｘ、光源束、プロジェクタから出る放射光、または光のまとまり。情報画像を含む。以下光束と記す。）の位置を求める。また、経路導出部２４が情報画像の位置からＵＡＶ１０の撮影目標位置を求める際に、３次元空間上の光束の位置とＵＡＶ１０の位置関係を比較し、重なるか近接する（ＵＡＶ１０が光束の位置に基づく所定の範囲内に含まれる）場合は情報画像の投影位置やＵＡＶ１０の目標位置を変更（設定）する。ＵＡＶ１０の撮影目標位置とは、前述のように３次元空間におけるＵＡＶ１０の対空予定位置を示す。すなわち、ＵＡＶ１０の撮影目標位置は、ＵＡＶ１０が画像を撮像する撮像位置ともいえる。

また光束の位置とは、３次元空間上でプロジェクタ２１から出た光が通過する立体的な範囲を示す。光束とＵＡＶ１０の位置が重なるということは、プロジェクタ２１から出た光が途中でＵＡＶ１０に遮られ、この遮られた光の部分は投影面に到達していないが、他の部分は到達している、ということである。投影面の情報画像は一部が欠けた状態となり、この欠けの部分が影のように見えるため、本発明ではこの欠けの部分を影と称する。またＵＡＶ１０が実際に移動する位置は、風などの影響により予め定めた目標位置からずれることを考慮すると、計算上ＵＡＶ１０が光束と重ならなくても実際は重なってしまい影ができる可能性がある。そこで、ＵＡＶ１０は光束の位置に対し一定の距離以下とならないよう、予め余裕を持って移動するようにすると良い。

なお、光束は、プロジェクタ２１のレンズ端と投影された情報画像を結んだ四角錐に近い形状である。より正確には、レンズ端において光束は１点に集まらず、ある一定の大きさを持つ。また光束の光軸に沿った断面は、レンズ端近傍では完全な四角形ではなく円形に近い。

また例えば、経路導出部２４が、データ記憶部２３に記憶されている情報に基づいて、建築物の表面を格子状に区切ることによって、複数の検査区域を定め、個々の検査区域内の所定箇所（例えば、検査区域の中央）を情報画像の投影箇所として定めるとする。また、経路導出部２４は、投影箇所毎に、ＵＡＶ１０の目標位置、並びに、その目標位置でのＵＡＶ１０の姿勢およびカメラの向きも定める。そして、経路導出部２４は、投影箇所毎に、投影箇所とＵＡＶ１０の影とが重なるか否かを判定する。この判定は、情報画像の光束と目標位置との位置関係に基づいて行うことができる。すなわち、経路導出部２４は、建築物の画像投影面を分割した複数の領域ごとに、投影される画像の光束の範囲内にＵＡＶ１０の存在の有無を判定する。

また、経路導出部２４は、ＵＡＶ１０の影と重なる投影箇所に関して、検査区域内で、ＵＡＶ１０の影と重ならない位置に変更し、その変更に合わせて、投影箇所に対応するＵＡＶ１０の姿勢およびカメラの向きも変更する。このとき、経路導出部２４がＵＡＶ１０の目標位置も変更することがあってもよい。検査区域内で、投影箇所の位置を変更しても、ＵＡＶ１０の影と重なってしまう場合には、その検査区域に関しては、投影箇所を定めないと決定する。そして、経路導出部２４は、ＵＡＶ１０の影と重ならない投影箇所を対象として、その各投影箇所に投影された情報画像を撮像するための経路を決定する。

また例えば、ＵＡＶ１０のカメラ１１の光軸と、光束の中心線（プロジェクタ２１の光軸）が平行にならないよう、各々の角度を制御すると良い。ＵＡＶ１０のカメラ１１が認識している瞬間に情報画像に影ができるのは、光束上にＵＡＶ１０が存在し、なおかつＵＡＶ１０が投影画像を観察している場合である。すなわち、光束の中心線とカメラ１１の光軸がほぼ一致する場合である。したがって、カメラ１１の光軸とプロジェクタ２１の光軸の向きが一致しないように投影位置またはＵＡＶ１０のカメラ１１を制御すれば、影ができる可能性は大幅に減少する。

この機能を実現するため、ＵＡＶ１０のカメラ１１の方位（地磁気の向きを基準とした方向）を固定し、プロジェクタ２１の向きとカメラ１１の方位との差異を情報画像生成部２５が検出する。そしてこの差異が小さくなる場合は、投影位置やＵＡＶ１０の目標位置を変更する。なお、ＵＡＶ１０のカメラ１１の方位を固定する理由は、投影ステーション２０とプロジェクタ２１と建築物３０との位置関係は変えない方が望ましいが、様々な位置に投影するためプロジェクタ２１の光軸は様々な方向を向く必要があるからである。

また例えば、経路導出部２４が求めたＵＡＶ１０の目標位置と、実際のＵＡＶ１０との位置を記録し、目標位置と実際の位置より風または外乱の影響を推定する。経路導出部２４は、外乱の影響の推定より、将来のＵＡＶ１０の位置が目標位置に対しどの程度ずれるかを予測し、この推定位置と光束の位置関係を比較し、重なるか近接する場合は情報画像の投影位置やＵＡＶ１０の目標位置を変更する。すなわち、経路導出部２４は、直前までの飛行データを用いて、風などによるＵＡＶ１０の位置ずれを予測し、予測結果を考慮した目標位置を常に再設定して、影ができないようにする。

例えば、東からの風により西側にＵＡＶ１０が流される傾向があり、ＵＡＶ１０が東側に在るうちは影が出来ないが西側に在ると影が生じるなら、経路導出部２４は、目標位置を当初の位置よりも東の位置に変更する。その結果、ＵＡＶ１０は、風で流されても当初位置より西側に行かないように制御される。なお、実際の影響予測の際は、風などの外乱は一定ではなく時間的に変化しているため、外乱の変化幅を考慮してＵＡＶ１０の位置予測も幅を持たせるとなお良い。例えば先の例に追加すると、ＵＡＶ１０が１〜３ｍ流されると予測されるのであれば、経路導出部２４は、３ｍ東に目標位置を変更する。

すなわち、経路導出部２４は、ＵＡＶ１０の撮像位置と、撮像位置に基づき制御されたＵＡＶ１０の位置との差異に基づき、他の撮像位置に基づき制御されるＵＡＶ１０の位置を算出し、算出されたＵＡＶ１０の位置と他の撮像位置から撮像される画像の光束の範囲とに基づき、他の撮像位置および他の撮像位置から撮像される画像の投影位置の一方あるいは両方を設定する。

このように情報画像の投影箇所や目標位置を予め定めることによって、投影箇所に投影される情報画像とＵＡＶ１０の影とが重なった状態でカメラ画像に写ってしまうことを防止しやすくなる。

また、上記のように、経路導出部２４がＵＡＶ１０の影と重ならない投影箇所を定めた場合であっても、ＵＡＶ１０が風等の影響を受けるので、投影箇所に対応する目標位置で情報画像を撮像することは一般的に少ない。その結果、上記のように投影箇所を定めた場合であっても、投影箇所に投影される情報画像とＵＡＶ１０の影とが重なる場合が生じ得る。

この場合、制御部１３は、ＵＡＶ１０を移動させればよい。図１３は、情報画像とＵＡＶ１０の影とが重なって写ったカメラ画像の例を示す模式図である。制御部１３は、情報画像４０の輪郭の一部が不連続であり途切れている（欠落している）と判定した場合、図１３に例示するように、情報画像４０の外周部の一部分と影５５とが重なっていると判定する。制御部１３は、このように判定した場合、例えば、任意の方向にＵＡＶ１０を移動し、ステップＢ１（図１１参照）以降の動作を実行すればよい。

または、投影ステーション２０の経路導出部２４は、任意の方向に情報画像の位置を移動させればよい。制御部１３は、投影ステーション２０に影が出来ていることを通達し、例えば、投影ステーション２０の経路導出部２４は、任意の方向に情報画像の位置を移動し、ステップＢ１（図１１参照）以降の動作を実行すればよい。また、このとき、制御部１３は、情報画像４０の輪郭のうち影５５によって途切れている箇所（欠落している位置）に基づいて、ＵＡＶ１０または情報画像の投影位置を移動させる方向を判定し、その方向にＵＡＶ１０または情報画像を移動させてもよい。

なお、このように撮像された画像が欠落している場合に、無人飛行装置を移動させる制御部１３及び画像の投影位置を移動させる経路導出部２４は、無人飛行装置または投影されえちる画像を移動させる移動制御部として機能する。

さらに、情報画像の外側に影を検出する領域（以降「検出領域」とする）を設け、情報画像と共にプロジェクタ２１で投影し、この検出領域に影が生成された場合、上記処理を行うとなお良い。例えば、検出領域は、プロジェクタ２１から一様な光を建築物に投影する。検出領域は、プロジェクタ２１の光が当たっているため、ＵＡＶ１０のカメラ１１で観察すると光が当たっていない部分よりも高輝度で撮像される。そして、ＵＡＶ１０が検出領域に影を落とすと、その領域のみ光が照射されていない元の部分と同じ輝度になる。図１４は情報画像４０にはＵＡＶ１０の影５５が重なっていないが、検出領域にＵＡＶ１０の影があり、輝度が低い状態になったカメラ画像の例を示す模式図である。

図１４に例示するカメラ画像では、情報画像４０の全体の位置を検出可能であるが、影の領域も同時に検出する。この影を元に、前述の処理を行う。ＵＡＶ１０が風などにより移動している場合、先に検出領域に影が検出され、次いで情報画像４０の領域に影が出来る。すなわち情報画像が完全に認識出来る状態でも予め影の検出が可能なため、影を検出した時点で影を回避する制御をすることで情報画像への影の投影を防ぐことができる。また、上記では説明を簡単にするため、外周に検出領域を設けているが、検出領域は情報画像の外側に限らなくても良い。すなわち、例えば外乱の影響により影の生成が予測される場合は、その位置にのみ検出領域を設けても良い。

またプロジェクタ２１の投影範囲に対する情報画像の位置は中央とは限らず、投影範囲の端に情報画像を投影する場合も有るが、この場合は一部検出領域を生成できなくても良い。なお上記は以下のように言い換えることも出来る。すなわち、投影ステーション２０は、識別情報を示す領域以外の領域を含む画像を対象物に投影する。また、移動制御部（制御部１３や経路導出部２４）は、該画像をカメラ１１により撮像した撮像画像のうち、識別情報を示す領域以外の領域の撮像画像が欠落している場合に、ＵＡＶ１０または投影されている画像を移動させる。

なお図１３および１４ではＵＡＶ１０の影５５の位置を明示するため黒く示しているが、実際はＵＡＶ１０によりプロジェクタの光束が途中で遮られているだけのため、本実施形態においてＵＡＶの影と表記している部分は、情報画像が投影されていない部分と同じ輝度となる。

また、投影面は一様な面として示しているが、実際には投影面の模様や環境光が原因で、投影光の影と区別のつかない模様や環境光の影が見える場合もある。この場合は、予め投影面の反射率情報を取得し、反射率情報と合わせて影を検出しても良い。

このように、情報画像４０とＵＡＶ１０の影との重なりを検出した場合、情報画像４０とＵＡＶ１０の影との重なりを回避することができる。この動作は、ＵＡＶ１０の影と投影箇所とが重ならないように経路導出部２４が投影箇所を決定していない場合であっても適用可能である。以上の説明したように、本発明の第３の実施形態によれば、無人飛行装置が撮像した画像に基づき無人飛行装置を制御して対象物の付近の目標位置近傍に無人飛行装置を誘導する場合において、無人飛行装置の影響による、撮像された画像の欠落を防止することが可能になる。

なお、本実施形態においては、ＵＡＶ１０が画像を撮像する撮像位置や情報画像４０の投影位置を変更（設定）する処理が、投影ステーション２０に含まれる経路導出部２４によって行われる場合を具体例として説明した。しかしながら、この処理は、経路導出部２４に限定されず、他の構成部によって行われてもよいし、投影ステーション２０以外の他の装置に含まれる構成部によって行われてもよい。

実施形態４．
本発明の第４の実施形態では、ＵＡＶ１０は、天候等の影響によって消費電力が大きく、全ての検査区域で状態検査のための撮像を行えない場合に、経路の途中で経路を変更する。

第１の実施形態で説明したように、経路導出部２４は、例えば、各投影箇所に投影された情報画像を撮像できるようにＵＡＶ１０の経路を定める。すなわち、各投影箇所の付近を通過するようにＵＡＶ１０の経路を定める。

このとき、経路導出部２４は、ＵＡＶ１０の消費電力が最小となる経路を定めることが好ましい。ここで、ＵＡＶ１０が電力を多く消費するのは、飛行の速度ベクトルが変わる場合である。従って、経路導出部２４は、例えば、ＵＡＶ１０の速度ベクトル変更が最小となる経路を定めればよい。

経路導出部２４が、図１５に例示する経路を定めたとする。図１５では、建築物の表面上の各検査区域およびＵＡＶ１０の経路６１を図示している。また、検査区域Ｒａは、最初の検査区域であり、検査区域Ｒｚは、最後の検査区域である。

経路導出部２４は、経路６１上に、ＵＡＶ１０が近道となる経路に切り替え可能な位置（以下、切り替え可能位置と記す。）を定める。切り替え可能位置は、１つであっても、複数であってもよい。図１５に示す切り替え可能位置７１を例にして説明する。

経路導出部２４は、経路６１を定めた後、切り替え可能位置７１から終点７９までの近道となる経路の候補を複数定める。経路導出部２４は、既に通過した検査区域を通過しないように、経路の候補を定める。また、経路の候補は、切り替え可能位置７１から終点７９までの近道であるので、未通過の検査区域を全て通過する必要はない。また、切り替え可能位置７１に関して定められる複数の経路の候補が通過する検査区域の数は、経路の候補毎に異なっていてよい。換言すれば、切り替え可能位置７１から終点７９まで経路の候補の長さは、それぞれ異なっていてよい。なお、本例では説明を簡単にするため、経路の各候補において、切り替え可能位置７１から次の検査区域までの一区間分の移動経路は、予め定められた経路と変わらないものとする。

経路導出部２４は、切り替え可能位置７１以外の各切り替え可能位置に対しても、切り替え可能位置毎に、終点７９までの近道となる経路の候補を複数定める。

以下、説明を簡単にするため、検査区域に対応するＵＡＶ１０の目標位置が、切り替え可能位置として定められるものとする。

ＵＡＶ１０の制御部１３は、命令認識が完了した旨を投影ステーション２０に通知する際（ステップＢ７）、飛行開始後の消費エネルギ、その時点における電池残量、および天候（ここでは、横風の風速を例にする。）を計測し、それらの値も、投影ステーション２０に通知する。なお、これらの値を計測するためのセンサをＵＡＶ１０に搭載しておけばよい。ただし、制御部１３は、例えば、飛行可能距離が十分確保できる条件（例えば、電池残量が閾値以上残っているという条件）が満たされている場合には、消費エネルギ、電池残量および天候（横風の風速）を投影ステーション２０に通知しなくてもよい。

また、経路導出部２４は、予め、消費エネルギ、電池残量および天候（横風の風速）を説明変数とし、ＵＡＶ１０の飛行可能距離を被説明変数とする飛行可能距離の予測式を保持している。この予測式は、例えば、回帰分析等の機械学習によって予め定めておけばよい。経路導出部２４は、ＵＡＶ１０から消費エネルギ、電池残量および天候を通知されると、それらの値を、予測式の説明変数に代入することによって、ＵＡＶ１０の飛行可能距離を算出する。

さらに、経路導出部２４は、ＵＡＶ１０が存在している切り替え可能位置に対して予め定めていた経路の候補毎に、経路の候補の長さから、予測式によって算出した飛行可能距離を減算する。経路導出部２４は、この減算結果が最も小さい経路の候補を、最適な近道と判定し、以降、その経路の候補をＵＡＶ１０の経路とする。

ＵＡＶ１０の消費電力は、風等の天候に影響を受ける。例えば、強風が吹いている場合は、その強風に対向する推力が必要なるため、無風時よりも消費電力が大きくなる。この結果、最初に定められた経路６１に沿ってＵＡＶ１０が移動し続けようとした場合、経路の途中で電池残量が０になってしまう場合が起こり得る。本実施形態によれば、切り替え可能位置で終点７９までの近道となる経路に切り替えることができるので、通過する検査区画の数を少なくすることと引き換えに、終点７９までＵＡＶ１０の飛行を維持することができる。

なお、上記の例では、飛行可能距離の予測式に用いられる説明変数として、消費エネルギ、電池残量および天候を例示したが、他の説明変数を用いてもよい。

実施形態５．
本発明の第５の実施形態では、ＵＡＶ１０が大きな外乱を受けたことによって、ＵＡＶ１０の位置が変化した場合、投影ステーション２０は、その変化後の位置から経路の終点までの経路を、再度、導出する。

外乱によってＵＡＶ１０が移動し、ＵＡＶ１０の制御部１３がカメラ画像内の情報画像を見失った場合、制御部１３は、第２の実施形態で例示した場合と同様に、カメラ画像内の情報画像を認識していた時からのＵＡＶ１０の位置および姿勢の変化量を投影ステーション２０に通知する。

投影ステーション２０の経路導出部２４は、この通知を受けると、この通知に基づいて、現在のＵＡＶ１０の位置を計算する。そして、経路導出部２４は、その位置からの経路を再度、導出する。ただし、経路導出部２４は、既にＵＡＶ１０が通過した検査区域を通過しないように、新たに経路を導出すればよい。また、新たな経路は、未通過の検査区域を全て通過しなくてもよい。また、このとき、経路導出部２４は、例えば、消費電力が最小となる経路を選択することが好ましい。例えば、前述のように、経路導出部２４は、ＵＡＶ１０の速度ベクトルの変化が最小となる経路を定めてもよい。

本実施形態によれば、突風等の外乱によってＵＡＶ１０が移動したとしても、その位置からの経路を経路導出部２４が再度定める。従って、ＵＡＶ１０の消費電力の増加を抑えることができ、ＵＡＶ１０の運用効率を上げることができる。

実施形態６．
本発明の第６の実施形態では、プロジェクタ制御部２２は、生成された情報画像を、投影時に歪まないように補正するだけでなく、情報画像の色味や輝度の補正も行う。

第６の実施形態では、プロジェクタ２１は、予め定められた基準となる画像（本実施形態では、白色の枠形状の画像とする。）も、建築物の表面に投影する。プロジェクタ制御部２２は、カメラ画像内に写っている枠形状部分の色に応じて、情報画像の色を補正する。なお、プロジェクタ２１は、常に白色の枠形状の画像を投影してもよい。あるいは、プロジェクタ２１は、情報画像の投影箇所が変化したときに、先に白色の枠形状の画像を投影し、その後、カメラ画像内に写っている枠形状部分の色に応じて補正された情報画像を投影してもよい。

以下、より具体的に説明する。ＵＡＶ１０のカメラ１１が、白色の枠形状の画像が投影された建築物の表面を撮像し、カメラ画像を生成した場合、制御部１３は、カメラ画像内におけるその枠形状部分の色（白色の枠形状の画像がカメラ内でどのような色で写っているか）を認識する。そして、制御部１３は、カメラ画像内における枠形状部分の色の情報を投影ステーション２０に通知する。

投影ステーション２０のプロジェクタ制御部２２は、カメラ画像内における枠形状部分の色の情報を受信すると、その色の情報に応じて、情報画像生成部２５によって生成された情報画像の色を補正する。

白色光で投影した枠形状の画像が、カメラ画像内で何らかの色になっているということは、建築物の表面は、その色のみを反射する状態になっていることになる。例えば、建築物の表面が緑色であり、５５０ｎｍ±３０ｎｍの波長のみを反射する状態であるとする。この場合、カメラ画像内における枠形状部分の色は、５５０ｎｍ±３０ｎｍの範囲内の波長の色である。プロジェクタ制御部２２は、この情報をＵＡＶ１０から受信すると、その波長に応じて、情報画像の色を、例えば、色の波長が５３０ｎｍ〜５７０ｎｍの範囲内になるように補正する。

この結果、カメラ１１は、建築物の表面に投影された情報画像を撮像することができる。上記の例では、仮に、波長が５２０ｎｍ未満の色、または、波長が５８０ｎｍより大きい色の情報画像を反射面に投影しても、その光は反射されず、情報画像はカメラ画像に写らない。本実施形態では、白色光で投影した形状の画像がカメラ画像内でどのような色で写っているかに応じて、プロジェクタ制御部２２が情報画像の色を補正するので、建築物の表面が特定の波長の光しか反射しない場合であっても、カメラ１１は、情報画像が写ったカメラ画像を生成することができる。

また、プロジェクタ制御部２２は、色の他に、情報画像の輝度を補正してもよい。この場合、制御部１３は、カメラ画像内における枠形状部分の画像に基づいて、情報画像が投影された建築物の表面の明るさを認識する。制御部１３は、その明るさを投影ステーション２０に通知する。

投影ステーション２０のプロジェクタ制御部２２は、建築物の表面に投影された情報画像の明るさが通知されると、その明るさに応じて、情報画像の輝度を補正する。例えば、プロジェクタ制御部２２は、建築物の表面が暗く見える場合には、情報画像の輝度を上げるように補正する。

このように輝度を補正することによって、建築物の表面に投影した情報画像が環境光に埋もれることを防止することができる。

制御部１３が、カメラ画像内におけるその枠形状部分の色と建築物の表面の明るさとを認識し、プロジェクタ制御部２２が、情報画像の色および輝度の両方を補正してもよい。

なお、上記の例では、建築物の表面に投影された枠形状の画像を、ＵＡＶ１０のカメラ１１が撮像し、ＵＡＶ１０の制御部１３がカメラ画像内における枠形状部分の色や、建築物の表面の明るさを認識する場合を示した。投影ステーション２０もカメラを備え、そのカメラが建築物の表面に投影された枠形状の画像を撮像してもよい。そして、投影ステーション２０が、カメラ画像内における枠形状部分の色や、建築物の表面の明るさを認識する画像認識部（図示略）を備えていてもよい。すなわち、カメラ画像内における枠形状部分の色や、建築物の表面の明るさの認識を投影ステーション２０側で行ってもよい。ただし、この場合であっても、ＵＡＶ１０は、図６に示すようにカメラ１１および制御部１３を備える。

また、上記のように、投影ステーション２０もカメラを備える場合、予め投影ステーション２０のカメラが建築物の表面の画像を撮像し、カメラ画像を生成してもよい。そして、経路導出部２４は、そのカメラ画像に基づいて、建築物の表面のうち、直射日光が当たっておらず影（ＵＡＶ１０の影ではない。）が生じている領域や、亀裂が生じている領域を特定してもよい。そして、経路導出部２４が、その影が生じている領域内であって、亀裂が生じていない領域の中で、情報画像の投影箇所を定めてもよい。

本実施形態によれば、建築物の表面が特定の波長の光しか反射しない場合であっても、カメラ１１は、情報画像が写ったカメラ画像を生成することができる。また、建築物の表面に投影した情報画像が環境光に埋もれることを防止することができる。従って、カメラ画像内の情報画像を検出しやすくすることができる。

また、プロジェクタ２１は、例えば、赤色、緑色および青色のそれぞれの色毎に、所定の波長の光のみを照射する光源を有するプロジェクタ（例えば、レーザプロジェクタ）であってもよい。プロジェクタ制御部２２は、ＵＡＶ１０の制御部１３から通知された色の情報に応じて、プロジェクタ２１の光源を切り替えることによって、情報画像の色を補正してもよい。このような構成によれば、選択された光源が照射する光の波長が限られているので、太陽光が存在する環境下であっても、ＵＡＶ１０のカメラ１１は、情報画像が明瞭に写ったカメラ画像を得ることができる。

さらに、ＵＡＶ１０のカメラ１１には、所定の波長の光のみを透過させるフィルタであって、透過させる光の波長を切り替え可能な構成のフィルタを備えていてもよい。例えば、フィルタが透過させる光の波長は、プロジェクタ２１が有する個々の光源に合わせて定められていればよい。例えば、カメラ１１のフィルタは、プロジェクタ２１の赤色の光源に対応する波長の光のみを透過させる状態、プロジェクタ２１の緑色の光源に対応する波長の光のみを透過させる状態、および、プロジェクタ２１の青色の光源に対応する波長の光のみを透過させる状態のいずれかに切り替え可能なフィルタである。例えば、制御部１３は、赤色という情報を投影ステーション２０に通知した場合、カメラ１１のフィルタをプロジェクタ２１の赤色の光源に対応する波長の光のみを透過させる状態に切り替える。同様に、制御部１３は、緑色という情報を投影ステーション２０に通知した場合、カメラ１１のフィルタをプロジェクタ２１の緑色の光源に対応する波長の光のみを透過させる状態に切り替える。同様に、制御部１３は、青色という情報を投影ステーション２０に通知した場合、カメラ１１のフィルタをプロジェクタ２１の青色の光源に対応する波長の光のみを透過させる状態に切り替える。カメラ１１が上記のフィルタを備えていることにより、太陽光が存在する環境下であっても、カメラ１１が、情報画像が明瞭に写ったカメラ画像を得られるという効果をより向上させることができる。なお、カメラ１１が備えるフィルタの態様は特に限定されない。例えば、一般的なカラーカメラには、各画素にベイヤー配列（Bayer arrangement ）のＲ／Ｇ／Ｂフィルタが配置されている。このフィルタによって対応する光源の光のみを用いてもよい。すなわち、緑色の光源のみを用いるのであれば、緑色の画素のみを用いてもよい。同様に、他の色の光源を用いるのであれば、その光源に対応する画素のみを用いてもよい。また、モノクロカメラと、外部に取り付けた交換式カラーフィルタとの組み合わせを用いてもよい。また、カメラ１１に上記のフィルタが設けられていなくてもよい。

また、建築物の表面の色が既知であり一色である場合には、プロジェクタ２１は、その色に応じた所定の波長の光のみを照射する１つの光源を備える構成であってもよい。また、この場合、カメラ１１には、その光源に対応する波長の光のみを透過させるフィルタが設けられていてもよい。すなわち、建築物の表面の色が既知であり一色である場合、プロジェクタ２１の光源やカメラ１１のフィルタは、切り替え可能でなくてもよい。なお、既に述べたように、カメラ１１にフィルタが設けられていなくてもよい。

また、特に直射日光下等、プロジェクタの輝度に対して周辺光が強い場合、投影ステーション２０のプロジェクタ２１にはレーザ等、波長幅の狭い光源を用い、この波長の光のみを透過させる狭帯域フィルタをＵＡＶ１０に取り付けるとなお良い。太陽光は、広い波長範囲に渡って光を照射しており、また、一般的なカメラは、広い波長範囲の光を積分した値を明るさとして出力する。しかし、狭帯域フィルタを付けると、太陽光成分は、このフィルタの透過範囲のみとなるため、太陽光成分の検出値は低下する。一方、レーザ光線は狭帯域フィルタの影響を受けない。従って、レーザ光源と、それに対応した狭帯域フィルタとを用いることで、外乱光の影響を受けにくくすることができる。

実施形態７．
本発明の第７の実施形態では、情報画像の投影面と、状態検査のための撮像の対象面が異なる場合の動作について説明する。

図１６は、情報画像の投影面と、状態検査のための撮像の対象面とが異なる状況の例を示す模式図である。状態検査のための撮像対象となる領域が、領域８２であるとする。しかし、領域８２は、水平である。また、領域８２には、建築物３０の構造物３９によって、プロジェクタ２１から見て死角となる領域が存在する。また、プロジェクタ２１から見て死角となる領域には、情報画像を投影することができない。領域８２のうち、プロジェクタ２１から見て死角とならない領域にプロジェクタ２１が情報画像を投影したとしても、ＵＡＶ１０は、水平な領域８２に投影された情報画像を撮像できない場合がある。

このような状況では、情報画像の投影面と、状態検査のための撮像の対象面とを異なる面とすればよい。

領域８１は、情報画像の投影箇所を含む領域である。プロジェクタ２１は、領域８１に情報画像（以下、この情報画像を情報画像Ｑと記す。）を投影する。プロジェクタ２１の情報画像生成部２５（図１０参照）は、情報画像Ｑを生成する際、移動中のカメラの向きの制御内容とは別に、滞空中のカメラの向きの制御内容も情報画像Ｑに含めておく。本例では、情報画像生成部２５は、滞空中にはカメラの向きを真上方向に向けることを指示する制御内容を、情報画像Ｑに含めておく。

ＵＡＶ１０は、情報画像Ｑの一つ前の情報画像に基づいて、目標位置Ｐ３の方向に進み、ステップＢ１〜Ｂ３（図１１参照）を行う。そして、カメラ画像内に情報画像を認識できたならば、ＵＡＶ１０は、ステップＢ４以降の動作を行う。

ＵＡＶ１０の制御部１３（図６参照）、ステップＢ６において、情報画像Ｑに従い、その場でＵＡＶ１０を滞空させる。さらに、制御部１３は、情報画像Ｑに含まれる上記の制御内容に従い、滞空中にカメラの向きを真上方向に向ける。制御部１３は、この状態で滞空している間に、状態検査のための撮像を行う。このとき、カメラ１１は真上方向を向いているので、検査対象となる領域８２を撮像でき、領域８２のカメラ画像を生成することができる。

本実施形態によれば、状態検査のための撮像の対象面に情報画像を投影できなくても、他の面に投影された情報画像Ｑを利用して目標位置の近傍に到達することができる。そして、情報画像Ｑに含まれている制御内容に従って、ＵＡＶ１０は、滞空中におけるカメラ方向を変え、状態検査のための撮像の対象面を撮像し、その面のカメラ画像を生成することができる。

実施形態８．
建築物の経年劣化により、建築物の表面にひび割れや浮き等の欠陥が生じる場合がある。本発明の第８の実施形態の無人飛行装置制御システムは、そのような欠陥を検出する。また、無人飛行装置制御システムは、その欠陥に応じて、投影された情報画像が歪まないように情報画像を補正する。

本発明の第８の実施形態では、プロジェクタ２１は、所定のパターンを表す画像（以下、パターン画像と記す。）も、建築物の表面に投影する。ＵＡＶ１０の制御部１３は、カメラ画像内に写っているパターンの形状に応じて、建築物の表面の欠陥の状態を検出する。投影ステーション２０は、その欠陥の状態に応じて、情報画像を補正する。

以下、より具体的に説明する。プロジェクタ２１は、パターン画像を建築物の表面に投影する。パターン画像は、例えば、メッシュパターンを表す画像であってもよい。本実施形態では、説明を簡単にするために、所定のパターンとして水平な直線を例にして説明する。図１７は、水平な直線を表すパターン画像の例を示す模式図である。図１７では、１本の直線を表すパターン画像を示しているが、パターン画像内に複数の直線が表わされていてもよい。

図１８は、経年劣化によって段差が生じた建築物の表面にパターン画像を投影し、ＵＡＶ１０のカメラ１１がその投影箇所を撮像している状態を示す模式図である。図１９は、図１８に示す状態の模式的側面図である。図１８および図１９に示す例では、建築物の面９１は、面９２よりも浮いた状態となり、段差が生じている

カメラ１１が、パターン画像（水平な直線）が投影された面９１および面９２を撮像し、カメラ画像を生成する。図２０は、パターン画像を撮像した結果得られたカメラ画像の例を示す模式図である。図２０に示すカメラ画像には、面９１，９２および線９３が写っている。プロジェクタ２１は、水平な直線を面９１，９２に投影しているが、面９１，９２の段差により、その直線では、カメラ画像内では、曲がった線９３として写る。

また、投影ステーション２０は、パターン画像の投影方向と壁面とがなす角度をＵＡＶ１０に伝達する。投影ステーション２０は、通信によって、この角度をＵＡＶ１０に伝達してもよい。あるいは、投影ステーション２０は、この角度の情報を含む情報画像を投影し、ＵＡＶ１０の制御部１３が、カメラ画像内の情報画像によって、角度の情報を認識してもよい。

ＵＡＶ１０の制御部１３は、カメラ画像内に写ったパターン（本例では、線９３）の形状を認識する。制御部１３は、カメラ画像内に写ったパターンの形状に基づいて、建築物の表面の状態を判定する。本例では、制御部１３は、カメラ画像内に写った線９３の形状から、面９１と面９２との段差があると判定する。すなわち、制御部１３は、面９１と面９２との段差の大きさおよび段差が生じている位置を検出する。例えば、制御部１３に、パターン画像の投影方向と壁面とがなす角度と、カメラ画像内のパターンの形状変形との対応関係を予め記憶させておけばよい。そして、制御部１３は、カメラ画像内のパターンの形状変形に対応する建築物の表面の状態を特定することによって、建築物の表面の状態を判定すればよい。

制御部１３は、建築物の表面の状態の情報（本例では、面９１と面９２との段差の大きさ、および段差が生じている位置）を投影ステーション２０に送信する。

投影ステーション２０のプロジェクタ制御部２２は、制御部１３から送信された建築物の表面の状態の情報を受信する。すると、プロジェクタ制御部２２は、データ記憶部２３に記憶されている建築物の外観および建築物の３次元形状の情報と、ＵＡＶ１０（制御部１３）から受信した建築物の表面の状態の情報とに基づいて、投影された情報画像が歪まないように、情報画像を補正する。

本実施形態によれば、制御部１３は、経年劣化等により生じた建築物の欠陥とその欠陥の大きさを検出することができる。さらに、制御部１３は、建築物の表面の状態の情報を投影ステーション２０に送信するので、投影ステーション２０（プロジェクタ制御部２２）は、投影された情報画像が歪まないように、情報画像を補正することができる。従って、投影ステーション２０は、良好な状態で情報画像を建築物の表面に投影することができ、ＵＡＶ１０の誘導精度をより高くすることができる。

本発明の各実施形態は、インフラストラクチャ劣化診断の他、建築物の巡回監視を行うためにＵＡＶを制御する場合等にも適用可能である。

次に、本発明の概要について説明する。図２１は、本発明の無人飛行装置制御システムの概要を示す模式図である。無人飛行装置制御システム１００は、画像投影部１０１と、制御部１０３と、位置設定部１０５とを備える。

画像投影部１０１（例えば、投影ステーション２０）は、撮像装置（例えば、カメラ１１）を搭載する無人飛行装置（例えば、ＵＡＶ１０）を制御するための画像（例えば、情報画像）を対象物（例えば、状態検査の対象となる建築物）に投影する。

制御部１０３（例えば、制御部１３）は、撮像装置によって撮像された画像に基づき、無人飛行装置の動作を制御する。

位置設定部１０５（例えば、経路導出部２４）は、画像投影部１０１の位置と無人飛行装置が画像を撮像する撮像位置と画像が投影される投影位置との関係に基づいて、投影される画像の光束の範囲内における無人飛行装置の存在の有無を判定し、判定結果に基づいて、撮像位置および投影位置の一方あるいは両方を設定する。

そのような構成により、無人飛行装置が撮像した画像に基づき無人飛行装置を制御して対象物の付近の目標位置近傍に無人飛行装置を誘導する場合において、無人飛行装置の影響による、撮像された画像の欠落を防止することができる。

本発明は、無人飛行装置を制御する無人飛行装置制御システムに好適に適用される。

１０ ＵＡＶ（無人飛翔体）
１１ カメラ
１３ 制御部
１５ カメラ角度制御部
１６ モータドライバ
１７ａ〜１７ｄ モータ
１８ 通信部
２０ 投影ステーション
２１ プロジェクタ
２２ プロジェクタ制御部
２３ データ記憶部
２４ 経路導出部
２５ 情報画像生成部
２７ 通信部

Claims (10)

1. 撮像装置を搭載する無人飛行装置の動作を制御するための画像を対象物に投影する画像投影部と、
   前記撮像装置によって撮像された前記画像に基づき、前記無人飛行装置の動作を制御する制御部と、
   前記画像投影部の位置と前記無人飛行装置が前記画像を撮像する撮像位置と前記画像が投影される投影位置との関係に基づいて、投影される前記画像の光束の範囲内における前記無人飛行装置の存在の有無を判定し、判定結果に基づいて、前記撮像位置および前記投影位置の一方あるいは両方を設定する位置設定部と
   を備える無人飛行装置制御システム。
2. 前記位置設定部は、
   ３次元空間における前記画像投影部の位置と前記投影位置との関係に基づき、３次元空間上の前記光束の位置を算出し、
   前記撮像位置が、算出された前記光束の位置に基づく所定の範囲内に含まれる場合、前記光束の範囲内に前記無人飛行装置が存在すると判定する
   請求項１に記載の無人飛行装置制御システム。
3. 前記位置設定部は、前記撮像装置の光軸と前記光束の中心線との向きの関係に基づいて、前記撮像位置および前記投影位置の一方あるいは両方を設定する
   請求項１または２に記載の無人飛行装置制御システム。
4. 前記位置設定部は、
   設定された前記撮像位置と、設定された前記撮像位置に基づき制御された前記無人飛行装置の位置との差異に基づき、他の撮像位置に基づき制御される前記無人飛行装置の位置を算出し、
   算出された前記無人飛行装置の位置と前記他の撮像位置から撮像される画像の光束の範囲とに基づき、前記他の撮像位置および前記他の撮像位置から撮像される画像の投影位置の一方あるいは両方を設定する
   請求項１から請求項３のうちのいずれか１項に記載の無人飛行装置制御システム。
5. 前記撮像装置により撮像された撮像画像が欠落している場合に、前記無人飛行装置または投影されている前記画像を移動させる移動制御部を備える
   請求項１から請求項４のうちのいずれか１項に記載の無人飛行装置制御システム。
6. 前記移動制御部は、前記撮像装置により撮像された撮像画像が欠落している位置に基づいて、前記無人飛行装置または投影されている前記画像の移動方向を決定する
   請求項５に記載の無人飛行装置制御システム。
7. 前記画像投影部は、前記無人飛行装置の制御内容を識別する識別情報を示す領域以外の領域を含む画像を前記対象物に投影し、
   前記移動制御部は、該画像を前記撮像装置により撮像した撮像画像のうち、前記識別情報を示す領域以外の領域の撮像画像が欠落している場合に、前記無人飛行装置または投影されている前記画像を移動させる
   請求項５又は６に記載の無人飛行装置制御システム。
8. 前記位置設定部は、前記対象物の画像投影面を分割した複数の領域ごとに、投影される前記画像の光束の範囲内における前記無人飛行装置の存在の有無を判定する
   請求項１から請求項７のうちのいずれか１項に記載の無人飛行装置制御システム。
9. 画像投影部により、撮像装置を搭載する無人飛行装置の動作を制御するための画像を対象物に投影し、
   前記撮像装置によって撮像された前記画像に基づき、前記無人飛行装置の動作を制御し、
   前記画像投影部の位置と前記無人飛行装置が前記画像を撮像する撮像位置と前記画像が投影される投影位置との関係に基づいて、投影される前記画像の光束の範囲内における前記無人飛行装置の存在の有無を判定し、判定結果に基づいて、前記撮像位置および前記投影位置の一方あるいは両方を設定する
   無人飛行装置制御方法。
10. 撮像装置を搭載する無人飛行装置の動作を制御するための画像を対象物に投影する画像投影装置であって、
    前記画像投影装置の位置と前記無人飛行装置が前記画像を撮像する位置と前記画像が投影される位置との関係に基づいて、投影される前記画像の光束の範囲内に前記無人飛行装置の存在の有無を判定し、判定結果に基づいて、前記撮像位置および前記投影位置の一方あるいは両方を設定する位置設定部を備える
    画像投影装置。

Images