JP7501535B2 - 情報処理装置、情報処理方法、情報処理プログラム - Google Patents

Description

本技術は、情報処理装置、情報処理方法、情報処理プログラムに関する。

従来からカメラによる撮影の技術においては、ユーザが撮影しようとするシーンや被写体などに合わせて最適な構図を提示する技術が提案されている（特許文献１）。

また近年、ドローンなどの自律移動体が普及し、その自律移動体にカメラを搭載して撮影を行う方法も普及しつつある。

特開２０１１－１３５５２７号公報

特許文献１に記載の技術はカメラの位置が固定された通常の撮影におけるものであり、自律移動する自律移動体に搭載されたカメラでの撮影における構図の最適化は未解決の課題である。

本技術はこのような点に鑑みなされたものであり、移動体が自律移動しながら所望の構図で撮影するための移動経路を決定することができる情報処理装置、情報処理方法、情報処理プログラムを提供することを目的とする。

上述した課題を解決するために、第１の技術は、撮像装置を備える移動体が移動しながら撮影する範囲である移動範囲における移動体が備えているセンサによるセンシング結果に基づいて移動範囲のセマンティックマップを作成するマップ作成部と、セマンティックマップ内に存在する形状を抽出する形状抽出部と、予め保持してある構図データまたはユーザの入力に基づいて撮像装置で撮影する画像の構図を設定する構図設定部と、ユーザからの入力に基づいて複数のウェイポイントを設定するウェイポイント設定部と、形状と構図とウェイポイントに基づいて、移動体の移動範囲において、複数のウェイポイントの全てを通過する移動経路を決定する経路決定部とを備える情報処理装置である。

また、第２の技術は、マップ作成部が、撮像装置を備える移動体が移動しながら撮影する範囲である移動範囲における移動体が備えているセンサによるセンシング結果に基づいて移動範囲のセマンティックマップを作成し、形状抽出部が、セマンティックマップ内に存在する形状を抽出し、構図設定部が、予め保持してある構図データまたはユーザの入力に基づいて撮像装置で撮影する画像の構図を設定し、ウェイポイント設定部が、ユーザからの入力に基づいて複数のウェイポイントを設定し、経路決定部が、形状と構図とウェイポイントに基づいて、移動体の移動範囲において、複数のウェイポイントの全てを通過する移動経路を決定する情報処理方法である。

また、第３の技術は、撮像装置を備える移動体が移動しながら撮影する範囲である移動範囲における移動体が備えているセンサによるセンシング結果に基づいて移動範囲のセマンティックマップを作成し、セマンティックマップ内に存在する形状を抽出し、予め保持してある構図データまたはユーザの入力に基づいて撮像装置で撮影する画像の構図を設定し、ユーザからの入力に基づいて複数のウェイポイントを設定し、形状と構図とウェイポイントに基づいて、移動体の移動範囲において、複数のウェイポイントの全てを通過する移動経路を決定する情報処理方法をコンピュータに実行させる情報処理プログラムである。

撮影システム１０の構成を示す全体図である。 移動体１００の構成を示す外観図である。 移動体１００の構成を示すブロック図である。 撮像装置２００の構成を示すブロック図である。 端末装置３００の構成を示すブロック図である。 情報処理装置４００の構成を示すブロック図である。 移動経路決定の全体フローを示すフローチャートである。 セマンティックマップの例を示す図である。 セマンティックマップからの形状抽出の説明図である。 セマンティックマップ作成処理を示すフローチャートである。 マップ作成範囲の設定の説明図である。 移動経路決定処理を示すフローチャートである。 ウェイポイント設定の説明図である。 局所的移動経路決定処理を示すフローチャートである。 移動経路についてのコスト算出処理を示すフローチャートである。 コスト算出の説明図であり、図１６Ａはセマンティックマップの例であり、図１６Ｂは構図の例である。 コスト算出の説明図であり、セマンティックマップと構図を重ね合わせた状態を示す図である。 ウェイポイント間ごとに構図を設定する変形例の説明図である。

以下、本技術の実施の形態について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜１．実施の形態＞
［１－１．撮影システム１０の構成］
［１－２．移動体１００の構成］
［１－３．撮像装置２００の構成］
［１－４．端末装置３００および情報処理装置４００の構成］
［１－５．情報処理装置４００による処理］
［１－５－１．全体処理］
［１－５－２．セマンティックマップ作成処理］
［１－５－３．移動経路決定処理］
＜２．変形例＞

＜１．実施の形態＞
［１－１．撮影システム１０の構成］
まず図１を参照して撮影システム１０の構成について説明する。撮影システム１０は、移動体１００、撮像装置２００、情報処理装置４００としての機能を有する端末装置３００とから構成されている。

本実施の形態において移動体１００はドローンと称される電動小型飛行体（無人航空機）である。撮像装置２００はジンバル５００を介して移動体１００に搭載され、移動体１００の自律移動中に予め設定された構図で自律撮影を行って静止画／動画を取得するものである。

端末装置３００は地上において撮影システム１０を利用するユーザが使用するスマートフォンなどのコンピュータであり、端末装置３００において動作する情報処理装置４００が撮影における構図の設定や移動体１００の移動経路の作成などを行うものである。

移動体１００と撮像装置２００は有線または無線接続により通信可能となっている。また、端末装置３００と移動体１００および撮像装置２００は無線接続により通信可能となっている。

［１－２．移動体１００の構成］
図２および図３を参照して移動体１００の構成について説明する。図２Ａは移動体１００の外観平面図であり、図２Ｂは移動体１００の外観正面図である。中心部としての例えば円筒状または角筒状の胴体部１と、胴体部１の上部に固定された支持軸２ａ～２ｆとから機体が構成される。一例として、胴体部１が６角筒状とされ、胴体部１の中心から６本の支持軸２ａ～２ｆが等角間隔で放射状に延びるようになされている。胴体部１および支持軸２ａ～２ｆは、軽量で強度の高い材料から構成されている。

さらに、胴体部１および支持軸２ａ～２ｆからなる機体は、その重心が支持軸２ａ～２ｆの中心を通る鉛直線上にくるように、各構成部品の形状、配置等が設計される。さらに、この鉛直線上に重心がくるように、胴体部１内に回路ユニット５およびバッテリ６が設けられている。

図２の例では、回転翼およびモータの数が６個とされている。しかしながら、４個の回転翼およびモータを有する構成、或いは８個以上の回転翼およびモータを有する構成でもよい。

支持軸２ａ～２ｆの先端部には、回転翼の駆動源としてのモータ３ａ～３ｆがそれぞれ取り付けられている。モータ３ａ～３ｆの回転軸に回転翼４ａ～４ｆが取り付けられている。各モータを制御するためのＵＡＶ制御部１０１などを含む回路ユニット５が支持軸２ａ～２ｆが交わる中心部に取り付けられている。

モータ３ａおよび回転翼４ａと、モータ３ｄおよび回転翼４ｄとが対を構成する。同様に、（モータ３ｂ，回転翼４ｂ）と（モータ３ｅ，回転翼４ｅ）とが対を構成し、（モータ３ｃ，回転翼４ｃ）と（モータ３ｆ，回転翼４ｆ）とが対を構成する。

胴体部１内に底面に動力源としてのバッテリ６が配置されている。バッテリ６は、例えばリチウムイオン二次電池と充放電を制御するバッテリ制御回路とを有する。バッテリ６は、胴体部１の内部に着脱自在に取り付けられている。バッテリ６の重心と機体の重心とを一致させることによって、重心の安定性が増加する。

一般的にドローンと称される電動小型飛行体は、モータの出力を制御して所望の航行を可能としている。例えば、空中に静止しているホバーリングの状態では、機体に搭載されたジャイロセンサを用いて傾きを検知し、機体が下がった側のモータ出力を増加させ、上がった側のモータ出力を低下させることによって、機体を水平に保つようにしている。さらに、前進の際には、進行方向のモータ出力を低下、逆方向のモータ出力を増加させることによって、前傾姿勢を取らせ、進行方向への推進力を発生させるようにしている。このような電動小型飛行体の姿勢制御および推進制御において、上述したようなバッテリ６の設置位置は、機体の安定性と制御の容易性とのバランスをとることができる。

図３は、移動体１００の構成を示すブロック図である。移動体１００は、ＵＡＶ（Unmanned aerial vehicle）制御部１０１、通信部１０２、自己位置推定部１０３、３次元測距部１０４、ジンバル制御部１０５、センサ部１０６、バッテリ６、モータ３ａ～３ｆ、を備えて構成されている。なお、上述の移動体１００の外観構成で説明した支持軸、回転翼などは省略する。ＵＡＶ制御部１０１、通信部１０２、自己位置推定部１０３、３次元測距部１０４、ジンバル制御部１０５、センサ部１０６は図２の移動体１００の外観図に示される回路ユニット５に含まれているものとする。

ＵＡＶ制御部１０１はＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）などから構成されている。ＲＯＭには、ＣＰＵにより読み込まれ動作されるプログラムなどが記憶されている。ＲＡＭは、ＣＰＵのワークメモリとして用いられる。ＣＰＵは、ＲＯＭに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって、移動体１００全体および各部を制御する。また、ＵＡＶ制御部１０１は、モータ３ａ～３ｆの出力を制御することにより移動体１００の飛行を制御するものである。

通信部１０２は、端末装置３００および撮像装置２００とデータの送受信を行なうための各種通信用端子または通信モジュールである。通信は、端末装置３００とは無線ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）、ＷｉＦｉ（Wireless Fidelity）、４Ｇ（第４世代移動通信システム）、５Ｇ（第４世代移動通信システム）、Bluetooth（登録商標）、ZigBee（登録商標）などの無線通信で行われる。また、撮像装置２００との通信は無線通信のほか、ＵＳＢ（Universal Serial Bus）通信などの有線通信でもよい。移動体１００は端末装置３００の情報処理装置４００が作成した移動経路情報を通信部で受信してその移動経路に従って自律移動して撮影を行う。

自己位置推定部１０３は、センサ部１０６で取得した各種センサ情報に基づいて移動体１００の現在位置を推定する処理を行うものである。

３次元測距部１０４は、センサ部１０６で取得した各種センサ情報に基づいて３次元の測距処理を行うものである。

ジンバル制御部１０５は、移動体１００に撮像装置２００を回転自在に装着させるためのジンバル５００の動作を制御する処理部である。ジンバル制御部１０５でジンバル５００の軸の回転を制御することにより撮像装置２００の向きを自在に調整することができる。これにより、設定された構図に合わせて撮像装置２００の向きを調整して撮影を行うことができる。

センサ部１０６は、ステレオカメラ、ＬｉＤＡＲ（Laser Imaging Detection and Ranging）などの距離を測定することができるセンサである。ステレオカメラは、距離センサの一種で、人間が物を見るときの三角測量の原理を応用した左右２台のカメラによるステレオ方式カメラである。ステレオカメラで撮影した画像データを用いて視差データを生成し、カメラ（レンズ）と対象表面までの距離を測定することができる。ＬｉＤＡＲはパルス状に発光するレーザー照射に対する散乱光を測定し、遠距離にある対象までの距離やその対象の性質を分析するものである。センサ部１０６が取得したセンサ情報を移動体１００の自己位置推定部１０３と３次元測距部１０４に供給される。

またセンサ部１０６はＧＰＳ（Global Positioning System）モジュール、ＩＭＵ（Inertial Measurement Unit）モジュールを含んでいてもよい。ＧＰＳモジュールは、移動体１００の現在位置（緯度経度情報）を取得してＵＡＶ制御部１０１、自己位置推定部１０３などに供給するものである。ＩＭＵモジュールは、慣性計測装置であり、２軸または３軸方向に対する加速度センサ、角度速度センサ、ジャイロセンサなどによって、３次元の角速度と加速度を求めることにより、移動体１００の姿勢、傾き、旋回時の角速度やＹ軸方向周りの角速度など検出してＵＡＶ制御部１０１などに供給する。

さらにセンサ部１０６は高度計、方位計などを含んでいてもよい。高度計は、移動体１００が位置する高度を計測して高度データをＵＡＶ制御部１０１に供給するものであり、気圧高度計、電波高度計などがある。方位計は磁石の作用を用いて移動体１００の進行方角を検出してＵＡＶ制御部１０１などに供給するものである。

本実施の形態においては、移動体１００の下部にジンバル５００を介して撮像装置２００が搭載されている。ジンバル５００とは、例えば２軸または３軸の軸で支持する物体（本実施の形態では撮像装置２００）を回転させる回転台の一種である。

［１－３．撮像装置２００の構成］
撮像装置２００は、図２Ｂに示すように移動体１００の胴体部１の底面にジンバル５００を介して吊り下げられるように搭載されている。撮像装置２００はジンバル５００の駆動により３６０度水平方向から垂直方向への全方向のいずれの方向にもレンズを向けて撮像することが可能となっている。これにより、設定した構図での撮影が可能となっている。なお、ジンバル５００の動作制御はジンバル制御部１０５により行われる。

図４のブロック図を参照して撮像装置２００の構成について説明する。撮像装置２００は、制御部２０１、光学撮像系２０２、レンズ駆動ドライバ２０３、撮像素子２０４、画像信号処理部２０５、画像メモリ２０６、記憶部２０７、通信部２０８を備えて構成されている。

光学撮像系２０２は、被写体からの光を撮像素子２０４に集光するための撮像レンズ、撮像レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構などから構成されている。これらは撮像装置２００の制御部２０１、レンズ駆動ドライバ２０３からの制御信号に基づいて駆動される。光学撮像系２０２を介して得られた被写体の光画像は、撮像装置２００が備える撮像素子２０４上に結像される。

レンズ駆動ドライバ２０３は、例えばマイコンなどにより構成され、制御部２０１の制御に従い撮像レンズを光軸方向に沿って所定量移動させることにより、目標とする被写体に合焦するようにオートフォーカスを行う。また、制御部２０１からの制御に従い、光学撮像系２０２の駆動機構、シャッタ機構、アイリス機構などの動作を制御する。これにより、露光時間（シャッタースピード）の調整、絞り値（Ｆ値）などの調整がなされる。

撮像素子２０４は、被写体からの入射光を光電変換して電荷量に変換して、画素信号を出力する。そして、撮像素子２０４は画素信号を画像信号処理部２０５に出力する。撮像素子２０４としては、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などが用いられる。

画像信号処理部２０５は撮像素子２０４から出力された撮像信号に対して、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal／Noise）比を良好に保つためのサンプルホールド、ＡＧＣ（Auto Gain Control）処理、Ａ／Ｄ（Analog/Digital）変換などを行ない、画像信号を作成する。

画像メモリ２０６は、揮発性メモリ、例えば、ＤＲＡＭ（Dynamic Random Access Memory）で構成されるバッファメモリである。画像メモリ２０６は画像信号処理部２０５によって所定の処理が施された画像データを一時的に蓄えておくものである。

記憶部２０７は、例えば、ハードディスク、ＵＳＢフラッシュメモリ、ＳＤメモリカードなどの大容量記憶媒体である。撮像された画像は例えばＪＰＥＧ（Joint Photographic Experts Group）などの規格に基づいて圧縮された状態または非圧縮の状態で保存される。また、保存された画像に関する情報、撮像位置を示す撮像位置情報、撮像日時を示す撮像時刻情報などの付加情報を含むＥＸＩＦ（Exchangeable Image File Format）データもその画像に対応付けられて保存される。

通信部２０８は、移動体１００および端末装置３００とデータの送受信を行なうための各種通信用端子または通信モジュールである。通信は、ＵＳＢ通信などの有線通信や、無線ＬＡＮ、ＷＡＮ、ＷｉＦｉ、４Ｇ、５Ｇ、Bluetooth（登録商標）、ZigBee（登録商標）などの無線通信のどちらであってもよい。

［１－４．端末装置３００および情報処理装置４００の構成］
端末装置３００はスマートフォンなどコンピュータであり、情報処理装置４００としての機能を備える。なお、端末装置３００はスマートフォン以外にもパーソナルコンピュータ、タブレット端末、サーバ装置など情報処理装置４００としての機能を備える事が可能である装置であればどのようなものでもよい。

図５を参照して端末装置３００の構成について説明する。端末装置３００は制御部３０１、記憶部３０２、通信部３０３、入力部３０４、表示部３０５、情報処理装置４００を備えて構成されている。

制御部３０１は、ＣＰＵ、ＲＡＭおよびＲＯＭなどから構成されている。ＣＰＵは、ＲＯＭに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって端末装置３００の全体および各部の制御を行う。

記憶部３０２は、例えば、ハードディスク、フラッシュメモリなどの大容量記憶媒体である。記憶部３０２には端末装置３００で使用する各種アプリケーションやデータなどが格納されている。

通信部３０３は、移動体１００および撮像装置２００とデータや各種情報の送受信を行なうための通信モジュールである。通信は、離れた移動体１００および撮像装置２００と通信することができる無線ＬＡＮ、ＷＡＮ、ＷｉＦｉ、４Ｇ、５Ｇ、Bluetooth（登録商標）、ZigBee（登録商標）などの無線通信であればどのような方法でもよい。

入力部３０４は、ユーザが構図設定のための入力、ウェイポイント設定のための入力など各種入力および指示の入力などを行うためのものである。入力部３０４に対してユーザから入力がなされると、その入力に応じた制御信号が生成されて制御部３０１に供給される。そして、制御部３０１はその制御信号に対応した各種処理を行う。入力部３０４は物理ボタンの他、タッチパネル、モニタと一体に構成されたタッチスクリーン、音声認識による音声入力などでもよい。

表示部３０５は、画像／映像、ＧＵＩ（Graphical User Interface）などを表示するディスプレイなどの表示デバイスである。本実施の形態において表示部３０５にはセマンティックマップ作成範囲設定用ＵＩ、ウェイポイント入力用ＵＩ、移動経路提示用ＵＩなどが表示される。なお、端末装置３００は表示部３０５以外の出力手段として音声を出力するスピーカなどを備えていてもよい。

次に情報処理装置４００の構成について説明する。情報処理装置４００は移動体１００と撮像装置２００により指定の構図で自律移動および自律撮影を行うことができるように構図を設定し、移動経路を決定する処理を行うものである。図６に示すように情報処理装置４００はマップ作成部４０１、形状抽出部４０２、構図設定部４０３、ウェイポイント設定部４０４、経路決定部４０５を備えて構成されている。

マップ作成部４０１はセマンティックマップを作成するものである。セマンティック（semantic）とは、「意味の、語義の、意味論の、意味的な」という訳されるものであり、セマンティックマップとはマップ中に存在するオブジェクトを識別したり特定したりする意味としての情報と、意味を有するオブジェクトとオブジェクトの境界線の情報を含むマップである。

マップ作成部４０１は２次元の地図データ上に設定される範囲についてセマンティックマップを作成する。このセマンティックマップが作成される範囲は撮像装置２００を備える移動体１００が移動しながら撮影する範囲であり、特許請求の範囲の「移動範囲」に相当するものである。

形状抽出部４０２はセマンティックマップから特定の形状（直線、曲線など）を抽出する処理を行うものである。形状抽出部４０２は例えばHough変換により形状の抽出を行う。抽出した形状を示す形状情報は経路決定部４０５に供給される。Hough変換は、角度を持った直線、円など予め定めたテンプレートである形状を画像から抽出する手法である。

構図設定部４０３は、撮像装置２００で撮影する画像の構図を設定する処理を行うものである。構図の第１の設定方法としては、予め複数の構図データを保持しておき、それを端末装置３００の表示部３０５に表示してユーザに提示し、ユーザから選択された構図を撮影用の構図として設定する、という方法がある。構図設定部４０３に予め保持させておく構図としては、例えば従来から写真撮影に広く用いられている日の丸構図、２分割構図、３分割構図、対角構図、シンメトリー構図、放射線構図、三角構図など様々なものがある。

また第２の方法として、既存の構図ではなくユーザの描画入力により構図を設定する方法がある。例えば、端末装置３００の表示部３０５に描画用ＵＩを表示させ、描画ツールによりユーザが構図を示す線を描き、その線で表される図形を構図とする。

さらに第３の方法としては、経路決定部４０５がユーザに撮影に最適な構図を提案する、という方法である。これは形状抽出部４０２が抽出した形状の情報を利用して、抽出された形状と予め保持している複数の構図データを比較して類似度が高い構図をユーザに提示して提案し、ユーザが決定したものを構図として設定するという方法である。

ウェイポイント設定部４０４は、移動体１００の移動経路を構成するウェイポイントを設定するものである。ウェイポイントとは、移動体１００がどのように移動するかを示す移動経路を決定するための移動体１００の通過地点である。ウェイポイントは移動経路を決定するためのものであるため複数設定され、複数でさえあればその数は特定の数に限定されるものではない。例えば端末装置３００の表示部３０５に２次元地図データを表示し、その地図上にユーザから指定された地点をウェイポイントとして設定する。ウェイポイントはセマンティックマップ上に設定してもよいし、セマンティックマップ作成範囲を示す２次元の地図データ上に設定してもよい。さらに、セマンティックマップを２次元の鳥瞰図に変換したマップ上にウェイポイントを指定できるようにしてもよい。

経路決定部４０５は、セマンティックマップ作成範囲内において移動体１００が設定された構図で撮像装置２００による撮影を行うために移動する経路を決定するものである。移動経路にはセマンティックマップ作成範囲内において設定された全てのウェイポイントを通過する一つの大域的移動経路と、各ウェイポイント間の移動経路である局所的移動経路がある。

端末装置３００と情報処理装置４００は以上のようにして構成されている。なお、情報処理装置４００はプログラムの実行により実現され、そのプログラムは予め端末装置３００内にインストールされていてもよいし、ダウンロード、記憶媒体などで配布されて、ユーザが自らインストールするようにしてもよい。さらに、情報処理装置４００は、プログラムによって実現されるのみでなく、その機能を有するハードウェアによる専用の装置、回路などを組み合わせて実現されてもよい。

［１－５．情報処理装置４００による処理］
［１－５－１．全体処理］
次に情報処理装置４００における全体処理について説明する。図７は情報処理装置４００による全体フローを示すフローチャートである。まずステップＳ１０１でマップ作成部４０１によりセマンティックマップを作成する。セマンティックマップは例えば元画像が図８Ａに示すものである場合、図８Ｂに示すようなものとして作成される。図８Ｂのセマンティックマップはグレースケールで表したものであり、図中において明度で分類された領域ごとに示した値はその領域のグレースケールの階調の範囲を示すものである。図８Ｂのセマンティックマップには例えば、道路、木、空などマップ中における意味の情報も含まれている。セマンティックマップ作成の詳細は図１０のフローチャートを参照して後述する。作成されたセマンティックマップは形状抽出部４０２に供給される。

次にステップＳ１０２で形状抽出部４０２がセマンティックマップ中から所定の形状（直線、曲線など）を抽出する。形状は例えばHough変換により図９に示すように抽出される。抽出された形状の情報は経路決定部４０５に供給される。

次にステップＳ１０３で構図設定部４０３により撮影のための構図を設定する。構図設定部４０３により設定された構図の情報は経路決定部４０５に供給される。

次にステップＳ１０４でウェイポイント設定部４０４により移動経路決定のためのウェイポイントを設定する。

次にステップＳ１０５で経路決定部４０５により移動経路を決定する。移動経路決定の詳細については図１２のフローチャートを参照して後述する。なお、ステップＳ１０１のセマンティックマップ作成およびステップＳ１０２の形状抽出より先にステップＳ１０３の構図設定およびステップＳ１０４のウェイポイント設定を行っていてもよく、順序に関わらずステップＳ１０５の経路決定までにステップＳ１０１乃至ステップＳ１０４が完了していればよい。

このようにして決定された移動経路の情報は移動体１００のＵＡＶ制御部１０１に供給され、移動体１００のＵＡＶ制御部１０１が移動経路に移動体１００を自律移動させるよう制御を行い、撮像装置２００が移動経路上において設定された構図で撮影を行う。

［１－５－２．セマンティックマップ作成処理］
まず図１０のフローチャートを参照して図７のステップＳ１０１におけるセマンティックマップ作成処理について説明する。

まず、ステップＳ２０１でセマンティックマップを作成する範囲を決定する。このセマンティックマップ作成範囲は２次元の地図データ上においてユーザにより指定された範囲に基づいて設定される。

例えば図１１Ａに示すように端末装置３００の表示部３０５に表示された、緯度経度情報と対応づけられた２次元の地図データ上においてユーザはセマンティックマップを作成する範囲を矩形状の枠で囲うことにより指定する。そしてこの指定された範囲の情報がマップ作成部４０１に供給され、指定された範囲がセマンティックマップを作成する範囲として設定される。セマンティックマップ作成範囲を設定した後は、セマンティックマップ作成範囲においてユーザがウェイポイントを指定しやすくするために、図１１Ｂに示すようにセマンティックマップ作成範囲を表示部３０５全域に表示するとよい。

なお、セマンティックマップ作成範囲は矩形状に限られず、三角形状、円形状の他、特定の形状ではない自由形状でもよい。なお、マップ作成範囲は３次元の地図データに対してユーザが範囲を指定して決定されてもよい。

次にステップＳ２０２で、セマンティックマップ作成範囲においてセンサ部１０６によるセマンティックマップ作成用の観測を行うために移動体１００を移動させて到達させる目的地を設定する。この目的地は移動体１００による観測が済んだ観測済エリアと、まだ観測が行われていない未観測エリアの境界上に設定する。

次にステップＳ２０３で移動体１００の動作を制御して目的地まで移動させる。次にステップＳ２０４で、移動体１００が備えているセンサ部１０６（ステレオカメラ等）を用いた公知の３次元形状測定技術で３点の特徴点を特定し、その３点の間にメッシュを張る。このように本実施の形態ではセマンティックマップをメッシュを用いて作成する。なお、セマンティックマップはメッシュだけでなく例えばボクセルを用いて作成することも可能である。

次にステップＳ２０４でセマンティックセグメンテーションを行う。セマンティックセグメンテーションとは画像を構成する画素の１つ１つに対して、その画素が示す意味をラベル付けする処理である。

次にステップＳ２０５で、セマンティックセグメンテーションの結果に基づいて、３次元形状に対して２次元のセマンティックのラベルを投影して３次元のセマンティックマップ上において、ステップＳ２０３で張ったメッシュがどのようなカテゴリ（道路、建築物など）に属するものであるかを投票により決定する。

次にステップＳ２０７でセマンティックマップ作成範囲内に未観測エリアがあるか否かが判定される。未観測エリアがある場合処理はステップＳ２０２に進み、ステップＳ２０２で新たな目的地が設定される。そして未観測エリアがなくなるまでステップＳ２０２乃至ステップＳ２０７を繰り返すことによりセマンティックマップ作成範囲全体のセマンティックマップを作成することができる。

以上のようにしてマップ作成部４０１によるセマンティックマップの作成が行われる。

［１－５－３．移動経路決定処理］
次に図１２のフローチャートを参照して図７のフローチャートのステップＳ１０３における移動経路決定処理について説明する。移動経路は大域的移動経路と局所的移動経路とから構成されている。大域的移動経路とは全てのウェイポイントを通過するように設定される移動体１００の移動の始点から終点までの経路であり、局所的移動経路はウェイポイント間ごとに設定される移動経路である。局所的移動経路が連なって大域的移動経路が構成されることとなる。

まずステップＳ３０１でユーザからの入力に基づいてウェイポイント設定部４０４がセマンティックマップ作成範囲内にウェイポイントを設定する。ウェイポイントとは移動体１００の移動経路上の特定の位置を示すものである。例えば、ユーザの入力に基づいて設定されたウェイポイントは図１３Ａに示すようにセマンティックマップ作成範囲を示す２次元の地図データ上に上の点で表すようにするとよい。これによりユーザはウェイポイントがどこであるかを容易に確認することができる。図１３Ａに示すようにウェイポイントは、セマンティックマップ作成範囲上に複数設定される。なお、ウェイポイントはセマンティックマップ上に指定できるようにしてもよいし、セマンティックマップを２次元の鳥瞰図に変換したマップ上に指定できるようにしてもよい。

次にステップＳ３０２で経路決定部４０５は基準とするウェイポイントから最寄りのウェイポイントまでの移動経路を設定する。最初の基準となるウェイポイントは移動体１００が移動を開始する位置であり、ユーザからの入力に基づいて設定される。なお、所定のアルゴリズム等により経路決定部４０５が最初の基準となるウェイポイントを設定してもよい。

次にステップＳ３０３で全てのウェイポイントを通過するように移動経路を設定したか否かが判定される。全てのウェイポイントを通過していない場合処理はステップＳ３０４に進む（ステップＳ３０３のＮｏ）。

次にステップＳ３０４で、ステップＳ３０２で移動経路が設定された最寄りのウェイポイントを次に設定する経路の基準となるウェイポイントに設定する。そして処理はステップＳ３０２に進み、ステップＳ３０４で新たに設定された基準ウェイポイントから最寄りのウェイポイントまでの移動経路を設定する。

このステップＳ３０２乃至ステップＳ３０４を繰り返すことにより図１３Ｂに示すように全てのウェイポイントを経由する大域的移動経路を設定することができる。このように大域的移動経路は全てのウェイポイントを通過するように作成される。

次に図１４のフローチャートを参照して２つのウェイポイント間における移動経路である局所的移動経路を設定する処理について説明する。

まずステップＳ４０１で全てのウェイポイントの中から局所的移動経路を決定する２つのウェイポイントを決定する。局所的移動経路を決定する２つのウェイポイントはユーザからの入力や大域的移動経路の始点から終点に対応するウェイポイントの順に自動的に決定するようにしてもよい。

次にステップＳ４０２で、経路決定部４０５は２つのウェイポイント間における複数の仮の移動経路を設定する。仮の移動経路の決め方としては、効率的なもの、最適な経路を求めるためのもの等、ロボット、自律車両、自律移動体などの移動についての公知の技術、公知のアルゴリズムがあり、それらを適宜使い分けることができる。それら公知の技術には大きく分けて、考えられる経路を全て評価するもの、ランダムに経路を複数仮に置いてその中から選択するものの２つがある。

次にステップＳ４０３で、仮の移動経路上における移動体１００の位置および姿勢を入力する。以下の処理ではこの入力した移動体１００の位置および姿勢におけるコストが算出される。

次にステップＳ４０４で、複数の仮移動経路のうちの１つの仮移動経路について、その仮移動経路に沿ってコストを算出する。コストとは、仮移動経路自体の距離を正規化して得られる値と、障害物からの距離を正規化した値と、構図との類似度を正規化した値とをそれぞれ重み付けして足し合わせた結果算出されるものである。コストが最も低い移動経路が移動体１００にとって最適な移動経路であり、最終的に大域的移動経路に含まれるものとなる。コスト算出の詳細は後述する。

次にステップＳ４０５で全ての仮移動経路についてコストを算出したか否かが判定される。全ての仮移動経路についてコストを算出していない場合、処理はステップＳ４０３に進み（ステップＳ４０５のＮｏ）、全ての仮移動経路についてコストを算出するまで全てステップＳ４０３乃至ステップＳ４０５が繰り返される。

そして全ての仮移動経路についてコストを算出した場合処理はステップＳ４０６に進み、全ての仮移動経路の中から最もコストが低い仮移動経路を経路計画に含める移動経路として決定する。コストが最も低く、最適な移動経路とは経路自体の距離が短く、セマンティックマップと構図の類似度が高い移動経路である。

次に図１５のフローチャートを参照して仮移動経路についてのコストの算出を説明する。図１５の処理は本番撮影の前に、仮移動経路ごとのコストを算出して複数の仮移動経路の中から最もコストが低い仮移動経路を最適な局所的移動経路として決定するものである。

まずステップＳ５０１で、複数の仮移動経路の中の一の仮移動経路について、設定された構図で撮影を行うとする場合の移動体１００の位置と姿勢を求める。

次にステップＳ５０２で、一の仮移動経路について、設定された構図で撮影を行うとする場合の撮像装置２００の位置と姿勢を求める。なお、撮像装置２００の位置および姿勢はジンバル５００の位置および姿勢として求めるようにしてもよい。

次にステップＳ５０３で、ステップＳ５０１で算出した移動体１００の位置および姿勢と、ステップＳ５０２で算出した撮像装置２００の位置および姿勢に基づいてセマンティックマップから撮像装置２００で撮影できると想定される撮影画像を取得する。この処理は、３次元のセマンティックマップにおいて移動体１００に設けられた撮像装置２００で撮影したときに３次元空間上ではどのような画像が撮れるかを２次元上に表し、セマンティックマップを撮像装置２００で撮影できるであろうと想定できる撮影画像に変換する処理、すなわち、セマンティックマップを撮影画像としての２次元画像に投影する処理ともいえる。

仮移動経路の途中で、移動体１００が特定の位置と姿勢であり、かつ、移動体１００に設けられた撮像装置２００が特定の位置と姿勢である場合に撮影されることが予想される２次元画像を３次元のマップと照らし合わせて算出する。このステップＳ５０３の処理は実際に撮像装置２００で撮影をするわけではなく、情報処理装置４００内の処理でセマンティックマップ、移動体１００の位置情報および姿勢情報、撮像装置２００の位置情報および姿勢情報に基づいて算出するものである。

次にステップＳ５０４での仮移動経路のコストを算出する。設定された構図を構成する線分とセマンティックマップにおいて抽出された形状（直線、曲線など）との差である、セマンティックマップと構図に関するコストであるｃｏｓｔcomp kは下記の式１で算出される。

例えば図１６Ａに示すようにセマンティックマップにおいて抽出された形状と、図１６Ｂに示すように設定された構図を構成する線分とでは、図１７に示す差がコストとして算出される。図１７はセマンティックマップと構図を重ね合わせた状態である。セマンティックマップにおいて抽出された形状と構図を構成する線分の差は０であることが理想であり差が０の場合、構図と合致した画像の撮影を行うことができる。しかし実際は差を０にするのは難しいため、設定された構図に近い画像を撮影するためには差をなるべく小さくする（コストを小さくする）必要がある。よって、構図を構成する線分とそれに最寄りのセマンティックマップ中の形状との差が最も小さくなるように調整する必要がある。

［式１］

そして、仮移動経路のコストであるｃｏｓｔ_ｐａｔｈは下記の式２で算出される。

［式２］

式１、式２において用いられている変数は下記のとおりである。

構図に含まれている線分の数：ｎ
Hough変換で検出されたｌ番目の直線：ａ_ｌ＋ｂ_ｌ＋ｃ_ｌ＝０
ｉ番目の線分上の任意点：（ｘ_ｉ,y_ｉ）
ある経路上の位置および姿勢ｋから得られるコスト：ｃｏｓｔ_{ｃｏｍｐ k}
経路上の位置および姿勢の数：ｐ
目的地（ウェイポイント）との距離から得られるコスト：ｃｏｓｔ_ｄｉｓｔ
障害物との距離から得られるコスト：ｃｏｓｔ_ｏｂｓ
重み：ｗ１, ｗ２, ｗ３

次にステップＳ５０５で、算出したコストが所定の閾値以下であるか否かが判定される。コストは低いことが望ましいため、コストが閾値以下である場合処理はステップＳ５０６に進み（ステップＳ５０５のＹｅｓ）、仮移動経路が最適な局所的移動経路であると決定する。

なお、コストが閾値以下である仮移動経路が複数ある場合、その中から最もコストが低い仮移動経路を最適な局所的移動経路として決定するとよい。

一方、コストが閾値以下ではない場合、処理はステップＳ５０７に進み（ステップＳ５０５のＮｏ）、コストが大きいとして仮移動経路は最適な局所的移動経路ではないと決定する。

このようにして各ウェイポイント間の局所的移動経路の全てを決定することができる。大域的移動経路は複数の局所的移動経路から構成されているため、全ての局所的移動経路が決定すると移動体１００が撮影を行うための経路の全てを決定したことになる。そして情報処理装置４００は決定した移動経路の情報を移動体１００に送信する。移動経路情報を受信した移動体１００のＵＡＶ制御部１０１は移動経路情報に従い移動体１００の動作を制御し、さらにジンバル制御部１０５がジンバル５００の動作を制御することにより、移動体１００と撮像装置２００による自律撮影で指定の構図の撮影を行うことができる。また、作成された移動経路を端末装置３００の表示部３０５に表示してユーザに提示することによりユーザはどのような移動経路で移動体１００が移動して撮影を行うかを把握することができる。

本技術によれば、ドローンなどの移動体１００を使った撮影において従来は必要であった高度な技術を有するオペレータは必要ない。

＜２．変形例＞
以上、本技術の実施の形態について具体的に説明したが、本技術は上述の実施の形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。

移動体１００としてのドローンは実施の形態で説明したような回転翼を備えるものに限られず、いわゆる固定翼型であってもよい。

本技術の移動体１００はドローンに限られず、人の操縦を受けずに自動で移動する自動車、船舶、ロボットなどであってもよい。

撮像装置２００がジンバル５００としての機能を有するカメラマウントを介して移動体１００に搭載されておらず、一定の状態に固定されて搭載されている場合、移動体１００の姿勢と撮像装置２００の姿勢は等しくなる。この場合、移動体１００の傾きを調整することにより設定された構図で撮影を行うようにしてもよい。

実施の形態では、移動体１００と撮像装置２００とを別個の装置として構成したが、移動体１００と撮像装置２００とを一体の装置として構成してもよい。

撮像装置２００としては、デジタルカメラ、スマートフォン、携帯電話機、携帯ゲーム機、ノートパソコン、タブレット端末など、撮像機能を備え、移動体１００に搭載させることができる機器であればどのようなものを用いてもよい。

撮像装置２００は入力部３０４、表示部３０５などを備えていてもよい。また、撮像装置２００は移動体１００と接続しない場合には単体で撮像装置２００として使用できるものであってもよい。

また、セマンティックマップ作成に用いる３次元のマップデータは、外部のサーバやクラウドから取得してもよいし、インターネット上において一般に公開されているデータを用いてもよい。

また、セマンティックマップの作成はドローンではなくセンサ部１０６を搭載した自動車、ロボット、船舶で行い、またはセンサ装置を所持するユーザの歩行で行ってもよい。

情報処理装置４００は端末装置３００ではなく移動体１００に設けられていてもよい。

また、構図の設定において、例えば「人間を中心に撮影したい」というようなテキスト入力または音声入力があった場合、それを解析して構図（例えば、人を中心にした日の丸構図など）を設定または提案できるようにしてもよい。

また、セマンティックマップで得られる被写体の情報と、構図に合わせて露光などの撮影条件の調整を行うようにしてもよい。例えば、被写体のうち、空であることがわかる範囲は露光を変えるなど、である。

実施の形態では構図を一つ設定してその構図で撮影を行うための移動経路を決定したが、図１８に示すように局所的移動経路ごと（ウェイポイント間ごと）や任意の位置ごとに異なる構図を設定できるようにしてもよい。なお図１８に示す構図はあくまで一例であり、その構図に限定されるものではない。

構図設定部４０３は、撮影済みの動画や静止画を参考にし、その参考動画／静止画から構図を抽出し、自動的にその動画や静止画と同様の構図を設定するようにしてもよい。

本技術は以下のような構成も取ることができる。
（１）
撮像装置を備える移動体が移動しながら撮影する範囲である移動範囲のマップを作成するマップ作成部と、
前記マップ内に存在する形状を抽出する形状抽出部と、
前記撮像装置で撮影する画像の構図を設定する構図設定部と、
前記形状と前記構図に基づいて前記移動体の前記移動範囲における移動経路を決定する経路決定部と
を備える情報処理装置。
（２）
前記マップはセマンティックマップである（１）に記載の情報処理装置。
（３）
前記経路決定部は、前記移動範囲において設定された複数のウェイポイントの全てを通過する移動経路である大域的移動経路を決定する（１）または（２）に記載の情報処理装置。
（４）
前記経路決定部は、前記構図と前記移動経路について算出するコストに基づいて前記ウェイポイント間の移動経路である局所的移動経路を決定する（３）に記載の情報処理装置。
（５）
前記経路決定部は、複数の前記ウェイポイント間それぞれにおいて複数の仮移動経路を設定し、複数の前記仮移動経路それぞれについて前記コストを算出し、コストが低い前記仮移動経路を前記局所的移動経路として決定する（４）に記載の情報処理装置。
（６）
前記コストは、前記形状抽出部により前記マップにおいて抽出された形状と、前記構図を構成する線分との差に基づくものである（４）に記載の情報処理装置。
（７）
前記コストは、前記ウェイポイント間の一端側の前記ウェイポイントから他端側の前記ウェイポイントまでの距離に基づくものである（４）に記載の情報処理装置。
（８）
前記コストは、前記ウェイポイント間の一端側の前記ウェイポイントから他端側の前記ウェイポイントまでにおける障害物との距離に基づくものである（４）に記載の情報処理装置。
（９）
前記構図設定部は、ユーザからの入力に基づいて前記構図を設定する（１）から（８）のいずれかに記載の情報処理装置。
（１０）
予め定めた複数の構図データから前記ユーザの入力により選択されたものを前記構図として設定する
請求項９に記載の情報処理装置。
（１１）
前記ユーザからの描画により入力された図形を前記構図として設定する
請求項９に記載の情報処理装置。
（１２）
前記形状抽出部により前記マップにおいて抽出された形状と類似している構図データを前記ユーザに提示し、前記ユーザの入力により決定された前記構図データを前記構図として設定する
請求項９に記載の情報処理装置。
（１３）
前記構図設定部は、前記マップにおいて抽出された前記形状に基づいて前記構図を決定する（１）から（１２）のいずれかに記載の情報処理装置。
（１４）
前記構図は前記ウェイポイント間ごとに設定可能である（３）に記載の情報処理装置。
（１５）
前記形状抽出部は、Hough変換により前記マップ内に存在する前記形状を抽出する（１）から（１３）のいずれかに記載の情報処理装置。
（１６）
撮像装置を備える移動体が移動しながら撮影する範囲である移動範囲のマップを作成し、
前記マップ内に存在する形状を抽出し、
前記撮像装置で撮影する画像の構図を設定し、
前記形状と前記構図に基づいて前記移動体の前記移動範囲における移動経路を決定する情報処理方法。
（１７）
撮像装置を備える移動体が移動しながら撮影する範囲である移動範囲のマップを作成し、
前記マップ内に存在する形状を抽出し、
前記撮像装置で撮影する画像の構図を設定し、
前記形状と前記構図に基づいて前記移動体の前記移動範囲における移動経路を決定する情報処理方法をコンピュータに実行させる情報処理プログラム。

１００・・・移動体
２００・・・撮像装置
４００・・・情報処理装置
４０１・・・マップ作成部
４０２・・・形状抽出部
４０３・・・構図設定部
４０５・・・経路決定部

Claims (14)

1. 撮像装置を備える移動体が移動しながら撮影する範囲である移動範囲における前記移動体が備えているセンサによるセンシング結果に基づいて前記移動範囲のセマンティックマップを作成するマップ作成部と、
   前記セマンティックマップ内に存在する形状を抽出する形状抽出部と、
   予め保持してある構図データまたはユーザの入力に基づいて前記撮像装置で撮影する画像の構図を設定する構図設定部と、
   ユーザからの入力に基づいて複数のウェイポイントを設定するウェイポイント設定部と、
   前記形状と前記構図と前記ウェイポイントに基づいて、前記移動体の前記移動範囲において、前記複数のウェイポイントの全てを通過する移動経路を決定する経路決定部と
   を備える
   情報処理装置。
2. 前記経路決定部は、前記構図と前記移動経路について算出するコストに基づいて前記ウェイポイント間の移動経路である局所的移動経路を決定する
   請求項１に記載の情報処理装置。
3. 前記経路決定部は、複数の前記ウェイポイント間それぞれにおいて複数の仮移動経路を設定し、複数の前記仮移動経路それぞれについて前記コストを算出し、前記コストが低い前記仮移動経路を前記局所的移動経路として決定する
   請求項２に記載の情報処理装置。
4. 前記コストは、前記形状抽出部により前記セマンティックマップにおいて抽出された形状と、前記構図を構成する線分との差に基づくものである
   請求項２に記載の情報処理装置。
5. 前記コストは、前記ウェイポイント間の一端側の前記ウェイポイントから他端側の前記ウェイポイントまでの距離に基づくものである
   請求項２に記載の情報処理装置。
6. 前記コストは、前記ウェイポイント間の一端側の前記ウェイポイントから他端側の前記ウェイポイントまでにおける障害物との距離に基づくものである
   請求項２に記載の情報処理装置。
7. 前記構図設定部は、予め定めた複数の構図データから前記ユーザの入力により選択されたものを前記構図として設定する
   請求項１に記載の情報処理装置。
8. 前記構図設定部は、前記ユーザからの描画により入力された図形を前記構図として設定する
   請求項１に記載の情報処理装置。
9. 前記構図設定部は、前記形状抽出部により前記セマンティックマップにおいて抽出された形状と類似している構図データを前記ユーザに提示し、前記ユーザの入力により決定された前記構図データを前記構図として設定する
   請求項１に記載の情報処理装置。
10. 前記構図設定部は、前記セマンティックマップにおいて抽出された前記形状に基づいて前記構図を設定する
    請求項１に記載の情報処理装置。
11. 前記構図は前記ウェイポイント間ごとに設定可能である
    請求項３に記載の情報処理装置。
12. 前記形状抽出部は、Hough変換により前記セマンティックマップ内に存在する前記形状を抽出する
    請求項１に記載の情報処理装置。
13. マップ作成部が、撮像装置を備える移動体が移動しながら撮影する範囲である移動範囲における前記移動体が備えているセンサによるセンシング結果に基づいて前記移動範囲のセマンティックマップを作成し、
    形状抽出部が、前記セマンティックマップ内に存在する形状を抽出し、
    構図設定部が、予め保持してある構図データまたはユーザの入力に基づいて前記撮像装置で撮影する画像の構図を設定し、
    ウェイポイント設定部が、ユーザからの入力に基づいて複数のウェイポイントを設定し、
    経路決定部が、前記形状と前記構図と前記ウェイポイントに基づいて、前記移動体の前記移動範囲において、前記複数のウェイポイントの全てを通過する移動経路を決定する
    情報処理方法。
14. 撮像装置を備える移動体が移動しながら撮影する範囲である移動範囲における前記移動体が備えているセンサによるセンシング結果に基づいて前記移動範囲のセマンティックマップを作成し、
    前記セマンティックマップ内に存在する形状を抽出し、
    予め保持してある構図データまたはユーザの入力に基づいて前記撮像装置で撮影する画像の構図を設定し、
    ユーザからの入力に基づいて複数のウェイポイントを設定し、
    前記形状と前記構図と前記ウェイポイントに基づいて、前記移動体の前記移動範囲において、前記複数のウェイポイントの全てを通過する移動経路を決定する
    情報処理方法をコンピュータに実行させる情報処理プログラム。

Images