JP6829513B1 - 位置算出方法及び情報処理システム - Google Patents

Abstract

【課題】本発明は、簡易に現場で飛行体の制御が可能な位置算出方法及び情報処理システムを提供すること。【解決手段】本発明は、撮影画像上の所定の位置を指定するステップと、所定の位置に対応する二次元座標位置、及び、少なくとも撮影状態情報を取得するステップと、二次元座標位置と撮影状態情報に基づき、ユーザ端末位置から、二次元座標位置に対応する、三次元座標位置への角度及び方位を算出するステップと、少なくともユーザ端末位置、及び、算出された角度及び方位を仮想空間内の三次元座標に対応付け、ユーザ端末位置から、算出された角度及び方位へ仮想的な直線を延ばした際に、直線と最初に接触した点データを、ユーザが指定した位置に対応する、仮想指定位置として算出するステップと、仮想指定位置から指定位置の三次元座標位置を算出するステップと、を含む、ことを特徴とする位置算出方法【選択図】図７

Description

本発明は、位置算出方法及び情報処理システムに関する。

近年、ドローン（Ｄｒｏｎｅ）や無人航空機（ＵＡＶ：Ｕｎｍａｎｎｅｄ Ａｅｒｉａｌ Ｖｅｈｉｃｌｅ）などの飛行体（以下、「飛行体」と総称する）が産業に利用され始めている。こうした中で、特許文献１には、プロポ等の専用装置による飛行体の制御方法が開示されている。

特開２０１８−０９３４３５号公報

しかしながら、上記特許文献１の開示技術では、プロポ等の専用装置による操作は容易ではなく、特に点検等の作業のために飛行体を制御するためには熟練の技術が必要である。

一方で、事前に飛行経路を指定し、当該飛行経路に沿って自動的に飛行体を制御する方法もあるが、現場外で飛行経路を指定することが通常であり、現場の状況に対する柔軟性に欠けるものであった。

本発明はこのような背景を鑑みてなされたものであり、簡易に現場で飛行体の制御が可能な位置算出方法及び飛行制御方法、情報処理システムを提供することを目的とする。

上記課題を解決するための本発明の主たる発明は、ユーザ端末の画面上で指定された位置の算出方法であって、前記ユーザ端末の画面上で、撮影部により取得された撮影画像上の所定の位置を指定するステップと、前記所定の位置に対応する前記ユーザ端末の画面上の二次元座標位置、及び、前記所定の位置を指定した際の、少なくとも撮影画角、撮影角度、撮影方位、ユーザ端末位置情報を含む撮影状態情報を取得するステップと、前記二次元座標位置と前記撮影状態情報に基づき、前記ユーザ端末位置情報が示す三次元座標位置から、前記ユーザ端末の画面上の二次元座標位置に対応する、三次元座標位置への角度及び方位を算出するステップと、少なくとも前記ユーザ端末位置情報が示す三次元座標位置、及び、前記算出された角度及び方位を前記仮想空間内の三次元座標に対応付け、前記ユーザ端末位置情報が示す三次元座標位置から、前記算出された角度及び方位へ仮想的な直線を延ばした際に、前記直線と最初に接触した点データが示す三次元座標位置を、前記ユーザが指定した位置に対応する、前記仮想空間内の仮想指定位置として算出するステップと、前記仮想空間上の三次元座標と、現実空間上の三次元座標との対応関係に基づき、前記仮想指定位置から現実空間上におけるユーザが指定した指定位置の三次元座標位置を算出するステップと、を含む、ことを特徴とする位置算出方法、である。

本発明によれば、簡易に現場で飛行体の制御が可能な位置算出方法及び情報処理システムを提供することができる。

本発明の実施の形態にかかる管理システムの構成を示す図である。 図１の管理サーバのハードウェア構成を示すブロック図である。 図１のユーザ端末のハードウェア構成を示すブロック図である。 図１の飛行体のハードウェア構成を示すブロック図である。 図１の管理サーバの機能を示すブロック図である。 図５のパラメータ情報記憶部の構造を示すブロック図である。 本発明の実施の形態にかかる飛行制御方法のフローチャートである。 本発明の実施の形態にかかる位置算出方法に関する説明の一例を示す図である。 本発明の実施の形態にかかる位置算出方法に関する説明の一例を示す図である。 本発明の実施の形態にかかる位置算出方法に関する説明の一例を示す図である。 本発明の実施の形態にかかる位置算出方法に関する説明の一例を示す図である。

本発明の実施形態の内容を列記して説明する。本発明の実施の形態による位置算出方法及び情報処理システムは、以下のような構成を備える。
［項目１］
ユーザ端末の画面上で指定された位置の算出方法であって、
前記ユーザ端末の画面上で、撮影部により取得された撮影画像上の所定の位置を指定するステップと、
前記所定の位置に対応する前記ユーザ端末の画面上の二次元座標位置、及び、前記所定の位置を指定した際の、少なくとも撮影画角、撮影角度、撮影方位、ユーザ端末位置情報を含む撮影状態情報を受信するステップと、
前記二次元座標位置と前記撮影状態情報に基づき、前記ユーザ端末位置情報が示す三次元座標位置から、前記ユーザ端末の画面上の二次元座標位置に対応する、三次元座標位置への角度及び方位を算出するステップと、
少なくとも前記ユーザ端末位置情報が示す三次元座標位置、及び、前記算出された角度及び方位を仮想空間内の三次元座標に対応付け、前記ユーザ端末位置情報が示す三次元座標位置から、前記算出された角度及び方位へ仮想的な直線を延ばした際に、前記直線と最初に接触した点データが示す三次元座標位置を、前記ユーザが指定した位置に対応する、前記仮想空間内の仮想指定位置として算出するステップと、
前記仮想空間上の三次元座標と、現実空間上の三次元座標との対応関係に基づき、前記仮想指定位置から現実空間上におけるユーザが指定した指定位置の三次元座標位置を算出するステップと、を含む、
ことを特徴とする位置算出方法。
［項目２］
項目１に記載の位置算出方法であって、
前記点データは、仮想空間内の三次元点群データのうちの一つである、
ことを特徴とする位置算出方法。
［項目３］
項目１または２に記載の位置算出方法であって、
前記点データは、飛行体において記憶されている、
ことを特徴とする位置算出方法。
［項目４］
項目１または２に記載の位置算出方法であって、
前記点データは、ユーザ端末において記憶されている、
ことを特徴とする位置算出方法。
［項目５］
項目１ないし４に記載の位置算出方法であって、
前記撮影部は、ユーザ端末に備えられている、
ことを特徴とする位置算出方法。
［項目６］
項目１ないし４に記載の位置算出方法であって、
前記撮影部は、飛行体に備えられている、
ことを特徴とする位置算出方法。
［項目７］
ユーザ端末の画面上で指定された位置を算出する情報処理システムであって、
前記情報処理システムは、撮影部と、指定位置情報取得部と、撮影状態情報受信部と、位置算出部を備え、
前記指定位置情報取得部は、
前記ユーザ端末の画面上で、前記撮影部により取得された撮影画像上のユーザが指定した所定の位置に対応する前記ユーザ端末の画面上の二次元座標位置を取得し、
前記撮影状態情報受信部は、
前記所定の位置を指定した際の、少なくとも撮影画角、撮影角度、撮影方位、ユーザ端末位置情報を含む撮影状態情報を受信し、
前記位置算出部は、
前記二次元座標位置と前記撮影状態情報に基づき、前記ユーザ端末位置情報が示す三次元座標位置から、前記ユーザ端末の画面上の二次元座標位置に対応する、三次元座標位置への角度及び方位を算出し、
少なくとも前記ユーザ端末位置情報が示す三次元座標位置、及び、前記算出された角度及び方位を仮想空間内の三次元座標に対応付け、前記ユーザ端末位置情報が示す三次元座標位置から、前記算出された角度及び方位へ仮想的な直線を延ばした際に、前記直線と最初に接触した点データが示す三次元座標位置を、前記ユーザが指定した位置に対応する、前記仮想空間内の仮想指定位置として算出し、
前記仮想空間上の三次元座標と、現実空間上の三次元座標との対応関係に基づき、前記仮想指定位置から現実空間上におけるユーザが指定した指定位置の三次元座標位置を算出する、
ことを特徴とする情報処理システム。

＜実施の形態の詳細＞
以下、本発明の実施の形態による位置算出方法及び飛行体制御方法、情報処理システムについての実施の形態を説明する。添付図面において、同一または類似の要素には同一または類似の参照符号及び名称が付され、各実施形態の説明において同一または類似の要素に関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。

＜構成＞
図１に示されるように、本実施の形態における管理システムは、管理サーバ１と、一以上のユーザ端末２と、一以上の飛行体４と、一以上の飛行体格納装置５とを有している。管理サーバ１と、ユーザ端末２と、飛行体４と、飛行体格納装置５は、ネットワークを介して互いに通信可能に接続されている。なお、図示された構成は一例であり、これに限らず、例えば、飛行体格納装置５を有さずに、ユーザにより持ち運びされる構成などでもよい。

＜管理サーバ１＞
図２は、管理サーバ１のハードウェア構成を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。

図示されるように、管理サーバ１は、複数のユーザ端末２と、飛行体４、飛行体格納装置５と接続され本システムの一部を構成する。管理サーバ１は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。

管理サーバ１は、少なくとも、プロセッサ１０、メモリ１１、ストレージ１２、送受信部１３、入出力部１４等を備え、これらはバス１５を通じて相互に電気的に接続される。

プロセッサ１０は、管理サーバ１全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えばプロセッサ１０はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）および／またはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、ストレージ１２に格納されメモリ１１に展開された本システムのためのプログラム等を実行して各情報処理を実施する。

メモリ１１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ１１は、プロセッサ１０のワークエリア等として使用され、また、管理サーバ１の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）、及び各種設定情報等を格納する。

ストレージ１２は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベースがストレージ１２に構築されていてもよい。

送受信部１３は、管理サーバ１をネットワークおよびブロックチェーンネットワークに接続する。なお、送受信部１３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及びＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）の近距離通信インターフェースを備えていてもよい。

入出力部１４は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。

バス１５は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。

＜ユーザ端末２＞
図３に示されるユーザ端末２もまた、プロセッサ２０、メモリ２１、ストレージ２２、送受信部２３、入出力部２４、撮影部２６、撮影状態情報取得部２７等を備え、これらはバス２５を通じて相互に電気的に接続される。各要素の機能は、上述した管理サーバ１と同様に構成することが可能であることから、同様の構成の詳細な説明は省略する。

撮影部２６は、例えば可視光カメラや赤外線カメラであり、撮影画像（例えば、静止画像、動画像等）を取得する。

＜飛行体４＞
図４は、飛行体４のハードウェア構成を示すブロック図である。フライトコントローラ４１は、プログラマブルプロセッサ（例えば、中央演算処理装置（ＣＰＵ））などの１つ以上のプロセッサを有することができる。

また、フライトコントローラ４１は、メモリ４１１を有しており、当該メモリにアクセス可能である。メモリ４１１は、１つ以上のステップを行うためにフライトコントローラが実行可能であるロジック、コード、および／またはプログラム命令を記憶している。また、フライトコントローラ４１は、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳセンサ、近接センサ（例えば、ライダー）等のセンサ類４１２を含みうる。

メモリ４１１は、例えば、ＳＤカードやランダムアクセスメモリ（ＲＡＭ）などの分離可能な媒体または外部の記憶装置を含んでいてもよい。撮影部／センサ類４２から取得したデータは、メモリ４１１に直接に伝達されかつ記憶されてもよい。例えば、撮影部等で撮影した静止画・動画データが内蔵メモリ又は外部メモリに記録されてもよいが、これに限らず、撮影部／センサ４２または内蔵メモリからネットワークＮＷを介して、少なくとも管理サーバ１やユーザ端末２、飛行体格納装置５のいずれかに記録されてもよい。撮影部４２は飛行体４にジンバル４３を介して設置される。

フライトコントローラ４１は、飛行体の状態を制御するように構成された図示しない制御モジュールを含んでいる。例えば、制御モジュールは、６自由度（並進運動ｘ、ｙ及びｚ、並びに回転運動θ_ｘ、θ_ｙ及びθ_ｚ）を有する飛行体の空間的配置、速度、および／または加速度を調整するために、ＥＳＣ４４（Ｅｌｅｃｔｒｉｃ Ｓｐｅｅｄ Ｃｏｎｔｒｏｌｌｅｒ）を経由して飛行体の推進機構（モータ４５等）を制御する。バッテリー４８から給電されるモータ４５によりプロペラ４６が回転することで飛行体の揚力を生じさせる。制御モジュールは、搭載部、センサ類の状態のうちの１つ以上を制御することができる。

フライトコントローラ４１は、１つ以上の外部のデバイス（例えば、送受信機（プロポ）４９、端末、表示装置、または他の遠隔の制御器）からのデータを送信および／または受け取るように構成された送受信部４７と通信可能である。送受信機４９は、有線通信または無線通信などの任意の適当な通信手段を使用することができる。

例えば、送受信部４７は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、赤外線、無線、ＷｉＦｉ、ポイントツーポイント（Ｐ２Ｐ）ネットワーク、電気通信ネットワーク、クラウド通信などのうちの１つ以上を利用することができる。

送受信部４７は、センサ類４２で取得したデータ、フライトコントローラ４１が生成した処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのうちの１つ以上を送信および／または受け取ることができる。

本実施の形態によるセンサ類４２は、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳセンサ、近接センサ（例えば、ライダー）、またはビジョン／イメージセンサ（例えば、カメラ）を含み得る。

＜各構成に実装される機能＞
図５は、本実施の形態における、管理サーバ１、ユーザ端末２、飛行体４に実装される機能を例示したブロック図である。

まず、管理サーバ１に実装される機能として、プロセッサ１０は、フライトミッション生成部１１０を備えており、ストレージ１２は、飛行経路情報記憶部１２２、フライトログ記憶部１２４を備えており、送受信部１３は、通信部１３０を備えている。また、フライトミッション生成部１１０は、飛行経路生成部１１２を含む。なお、ストレージ１２は、フライトミッションを実行するために必要な情報を記憶する記憶部をさらに有していてもよく、例えば、飛行条件に関する情報（例えば、飛行速度やウェイポイント間隔など）や、後述の仮想空間情報（例えば、三次元点群データなど）を記憶する記憶部（不図示）をそれぞれ有していてもよい。

フライトミッション生成部１１０は、フライトミッションを生成する。フライトミッションは、少なくともウェイポイント情報（例えば緯度経度情報及び飛行高度情報を含む）を含む飛行経路などの情報である。飛行経路の設定は、例えば、後述のように、対象物の三次元点群モデル情報と、機体の現在位置と、フライトミッション開始位置、対象物からの距離などを取得して飛行経路生成部１１２により自動でウェイポイントを算出して設定したりしてもよい。生成された飛行経路に関する情報は、飛行経路情報記憶部（不図示）に記憶されていてもよい。また、フライトミッションは、例えばユーザが指定した作業（例えば、撮像、点検、警備など）を含んでいてもよく、フライトミッション開始位置から上記作業を開始するように飛行体を制御してもよい。各フライトミッションを実行するための詳細な設定は、予め管理サーバ１等に登録されていてもよい。

なお、飛行経路は、例えば、飛行体格納装置５を有さずに、ユーザ付近にホバリングして待機している位置や、ユーザにより機体を持ち運びされた位置を現在位置として飛行開始位置としたり、飛行終了位置においてユーザが機体を回収したりする構成などでもよいし、管理サーバ１により管理された飛行体格納装置５の情報（例えば、位置情報や格納状態情報、格納機体情報など）を基に、飛行開始位置、途中経由地または飛行終了位置として選択された飛行体格納装置５の位置も含めた飛行経路として生成される構成でもよい。

飛行経路情報記憶部１２２は、フライトミッション生成部１１０で生成された飛行体の飛行経路情報を記憶している。フライトログ記憶部１２４は、例えば、フライトミッションにて設定された飛行経路上にて、飛行体４により取得された情報（例えば、離陸から着陸までに経由した位置の情報、静止画像、動画像、音声その他の情報）を記憶している。

通信部１３０は、ユーザ端末２や、飛行体４、飛行体格納装置５と通信を行う。通信部１３０は、ユーザ端末２から、フライト依頼を受け付ける受付部としても機能する。

次に、ユーザ端末２に実装される機能として、プロセッサ２０は、撮影状態情報取得部２２０、指定位置情報取得部２４０を備えており、ストレージ２２は、撮影状態情報記憶部２２２を備えており、送受信部２３は、通信部２３０を備えている。また、ストレージ２２は、指定位置情報取得部２４０で取得した指定位置情報を記憶する記憶部（不図示）をさらに有していてもよい。

撮影状態情報取得部２２０は、例えばＧＰＳやジャイロセンサ、気圧センサ、温度センサなどのセンサ類、端末の撮影部２６に関する情報（例えば、撮影画角情報など）を記憶した記憶部（メモリ２１やストレージ２２の一部であってもよい）などから、撮影画像を取得した際のユーザ端末の撮影画角情報や撮影角度情報、撮影方位情報、ユーザ端末位置情報（例えば、緯度経度情報と高度情報など）などを撮影状態情報として取得する。なお、ユーザ端末位置情報に含まれる高度情報は、上述の気圧センサや温度センサに基づき算出された高度情報や、ユーザに設定させた高度情報でもよいが、例えば、ユーザに設定させた身長情報、または、ユーザの性別に応じた平均的な身長情報から、想定されるユーザ端末位置に応じて所定の高さだけ上下方向にオフセットした値を高度情報としてもよい。

指定位置情報取得部２４０は、ユーザが指定した画面上の位置（例えば、所定の位置を原点として、画面の幅方向をｘ軸、画面の高さ方向をｙ軸として設定されたｘｙ座標位置）を指定位置情報として取得する。ユーザが画面上の位置を指定する方法は、例えば、タッチディスプレイを指でタッチして指定したり、ポインタなどのオブジェクトを操作して指定したり、ユーザ端末２を動かして指定したい位置に画面の特定の位置（例えば、中心）を合わせて決定動作を実行することで指定したりすることにより実現できる。

撮影状態情報記憶部２２２は、図６に示すように、撮影画角情報記憶部２２２１、撮影角度情報記憶部２２２２、撮影方位情報記憶部２２２３、ユーザ端末位置情報記憶部２２２４を少なくとも含み、対象とする撮影状態情報をそれぞれ記憶する。

通信部２３０は、管理サーバ１や、飛行体４、飛行体格納装置５と通信を行う。

次に、飛行体４に実装される機能として、プロセッサ４１３は、撮影状態情報受信部４１５と、位置算出部４１７を備えており、メモリ４１１は、仮想空間情報記憶部４２１を備えており、送受信部４７は、通信部４７０を備えている。また、メモリ４１１は、撮影状態情報受信部４１５で受信した撮影状態情報を記憶する記憶部（不図示）をさらに有していてもよい。

撮影状態情報受信部４１５は、ユーザ端末２の撮影状態情報取得部２２０で取得した撮影状態情報を通信部４７０を介して受信する。

位置算出部４１７は、少なくともユーザ端末２の撮影状態情報と指定位置情報、仮想空間情報４２１に記憶される仮想空間情報（例えば三次元点群データ）、飛行体４の現在位置情報（例えばＧＰＳから取得する）に基づき、ユーザ端末２の画面上でユーザが指定した指定位置が、仮想空間または現実空間の何れの位置であるかを算出する。詳細な算出方法については、後述する。

仮想空間情報記憶部４２１は、例えばユーザ端末２から撮影可能な範囲の三次元点群データを含む仮想空間情報を記憶する。三次元点群データは、例えばＬＩＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）やＤｅｐｔｈを測定できる撮影部またはセンサにより取得した仮想空間内の三次元座標データであり、事前に飛行して取得したり、ネットワークを介して、例えば管理サーバ１などから必要な範囲のデータを取得してきてもよい。また、事前に飛行体４の現実空間の三次元座標と、仮想空間内の三次元座標の対応付けを行い、これを仮想空間情報記憶部４２１に記憶しておいてもよい。

なお、本実施の形態においては、飛行体４上のプロセッサ４１３の機能として、位置算出部４１７を備えている例を基に説明しているが、これに限らず、例えばユーザ端末２のプロセッサ２０や管理サーバ１のプロセッサ１０、飛行体格納装置５のプロセッサなどの機能として備え、位置算出に必要な情報を該当プロセッサに読み出して算出するようにしてもよい。これにより、位置算出のための処理負荷を所望のプロセッサに担わせることができる。

また、ユーザ端末２の撮影部２６の撮影画像を基に位置算出及び飛行体を制御しているが、これに代えて、飛行体４の撮影部の撮影画像を基に位置算出及び飛行体を制御するようにしてもよい。この際、ユーザ端末２の撮影部２６による撮影画像と同様に、飛行体４の撮影部の撮影画像をユーザ端末２の画面上に表示させることで位置算出を実現してもよい。ユーザ端末２の撮影部２６による撮影画像を基にした場合には、ユーザが撮影環境を目視しながら、そこにユーザ端末２の撮影部２６を向けて、客観的かつ直感的に位置を指定することで飛行体４を制御することが可能であるが、飛行体４の撮影部の撮影画像を基にした場合には、あたかもユーザが直接動いているかのように、主観的かつ直感的に位置を指定することで飛行体の制御することが可能となる。

＜位置算出方法の一例＞
図７−１０を参照して、本実施形態にかかる位置算出方法について説明する。図７には、本実施形態にかかる位置算出方法のフローチャートが例示されている。図８−１０は、本発明の実施の形態にかかる位置算出方法に関する説明の一例を示す図である。また、一例として、飛行体４上のプロセッサ４１３の機能として、位置算出部４１７を備え、ユーザ端末２の撮影部２６の撮影画像を基に位置算出を行う構成により説明する。

まず、図８に示されるように、ユーザ端末２の画面上で、撮影部２６により取得された撮影画像Ｓ上の所定の位置をポインタＰ等で指定する（ＳＱ１０１）。

次に、飛行体４は、撮影状態情報受信部４１５により、ＳＱ１０１においてユーザ端末２の画面上で指定した所定の位置（画面上のｘｙ座標位置）及び所定の位置を指定した際の撮影状態情報（撮影画角、撮影角度、撮影方位、ユーザ端末位置情報）を取得する（ＳＱ１０２）。

次に、飛行体４は、位置算出部４１７により、上述のｘｙ座標位置と撮影状態情報に基づき、ユーザ端末の位置（三次元座標）から、画面上で指定した所定の位置（画面上のｘｙ座標位置）に対応する、少なくとも仮想空間内での位置（三次元座標）への角度及び方位を算出する（ＳＱ１０３）。

より具体的には、図９を用いてｙ軸方向の角度の算出方法について例示する。

まず、撮影部の中心からのずれ幅ｄ_ｙは、画面上のｙ座標の原点を上端とした場合、画面上のｙ軸方向の指定位置ｙから、解像度で決まる高さｄ_ｈの半値を引いた値の絶対値であり、下記数１の関係が成り立つ。

次に、撮影部の向きからのずれ角度α_hを基に、下記数２の関係が成り立つ。

次に、画角ＦＯＶ_ｈの半値を基に、下記数３の関係が成り立つ。

ここで、例えば、数２に記載の数式に数３に記載の数式を距離distanceを基に代入し、撮影部の向きからのずれ角度α_hについて整理すると、下記数４の関係が成り立つ。

なお、この時、撮影部の向きからのずれ角度α_hは、下記数５の関係も満たすものである。

最後に、取得可能な値を上記数４に代入していくことで、ｙ軸方向における撮影部の向きからのずれ角度α_hが算出される。

また、ｘ軸方向の方位も、これと同様の算出方法により、ｘ軸方向における撮影部の向きからのずれ方位α_ｗが算出される。

再度図７のフローチャートに戻り、位置算出方法について説明する。次に、飛行体４は、位置算出部４１７により、ユーザ端末２の位置Ｐ_ｓ及びＳＱ１０３で算出したずれ角度α_h並びにずれ方位α_ｗ、飛行体４の位置Ｐ_ｄを仮想空間内の三次元座標に対応付け、ユーザ端末２の位置Ｐ_ｓからずれ角度α_h並びにずれ方位α_ｗへ直線を延ばした際に、最初に接触した点データＤ（または点群モデルＭ）をユーザが指定した位置（または対象物）として算出する（ＳＱ１０４）。

より具体的には、図１０を用いてユーザが指定した位置の算出方法について例示する。説明を簡略化するために、まずはｘ軸方向において説明する。

図１０の左図には、ユーザ端末２の位置Ｐ_ｓと上述の数式等により算出したずれ方位α_ｗ、画像上で指定した対象物及び指定した位置との関係が示されている。そして、これらの値及び飛行体４の位置Ｐ_ｄは、飛行体４の位置算出部４１７により、例えば三次元点群データがマッピングされた仮想空間内に適用され、図１０の右図のような位置関係となる。

ここで、ユーザ端末２の位置Ｐ_ｓからずれ方位α_ｗの方向に仮想的な直線を延ばし、最初に接触した点データＤの位置が、ユーザが指定した位置として算出される。同様に、ずれ角度α_hを用いてｙ軸方向においても同様のことが並行して行われているため、結果として、ユーザが指定した位置に対応する、仮想空間上における点データの三次元座標位置（仮想指定位置）が算出される。

最後に、飛行体４の位置Ｐ_ｄに基づき、仮想空間上の三次元座標と、現実空間上の三次元座標との対応関係から、現実空間上におけるユーザが指定した位置を算出する（ＳＱ１０５）。なお、本実施の形態においては、飛行体４が仮想空間情報を有しているために飛行体４の位置Ｐ_ｄに基づき現実空間上の位置を算出しているが、ユーザ端末２が仮想空間情報を有している場合には、必ずしも飛行体４の位置Ｐ_ｄに関する情報は必要ではなく、ユーザ端末２の位置Ｐ_ｓのみで足り得る。

これにより、ユーザがユーザ端末２の画面上で指定した位置を、現実空間上の三次元座標位置として算出することが可能となり、これを用いて様々な飛行体の制御が簡易に可能となる。

＜飛行体の制御例１−１＞
例えば、上述のユーザ端末２の画面上で指定された位置の現実空間上の三次元座標を用いて、その位置へ飛行体４を飛行させるように制御してもよい。当該制御は、飛行体４のプロセッサ４１３やユーザ端末２のプロセッサ２０により実行されてもよいし、管理サーバ１のプロセッサ１０により実行されてもよい。これにより、三次元点群データを取得済みの対象物の近くであれば、ユーザ端末２の画面上で指定をするだけで、容易にその位置まで飛行体４を飛行させることが可能になる。

＜飛行体の制御例１−２＞
上述の飛行体の制御例１−１では、ユーザが指定した位置まで飛行体４を飛行させていたが、それに加えて、その位置を含む対象物の形状を判別し、ユーザが指定した位置（及びそこから所定距離オフセットした位置）から点検等のフライトミッションを実行するようにしてもよい。対象物の形状は、三次元点群データを参照してもよいし、飛行体４に搭載のＬＩＤＡＲ等により対象物の三次元点群データをその場で取得してもよい。そして、例えばユーザが指定した位置をフライトミッション開始位置として、対象物の三次元点群データを基に飛行経路を決定し、フライトミッションを実行するようにしてもよい。これらの処理は、例えば管理サーバ１においても、飛行体４が記憶している仮想空間情報を記憶しておき、飛行経路生成部１１２において当該飛行経路を生成するようにしてもよい。また、フライトミッションの指定は、ユーザが位置を指定するまでにいずれかのフライトミッションが指定されていればよい。

＜飛行体の制御例１−３＞
上述の飛行体の制御例１−１、１−２では、ユーザが指定した位置として点データの三次元座標を用いているが、これに代えて、当該点データを含む対象物を判定し、当該対象物の形状を三次元点群データから判別し、当該対象物に対するフライトミッションのための飛行経路を予め生成するようにしてもよい。これにより、ユーザは飛行体を制御する位置の指定を厳密に行わずとも対象物へのフライトミッションを実行することができる。

＜飛行体の制御例１−４＞
例えば、ユーザが指定した位置へ飛行体４を飛行させた後、飛行体４と通信可能な装置と通信を行ってもよい。例えば、当該装置は、飛行体格納装置５であり、飛行体４において取得した情報を飛行体格納装置５を介して管理サーバ１等に送信したり、飛行体格納装置５に格納されるための通信処理を行ったり、飛行体格納装置５内の飛行体と交代または共同してフライトミッションを行うための通信処理を行うなどしてもよい。これらいずれの動作を行うかは、ユーザがユーザ端末２の画面上で位置を指定する際に、ユーザ端末２において動作も指定するように構成してもよい。

＜飛行体の制御例２−１＞ 例えば、上述のように、ユーザ端末２の画面上で指定された位置の現実空間上の三次元座標を算出する際に、仮想空間上でユーザ端末位置Ｐ_ｓから仮想的な直線を延ばした際に、何れの三次元点群データにも接触しない場合、または、所定距離延ばしても三次元点群データに接触しない場合には、飛行体４は所定のフェイルセーフ動作を行うようにしてもよい。当該フェイルセーフ動作としては、例えばその場または最後にユーザが指定した位置やユーザ端末２の位置まで飛行してホバリングを行ったり、着陸を行ったりしてもよい。また、ユーザ端末２へのアラート表示（例えば、三次元点群データに接触しない旨、位置算出ができない旨の表示）を行ってもよい。

＜飛行体の制御例２−２＞
例えば、上述のように、ユーザが指定した位置まで飛行体４を飛行制御している際に、飛行体４に搭載の撮影部またはセンサにより障害物を判定した時には、所定のフェイルセーフ動作（その場で停止してホバリングを行ったり、着陸を行ったりしてもよいし、直前に指定された位置やユーザ端末２の位置まで戻ってもよいし、三次元点群データで障害物の形状が判別可能な場合には、障害物を避けるように飛行を続けてもよい）やアラート表示を実行するようにしてもよい。また、例えば図１１に記載されるような位置関係である場合には、ユーザが指定した位置にある対象物自体が障害物となり得るため、同様に所定のフェイルセーフ動作（特に、飛行経路を変更する場合は、三次元点群データを利用して、対象物の周りを周回するルートや上空側を超えるルートを生成するなど）やアラート表示を実行するようにしてもよい。さらに、例えば、飛行体４の搭載の撮影部で色情報を判定し、予め登録された色の割合が高い場合（例えば、芝生や木の葉っぱの方向へ進んでしまった場合を想定して緑色を登録したり、地面等の土の色である茶色を登録したりしてもよい）にも、所定のフェイルセーフ動作やアラート表示を行うようにしてもよい。

＜飛行体の制御例２−３＞
上述の飛行体４の制御は、主にユーザが指定した位置まで飛行体４を直進させることを想定しているが、例えばユーザが位置を指定した際に、予め取得した三次元点群データによって、ユーザが指定した位置へ直進した場合に、指定位置よりも前に障害物に衝突することが判別可能な場合には、ユーザが位置を指定した段階で、障害物の形状を三次元点群データより判別し、それを避ける飛行経路を生成してもよい。また、アラート表示（例えば、障害物に衝突してしまう旨や飛行経路を変更した旨など）してもよい。

＜飛行体の制御例３−１＞
上述の実施の形態では、一例として、ユーザ端末２の撮影部２６の撮影画像を基に位置算出を行う構成を説明していたが、これに代えて、飛行体４の撮影部の撮影画像を基に位置算出を行うようにしてもよい。この構成は、壁を含む物体を何れの方向でも指定可能な屋内（例えば、居室内や倉庫内、工場内、ビル内など）において特に効果を発揮し、飛行体４の撮影部による視点から主観的かつ直感的に、飛行体４の進行方向を指定することが可能である。なお、例えば、ユーザが指定した位置まで飛行している途中で、飛行体４の撮影部の方向を変えて、ユーザが位置を再指定することで、飛行体４の進行方向を変更するように制御してもよい。

このように、簡易に現場で飛行体の制御が可能な位置算出方法及び飛行体制御方法、情報処理システムを提供することが可能となる。

上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。

１ 管理サーバ
２ ユーザ端末
４ 飛行体

Claims (9)

1. ユーザ端末の画面上で指定された位置の算出方法であって、
   前記ユーザ端末の画面上で、撮影部により取得された撮影画像上の所定の位置を指定するステップと、
   前記所定の位置に対応する前記ユーザ端末の画面上の二次元座標位置、及び、前記所定の位置を指定した際の、少なくとも撮影画角、撮影角度、撮影方位、ユーザ端末位置情報を含む撮影状態情報を受信するステップと、
   前記二次元座標位置と前記撮影状態情報に基づき、前記ユーザ端末位置情報が示す三次元座標位置から、前記ユーザ端末の画面上の二次元座標位置に対応する、三次元座標位置への角度及び方位を算出するステップと、
   少なくとも前記ユーザ端末位置情報が示す三次元座標位置、及び、前記算出された角度及び方位を仮想空間内の三次元座標に対応付け、前記ユーザ端末位置情報が示す三次元座標位置から、前記算出された角度及び方位へ仮想的な直線を延ばした際に、前記直線と最初に接触した点データが示す三次元座標位置を、前記ユーザが指定した位置に対応する、前記仮想空間内の仮想指定位置として算出するステップと、
   前記仮想空間内の三次元座標と、現実空間内の三次元座標との対応関係に基づき、前記仮想指定位置から現実空間内におけるユーザが指定した指定位置の三次元座標位置を算出するステップと、を含む、
   ことを特徴とする位置算出方法。
2. 請求項１に記載の位置算出方法であって、
   前記点データは、仮想空間内の三次元点群データのうちの一つである、
   ことを特徴とする位置算出方法。
3. 請求項１または２のいずれかに記載の位置算出方法であって、
   前記点データは、飛行体において記憶されている、
   ことを特徴とする位置算出方法。
4. 請求項１または２のいずれかに記載の位置算出方法であって、
   前記点データは、ユーザ端末において記憶されている、
   ことを特徴とする位置算出方法。
5. 請求項１ないし４のいずれかに記載の位置算出方法であって、
   前記撮影部は、ユーザ端末に備えられている、
   ことを特徴とする位置算出方法。
6. 請求項１ないし４のいずれかに記載の位置算出方法であって、
   前記撮影部は、飛行体に備えられている、
   ことを特徴とする位置算出方法。
7. ユーザ端末の画面上で指定された位置を算出する情報処理システムであって、
   前記情報処理システムは、撮影部と、指定位置情報取得部と、撮影状態情報受信部と、位置算出部を備え、
   前記指定位置情報取得部は、
   前記ユーザ端末の画面上で、前記撮影部により取得された撮影画像上のユーザが指定した所定の位置に対応する前記ユーザ端末の画面上の二次元座標位置を取得し、
   前記撮影状態情報受信部は、
   前記所定の位置を指定した際の、少なくとも撮影画角、撮影角度、撮影方位、ユーザ端末位置情報を含む撮影状態情報を受信し、
   前記位置算出部は、
   前記二次元座標位置と前記撮影状態情報に基づき、前記ユーザ端末位置情報が示す三次元座標位置から、前記ユーザ端末の画面上の二次元座標位置に対応する、三次元座標位置への角度及び方位を算出し、
   少なくとも前記ユーザ端末位置情報が示す三次元座標位置、及び、前記算出された角度及び方位を仮想空間内の三次元座標に対応付け、前記ユーザ端末位置情報が示す三次元座標位置から、前記算出された角度及び方位へ仮想的な直線を延ばした際に、前記直線と最初に接触した点データが示す三次元座標位置を、前記ユーザが指定した位置に対応する、前記仮想空間内の仮想指定位置として算出し、
   前記仮想空間内の三次元座標と、現実空間内の三次元座標との対応関係に基づき、前記仮想指定位置から現実空間内におけるユーザが指定した指定位置の三次元座標位置を算出する、
   ことを特徴とする情報処理システム。
8. ユーザ端末の画面上で指定された位置を算出する管理サーバであって、
   前記管理サーバは、指定位置情報取得部と、撮影状態情報受信部と、位置算出部を備え、
   前記指定位置情報取得部は、
   前記ユーザ端末の画面上で、撮影部により取得された撮影画像上のユーザが指定した所定の位置に対応する前記ユーザ端末の画面上の二次元座標位置を取得し、
   前記撮影状態情報受信部は、
   前記所定の位置を指定した際の、少なくとも撮影画角、撮影角度、撮影方位、ユーザ端末位置情報を含む撮影状態情報を受信し、
   前記位置算出部は、
   前記二次元座標位置と前記撮影状態情報に基づき、前記ユーザ端末位置情報が示す三次元座標位置から、前記ユーザ端末の画面上の二次元座標位置に対応する、三次元座標位置への角度及び方位を算出し、
   少なくとも前記ユーザ端末位置情報が示す三次元座標位置、及び、前記算出された角度及び方位を仮想空間内の三次元座標に対応付け、前記ユーザ端末位置情報が示す三次元座標位置から、前記算出された角度及び方位へ仮想的な直線を延ばした際に、前記直線と最初に接触した点データが示す三次元座標位置を、前記ユーザが指定した位置に対応する、前記仮想空間内の仮想指定位置として算出し、
   前記仮想空間内の三次元座標と、現実空間内の三次元座標との対応関係に基づき、前記仮想指定位置から現実空間内におけるユーザが指定した指定位置の三次元座標位置を算出する、
   ことを特徴とする管理サーバ。
9. ユーザ端末の画面上で指定された位置の算出方法をサーバで実行するためのプログラムであって、
   前記算出方法は、
   前記ユーザ端末の画面上で、撮影部により取得された撮影画像上の所定の位置を指定するステップと、
   前記所定の位置に対応する前記ユーザ端末の画面上の二次元座標位置、及び、前記所定の位置を指定した際の、少なくとも撮影画角、撮影角度、撮影方位、ユーザ端末位置情報を含む撮影状態情報を受信するステップと、
   前記二次元座標位置と前記撮影状態情報に基づき、前記ユーザ端末位置情報が示す三次元座標位置から、前記ユーザ端末の画面上の二次元座標位置に対応する、三次元座標位置への角度及び方位を算出するステップと、
   少なくとも前記ユーザ端末位置情報が示す三次元座標位置、及び、前記算出された角度及び方位を仮想空間内の三次元座標に対応付け、前記ユーザ端末位置情報が示す三次元座標位置から、前記算出された角度及び方位へ仮想的な直線を延ばした際に、前記直線と最初に接触した点データが示す三次元座標位置を、前記ユーザが指定した位置に対応する、前記仮想空間内の仮想指定位置として算出するステップと、
   前記仮想空間内の三次元座標と、現実空間内の三次元座標との対応関係に基づき、前記仮想指定位置から現実空間内におけるユーザが指定した指定位置の三次元座標位置を算出するステップと、を含む、
   ことを特徴とするプログラム。

Images