JP6212662B1 - ドローン自動飛行制御アプリケーション、スマートデバイス、ドローン、サーバ、ドローン自動飛行制御方法及びプログラム。 - Google Patents

Abstract

【課題】安全性及び利便性を向上させたドローン自動飛行制御アプリケーション、スマートデバイス、ドローン、サーバ、ドローン自動飛行制御方法及びプログラムを提供する。【解決手段】ドローン２００と接続されたスマートデバイス１００上で起動するドローン自動飛行制御アプリケーションは、前記スマートデバイス１００のカメラを起動させ、前記カメラで撮像された撮像画像を取得し、前記取得した撮像画像を画像解析し、前記画像解析の結果に基づいて、前記ドローンの飛行を制御する。【選択図】図１

Description

本発明は、ドローンと接続されたスマートデバイス上で起動するドローン自動飛行制御アプリケーション、スマートデバイス、ドローン、サーバ、ドローン自動飛行制御方法及びプログラムに関する。

近年、モータ等で回転するプロペラにより空中を飛行するドローンが実用化されている。操作者は、無線コントローラ等を用いることにより飛行の制御や動画や静止画等の画像の撮像をドローンに実行させる。

このようなドローンの飛行制御に関して、一の操作者が操作する一のドローンと、一の操作者とは異なる他の操作者が操作する他のドローンとが近接する時、他のドローンの飛行制御を行う構成が開示されている（特許文献１参照）。

特開２０１５−１９１２５４号公報

しかしながら、特許文献１の構成では、一のドローンの位置情報と他のドローンの位置情報とに基づいて、他のドローンの飛行制御を実行する構成である。そのため、互いの位置情報を取得する必要があることから、例えば、特定の対象物を発見した場合に、特定の行動をすることや、この対象物まで飛行することや、この対象物を避けることを実行することは困難であった。また、ドローンの操作自体は、操作者が行うため、操作者が誤った操作をした場合、結果として衝突してしまうおそれや、操作者の操作が届かない距離にドローンが飛行した場合、操作者はドローンを操作することが不可能になってしまい、ドローンを消失してしまうおそれもあった。したがって、安全性及び利便性に問題があった。

そこで、本発明では、安全性及び利便性を向上させたドローン自動飛行制御アプリケーション、スマートデバイス、ドローン、サーバ、ドローン自動飛行制御方法及びプログラムを提供することを目的とする。

本発明では、以下のような解決手段を提供する。

第１の特徴に係る発明は、ドローンと接続されたスマートデバイス上で起動するドローン自動飛行制御アプリケーションであって、
前記スマートデバイスのカメラを起動させるカメラ起動手段と、
前記カメラで撮像された撮像画像を取得する撮像画像取得手段と、
前記取得した撮像画像を画像解析する画像解析手段と、
前記画像解析の結果に基づいて、前記ドローンの飛行を制御するドローン飛行制御手段と、
を備えることを特徴とするドローン自動飛行制御アプリケーションを提供する。

第１の特徴に係る発明によれば、ドローンと接続されたスマートデバイス上で起動するドローン自動飛行制御アプリケーションは、前記スマートデバイスのカメラを起動させ、前記カメラで撮像された撮像画像を取得し、前記取得した撮像画像を画像解析し、前記画像解析の結果に基づいて、前記ドローンの飛行を制御する。

ここで、第１の特徴に係る発明は、ドローン自動飛行制御アプリケーションのカテゴリであるが、方法及びプログラム等の他のカテゴリに応じた同様の作用・効果を発揮する。

第２の特徴に係る発明は、前記飛行を制御されたドローンの行動履歴を取得する行動履歴取得手段と、
前記取得した行動履歴を、前記スマートデバイスの表示部に表示させる行動履歴表示手段と、
を備えることを特徴とする第１の特徴に係る発明であるドローン自動飛行制御アプリケーションを提供する。

第２の特徴に係る発明によれば、第１の特徴に係る発明であるドローン自動飛行制御アプリケーションは、前記飛行を制御されたドローンの行動履歴を取得し、前記取得した行動履歴を、前記スマートデバイスの表示部に表示させる。

第３の特徴に係る発明は、前記飛行を制御されたドローンの行動データを取得する行動データ取得手段と、
前記取得した行動データを、ネットワークを介して接続されたサーバに送信する行動データ送信手段と、
を備えることを特徴とする第１の特徴に係る発明であるドローン自動飛行制御アプリケーションを提供する。

第３の特徴に係る発明によれば、第１の特徴に係る発明であるドローン自動飛行制御アプリケーションは、前記飛行を制御されたドローンの行動データを取得し、前記取得した行動データを、ネットワークを介して接続されたサーバに送信する。

第４の特徴に係る発明は、前記スマートデバイスの充電池を、前記接続されたドローンに給電する給電手段と、
前記給電する時に、前記充電池の残量に基づいて、前記ドローンのスピードを制御するスピード制御手段と、
を備えることを特徴とする第１の特徴に係る発明であるドローン自動飛行制御アプリケーションを提供する。

第４の特徴に係る発明によれば、第１の特徴に係る発明であるドローン自動飛行制御アプリケーションは、前記スマートデバイスの充電池を、前記接続されたドローンに給電し、前記給電する時に、前記充電池の残量に基づいて、前記ドローンのスピードを制御する。

第５の特徴に係る発明は、前記ドローンとＵＳＢ接続された前記スマートデバイス上で起動する第１の特徴に係る発明であるドローン自動飛行制御アプリケーションを提供する。

第５の特徴に係る発明によれば、第１の特徴に係る発明であるドローン自動飛行制御アプリケーションは、前記ドローンとＵＳＢ接続された前記スマートデバイス上で起動する。

第６の特徴に係る発明は、第１の特徴に係る発明であるドローン自動飛行制御アプリケーションを搭載したスマートデバイスを提供する。

第６の特徴に係る発明によれば、スマートデバイスは、第１の特徴に係る発明であるドローン自動飛行制御アプリケーションを搭載する。

第７の特徴に係る発明は、第１の特徴に係る発明であるドローン自動飛行制御アプリケーションにより自動制御されるドローンを提供する。

第７の特徴に係る発明によれば、ドローンは、第１の特徴に係る発明であるドローン自動飛行制御アプリケーションにより自動制御される。

第８の特徴に係る発明は、第１の特徴に係る発明であるドローン自動飛行制御アプリケーションが搭載されたスマートデバイスとネットワークを介して接続されたサーバを提供する。

第８の特徴に係る発明によれば、サーバは、第１の特徴に係る発明であるドローン自動飛行制御アプリケーションが搭載されたスマートデバイスとネットワークを介して接続される。

第９の特徴に係る発明は、ドローンと接続されたスマートデバイス上で起動するドローン自動飛行制御方法であって、
前記スマートデバイスのカメラを起動させるステップと、
前記カメラで撮像された撮像画像を取得するステップと、
前記取得した撮像画像を画像解析するステップと、
前記画像解析の結果に基づいて、前記ドローンの飛行を制御するステップと、
を備えることを特徴とするドローン自動飛行制御方法を提供する。

第１０の特徴に係る発明は、ドローンと接続されたスマートデバイス上で起動するドローン自動飛行制御アプリケーションに、
前記スマートデバイスのカメラを起動させるステップ、
前記カメラで撮像された撮像画像を取得するステップ、
前記取得した撮像画像を画像解析するステップ、
前記画像解析の結果に基づいて、前記ドローンの飛行を制御するステップ、
を実行させることを特徴とするプログラムを提供する。

本発明によれば、安全性及び利便性を向上させたドローン自動飛行制御アプリケーション、スマートデバイス、ドローン、サーバ、ドローン自動飛行制御方法及びプログラムを提供することが可能となる。

図１は、ドローン自動飛行制御システム１の概念図である。 図２は、ドローン自動飛行制御システム１の全体構成図である。 図３は、サーバ１０、スマートデバイス１００、ドローン２００の機能ブロック図である。 図４は、サーバ１０、スマートデバイス１００、ドローン２００が実行するドローン自動飛行制御処理の手順を示すフローチャートである。 図５は、サーバ１０、スマートデバイス１００、ドローン２００が実行するドローン自動飛行制御処理の手順を示すフローチャートである。 図６は、スマートデバイス１００、ドローン２００が実行する給電処理の手順を示すフローチャートである。 図７は、スマートデバイス１００、ドローン２００が実行する給電処理の手順を示すフローチャートである。 図８は、行動履歴画面の一例を示す図である。 図９は、スピード制御データベースである。

以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。

［ドローン自動飛行制御システム１の概要］
本発明の好適な実施形態の概要について、図１に基づいて説明する。図１は、本発明の好適な実施形態であるドローン自動飛行制御システム１の概要を説明するための図である。ドローン自動飛行制御システム１は、サーバ１０、スマートデバイス１００、ドローン２００から構成される。

なお、図１において、スマートデバイス１００及びドローン２００は、１つに限らず複数であってもよい。また、後述する各処理は、サーバ１０、スマートデバイス１００又はドローン２００のいずれか又は複数の組み合わせにより実現されてもよい。

サーバ１０は、スマートデバイス１００とデータ通信可能に接続されたサーバ装置である。

スマートデバイス１００は、ドローン２００に有線又は無線により接続され、サーバ１０とデータ通信可能に接続された情報端末である。スマートデバイス１００は、ドローンの自動飛行制御、撮像画像の撮像制御、撮像した撮像画像の解析制御、行動履歴表示制御、行動データ送信制御等の各種制御機能を実行するドローン自動飛行制御アプリケーションが搭載される。スマートデバイス１００は、例えば、携帯電話、携帯情報端末、タブレット端末等の情報端末である。

ドローン２００は、ＵＳＢ等の有線接続や、Ｂｌｕｅｔｏｏｔｈ等の電波や光等の無線接続により、スマートデバイス１００と接続される無人航空機である。ドローン２００は、スマートデバイス１００に搭載されたドローン自動飛行制御アプリケーションにより、自身の飛行、撮像画像の解析制御、行動履歴の送信制御等の各種制御機能を実行する。

なお、以下の説明において、スマートデバイス１００が実行する各処理は、上述したドローン自動飛行制御アプリケーションが、ユーザの操作を必要とせず、自動的に実行するものとして説明する。

はじめに、スマートデバイス１００は、自身が有するカメラ等の撮像装置を起動する（ステップＳ０１）。ステップＳ０１において、スマートデバイス１００に搭載されたドローン自動飛行制御アプリケーションが、自動的に、撮像装置を起動する。ドローン自動飛行制御アプリケーションは、起動した撮像装置により、動画や静止画等の画像を撮像する。

スマートデバイス１００は、撮像した画像を取得する（ステップＳ０２）。ステップＳ０２において、スマートデバイス１００に搭載されたドローン自動飛行制御アプリケーションが、自動的に、撮像した画像を取得する。

スマートデバイス１００は、取得した画像を画像解析する（ステップＳ０３）。ステップＳ０３において、スマートデバイス１００に搭載されたドローン自動飛行制御アプリケーションが、自動的に画像解析を実行する。ドローン自動飛行制御アプリケーションが実行する画像解析としては、例えば、撮像画像に含まれる予め設定された特定の対象物の抽出である。特定の対象物とは、例えば、目印、障害物、農作物に付着した害虫等である。

スマートデバイス１００は、画像解析の結果に基づいて、ドローン２００の飛行を制御する（ステップＳ０４）。ステップＳ０４において、スマートデバイス１００に搭載されたドローン自動飛行制御アプリケーションが、自動的にドローン２００の飛行を制御する。ドローン自動飛行制御アプリケーションが実行するドローン２００の飛行制御とは、例えば、目印まで飛行させる、障害物を避ける、害虫を発見した場所まで飛行させ、農薬を撒く等である。

スマートデバイス１００は、ドローンの飛行終了時に、ドローン２００の撮像地点、飛行経路、速度変化等の行動データを、ネットワークを介して接続されたサーバ１０に送信する（ステップＳ０５）。スマートデバイス１００に搭載されたドローン自動飛行制御アプリケーションが、自動的に飛行終了時や特定のタイミングにおいて、行動データをサーバ１０に送信する。なお、スマートデバイス１００は、行動データを随時サーバ１０に送信する構成であってもよいし、他のタイミングで送信する構成であってもよい。

なお、スマートデバイス１００に搭載されたドローン自動飛行制御アプリケーションは、ドローン２００の撮像画像、飛行場所、飛行時間、電池残量、速度等の行動履歴をスマートデバイス１００に表示する構成や、行動履歴を記憶する構成であってもよい。

また、スマートデバイス１００に搭載されたドローン自動飛行制御アプリケーションは、自身の充電池から、接続するドローン２００に給電する構成であってもよい。この場合、ドローン自動飛行制御アプリケーションは、自身の充電池の残量から、ドローンの飛行速度等を制御する構成であってもよい。

以上が、ドローン自動飛行制御システム１の概要である。

［ドローン自動飛行制御システム１のシステム構成］
図２に基づいて、本発明の好適な実施形態であるドローン自動飛行制御システム１のシステム構成について説明する。図２は、ドローン自動飛行制御システム１のシステム構成を示す図である。ドローン自動飛行制御システム１は、サーバ１０、スマートデバイス１００、ドローン２００、公衆回線網（インターネット網や、第３、第４世代通信網等）５から構成される。なお、スマートデバイス１００及びドローン２００は、１つに限らず複数であってもよい。また、後述する各処理は、サーバ１０、スマートデバイス１００又はドローン２００のいずれか又は複数の組み合わせにより実現されてもよい。

サーバ１０は、後述の機能を備えた上述したサーバ装置である。

スマートデバイス１００は、後述の機能を備えた上述した情報端末である。

ドローン２００は、後述の機能を備えた上述した無人航空機である。

［各機能の説明］
図３に基づいて、ドローン自動飛行制御システム１の機能について説明する。図３は、サーバ１０、スマートデバイス１００、ドローン２００の機能ブロックを示す図である。

サーバ１０は、制御部１１として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備え、通信部１２として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）対応デバイスを備える。また、サーバ１０は、記憶部１４として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部を備える。

サーバ１０において、制御部１１が所定のプログラムを読み込むことにより、通信部１２と協働して、行動データ受信モジュール２０を実現する。また、サーバ１０において、制御部１１が所定のプログラムを読み込むことにより、記憶部１４と協働して、行動データ記憶モジュール３０を実現する。

スマートデバイス１００は、サーバ１０と同様に制御部１１０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備え、通信部１２０として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ対応デバイスや、ＵＳＢ等の有線接続対応デバイスや、電波や光等による無線接続対応デバイスを備える。また、スマートデバイス１００は、入出力部１３０として、制御部１１０で制御したデータや画像を出力表示する表示部や、ユーザからの入力を受け付けるタッチパネルやキーボード、マウスといった入力部に加え、ＧＰＳから位置情報を取得するデバイスや、カメラ等の画像を撮像するデバイスや給電を実行するデバイス等を備える。また、スマートデバイス１００は、記憶部１４０として、サーバ１０と同様に、データのストレージ部を備える。

ドローン自動飛行制御アプリケーションは、記憶部１４０に記憶されており、ドローン２００との接続や、ユーザからの起動指示を契機として、起動し、ドローン２００の各種制御を自動的に実行する。

スマートデバイス１００において、制御部１１０が所定のプログラムを読み込むことにより、通信部１２０と協働して、接続判断モジュール１５０、飛行指示送信モジュール１５１、行動データ送信モジュール１５２、電池残量取得要求送信モジュール１５３、電池残量受信モジュール１５４、給電モジュール１５５を実現する。また、スマートデバイス１００において、制御部１１０が所定のプログラムを読み込むことにより、入出力部１３０と協働して、アプリケーションモジュール１６０、撮像モジュール１６１を実現する。また、スマートデバイス１００において、制御部１１０が所定のプログラムを読み込むことにより、記憶部１４０と協働して、データベース記憶モジュール１７０を実現する。

ドローン２００は、サーバ１０及びスマートデバイス１００と同様に、制御部２１０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備え、通信部２２０として、他の機器と通信可能にするためのデバイスを備える。また、ドローン２００は、駆動部２３０として、自身が有するプロペラを駆動するデバイスや、自身の向き等を検知するデバイス等を備える。

ドローン２００において、制御部２１０が所定のプログラムを読み込むことにより、通信部２２０と協働して、飛行指示受信モジュール２５０、電池残量取得要求受信モジュール２５１、電池残量送信モジュール２５２を実現する。また、ドローン２００において、制御部２１０が所定のプログラムを読み込むことにより、駆動部２３０と協働して、飛行制御モジュール２６０、電池残量取得モジュール２６１を実現する。

ドローン自動飛行制御システム１において、スマートデバイス１００は、ドローン自動飛行制御アプリケーションを搭載している。また、このドローン自動飛行制御アプリケーションは、ドローン２００を自動制御する。また、ドローン自動飛行制御アプリケーションを搭載するスマートデバイス１００は、公衆回線網５を介して、サーバ１０に接続される。

［ドローン自動飛行制御処理］
図４及び図５に基づいて、ドローン自動飛行制御システム１が実行するドローン自動飛行制御処理について説明する。図４及び図５は、サーバ１０、スマートデバイス１００、ドローン２００が実行するドローン自動飛行制御処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。

接続判断モジュール１５０は、自身がドローン２００と接続されたか否かを判断する（ステップＳ１０）。スマートデバイス１００と、ドローン２００とは、ＵＳＢ接続や専用コネクタ等による有線接続や、電波や光等の無線接続により接続される。また、本実施形態において、接続判断モジュール１５０は、自身がドローン２００とＵＳＢ接続により接続されたか否かを判断する。なお、接続判断モジュール１５０は、他の接続方法で接続されたか否かを判断する構成であってもよい。

ステップＳ１０において、接続判断モジュール１５０は、接続されていないと判断した場合（ステップＳ１０ ＮＯ）、本処理を終了する。

一方、ステップＳ１０において、接続判断モジュール１５０は、接続されていると判断した場合（ステップＳ１０ ＹＥＳ）、アプリケーションモジュール１６０は、ドローン自動飛行制御アプリケーションを起動する（ステップＳ１１）。以下の説明において、アプリケーションモジュール１６０が実行する各処理は、特に断りがない限りこのドローン自動飛行制御アプリケーションが自動的に、スマートデバイス１００又はドローン２００に実行させることを意味する。

アプリケーションモジュール１６０は、自動で、飛行指示送信モジュール１５１により、ドローン２００に飛行指示を送信する（ステップＳ１２）。アプリケーションモジュール１６０は、予め設定された飛行経路や、予め設定された飛行範囲を取得し、この飛行経路や飛行範囲に基づいた飛行指示を作成する。例えば、アプリケーションモジュール１６０は、自身の位置情報を取得し、この取得した自身の位置情報と、飛行経路や飛行範囲の位置情報とに基づいて、ドローン２００の飛行を制御する指示を作成する。また、例えば、地図データ等を取得し、この地図データと自身の位置情報とに基づいて、ドローン２００の飛行制御する指示を作成する。

飛行指示受信モジュール２５０は、飛行指示を受信する。飛行制御モジュール２６０は、受信した飛行指示に基づいて、飛行経路や飛行範囲を飛行する（ステップＳ１３）。

アプリケーションモジュール１６０は、自動で、撮像モジュール１６１を起動させ、撮像モジュール１６１により、動画や静止画等の画像を撮像する（ステップＳ１４）。

アプリケーションモジュール１６０は、自動で、撮像した画像を取得する（ステップＳ１５）。

アプリケーションモジュール１６０は、自動で、画像を画像解析する（ステップＳ１６）。ステップＳ１６において、アプリケーションモジュール１６０は、画像解析として、例えば、予め設定された対象物を画像中から抽出する。対象物とは、例えば、看板や標識や記号や紋章等のマークや、樹木や建築物等の障害物や、害虫等の昆虫や、害獣や害鳥等の動物である。なお、画像解析は、対象物の抽出以外の構成であってもよい。また、対象物は、上述した例に限らず他の構成であってもよい。

アプリケーションモジュール１６０は、画像解析の結果に基づいて、飛行指示送信モジュール１５１により、自動で、ドローンの飛行を制御する飛行制御指示を送信する（ステップＳ１７）。ステップＳ１７において、飛行を制御とは、例えば、抽出したマークに向かって飛行することや、障害物を避けるように飛行することや、害虫が存在する場所に向かって飛行し、この場所に農薬を撒くように制御することである。すなわち、ステップＳ１７における飛行の制御とは、ドローン２００の様々な機能を駆動することも含む。

飛行指示受信モジュール２５０は、飛行の制御指示を受信する。飛行制御モジュール２６０は、受信した飛行の制御指示に基づいた飛行の制御を行う（ステップＳ１８）。ステップＳ１８において、例えば、ドローン２００は、マークに向かって飛行することや、障害物を避けるように飛行することや、害虫が存在する場所に向かって飛行し、この場所に農薬を撒くように飛行する。すなわち、ドローン２００は、スマートデバイス１００からの指示に基づいた飛行を実行し、操作者からの操作を必要としない。

アプリケーションモジュール１６０は、飛行が終了したか否かを判断する（ステップＳ１９）。ステップＳ１９において、アプリケーションモジュール１６０は、例えば、現在の自身の位置情報を取得し、この位置情報が、予め設定された飛行経路の終了地点と一致するか否か、自身の高度が所定の高度になったか否か、ドローン２００の動きが停止したか否か等により判断する。なお、ステップＳ１９において、アプリケーションモジュール１６０は、その他の構成により、飛行が終了したか否かを判断してもよい。

ステップＳ１９において、アプリケーションモジュール１６０は、飛行が終了していないと判断した場合（ステップＳ１９ ＮＯ）、ステップＳ１４の処理を実行する。

一方、ステップＳ１９において、アプリケーションモジュール１６０は、飛行が終了していると判断した場合（ステップＳ１９ ＹＥＳ）、ドローンの撮像地点、飛行経路、飛行速度の変化量、電池使用量、画像データ等の行動データを取得する（ステップＳ２０）。なお、行動データは、上述した構成以外の構成であってもよい。

アプリケーションモジュール１６０は、行動データ送信モジュール１５２により、取得した行動データをサーバ１０に送信する（ステップＳ２１）。

行動データ受信モジュール２０は、スマートデバイス１００が送信した行動データを受信する。行動データ記憶モジュール３０は、受信した行動データを記憶する（ステップＳ２２）。ステップＳ２２において、行動データ記憶モジュール３０は、行動データと、この行動データを送信したスマートデバイス１００又はこのスマートデバイス１００に接続されたドローン２００のいずれか又は双方の識別子等を対応付けて記憶する構成であってもよい。なお、サーバ１０が記憶した行動データは、スマートデバイス１００やその他の端末等からの求めに応じて、スマートデバイス１００やその他の端末等に送信する構成であってもよい。

アプリケーションモジュール１６０は、ドローン２００の行動履歴を取得する（ステップＳ２３）。行動履歴とは、飛行時間、飛行日時、電池使用量、飛行速度、撮像場所、実行した飛行制御等である。スマートデバイス１００は、飛行開始から飛行終了までの間の飛行中に行った行動履歴を一時的に記憶しており、アプリケーションモジュール１６０は、この一時的に記憶した行動履歴を取得する。スマートデバイス１００は、アプリケーションモジュール１６０が行動履歴を取得したことを契機として、一時的に記憶した行動履歴を消去してもよい。なお、スマートデバイス１００は、ドローン２００の行動履歴を随時取得する構成であってもよい。この場合、スマートデバイス１００は、ドローン２００が何らかの行動を起こすたびに、行動履歴を取得する構成であってもよいし、所定のタイミングで行動履歴を取得する構成であってもよい。また、スマートデバイス１００は、ドローン２００に実行させた制御内容の全てを行動履歴として記憶し、アプリケーションモジュール１６０は、この記憶した行動履歴を取得する構成であってもよい。また、行動履歴の構成は、適宜変更可能である。また、行動データと行動履歴とは同様の情報であってもよい。

アプリケーションモジュール１６０、取得した行動履歴を、行動履歴画面として、自身の表示部に表示する（ステップＳ２４）。

図８は、アプリケーションモジュール１６０が表示する行動履歴画面の一例を示す図である。図８において、アプリケーションモジュール１６０は、行動履歴画面として、画面内容表示領域３００、飛行日時表示領域３１０、電池使用量表示領域３２０、飛行速度表示領域３３０、飛行制御内容表示領域３４０、終了アイコン３５０を表示する。アプリケーションモジュール１６０は、画面内容表示領域３００に、本画面が、行動履歴を表示する画面であることを示す通知を表示する。また、アプリケーションモジュール１６０は、飛行日時表示領域３１０に、ドローン２００が飛行した日付、時刻を表示する。また、アプリケーションモジュール１６０は、電池使用量表示領域３２０に、ドローン２００が使用した電池量を表示する。また、アプリケーションモジュール１６０は、飛行速度表示領域３３０に、ドローン２００の飛行速度の平均値を表示する。また、アプリケーションモジュール１６０は、飛行制御内容表示領域３４０に、ドローン２００に実行させた飛行制御の内容を表示する。なお、行動履歴画面に表示する項目は、上述した構成に限らず、他の構成であってもよく、適宜変更可能である。また、アプリケーションモジュール１６０は、行動履歴画面を、文字による表示に限らず、行動履歴の各項目をグラフ等により視覚化して表示する構成であってもよいし、文字とグラフ等を組み合わせて表示する構成であってもよいし、他の構成であってもよい。

このようにすることにより、ドローン２００にスマートデバイス１００を搭載し、このスマートデバイス１００のカメラで撮像した画像を画像解析し、この画像解析の結果に基づいて、ドローン２００に必要な行動を自動でさせることが可能となる。したがって、サーバ１０に画像を送信する必要がなくなり、電波の届かない地域であっても、行動可能となる。また、操作、撮像、解析を自動でスマートデバイス１００が実行することが可能となる。

また、サーバ１０が画像解析等を実行する必要がなくなるため、高解像度の画像データをリアルタイムにサーバ１０へ送信する必要がなくなり、スマートデバイス１００のアプリケーションですべてを完結させることができ、その結果だけをサーバ１０に送信することになる。また、サーバ１０とスマートデバイス１００とは、飛行の前後にのみ通信を実行すればよくなり、電波の届かない地域であっても、ドローン２００の制御を実行することが可能となる。

以上が、ドローン自動飛行制御処理である。

上述した処理により、従来、ドローン２００が実行していた機能の一部をスマートデバイス１００に置換することが可能となる。例えば、従来ドローン２００が有していたフライトコントローラ、バッテリー、プロポアンテナ、ＧＰＳ取得デバイス等をスマートデバイス１００により実行することが可能となる。また、人の手を介さない（操作者によるコントローラ操作を必要としない）ことにより、ドローン自動飛行制御システム１が自動で各種判断を実行することが可能となる。さらには、無線が届かない地域でも操縦することが可能となる。

［給電処理］
次に、図６及び図７に基づいて、ドローン自動飛行制御システム１が実行する給電処理について説明する。図６及び図７は、スマートデバイス１００、ドローン２００が実行する給電処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。

接続判断モジュール１５０は、自身がドローン２００と接続されたか否かを判断する（ステップＳ３０）。ステップＳ３０の処理は、上述したステップＳ１０の処理と同様である。ステップＳ３０において、アプリケーションモジュール１６０は、接続されていないと判断した場合（ステップＳ３０ ＮＯ）、本処理を終了する。

一方、ステップＳ３０において、接続判断モジュール１５０は、接続されていると判断した場合（ステップＳ３０ ＹＥＳ）、アプリケーションモジュール１６０は、電池残量取得要求送信モジュール１５３は、ドローン２００の電池残量の取得要求をドローン２００に送信する（ステップＳ３１）。

電池残量取得要求受信モジュール２５１は、電池残量の取得要求を受信する。電池残量取得モジュール２６１は、自身の電池残量を取得する（ステップＳ３２）。なお、ステップＳ３１及びステップＳ３２の処理は、所定の間隔で実行する構成であってもよい。例えば、所定の時間間隔として、５分間隔、１０分間隔、２０分間隔等に実行してもよいし、所定の飛行距離間隔として、１ｋｍ間隔、１０ｋｍ間隔、２０ｋｍ間隔等に実行してもよい。所定の間隔は、適宜変更可能である。

電池残量送信モジュール２５２は、取得した電池残量をスマートデバイス１００に送信する（ステップＳ３３）。

電池残量受信モジュール１５４は、電池残量を受信する。アプリケーションモジュール１６０は、受信した電池残量が所定の値以下であるか否かを判断する（ステップＳ３４）。ステップＳ３４において、アプリケーションモジュール１６０は、取得した電池残量が例えば、１０％以下、２０％以下等であるか否かを判断する。なお、この所定の値は、適宜変更可能である。また、アプリケーションモジュール１６０は、所定の値とは無関係に常に給電を実行する構成であってもよい。

ステップＳ３４において、アプリケーションモジュール１６０は、所定の値以下ではないと判断した場合（ステップＳ３４ ＮＯ）、本処理を終了する。

一方、ステップＳ３４において、アプリケーションモジュール１６０は、所定の値以下であると判断した場合（ステップＳ３４ ＹＥＳ）、アプリケーションモジュール１６０は、給電モジュール１５５により、ドローン２００に自身の充電池を利用し、給電する（ステップＳ３５）。

アプリケーションモジュール１６０は、自身の電池残量を取得する（ステップＳ３６）。

アプリケーションモジュール１６０は、取得した電池残量と、後述するスピード制御データベースとに基づいて、飛行指示送信モジュール１５１により、ドローン２００の飛行スピードを制御するスピード制御指示を、ドローン２００に送信する（ステップＳ３７）。

［スピード制御データベース］
図９に基づいて、データベース記憶モジュール１７０が記憶するスピード制御データベースについて説明する。図９は、スピード制御データベースを示す図である。図９において、データベース記憶モジュール１７０は、自身の電池残量と、ドローン２００のスピードとを対応付けて記憶する。データベース記憶モジュール１７０が記憶する電池残量及びスピードは、操作者が直接入力する構成であってもよいし、他のサーバやデータベース等から取得する構成であってもよいし、予め設定された構成であってもよいし、その他の構成であってもよい。

例えば、飛行指示送信モジュール１５１は、取得した電池残量が、８０％である場合、この８０％に対応付けられたスピードである５０ｋｍ／ｈを、ドローン２００のスピードとする指示をドローン２００に送信する。なお、スピード制御データベースに記憶されたスピードは、他の構成であってもよい。例えば、ドローン２００の最高速度又は現在速度に対する割合のスピードであってもよい。具体的には、電池残量が８０％であり、この８０％にスピードを８０％を対応付けてある場合、最高速度又は現在速度の８０％のスピードに制御する飛行指示を送信する構成であってもよい。また、スピード制御データベースの項目及び数値は適宜変更可能である。

飛行指示受信モジュール２５０は、スピード制御指示を受信する。飛行制御モジュール２６０は、受信したスピード制御指示に基づいて、自身の飛行スピードを制御する（ステップＳ３８）。

アプリケーションモジュール１６０は、飛行が終了したか否かを判断する（ステップＳ３９）。ステップＳ３９の処理は、上述したステップＳ１９の処理と同様である。

ステップＳ３９において、アプリケーションモジュール１６０は、飛行が終了したと判断した場合（ステップＳ３９ ＹＥＳ）、本処理を終了する。一方、ステップＳ３９において、アプリケーションモジュール１６０は、飛行が終了していないと判断した場合（ステップＳ３９ ＮＯ）、取得した電池残量が所定の値以上であるか否かを判断する（ステップＳ４０）。ステップＳ４０において、アプリケーションモジュール１６０は、取得した電池残量が所定の値以上であるか否かを判断する。所定の値とは、例えば、１０％、２０％である。なお、所定の値は、適宜変更可能であり、例えば、画像の撮像や、各種制御を実行が不可能になる程度の電池残量に近似する値になった場合であるか否かを判断してもよい。

ステップＳ４０において、アプリケーションモジュール１６０は、所定の値以上であると判断した場合（ステップＳ４０ ＹＥＳ）、上述したステップＳ３１の処理を実行する。一方、ステップＳ４０において、アプリケーションモジュール１６０は、所定の値以上ではないと判断した場合（ステップＳ４０ ＮＯ）、アプリケーションモジュール１６０は、給電モジュール１５５による給電を終了させる（ステップＳ４１）。

以上が、給電処理である。

上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、フレキシブルディスク、ＣＤ（ＣＤ−ＲＯＭなど）、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。

以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

１ ドローン自動飛行制御システム、１０ サーバ、１００ スマートデバイス、２００ ドローン

Claims (9)

1. ドローンと接続されたスマートデバイス上で起動するドローン自動飛行制御アプリケーションであって、
   前記スマートデバイスのカメラを起動させるカメラ起動手段と、
   前記カメラで撮像された撮像画像を取得する撮像画像取得手段と、
   前記取得した撮像画像を画像解析する画像解析手段と、
   前記画像解析の結果に基づいて、前記ドローンの飛行を制御するドローン飛行制御手段と、
   前記スマートデバイスの充電池を、前記接続されたドローンに給電する給電手段と、
   前記給電する時に、前記充電池の残量に基づいて、前記ドローンのスピードを制御するスピード制御手段と、
   を備えることを特徴とするドローン自動飛行制御アプリケーション。
2. 前記飛行を制御されたドローンの行動履歴を取得する行動履歴取得手段と、
   前記取得した行動履歴を、前記スマートデバイスの表示部に表示させる行動履歴表示手段と、
   を備えることを特徴とする請求項１に記載のドローン自動飛行制御アプリケーション。
3. 前記飛行を制御されたドローンの行動データを取得する行動データ取得手段と、
   前記取得した行動データを、ネットワークを介して接続されたサーバに送信する行動データ送信手段と、
   を備えることを特徴とする請求項１に記載のドローン自動飛行制御アプリケーション。
4. 前記ドローンとＵＳＢ接続された前記スマートデバイス上で起動する請求項１に記載のドローン自動飛行制御アプリケーション。
5. 請求項１に記載のドローン自動飛行制御アプリケーションを搭載したスマートデバイス。
6. 請求項１に記載のドローン自動飛行制御アプリケーションにより自動制御されるドローン。
7. 請求項１に記載のドローン自動飛行制御アプリケーションが搭載されたスマートデバイスとネットワークを介して接続されたサーバ。
8. ドローンと接続されたスマートデバイス上で起動するドローン自動飛行制御アプリケーションが実行するドローン自動飛行制御方法であって、
   前記スマートデバイスのカメラを起動させるステップと、
   前記カメラで撮像された撮像画像を取得するステップと、
   前記取得した撮像画像を画像解析するステップと、
   前記画像解析の結果に基づいて、前記ドローンの飛行を制御するステップと、
   前記スマートデバイスの充電池を、前記接続されたドローンに給電するステップと、
   前記給電する時に、前記充電池の残量に基づいて、前記ドローンのスピードを制御するステップと、
   を備えることを特徴とするドローン自動飛行制御方法。
9. ドローンと接続されたスマートデバイス上で起動するドローン自動飛行制御アプリケーションに、
   前記スマートデバイスのカメラを起動させるステップ、
   前記カメラで撮像された撮像画像を取得するステップ、
   前記取得した撮像画像を画像解析するステップ、
   前記画像解析の結果に基づいて、前記ドローンの飛行を制御するステップ、
   前記スマートデバイスの充電池を、前記接続されたドローンに給電するステップ、
   前記給電する時に、前記充電池の残量に基づいて、前記ドローンのスピードを制御するステップ、
   を実行させるためのコンピュータ読み取り可能なプログラム。