JP6475568B2 - 撮像装置および飛行制御方法 - Google Patents

Description

本発明は、撮像装置に関する。

近年、ドローン等の無人航空機にカメラを搭載し、無人航空機を飛行させた状態で、カメラにて撮影を行う撮像装置が知られている（例えば、特許文献１参照）。

特開２０１４−８５４３８号公報

特許文献１に記載の撮像装置は、例えば、無人航空機をカメラの三脚の代わりとして用い、ユーザ自身を被写体として撮影（自分撮り撮影）することには適していない。

本発明は、上記に鑑みてなされたものであって、自分撮り撮影に適した撮像装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、無人航空機と、前記無人航空機に搭載され、被写体を撮像して画像データを生成する撮像部と、前記無人航空機の飛行動作を制御する飛行制御部とを備え、前記飛行制御部は、前記撮像部にて生成された前記画像データに基づいて、前記無人航空機のホヴァリング制御を実行することを特徴とする。

本発明に係る撮像装置によれば、自分撮り撮影に適した撮像装置を実現することができる、という効果を奏する。

図１は、本発明の実施の形態１に係る撮像装置の構成を示すブロック図である。 図２は、図１に示した撮像装置の利用例を示す図である。 図３は、図１に示した撮像装置の動作を示すフローチャートである。 図４は、図３に示したステップＳ１３１を示すフローチャートである。 図５は、図３に示したステップＳ１３６を示すフローチャートである。 図６は、図３及び図５に示したステップＳ１３６を説明する図である。 図７は、図３に示したステップＳ１４２を示すフローチャートである。 図８は、図３及び図７に示したステップＳ１４２を説明する図である。 図９は、図３に示したステップＳ１３３を説明する図である。 図１０は、図３に示したステップＳ１３３を説明する図である。 図１１は、図３に示したステップＳ１３３を説明する図である。 図１２は、本発明の実施の形態２に係る撮像システムを示すブロック図である。 図１３は、本発明の実施の形態２に係る撮像システムを模式的に示す図である。 図１４は、図１２及び図１３に示した撮像システムの利用例を示す図である。 図１５は、図１２及び図１３に示した撮像システムの動作を示すフローチャートである。 図１６は、図１２及び図１３に示した撮像装置の撮影性能限界とその制御方法との関係を示す図である。

以下に、図面を参照して、本発明を実施するための形態（以下、実施の形態）について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付している。

（実施の形態１）
図１は、本発明の実施の形態１に係る撮像装置の構成を示すブロック図である。
撮像装置は、無人航空機に搭載されたカメラを利用して撮影を行う装置である。この撮像装置は、図１に示すように、移動部２０と、移動部２０に搭載されたカメラ１０とを備える。そして、移動部２０及びカメラ１０は、ＵＳＢ等の有線により互いに通信接続されている。
移動部２０は、本発明に係る無人航空機としての機能を有し、図１に示すように、推進制御部２１ａ、方向制御部２１ｂ、姿勢制御部２１ｃ、移動判定部２１ｄ、姿勢判定部２１ｅ、通信制御部２１ｆ、及び電源判定部２１ｇを有する制御部２１（本発明に係る飛行制御部、状態解析部としての機能を有する）と、推進部２２と、通信部２３ａ，２３ｃと、高度・姿勢判定部２４と、位置・方位判定部２５と、電源２６と、レーザレーダ等の空間情報部２７とを備える。そして、移動部２０は、図２に示すように、ドローンとして構成されている。

カメラ１０は、本発明に係る撮像部としての機能を有し、図１に示すように、トリミング部１ａ、撮影制御部１ｂ、ピント・画角情報取得部１ｃ、画角制御部１ｄ、リサイズ部１ｅ、通信制御部１ｆを有する制御部１と、光学系２ｂを有する撮像部２と、通信部３ａ〜３ｃと、記録部４と、操作部５と、画像特徴抽出部６と、仰角・方位センサ７と、時計９とを備える。
図２は、撮像装置の利用例を示す図である。
そして、カメラ１０は、図２に示すように、撮像部２にて生成された画像データに基づいて、制御部１により撮像装置のユーザ（被写体）の顔を検出（顔検出）したり、当該ユーザが撮像装置を把持している状態を検出（把持検出）したりすることを可能とする。

図３は、撮像装置の動作を示すフローチャートである。図４は、ステップＳ１３１を示すフローチャートである。図５は、ステップＳ１３６を示すフローチャートである。図６は、ステップＳ１３６を説明する図である。図７は、ステップＳ１４２を示すフローチャートである。図８は、ステップＳ１４２を説明する図である。図９ないし図１１は、ステップＳ１３３を説明する図である。
そして、カメラ１０及び移動部２０は、図３ないし図１１に示すように動作する。
すなわち、制御部２１は、カメラ１０にて生成された画像データに基づいて、移動部２０のホヴァリング制御を実行する（ステップＳ１３３）。ここで、制御部２１は、移動部２０の状態を示す状態情報を解析し（ステップＳ１００１〜Ｓ１００７）、当該状態情報の解析結果に基づいて（ステップＳ１３１：Ｙｅｓ）、移動部２０の飛行を開始するとともに（ステップＳ１３２）、カメラ１０にて生成された画像データに基づいて移動部２０のホヴァリング制御を実行する（ステップＳ１３３）。例えば、制御部２１は、画像データに基づいて、顔検出、把持検出、背景判定により、移動部２０が停止状態であるか否かを判断し（ステップＳ１００２〜Ｓ１００５）、当該停止状態であると判断した場合に、移動部２０の飛行を開始する（ステップＳ１３２）。
また、制御部２１は、ホヴァリング制御の実行時でのカメラ２０による撮像装置のユーザを被写体とした自分撮り撮影（ステップＳ１３４，Ｓ１１７）の後、撮像装置を安全な場所に着陸させる安全制御を実行する（ステップＳ１３６，１４２（図７，図８））。この安全制御においても、制御部２１は、顔検出、把持検出、背景判定等（ステップＳ１０１１〜Ｓ１０１４，Ｓ１１０１）を行っている。

以上説明した本実施の形態１に係る撮像装置によれば、自分撮り撮影に適した撮像装置を実現することができる、という効果を奏する。

（実施の形態２）
次に、本発明の実施の形態２について説明する。
以下の説明では、上述した実施の形態１と同様の構成及びステップには同一符号を付し、その詳細な説明は省略または簡略化する。
図１２は、本発明の実施の形態２に係る撮像システムを示すブロック図である。図１３は、撮像システムを模式的に示す図である。
本実施の形態２に係る撮像システムは、図１２及び図１３に示すように、上述した実施の形態１に係る撮像装置とＷｉ−Ｆｉ（登録商標）やブルートゥース（登録商標）等により通信接続するスマートホン等の携帯端末３０を追加したシステムである。
具体的に、携帯端末３０は、図１２に示すように、状況分析部３１ｂ及びトラブル予測部３１ｃを有する制御部３１と、内蔵カメラ部３２と、基地局通信部３３と、対処記憶部３４ｂを有する記録部３４と、機器通信部３５ａ，３５ｂと、操作部３６と、位置方位判定部３７と、表示部３８と、表示制御部３８ｂと、時計３９とを備える。

図１４は、撮像システムの利用例を示す図である。
そして、本実施の形態２に係る撮像システムは、図１４に示すように、スポーツ（図１４（ａ）の例ではサッカー）が行われている場所での撮影や、河川等の障害となる場所を超えた目的地での撮影等に利用される。

図１５は、撮像システムの動作を示すフローチャートである。
そして、撮像システムは、図１５に示すように動作する。
すなわち、本実施の形態２に係る撮像システムでは、制御部１は、移動部２０の能力に関するドローン位置情報、ドローンスピード情報、ドローン障害物情報、ドローン性能情報、電源情報、及び通信環境情報（図１４）等を取得し（ステップＳ１３，Ｓ１４）、当該情報とカメラ１０にて生成された画像データとを携帯端末３０に送信する（ステップＳ１５）。そして、携帯端末３０は、当該情報を受信（ステップＳ４２）後、想定されるトラブルを解析し、トラブルがあると判断した場合（ステップＳ５１：Ｙｅｓ）には、当該トラブルを表示部３８に表示する（ステップＳ５２）。ここで、当該トラブルとしては、スポーツが行われている場所での撮影（図１４（ａ））の際に移動部２０がボールに追いつけない場合や、河川等の障害となる場所を超えた目的地での撮影（図１４（ｂ））の際に電源不足等により目的地まで到達することができない場合を例示することができる。また、制御部１は、操作部３６への操作により、携帯端末３０のユーザにより対処が入力された場合（ステップＳ５３：Ｙｅｓ）には、当該対処方法を撮像装置に送信（ステップＳ５５）する。撮像装置は、当該対処方法を受信すると、当該対処方法に従った対応を行う（ステップＳ２３）。

図１６は、撮像装置の撮影性能限界とその制御方法との関係を示す図である。
例えば、撮像システムは、図１６に示すように、カメラ１０にて時系列的に生成された複数の画像データに基づく被写体の時間変化が大きく（被写体の移動速度が大きく）、移動部２０の性能に限界があると判断した場合には、カメラ１０による撮影から、携帯端末３０の内蔵カメラ部３２による撮影に切り換える。また、撮像システムは、カメラ１０にて生成された画像データに基づいてカメラ１０に汚れが付着したと判断した場合には、当該汚れの部分を自身で洗浄する制御や、当該汚れの部分を洗浄可能とする位置（基地、池等）に移動する制御を行う。

１・・・制御部；１ａ・・・トリミング部；１ｂ・・・撮影制御部；１ｃ・・・ピント・画角情報取得部；１ｄ・・・画角制御部；１ｅ・・・リサイズ部；１ｆ・・・通信制御部；２・・・撮像部；２ｂ・・・光学系；３ａ〜３ｃ・・・通信部；４・・・記録部；５・・・操作部；６・・・画像特徴抽出部；７・・・仰角・方位センサ；９・・・時計；１０・・・カメラ；２０・・・移動部；２１・・・制御部；２１ａ・・・推進制御部；２１ｂ・・・方向制御部；２１ｃ・・・姿勢制御部；２１ｄ・・・移動判定部；２１ｅ・・・姿勢判定部；２１ｆ・・・通信制御部；２１ｇ・・・電源判定部；２２・・・推進部；２３ａ，２３ｃ・・・通信部；２４・・・高度・姿勢判定部；２５・・・位置・方位判定部；２６・・・電源；２７・・・空間判定部；３０・・・携帯端末；３１・・・制御部；３１ｂ・・・状況分析部；３１ｃ・・・トラブル予測部；３２・・・内蔵カメラ部；３３・・・基地局通信部；３４・・・記録部；３４ｂ・・・対処記憶部；３５ａ，３５ｂ・・・機器通信部；３６・・・操作部；３７・・・位置方位判定部；３８・・・表示部；３８ｂ・・・表示制御部；３９・・・時計

Claims (2)

1. 無人航空機と、
   前記無人航空機に搭載され、被写体を撮像して画像データを生成する撮像部と、
   前記無人航空機の飛行動作を制御する飛行制御部と、
   前記無人航空機の状態を示す状態情報であって前記撮像部にて生成された前記画像データを含む状態情報に基づいて前記無人航空機の状態を解析する状態解析部と、を備え、
   前記飛行制御部は、
   前記状態解析部による解析結果に基づいて前記無人航空機の飛行を開始するとともに、前記撮像部にて生成された前記画像データに基づいて、前記無人航空機のホヴァリング制御を実行し、
   前記状態解析部は、
   前記画像データに基づいて、前記無人航空機が停止状態であるか否かを判断し、
   前記飛行制御部は、
   前記状態解析部にて前記無人航空機が停止状態であると判断した場合に、前記無人航空機の飛行を開始する
   ことを特徴とする撮像装置。
2. 無人航空機と、前記無人航空機に搭載され、被写体を撮像して画像データを生成する撮像部と、前記無人航空機の飛行動作を制御する飛行制御部と、前記無人航空機の状態を示す状態情報であって前記撮像部にて生成された前記画像データを含む状態情報に基づいて前記無人航空機の状態を解析する状態解析部と、を備えた撮像装置が実行する飛行制御方法であって、
   前記飛行制御部が、前記状態解析部による解析結果に基づいて前記無人航空機の飛行を開始するとともに、前記撮像部にて生成された前記画像データに基づいて、前記無人航空機のホヴァリング制御を実行し、
   前記状態解析部が、前記画像データを記録部から読み出して、前記画像データに基づいて、前記無人航空機が停止状態であるか否かを判断し、
   前記飛行制御部が、前記状態解析部にて前記無人航空機が停止状態であると判断した場合に、前記無人航空機の飛行を開始する
   ことを特徴とする飛行制御方法。

Images