JP6281720B2

JP6281720B2 - 撮像システム

Info

Publication number: JP6281720B2
Application number: JP2016103255A
Authority: JP
Inventors: 三田　英明; 英明三田
Original assignee: SZ DJI Technology Co Ltd
Current assignee: SZ DJI Technology Co Ltd
Priority date: 2016-05-24
Filing date: 2016-05-24
Publication date: 2018-02-21
Anticipated expiration: 2036-05-24
Also published as: JP2017212528A

Description

本発明は、撮像システム、撮像制御方法、撮像制御システム、移動体、制御方法、及びプログラムに関する。

特許文献１には、複数のカメラ装置を使用して、同一の被写体を複数の異なる視点から撮影するカメラシステムが開示されている。特許文献２には、ネットワークを介して任意のカメラクライアントから任意のカメラにアクセスして複数のカメラを連系させるカメラ制御システムが開示されている。
特許文献１特開２０１６−１２８３２号公報
特許文献２特開２０００−１１３１６６号公報

撮像装置を搭載した複数の移動体が連係して所望の被写体を撮像するシステムが望まれている。

一態様において、撮像システムは、第１撮像装置が搭載された第１移動体と、第２撮像装置が搭載された第２移動体とを備え、第１移動体は、第１移動体の位置を示す位置情報を送信する第１送信部と、第１撮像装置の設定を示す設定情報を送信する第２送信部とを有し、第２移動体は、位置情報を受信する第１受信部と、位置情報が示す位置に対して、第２移動体の移動を制御する第１制御部と、設定情報を受信する第２受信部と、設定情報に基づいて第２撮像装置を設定する設定部とを有する。

第１移動体は、第１移動体の移動を制御する第２制御部をさらに有してよい。位置情報が示す位置に対して、第１制御部が第２移動体を移動させ、設定情報が示す設定で第２撮像装置が撮像を開始した後、第２制御部は、第１移動体を第２移動体から離れる方向に移動させてよい。

第１移動体は、第１撮像装置を制御する第３制御部をさらに有してよい。位置情報が示す位置に対して、第１制御部が第２移動体を移動させ、設定情報が示す設定で第２撮像装置が撮像を開始した後、第２制御部は、第１撮像装置による撮像動作を終了させてよい。

第２移動体は、位置情報が示す位置に対して、第１制御部が第２移動体を移動させ、設定情報が示す設定で第２撮像装置が撮像を開始した場合に、撮像開始通知を送信する第３送信部をさらに有してよい。第１移動体は、撮像開始通知を受信する第３受信部をさらに有してよい。

第１移動体は、第１撮像装置を制御する第３制御部をさらに有してよい。第３制御部は、第３受信部が撮像開始通知を受信した場合に、第１撮像装置による撮像動作を終了させてよい。

第１撮像装置及び第２撮像装置は、動画を記録してよい。第１移動体は、第１撮像装置を制御する第３制御部をさらに有してよい。第２移動体は、第２撮像装置を制御する第４制御部をさらに有してよい。第３制御部は、第３受信部が撮像開始通知を受信した時刻を、第１撮像装置によって記録された動画に関連付けて記録してよい。第４制御部は、設定情報が示す設定で第２撮像装置によって動画の記録が開始された時刻、又は第３送信部が撮像開始通知を送信した時刻を、第２撮像装置によって記録された動画に関連づけて記録してよい。

位置情報が示す位置に対して、第１制御部が第２移動体を移動させた後、第２送信部は、設定情報を送信してよい。第２受信部は、設定情報を受信してよい。

設定情報は、第１撮像装置の光学条件及び撮像方向の少なくとも一方を含んでよい。

第１移動体は、予め定められた条件が満たされた場合に、第２移動体の出動を要請する出動要請通知を送信する第４送信部をさらに有してよい。

第２移動体は、出動要請通知を受信する第４受信部をさらに有してよい。第１制御部は、第４受信部が出動要請通知を受信した場合に、位置情報が示す位置を目標位置として、第２移動体の移動を制御してよい。

第４送信部は、第１移動体に搭載されたバッテリの残容量が予め定められた量より少ない場合又は第１移動体又は第１撮像装置の不具合が検出された場合に、出動要請通知を送信してよい。

撮像システムは、第１移動体及び第１撮像装置、並びに第２移動体及び第２撮像装置を遠隔操作する遠隔操作装置をさらに備えてよい。遠隔操作装置は、位置情報を第１移動体から受信して第２移動体に送信する送受信部を有してよい。

送受信部は、設定情報を第１移動体から受信して第２移動体に送信してよい。

遠隔操作装置は、第１撮像装置及び第１移動体を遠隔操作可能な状態と、第２撮像装置及び第２移動体を遠隔操作可能な状態との間で切り替えられてよい。

遠隔操作装置は、設定情報が示す設定で第２撮像装置によって撮像が開始される前において、第１移動体及び第１撮像装置を遠隔操作可能な状態にあり、設定情報が示す設定で第２撮像装置によって撮像が開始された後において、第２移動体及び第２撮像装置を遠隔操作可能な状態にあってよい。

一態様において、撮像制御方法は、第１撮像装置が搭載された第１移動体が、第１移動体の位置を示す位置情報を送信する段階と、第１移動体が、第１撮像装置の設定を示す設定情報を送信する段階と、第２撮像装置が搭載された第２移動体が位置情報を受信する段階と、第２移動体が、位置情報が示す位置に対して、第２移動体の移動を制御する段階と、第２移動体が、設定情報を受信する段階と、第２移動体が、設定情報に基づいて第２撮像装置を設定する段階とを備える。

一態様において、撮像制御システムは、第１撮像装置が搭載された第１移動体から、第１移動体の位置を示す位置情報を受信する第１受信部と、第２撮像装置が搭載された第２移動体を位置情報が示す位置に対して移動させるべく、第２移動体に、位置情報を送信する第１送信部と、第１移動体から、第１撮像装置の設定を示す設定情報を受信する第２受信部と、第２撮像装置を設定情報に基づいて設定させるべく、第２移動体に、設定情報を送信する第２送信部とを備える。

一態様において、撮像制御方法は、第１撮像装置が搭載された第１移動体から、第１移動体の位置を示す位置情報を受信する段階と、第２撮像装置が搭載された第２移動体を位置情報が示す位置に対して移動させるべく、第２移動体に、位置情報を送信する段階と、第１移動体から、第１撮像装置の設定を示す設定情報を受信する段階と、第２撮像装置を設定情報に基づいて設定させるべく、第２移動体に、設定情報を送信する段階とを備える。

一態様において、プログラムは、第１撮像装置が搭載された第１移動体から、第１移動体の位置を示す位置情報を受信する段階と、第２撮像装置が搭載された第２移動体を位置情報が示す位置に対して移動させるべく、第２移動体に、位置情報を送信する段階と、第１移動体から、第１撮像装置の設定を示す設定情報を受信する段階と、第２撮像装置を設定情報に基づいて設定させるべく、第２移動体に、設定情報を送信する段階とをコンピュータに実行させる。

一態様において、移動体は、撮像装置が搭載された移動体であって、移動体の位置を示す位置情報を送信する位置情報送信部と、撮像装置の設定を示す設定情報を送信する設定情報送信部と、位置情報が示す位置を目標位置として他の移動体が移動し、他の移動体に搭載された他の撮像装置が、設定情報が示す設定で撮像を開始した場合に、他の移動体から離れる方向に移動体を移動させる移動制御部とを備える。

一態様において、制御方法は、撮像装置が搭載された移動体の位置を示す位置情報を送信する段階と、撮像装置の設定を示す設定情報を送信する段階と、他の移動体が位置情報が示す位置を目標位置として移動し、他の移動体に搭載された他の撮像装置が、設定情報が示す設定で撮像を開始した場合に、他の移動体から離れる方向に移動体を移動させる段階とを備える。

一態様において、プログラムは、撮像装置が搭載された移動体の位置を示す位置情報を送信する段階と、撮像装置の設定を示す設定情報を送信する段階と、位置情報が示す位置を目標位置として他の移動体が移動し、他の移動体に搭載された他の撮像装置が、設定情報が示す設定で撮像を開始した場合に、他の移動体から離れる方向に移動体を移動させる段階とをコンピュータに実行させる。

一態様において、移動体は、撮像装置が搭載された移動体であって、他の移動体の位置を示す位置情報を受信する第１受信部と、位置情報が示す位置に対して、移動体を移動させる制御部と、他の移動体に搭載された他の撮像装置の設定を示す設定情報を受信する第２受信部と、設定情報に基づいて撮像装置を設定する設定部と、位置情報が示す位置に対して、制御部が移動体を移動させ、撮像装置が設定情報が示す設定で撮像を開始した場合に、撮像開始通知を送信する送信部とを備える。

一態様において、制御方法は、他の移動体の位置を示す位置情報を受信する段階と、位置情報が示す位置に対して、撮像装置が搭載された移動体を移動させる段階と、他の移動体に搭載された他の撮像装置の設定を示す設定情報を受信する段階と、設定情報に基づいて撮像装置を設定する段階と、位置情報が示す位置に対して移動体を移動させ、設定情報が示す設定で撮像装置が撮像を開始した場合に、撮像開始通知を送信する段階とを備える。

一態様において、プログラムは、他の移動体の位置を示す位置情報を受信する段階と、位置情報が示す位置に対して、撮像装置が搭載された移動体を移動させる段階と、他の移動体に搭載された他の撮像装置の設定を示す設定情報を受信する段階と、設定情報に基づいて撮像装置を設定する段階と、位置情報が示す位置に対して移動体を移動させ、設定情報が示す設定で撮像装置が撮像を開始した場合に、撮像開始通知を送信する段階とをコンピュータに実行させる。

上記の発明の概要は、本発明の特徴の全てを列挙したものではない。これらの特徴群のサブコンビネーションも発明となりうる。

撮像システムの構成の一例を示す図である。ＵＡＶの機能ブロックの一例を示す図である。ＵＡＶ制御部の機能ブロックの一例を示す図である。遠隔操作装置の機能ブロックの一例を示す図である。撮像シーケンスの一例を示す図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイルまたはレコードに表示される通りであれば異議を唱えない。ただし、それ以外の場合、一切の著作権を留保する。

図１は、撮像システム１０の構成の一例を示す。撮像システム１０は、複数の無人航空機（ＵＡＶ）１００、及び遠隔操作装置３００を備える。複数のＵＡＶ１００は、遠隔操作装置３００を介して連係して、所望の撮像範囲３０を連続して撮像する。

ＵＡＶ１００は、ＵＡＶ本体１０２、ジンバル２００、撮像装置２２０、及び複数の撮像装置２３０を備える。ＵＡＶ１００は、移動体の一例である。移動体とは、ＵＡＶの他、空中を移動する他の航空機、地上を移動する車両、水上を移動する船舶等を含む概念である。

ＵＡＶ本体１０２は、複数の回転翼を備える。ＵＡＶ本体１０２は、複数の回転翼の回転を制御することでＵＡＶ１００を飛行させる。ＵＡＶ本体１０２は、例えば、４つの回転翼を用いてＵＡＶ１００を飛行させる。回転翼の数は、４つには限定されない。また、ＵＡＶ１００は、回転翼を有さない固定翼機でもよい。

撮像装置２２０は、所望の撮像範囲３０に含まれる被写体を撮像する撮像用のカメラである。複数の撮像装置２３０は、ＵＡＶ１００の飛行を制御するためにＵＡＶ１００の周囲を撮像するセンシング用のカメラである。２つの撮像装置２３０が、ＵＡＶ１００の機首である正面に設けられてよい。さらに他の２つの撮像装置２３０が、ＵＡＶ１００の底面に設けられてよい。正面側の２つの撮像装置２３０はペアとなり、いわゆるステレオカメラとして機能してよい。底面側の２つの撮像装置２３０もペアとなり、ステレオカメラとして機能してよい。複数の撮像装置２３０により撮像された画像データに基づいて、ＵＡＶ１００の周囲の３次元空間データが生成されてよい。ＵＡＶ１００が備える撮像装置２３０の数は４つには限定されない。ＵＡＶ１００は、少なくとも１つの撮像装置２３０を備えていればよい。ＵＡＶ１００は、ＵＡＶ１００の機首、機尾、側面、底面、及び天井面のそれぞれに少なくとも１つの撮像装置２３０を備えてもよい。撮像装置２３０で設定できる画角は、撮像装置２２０で設定できる画角より広くてよい。撮像装置２３０は、単焦点レンズ又は魚眼レンズを有してもよい。

遠隔操作装置３００は、複数のＵＡＶ１００と通信して、複数のＵＡＶ１００を遠隔操作する。遠隔操作装置３００は、複数のＵＡＶ１００と無線で通信してよい。遠隔操作装置３００は、複数のＵＡＶ１００に各種命令を送信する。遠隔操作装置３００は、ＵＡＶ１００から送信された各種情報を他のＵＡＶ１００に中継する。遠隔操作装置３００は、撮像役のＵＡＶ１００及び撮像役のＵＡＶ１００の撮像装置２２０を遠隔操作可能な状態と、待機中のＵＡＶ１００及び待機中のＵＡＶ１００の撮像装置２２０を遠隔操作可能な状態との間で動作を切り替えられる。遠隔操作装置３００は、撮像制御システムの一例である。ステーション４００は、ＵＡＶ１００が待機する場所を提供する。ステーション４００は、ＵＡＶ１００に搭載されたバッテリを充電する充電機能を備えてよい。

図２は、ＵＡＶ１００の機能ブロックの一例を示す。ＵＡＶ１００は、ＵＡＶ制御部１１０、バッテリ１４０、通信インタフェース１５０、メモリ１６０、ジンバル２００、回転翼機構２１０、撮像装置２２０、撮像装置２３０、ＧＰＳ受信機２４０、慣性計測装置（ＩＭＵ）２５０、磁気コンパス２６０、及び気圧高度計２７０を備える。

バッテリ１４０は、ＵＡＶ１００が備える各部に電力を供給する。通信インタフェース１５０は、外部の装置と通信する。通信インタフェース１５０は、ＵＡＶ制御部１１０に対する各種の命令を遠隔操作装置３００から受信する。メモリ１６０は、ＵＡＶ制御部１１０がジンバル２００、回転翼機構２１０、撮像装置２２０、撮像装置２３０、ＧＰＳ受信機２４０、ＩＭＵ２５０、磁気コンパス２６０、及び気圧高度計２７０を制御するのに必要なプログラム等を格納する。メモリ１６０は、コンピュータ読み取り可能な記録媒体でよく、ＳＲＡＭ、ＤＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びＵＳＢメモリ等のフラッシュメモリの少なくとも１つを含んでよい。メモリ１６０は、ＵＡＶ１００の筐体に設けられてよい。メモリ１６０は、ＵＡＶ１００の筐体から取り外し可能に設けられてよい。

ジンバル２００は、少なくとも１つの軸を中心に撮像装置２２０を回転可能に支持する。ジンバル２００は、ヨー軸、ピッチ軸、及びロール軸を中心に撮像装置２２０を回転可能に支持してよい。ジンバル２００は、ヨー軸、ピッチ軸、及びロール軸の少なくとも１つを中心に撮像装置２２０を回転させることで、撮像装置２２０の撮像方向を変更してよい。回転翼機構２１０は、複数の回転翼と、複数の回転翼を回転させる複数の駆動モータとを有する。

撮像装置２２０は、所望の撮像範囲の被写体を撮像して画像データを生成する。撮像装置２２０は、所望の撮像範囲の被写体を撮像して、動画を画像データとして生成してよい。撮像装置２２０は、撮像装置２２０が有するメモリ、又はメモリ１６０に画像データを格納してよい。撮像装置２２０は、撮像装置２２０が有するメモリ、又はメモリ１６０に動画を記録してよい。撮像装置２３０は、ＵＡＶ１００の周囲を撮像して画像データを生成する。撮像装置２３０は、ＵＡＶ１００の周囲を撮像して画像データを生成する。撮像装置２３０は、生成された画像データをメモリ１６０に格納してよい。メモリ１６０に格納された画像データは、通信インタフェース１５０を介して外部の装置に送信されてよい。メモリ１６０は、ＵＡＶ１００の筐体に設けられてよい。ＵＡＶ１００の筐体から取り外し可能に設けられてよい。

ＧＰＳ受信機２４０は、複数のＧＰＳ衛星から発信された時刻を示す複数の信号を受信する。ＧＰＳ受信機２４０は、受信された複数の信号に基づいてＧＰＳ受信機２４０の位置、つまりＵＡＶ１００の位置を算出する。慣性計測装置（ＩＭＵ）２５０は、ＵＡＶ１００の姿勢を検出する。ＩＭＵ２５０は、ＵＡＶ１００の姿勢として、ＵＡＶ１００の前後、左右、及び上下の３軸方向の加速度と、ピッチ、ロール、及びヨーの３軸方向の角速度とを検出する。磁気コンパス２６０は、ＵＡＶ１００の機首の方位を検出する。気圧高度計２７０は、ＵＡＶ１００が飛行する高度を検出する。

ＵＡＶ制御部１１０は、メモリ１６０に格納されたプログラムに従ってＵＡＶ１００の飛行及び撮像を制御する。ＵＡＶ制御部１１０は、ＣＰＵ又はＭＰＵ等のマイクロプロセッサ、ＭＣＵ等のマイクロコントローラ等により構成されてよい。ＵＡＶ制御部１１０は、通信インタフェース１５０を介して遠隔操作装置３００から受信した命令に従って、ＵＡＶ１００の飛行を制御する。ＵＡＶ制御部１１０は、飛行制御及び撮像制御のためのプログラムをメモリ１６０から読み出して実行することにより、撮像システムとして機能する。

ＵＡＶ制御部１１０は、複数の撮像装置２３０により撮像された複数の画像データを解析することで、ＵＡＶ１００の周囲の環境を特定してよい。ＵＡＶ制御部１１０は、ＵＡＶ１００の周囲の環境に基づいて、例えば、障害物を回避して飛行を制御する。ＵＡＶ制御部１１０は、複数の撮像装置２３０により撮像された複数の画像データに基づいてＵＡＶ１００の周囲の３次元空間データを生成し、３次元空間データに基づいて飛行を制御してよい。ＵＡＶ制御部１１０及び撮像装置２２０は、撮像システムの一例である。撮像システムは、ジンバル２００等の他の構成を含んでもよい。

図３は、ＵＡＶ制御部１１０の機能ブロックの一例を示す。ＵＡＶ制御部１１０は、出動要請通知送信部１１２、出動要請通知受信部１１４、位置情報受信部１１６、移動制御部１１８、位置情報送信部１２０、設定情報送信部１２２、設定情報受信部１２４、撮像設定部１２６、撮像開始通知受信部１２８、撮像制御部１３０、及び撮像開始通知送信部１３２を有する。ＵＡＶ制御部１１０が備える各部は、ハードウェア、ファームウェア、及びソフトウェアのいずれかで構成されてよい。位置情報送信部１２０は、第１送信部の一例である。設定情報送信部１２２は、第２送信部の一例である。撮像開始通知送信部１３２は、送信部及び第３送信部の一例である。出動要請通知送信部１１２は、第４送信部の一例である。位置情報受信部１１６は、第１受信部の一例である。設定情報受信部１２４は、第２受信部の一例である。撮像開始通知受信部１２８は、第３受信部の一例である。出動要請通知受信部１１４は、第４受信部の一例である。移動制御部１１８は、制御部、第１制御部及び第２制御部の一例である。撮像制御部１３０は、第３制御部及び第４制御部の一例である。撮像設定部１２６は、設定部の一例である。

出動要請通知送信部１１２が、予め定められた条件が満たされた場合に、他のＵＡＶ１００の出動を要請する出動要請通知を送信する。出動要請通知送信部１１２は、遠隔操作装置３００を介して待機中のＵＡＶ１００に出動要請通知を送信してよい。出動要請通知送信部１１２は、遠隔操作装置３００を介さずに待機中のＵＡＶ１００に出動要請通知を送信してよい。出動要請通知送信部１１２は、撮像役のＵＡＶ１００に搭載されたバッテリ１４０の残容量が予め定められた量より少ない場合又は撮像役のＵＡＶ１００又は撮像役のＵＡＶ１００の不具合が検出された場合に、出動要請通知を送信してよい。出動要請通知送信部１１２は、遠隔操作装置３００から指令を受けて、待機中のＵＡＶ１００に出動要請通知を送信してよい。

出動要請通知受信部１１４は、他のＵＡＶ１００からの出動要請通知を受信する。出動要請通知受信部１１４は、遠隔操作装置３００を介して撮像役のＵＡＶ１００から出動要請通知を受信してよい。出動要請通知受信部１１４は、遠隔操作装置３００を介さずに撮像役のＵＡＶ１００から出動要請通知を受信してよい。

位置情報受信部１１６は、ＵＡＶ１００の位置を示す位置情報を受信する。位置情報は、ＵＡＶ１００が存在する緯度、経度、及び高度を示す情報を含む。位置情報受信部１１６は、撮像役のＵＡＶ１００の位置を示す位置情報を受信する。位置情報受信部１１６は、撮像役のＵＡＶ１００から待機中のＵＡＶ１００に向けて送信された位置情報を、遠隔操作装置３００を介して受信してよい。位置情報受信部１１６は、遠隔操作装置３００を介さずに位置情報を受信してよい。

位置情報送信部１２０は、ＵＡＶ１００の位置を示す位置情報を送信する。位置情報送信部１２０は、ＧＰＳ受信機２４０から緯度及び経度を示す情報を取得する。位置情報送信部１２０は、気圧高度計２７０から高度を示す情報を取得する。位置情報送信部１２０は、取得された緯度、経度、及び高度を示す情報を、位置情報として送信する。位置情報送信部１２０は、撮像役のＵＡＶ１００の向きを示す情報をさらに、位置情報として送信してよい。位置情報送信部１２０は、撮像役のＵＡＶ１００の位置を示す位置情報を送信する。位置情報送信部１２０は、遠隔操作装置３００を介して待機中のＵＡＶ１００に、撮像役のＵＡＶ１００の位置を示す位置情報を送信してよい。位置情報送信部１２０は、遠隔操作装置３００を介さずに待機中のＵＡＶ１００に、撮像役のＵＡＶ１００の位置を示す位置情報を送信してよい。

移動制御部１１８は、出動要請通知受信部１１４が出動要請通知を受信した場合に、位置情報が示す位置を目標位置として、待機中のＵＡＶ１００の移動を制御する。移動制御部１１８は、待機中のＵＡＶ１００を撮像役のＵＡＶ１００の近傍に移動するように、待機中のＵＡＶ１００の移動を制御する。

設定情報送信部１２２は、撮像役のＵＡＶ１００が備える撮像装置２２０の設定を示す設定情報を送信する。設定情報は、撮像装置２２０の光学条件及び撮像方向の少なくとも一方を含む。撮像装置２２０の光学条件は、撮像装置２２０の画角及び焦点距離の少なくとも１つを含んでよい。設定情報送信部１２２は、遠隔操作装置３００を介して撮像役のＵＡＶ１００の設定情報を待機中のＵＡＶ１００に送信してよい。設定情報送信部１２２は、遠隔操作装置３００を介さずに撮像役の撮像システム１０の設定情報を待機中のＵＡＶ１００に送信してよい。撮像役のＵＡＶ１００の設定情報送信部１２２は、位置情報が示す位置を目標位置として移動制御部１１８が待機中のＵＡＶ１００を移動させた後、設定情報を送信してよい。

設定情報受信部１２４は、設定情報を受信する。設定情報受信部１２４は、撮像役のＵＡＶ１００から待機中のＵＡＶ１００に向けて送信された撮像役のＵＡＶ１００の設定情報を受信する。設定情報受信部１２４は、遠隔操作装置３００を介して設定情報を受信してよい。設定情報受信部１２４は、遠隔操作装置３００を介さずに設定情報を受信してよい。待機中のＵＡＶ１００の設定情報受信部１２４は、位置情報が示す位置を目標位置として移動制御部１１８が待機中のＵＡＶ１００を移動させた後、設定情報を受信してよい。

撮像設定部１２６は、設定情報に基づいてＵＡＶ１００の撮像装置２２０を設定する。撮像設定部１２６は、設定情報に基づいて、撮像役のＵＡＶ１００の撮像装置２２０の設定に、待機中のＵＡＶ１００の撮像装置２２０の設定を合わせる。撮像設定部１２６は、撮像装置２２０及びジンバル２００を制御することで、待機中のＵＡＶ１００の撮像装置２２０の画角、焦点距離、撮像方向を、撮像役のＵＡＶ１００の撮像装置２２０の設定に合わせる。

撮像開始通知受信部１２８は、待機中のＵＡＶ１００が撮像を開始した場合に、待機中のＵＡＶ１００から送信された撮像開始通知を受信する。撮像開始通知受信部１２８は、遠隔操作装置３００を介して撮像開始通知を受信してよい。撮像開始通知受信部１２８は、遠隔操作装置３００を介さずに撮像開始通知を受信してよい。

撮像開始通知送信部１３２は、位置情報が示す位置を目標位置として移動制御部１１８が待機中のＵＡＶ１００を移動させ、設定情報が示す設定で待機中のＵＡＶ１００の撮像装置２２０が撮像を開始した場合に、撮像開始通知を送信する。撮像開始通知送信部１３２は、遠隔操作装置３００を介して撮像役のＵＡＶ１００に撮像開始通知を送信してよい。撮像開始通知送信部１３２は、遠隔操作装置３００を介さずに撮像役のＵＡＶ１００に撮像開始通知を送信してよい。

撮像制御部１３０は、撮像装置２２０を制御する。撮像制御部１３０は、位置情報が示す位置を目標位置として移動制御部１１８が待機中のＵＡＶ１００を移動させ、設定情報が示す設定で待機中のＵＡＶ１００の撮像装置２２０が撮像を開始した後、撮像役のＵＡＶ１００の撮像装置２２０による撮像動作を終了させる。撮像制御部１３０は、撮像開始通知受信部１２８が撮像開始通知を受信した場合に、撮像役のＵＡＶ１００の撮像装置２２０による撮像動作を終了させる。

撮像役のＵＡＶ１００の撮像制御部１３０は、撮像開始通知受信部１２８が撮像開始通知を受信した時刻を、撮像役のＵＡＶ１００の撮像装置２２０によって記録された動画に関連付けて記録する。待機中のＵＡＶ１００の撮像制御部１３０は、設定情報が示す設定で待機中のＵＡＶ１００の撮像装置２２０によって動画の記録が開始された時刻、又は撮像開始通知送信部１３２が撮像開始通知を送信した時刻を、待機中のＵＡＶ１００の撮像装置２２０によって記録された動画に関連づけて記録する。

図４は、遠隔操作装置３００の機能ブロックの一例を示す。遠隔操作装置３００は、遠隔操作制御部３１０、表示部３３０、操作部３４０、通信インタフェース３５０、及びメモリ３６０を備える。通信インタフェース３５０は、ＵＡＶ１００に各種命令を送信する。通信インタフェース３５０は、ＵＡＶ１００から各種情報を受信する。メモリ３６０は、遠隔操作制御部３１０が表示部３３０及び操作部３４０を制御するのに必要なプログラム等を格納する。メモリ３６０は、コンピュータ読み取り可能な記録媒体でよく、ＳＲＡＭ、ＤＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びＵＳＢメモリ等のフラッシュメモリの少なくとも１つを含んでよい。メモリ３６０は、遠隔操作装置３００の筐体に設けられてよい。メモリ３６０は、遠隔操作装置３００の筐体から取り外し可能に設けられてよい。

表示部３３０は、ＵＡＶ１００に関する各種情報を表示する。表示部３３０は、ＵＡＶ１００から送信された動画を表示してもよい。操作部３４０は、ＵＡＶ１００の飛行制御命令及び撮像制御命令をユーザから受け付ける。遠隔操作制御部３１０は、メモリ３６０に格納されたプログラムに従って操作部３４０から受け取った制御命令に従ってＵＡＶ１００の飛行及び撮像を制御する。遠隔操作制御部３１０は、ＣＰＵ又はＭＰＵ等のマイクロプロセッサ、ＭＣＵ等のマイクロコントローラ等により構成されてよい。

遠隔操作制御部３１０は、送受信部３１２、命令生成部３１４、及び通信切替部３１６を有する。送受信部３１２は、ＵＡＶ１００から受信した情報を他のＵＡＶ１００に送信する。送受信部３１２は、送信先のＵＡＶ１００の識別情報を含む情報を送信してよい。送受信部３１２は、送信元及び送信先のＵＡＶ１００の識別情報を含む情報を送信してよい。ＵＡＶ１００は、遠隔操作制御部３１０から送信された情報に含まれる識別情報に基づいて、情報が自身宛の情報か否かを判断してよい。送受信部３１２は、撮像役のＵＡＶ１００の位置情報を撮像役のＵＡＶ１００から受信して待機中のＵＡＶ１００に送信する。送受信部３１２は、撮像役のＵＡＶ１００から位置情報を受信する。送受信部３１２は、待機中のＵＡＶ１００を位置情報が示す位置を目標位置として移動させるべく、待機中のＵＡＶ１００に位置情報を送信する。送受信部３１２は、撮像役のＵＡＶ１００から、撮像役の撮像装置２２０の設定を示す設定情報を受信する。送受信部３１２は、待機中のＵＡＶ１００の撮像装置２２０を設定情報に基づいて設定させるべく、待機中のＵＡＶ１００に設定情報を送信する。

命令生成部３１４は、ＵＡＶ１００を制御するための制御命令を生成する。命令生成部３１４は、移動制御命令及び撮像制御命令を生成する。命令生成部３１４は、操作部３４０を介してユーザから受け付けた指示に基づいて移動制御命令及び撮像制御命令を生成する。

通信切替部３１６は、撮像役のＵＡＶ１００と通信可能な状態と、待機中のＵＡＶ１００と通信可能な状態とを切り替える。通信切替部３１６は、ＵＡＶ１００との通信リンクを適宜切り替えてよい。通信切替部３１６が、ＵＡＶ１００との通信リンクを切り替えることで、遠隔操作装置３００は、撮像役のＵＡＶ１００及び撮像役のＵＡＶ１００の撮像装置２２０を遠隔操作可能な状態と、待機中のＵＡＶ１００及び待機中のＵＡＶ１００の撮像装置２２０を遠隔操作可能な状態との間で動作を切り替える。

遠隔操作装置３００が、通信インタフェース３５０を介して、複数のＵＡＶ１００と同時に通信できる場合には、通信切替部３１６が、ＵＡＶ１００との通信リンクを適宜切り替えなくてもよい。すなわち、送受信部３１２は、複数のＵＡＶ１００との間に複数の通信リンクを形成して、複数のＵＡＶ１００と並行して通信してもよい。

図５は、撮像シーケンスの一例を示す図である。図５中の第１ＵＡＶは、撮像役のＵＡＶ１００であり、第２ＵＡＶは、待機中のＵＡＶ１００である。

遠隔操作装置３００が、第１ＵＡＶに移動制御命令を送信する（Ｓ１００）。第１ＵＡＶが所望の位置に移動すると、遠隔操作装置３００は、撮像制御命令を第１ＵＡＶに送信する（Ｓ１０２）。第１ＵＡＶは、撮像制御命令に従って、第１ＵＡＶに搭載された撮像装置２２０の画角、焦点距離、撮像方向を設定する。第１ＵＡＶは、撮像装置２２０により撮像された動画を画像データとして遠隔操作装置３００に送信する（Ｓ１０４）。第１ＵＡＶは、画像データを遠隔操作装置３００以外の画像データ収集装置に画像データを送信してもよい。

第１ＵＡＶによる撮像動作が継続中に、第１ＵＡＶの状態が予め定められた条件を満たした場合、第１ＵＡＶは、出動要請通知を遠隔操作装置３００に送信する（Ｓ１０６）。例えば、第１ＵＡＶのバッテリの残容量が予め定められた量より少ない場合、又は第１ＵＡＶ又は第１ＵＡＶの撮像装置２２０の不具合が検出された場合、第１ＵＡＶは、出動要請通知を遠隔操作装置３００に送信する。第１ＵＡＶは、さらに、第１ＵＡＶの位置を示す位置情報を遠隔操作装置３００に送信する（Ｓ１０８）。第１ＵＡＶは、出動要請通知と位置情報とを合わせて遠隔操作装置３００に送信してもよい。

遠隔操作装置３００は、第１ＵＡＶから受信した出動要請通知を第２ＵＡＶに送信する（Ｓ１１０）。遠隔操作装置３００は、第２ＵＡＶから受信した位置情報も第２ＵＡＶに送信する（Ｓ１１２）。遠隔操作装置３００は、出動要請通知及び位置情報を合わせて第２ＵＡＶに送信してもよい。遠隔操作装置３００は、第２ＵＡＶと通信している間、第１ＵＡＶとの通信を一時的に切断してもよい。遠隔操作装置３００は、第１ＵＡＶとの通信を切断している間、第１ＵＡＶの遠隔操作が一時的に行えないことを示すメッセージを表示部３３０に表示して、ユーザに通知してもよい。遠隔操作装置３００は、第２ＵＡＶと通信する場合、第１ＵＡＶを遠隔操作可能な状態から、第２ＵＡＶを遠隔操作可能な状態に一時的に通信リンクを切り替えてよい。

第２ＵＡＶは、出動要請通知及び位置情報を受信すると、位置情報が示す位置を目標位置として移動する。第２ＵＡＶは、目標位置に移動すると、移動完了通知を遠隔操作装置３００に送信する（Ｓ１１４）。遠隔操作装置３００は、第２ＵＡＶから受信した移動完了通知を第１ＵＡＶに送信する（Ｓ１１６）。

第１ＵＡＶは、移動完了通知を受信すると、第１ＵＡＶの撮像装置２２０の現在の設定を示す設定情報を遠隔操作装置３００に送信する（Ｓ１１８）。第１ＵＡＶは、第１ＵＡＶの撮像装置２２０が撮像している撮像範囲及び第１ＵＡＶの位置を、より正確に第２ＵＡＶに伝えるために、詳細位置情報を遠隔操作装置３００に送信する（Ｓ１２０）。詳細位置情報は、例えば、第１ＵＡＶの位置をより詳細に特定するために、第１ＵＡＶが備える各種センサ等から取集された情報に基づいて生成された情報である。詳細位置情報は、第１ＵＡＶの撮像装置２３０から得られる画像データに基づく情報でよい。詳細位置情報は、第１ＵＡＶの複数の撮像装置２３０から得られる画像データに基づいて生成された３次元空間データを含んでよい。詳細位置情報は、第１ＵＡＶの複数の撮像装置２３０からの複数の画像データに基づいて生成された３次元空間データ上での第１ＵＡＶの位置を示す情報を含んでよい。詳細位置情報は、第１ＵＡＶの複数の撮像装置２３０により撮像された複数の画像データと、当該複数の画像データから算出された第１ＵＡＶから第１ＵＡＶの周囲に存在する各オブジェクトまでの距離を示す情報とを含んでよい。

遠隔操作装置３００は、設定情報を第２ＵＡＶに送信する（Ｓ１２２）。遠隔操作装置３００は、さらに詳細位置情報を第２ＵＡＶに送信する（Ｓ１２４）。第２ＵＡＶは、設定情報に基づいて撮像装置２２０の画角、焦点距離、及び撮像方向を設定する。第２ＵＡＶは、さらに詳細位置情報を参照して、第２ＵＡＶの位置を調整する。例えば、第２ＵＡＶの移動制御部１１８は、第１ＵＡＶから提供された３次元空間データ上における第１ＵＡＶの位置を示す情報に基づいて、第２ＵＡＶで生成されている３次元空間データ上に第１ＵＡＶの位置をマッピングする。第２ＵＡＶの移動制御部１１８は、第２ＵＡＶで生成されている３次元空間データ上における第２ＵＡＶの位置をマッピングする。第２ＵＡＶの移動制御部１１８は、第２ＵＡＶで生成されている３次元空間データ上における第１ＵＡＶの位置及び第２ＵＡＶの位置に基づいて、第２ＵＡＶが第１ＵＡＶにより接近するように、第２ＵＡＶの位置を調整してよい。第２ＵＡＶは、第１ＵＡＶとの衝突を回避すべく、第１ＵＡＶと予め定められた距離以上離間するように飛行してよい。この場合には、第２ＵＡＶの移動制御部１１８は、第１ＵＡＶとの距離が予め定められた距離になるまで接近するように、第２ＵＡＶの位置を調整してよい。

第２ＵＡＶの移動制御部１１８は、第１ＵＡＶの複数の撮像装置２３０からの複数の画像データと、当該複数の画像データから算出された第１ＵＡＶから第１ＵＡＶの周囲に存在する各オブジェクトまでの距離を示す情報とに基づいて、第２ＵＡＶの位置を調整してよい。第２ＵＡＶの移動制御部１１８は、第２ＵＡＶの複数の撮像装置２３０からの複数の画像データから、詳細位置情報に含まれる各オブジェクトに対応する各オブジェクトを特定する。第２ＵＡＶの移動制御部１１８は、特定された各オブジェクトまでの距離を、第２ＵＡＶの複数の撮像装置２３０からの複数の画像データに基づいて算出する。第２ＵＡＶの移動制御部１１８は、詳細位置情報に含まれる各オブジェクトまでの距離と、第２ＵＡＶの複数の撮像装置２３０からの複数の画像データに基づいて算出された各オブジェクトまでの距離とに基づいて、第２ＵＡＶが第１ＵＡＶにより接近するように、第２ＵＡＶの位置を調整してよい。

第２ＵＡＶは、撮像装置２２０の撮像範囲の調整が完了すると、撮像装置２２０による撮像を開始する。第２ＵＡＶは、撮像装置２２０により撮像された動画である画像データを遠隔操作装置３００へ送信し始める。第２ＵＡＶは、撮像開始通知を遠隔操作装置３００に送信する（Ｓ１２６）。遠隔操作装置３００は、撮像開始通知を第１ＵＡＶに送信する（Ｓ１２８）。表示部３３０は、撮像開始通知を第２ＵＡＶから受信したことを表示部３３０に表示してよい。遠隔操作装置３００は、撮像開始通知を第１ＵＡＶに送信してよいか否かをユーザに問い合わせ、ユーザから許可を得た場合に、撮像開始通知を第１ＵＡＶに送信してもよい。

第１ＵＡＶは、撮像開始通知を受けると、第１ＵＡＶの撮像装置２２０による撮像動作を終了せて、第１ＵＡＶの移動制御部１１８は、第１ＵＡＶを第２ＵＡＶから離れる方向に移動させる。第１ＵＡＶの移動制御部１１８は、第１ＵＡＶをステーション４００に帰還させるように、第１ＵＡＶの移動を制御してよい。

第１ＵＡＶに撮像開始通知が送信された後、第２ＵＡＶと遠隔操作装置３００との間に通信リンクが形成され、遠隔操作装置３００が第２ＵＡＶと遠隔操作可能な状態になる。遠隔操作装置３００は、第２ＵＡＶに対して移動制御命令を送信して、第２ＵＡＶの位置を調整してよい（Ｓ１３０）。遠隔操作装置３００は、第２ＵＡＶに対して撮像制御命令を送信して、第２ＵＡＶの撮像装置２２０の撮像範囲を調整する（Ｓ１３２）。第２ＵＡＶは、遠隔操作装置３００との通信リンクが形成された後、第２ＵＡＶの撮像装置２２０により撮像された動画を画像データとして遠隔操作装置３００に送信する（Ｓ１３４）。

以上の通り、撮像システム１０によれば、撮像装置２２０を搭載する複数のＵＡＶ１００が連係して、所望の撮像範囲を撮像できる。例えば、撮像中のＵＡＶ１００のバッテリ１４０の残容量が少なくなってきた場合、代わりのＵＡＶ１００が自動的に撮像中のＵＡＶ１００の近くまで移動する。代わりのＵＡＶ１００は、撮像中のＵＡＶ１００の設定情報に基づいて自動的に撮像装置２２０の撮像範囲を設定して、撮像を開始する。代わりのＵＡＶ１００が撮像を開始すると、遠隔操作装置３００による遠隔操作の対象が、撮像中のＵＡＶ１００から代わりのＵＡＶ１００に自動的に切り替わる。したがって、ユーザは、ＵＡＶ１００の切り替えを意識することなく、遠隔操作装置３００を操作し続けることができる。ユーザは、ＵＡＶ１００の切り替えを意識することなく、所望の撮像範囲の撮影を継続できる。ユーザは、ＵＡＶ１００のバッテリ１４０の残容量を意識することなく、所望の撮像範囲の撮影を継続できる。

上記の実施形態に示される複数の段階の少なくとも１つの段階は、ハードウェア、又は関連するハードウェアに命令するプログラムによって実装されてよい。プログラムは、コンピュータ可読記録媒体に格納されてよい。記録媒体は、ＲＯＭ、磁気ディスク、及び光ディスクの少なくとも１つを含んでよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現できる。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０撮像システム
１００ＵＡＶ
１０２ＵＡＶ本体
１１０ＵＡＶ制御部
１１２出動要請通知送信部
１１４出動要請通知受信部
１１６位置情報受信部
１１８移動制御部
１２０位置情報送信部
１２２設定情報送信部
１２４設定情報受信部
１２６撮像設定部
１２８撮像開始通知受信部
１３０撮像制御部
１３２撮像開始通知送信部
１４０バッテリ
１５０通信インタフェース
１６０メモリ
２００ジンバル
２１０回転翼機構
２２０撮像装置
２３０撮像装置
２４０ＧＰＳ受信機
２６０磁気コンパス
２７０気圧高度計
３００遠隔操作装置
３１０遠隔操作制御部
３１２送受信部
３１４命令生成部
３１６通信切替部
３３０表示部
３４０操作部
３５０通信インタフェース
３６０メモリ
４００ステーション

Claims

第１撮像装置が搭載された第１移動体と、
第２撮像装置が搭載された第２移動体と
を備え、
前記第１移動体は、
前記第１移動体の位置を示す位置情報を送信する第１送信部と、
前記第１撮像装置の設定を示す設定情報を送信する第２送信部と
を有し、
前記第２移動体は、
前記位置情報を受信する第１受信部と、
前記位置情報が示す位置に対して、前記第２移動体の移動を制御する第１制御部と、
前記設定情報を受信する第２受信部と、
前記設定情報に基づいて前記第２撮像装置を設定する設定部と、
前記位置情報が示す位置に対して、前記第１制御部が前記第２移動体を移動させ、前記設定情報が示す設定で前記第２撮像装置が撮像を開始した場合に、撮像開始通知を送信する第３送信部と、
前記第２撮像装置を制御する第４制御部と
を有し、
前記第１移動体は、
前記撮像開始通知を受信する第３受信部と、
前記第１撮像装置を制御する第３制御部と
をさらに有し、
前記第１撮像装置及び前記第２撮像装置は、動画を記録しており、
前記第３制御部は、前記第３受信部が前記撮像開始通知を受信した時刻を、前記第１撮像装置によって記録された前記動画に関連付けて記録し、
前記第４制御部は、前記設定情報が示す設定で前記第２撮像装置によって前記動画の記録が開始された時刻、又は前記第３送信部が前記撮像開始通知を送信した時刻を、前記第２撮像装置によって記録された前記動画に関連づけて記録する、撮像システム。
前記第１移動体は、
前記第１移動体の移動を制御する第２制御部
をさらに有し、
前記位置情報が示す位置に対して、前記第１制御部が前記第２移動体を移動させ、前記設定情報が示す設定で前記第２撮像装置が撮像を開始したことに対応して前記第２移動体から送信された撮像開始通知を前記第１移動体が受信すると、
前記第２制御部は、前記第１移動体を前記第１移動体が待機する場所を提供するステーションに移動させる、請求項１に記載の撮像システム。
前記第１移動体は、
前記第１撮像装置を制御する第３制御部
をさらに有し、
前記位置情報が示す位置に対して、前記第１制御部が前記第２移動体を移動させ、前記設定情報が示す設定で前記第２撮像装置が撮像を開始したことに対応して前記第２移動体から送信された撮像開始通知を前記第１移動体が受信すると、
前記第３制御部は、前記第１撮像装置による撮像動作を終了させる、請求項１又は２に記載の撮像システム。
前記第１移動体は、
前記第１撮像装置を制御する第３制御部
をさらに有し、
前記第３制御部は、前記第３受信部が前記撮像開始通知を受信した場合に、前記第１撮像装置による撮像動作を終了させる、請求項１から３のいずれか一項に記載の撮像システム。
前記位置情報が示す位置に対して、前記第１制御部が前記第２移動体を移動させたことに対応して前記第２移動体から送信された移動完了通知を前記第１移動体が受信すると、
前記第２送信部は、前記設定情報を送信し、
前記第２受信部は、前記設定情報を受信する、請求項１から４のいずれか一項に記載の撮像システム。
前記設定情報は、前記第１撮像装置の光学条件及び撮像方向の少なくとも一方を含む、請求項１から５のいずれか一項に記載の撮像システム。
前記第１移動体は、
予め定められた条件が満たされた場合に、前記第２移動体の出動を要請する出動要請通知を送信する第４送信部
をさらに有し、
前記第２移動体は、
前記出動要請通知を受信する第４受信部
をさらに有し、
前記第１制御部は、前記第４受信部が前記出動要請通知を受信した場合に、前記位置情報が示す位置に対して、前記第２移動体の移動を制御する、請求項１から６のいずれか一項に記載の撮像システム。
前記第４送信部は、前記第１移動体に搭載されたバッテリの残容量が予め定められた量より少ない場合又は前記第１移動体又は前記第１撮像装置の不具合が検出された場合に、前記出動要請通知を送信する、請求項７に記載の撮像システム。
前記第１移動体及び前記第１撮像装置、並びに前記第２移動体及び前記第２撮像装置を遠隔操作する遠隔操作装置
をさらに備え、
前記遠隔操作装置は、前記位置情報を前記第１移動体から受信して前記第２移動体に送信する送受信部を有する、請求項１から８のいずれか一項に記載の撮像システム。
前記送受信部は、前記設定情報を前記第１移動体から受信して前記第２移動体に送信する、請求項９に記載の撮像システム。
前記遠隔操作装置は、前記第１撮像装置及び前記第１移動体を遠隔操作可能な状態と、前記第２撮像装置及び前記第２移動体を遠隔操作可能な状態との間で切り替えられる、請求項９又は１０に記載の撮像システム。
第１撮像装置が搭載された第１移動体と、
第２撮像装置が搭載された第２移動体と、
前記第１移動体及び前記第１撮像装置、並びに前記第２移動体及び前記第２撮像装置を遠隔操作する遠隔操作装置と
を備え、
前記第１移動体は、
前記第１移動体の位置を示す位置情報を送信する第１送信部と、
前記第１撮像装置の設定を示す設定情報を送信する第２送信部と
を有し、
前記第２移動体は、
前記位置情報を受信する第１受信部と、
前記位置情報が示す位置に対して、前記第２移動体の移動を制御する第１制御部と、
前記設定情報を受信する第２受信部と、
前記設定情報に基づいて前記第２撮像装置を設定する設定部と
を有し、
前記遠隔操作装置は、前記位置情報を前記第１移動体から受信して前記第２移動体に送信する送受信部を有し、
前記遠隔操作装置は、前記第１撮像装置及び前記第１移動体を遠隔操作可能な状態と、前記第２撮像装置及び前記第２移動体を遠隔操作可能な状態との間で切り替えられる、撮像システム。
前記遠隔操作装置は、前記設定情報が示す設定で前記第２撮像装置によって撮像が開始される前において、前記第１移動体及び前記第１撮像装置を遠隔操作可能な状態にあり、前記設定情報が示す設定で前記第２撮像装置によって撮像が開始された後において、前記第２移動体及び前記第２撮像装置を遠隔操作可能な状態にある、請求項１１又は１２に記載の撮像システム。