以下、図面を参照して本発明の実施の形態について詳細に説明する。
(第1の実施の形態)
図1は本発明の第1の実施の形態に係る移動撮影装置を示すブロック図である。
本実施の形態における移動撮影装置10は、移動体10aと移動体10aに搭載される撮像部10bとによって構成される。移動体10aは、例えば、ドローン等の無人航空機であってもよく、ラジコン走行車やラジコン船舶等であってもよく、遠隔操縦又は自立式の無人の移動物体である。本実施の形態においては、撮像部10bの重心移動や形状変化は、移動体10aの移動や姿勢に影響を与える。そこで、移動体10aの鉛直方向に対する姿勢の情報に基づいて、移動体に搭載される撮像部の状態変化を制御することにより、移動体の安定性を向上させることを可能にする。更に、移動体の安定性を確保しながら撮像部の重心移動や形状変化を許可するように制御することで、確実な撮影を可能にする。
ドローン等の移動体10aの重心位置、撮像部10b全体の重心位置、撮像部10bの重量及び撮像部10bの移動体10aへの取付位置に応じて、移動体10aにはモーメントが発生する。しかし、移動体10aの重心位置と撮像部10b全体の重心位置とを結ぶ線分が鉛直方向であり、ズーム時等における撮像部10bの状態変化による重心の変化が鉛直方向にしか変化しなければ、撮像部10bの状態変化が生じても移動体10aに作用するモーメントは0のまま変化しない。
即ち、移動体10aが鉛直方向に対してある姿勢(以下、状態変更許可姿勢という)の場合に、移動体10aの重心位置と撮像部10b全体の重心位置とを結ぶ線分が鉛直方向で且つズーム操作等の撮像部10bの状態変化による重心の変化が鉛直方向にしか変化しないように移動体10aに撮像部10bを搭載した場合において、移動体10aが状態変更許可姿勢を維持すれば、ズーム操作等を行ってもそれによるモーメントは0のままである。例えば、移動体10aが飛行体である場合には、移動体10aの左右軸回りの角度であるピッチング角及び前後軸回りの角度であるバンク角がいずれも0度の場合の飛行姿勢を状態変更許可姿勢に設定してもよい。
本実施の形態は、移動体10aの姿勢が状態変更許可姿勢であるか否かに基づいて、撮像部10bの重心移動を伴う状態変化を許可するか否かを決定するものである。
なお、以下も、ズームレンズを用いた望遠撮影などを想定して光学系を構成するレンズ群が移動する重心移動を想定した記述をするが、ピント位置調整などでも同様の事が起こるので、それを対策する技術でもあることは言うまでもない。それ以外にも、光学フィルタや防塵・防滴機構の制御に伴う重心移動や、ストロボや照明光の照射に伴う機構変化に伴う重心移動についても、本発明で対策が可能となることは言うまでもない。
図2はこのような移動撮影装置10の撮影制御の概要を示すフローチャートである。移動撮影装置10は、ステップS1において、撮影目標が指定される。例えば、ユーザ操作に基づいて、撮影目標となる経度緯度情報等が移動撮影装置10に指示される。移動撮影装置10は、指定された撮影目標の位置まで移動するための制御を行う。これにより、移動体10aは移動を開始する(ステップS2)。移動体10aが撮影目標の位置に到達すると、移動撮影装置10は姿勢が状態変更許可姿勢になっているか否かを判定する(ステップS3)。
移動撮影装置10は状態変更許可姿勢になっていない場合には、撮像部10bの状態変更を許可しない(ステップS4)。これにより、移動体10aが状態変更許可姿勢になっていない場合、例えば、ドローン等の飛行体においてピッチング角及びバンク角のいずれか一方が略0度になっていない場合には、撮像部10bはズームやフォーカス制御を行わない。従って、撮像部10bの状態変化によって、移動体10aにモーメントが作用して移動体10aの動きが不安定になることはない。
ここで、移動体10aの姿勢制御の結果、移動体10aの姿勢が状態変更許可姿勢になるものとする。そうすると、移動撮影装置10は、撮像部10bに対して状態変更を許可する(ステップS5)。例えば、移動体10aのピッチング角及びバンク角がいずれも略0度になった場合には、撮像部10bのズーム制御及びフォーカス制御が許可される。このような撮影制御によって、撮像部10bの状態が変化して重心位置が変化する。もし、この場合の重心変化が、移動体10aの重心位置に対して鉛直方向への変化である場合には、撮像部10bの重心変化によっては移動体10aにモーメントは作用しない。従って、移動体10aが不安定になることはない。また、移動体10aの姿勢の安定は維持されるので、撮像部10bによる撮影範囲も安定し、所望の撮影目標を正確に捉えて確実な合焦状態での撮影が可能となる。
図1において、移動撮影装置10は制御部11を有している。制御部11は、図示しないCPU等のプロセッサにより構成されていてもよく、図示しないメモリに記憶されたプログラムに従って各機能を実現するものであってもよい。移動体10aには推進部14が設けられている。推進部14は移動体10aを移動させるための推進力を発生する。なお、移動体10aが空中を移動するドローンの場合には、ホバリング時にも推進力を発生させる必要がある一方、移動体10aが飛行機等である場合には滑空時において推進力が不要な場合もある。
移動体10aがドローンの場合には、例えば、図示しないアームの端部に複数の推進部14が設けられ、アームの中央上部に制御部11が設けられる。各推進部14は、例えばモータと各モータにより回転駆動されるプロペラとにより構成される。なお、この場合には、移動体10aを所定の姿勢及び速度で移動可能なように、各推進部14を構成する各モータは相互に独立して制御される。アーム中央下部には、取付部材が取り付けられて、例えば、撮像部10bが配置されるようになっている。
制御部11には推進制御部13aが設けられており、推進制御部13aは複数の推進部14の推進力を独立して制御可能である。制御部11には方向制御部13b及び姿勢制御部13cが設けられている。方向制御部13b及び姿勢制御部13cはそれぞれ移動体10aの移動方向又は移動体10aの姿勢を制御するための制御信号を推進制御部13aに出力する。
移動判定部13dは、移動体10aの移動方向を判定して判定結果を方向制御部13bに出力する。また、姿勢判定部13eは、移動体10aの姿勢を判定して判定結果を姿勢制御部13cに出力する。移動体10aの移動方向を指定された方向に制御するために、方向制御部13bは、移動判定結果が指定された移動方向に一致するように、推進制御部13aを制御する。また、姿勢制御部13cは、姿勢判定結果が指定された姿勢に一致するように、推進制御部13aを制御する。
移動体10aの移動方向及び姿勢を判定するために、制御部11には各種センサ情報が与えられる。図1の例では、移動体10aには空間情報取得部16a、位置・方位判定部16b、高度・姿勢判定部16cが設けられている。空間情報取得部16aは、例えばレーダーやカメラ等によって構成することができ、対地速度等の空間情報を取得する。位置・方位判定部16bは、例えば、GPS(Global Positioning System )受信機によって構成することができ、移動体10aの位置及び方向情報を取得する。また、高度・姿勢判定部16cは、例えば、気圧センサ、加速度センサやジャイロスコープ等によって構成することができ、移動体10aの高度及び姿勢を判定する。これらの判定部16a〜16cの判定結果が移動判定部13d及び姿勢判定部13eに与えられ、移動判定部13d及び姿勢判定部13eはこれらの判定結果に基づいて移動体10aの移動方向及び姿勢を判定するようになっている。
なお、移動体10aには風速検出部15が設けられている。風速検出部15は移動体10aとの相対的な風速を検出して制御部11に出力する。制御部11は、方向判定及び姿勢判定に風速の検出結果を利用することができると共に、推進制御にも風速の検出結果を利用することができるようになっている。これはプロペラなどを有して、その回転を検出しても良いし、ピエゾ素子や圧力センサなどを流用しても良い。風力検出と書き直しても良い。
また、移動体10aには内蔵カメラ18が設けられていてもよい。内蔵カメラ18は、移動撮影装置10の周囲の所定方向を撮像して撮像画像を得ることができるようになっている。特に、内蔵カメラ18は、移動撮影装置10の移動時における周囲の観察を容易に行うことができるように、比較的広角の撮影が可能に構成される。例えば、内蔵カメラ18は、移動体10aがドローン等の飛行機である場合には、移動体10aが水平に飛行している状態で、移動方向の前方及び下方を撮影範囲として撮影可能であることが望ましい。
図1において、撮像部10bには、CCDやCMOSセンサ等によって構成された図示しない撮像素子が設けられており、光学系21によって被写体光学像が撮像素子の撮像面に導かれるようになっている。光学系11a内には、図示しないフォーカスレンズ、ズームレンズ及び絞り等を駆動する機構部が構成されており、駆動部22はこれらの機構部を駆動制御するようになっている。制御部11の撮影制御部12aは、駆動部22を制御して、光学系11a内に構成されたフォーカスレンズ、ズームレンズ及び絞りを駆動制御するようになっている。撮像素子は被写体光学像を光電変換して撮像画像を得る。
なお、図1では撮像部10b内に光学系11aが設けられる例を示したが、光学系として、撮像部10bの筐体に着脱自在に取り付けられる交換レンズを採用して、交換レンズからの被写体光学像を撮像素子の撮像面に結像する構成としてもよい。
図3は光学系11a中の各レンズの構成の一例を示すレンズ断面図である。図3の上段は無限遠物点合焦時の広角端の状態Aを示し、中段は中間状態Bを示し、下段は望遠端の状態Cを示している。
図3の例では、光学系は、物体側から順に、正の屈折力の第1レンズ群G1と、負の屈折力の第2レンズ群G2と、明るさ絞りSと、正の屈折力の第3レンズ群G3と、負の屈折力の第4レンズ群G4と、正の屈折力の第5レンズ群G5とを有している。図3では、赤外光を制限する波長域制限コートを施したローパスフィルタを構成する平行平板はF、電子撮像素子のカバーガラスの平行平板はC、像面はIで示してある。なお、カバーガラスCの表面に波長域制限用の多層膜を施してもよい。また、そのカバーガラスCにローパスフィルタ作用を持たせるようにしてもよい。
このようなレンズ構成では、広角端から望遠端にかけての変倍時、第1レンズ群G1は物体側へ移動する。第2レンズ群G2は像側に移動する。第3レンズ群G3は物体側へ移動する。第4レンズ群G4は物体側に移動する。第5レンズ群G5は物体側に移動した後、像側に移動する。よって、レンズ群の間隔は、第1レンズ群G1と第2レンズ群G2との間隔が増加し、第2レンズ群G2と第3レンズ群G3との間隔が減少し、第3レンズ群G3と第4レンズ群G4との間隔が変化し、第4レンズ群G4と第5レンズ群G5との間隔が増加する。また、明るさ絞りSは第3レンズ群G3と一体で移動する。
またピント調節を行うためのフォーカシングは第5レンズ群、もしくは第4レンズ群が望ましい。この群でフォーカシングを行うとレンズ重量が軽量なためモータにかかる負荷が少ない。他レンズ群でフォーカシングを行っても良い。また複数のレンズ群を移動してフォーカシングを行っても良い。またレンズ系全体を繰り出してフォーカスを行っても良いし、一部のレンズを繰り出し、もしくは繰り込みしてフォーカスしても良い。
図1において、撮影指定部17は、撮像部10bの撮影に関する各種の指示を発生することができるようになっている。例えば、撮影指定部17は、ユーザ操作や予めプログラムされた情報に基づいて、指定された位置において指定された方向及び画角で撮影を行うように制御部11に指示を与えることができる。制御部11内の撮影制御部12aは、撮影指定部17による撮影指示に従って、撮像部10bの撮影を制御するようになっている。例えば、撮影制御部12aは、撮影指定部17の指示に従って、フォーカス信号及びズーム信号を発生して駆動部22に与えて、光学系11aの各レンズを駆動することができる。
撮影制御部12aによるピント制御及びズーム制御によって、光学系11aの各レンズが駆動されてフォーカシング及びズーミングが行われる。ピント・画角情報取得部12bは、撮像部10bからピント位置及びズーム位置に関する情報及び撮影画角に関する情報を取得してピント・画角制御部12cに出力する。ピント・画角制御部12cは、撮影制御部12aに制御されて駆動部22を駆動して、光学系11aのフォーカシング及びズーミングを制御する。
例えば図3に示すように、光学系11aは光軸方向に配置された複数のレンズ群によって構成されている。この光学系11aは、撮像部10bの筐体の前面に取り付けられた図示しないレンズ鏡筒内に配置される。なお、交換レンズはこのレンズ鏡筒を含む。広角端側から望遠端までのズーム時には、図3に示すように、レンズ群の先端から後端までの距離が変化し、各レンズ群の光軸上の配置位置が変化する。なお、レンズ鏡筒自体がズーミングに合わせて伸縮することもある。このようなレンズ群やレンズ鏡筒の移動や伸縮等によって、撮像部10b全体の重心位置が変化する。
しかし、移動体10aの重心位置と撮像部10b全体の重心位置とを結ぶ線分が鉛直方向で且つズーム操作等の撮像部10bの状態変化による重心の変化が鉛直方向にしか変化しないように移動体10aに撮像部10bを搭載した場合において、移動体10aが状態変更許可姿勢を維持すれば、ズーム操作等を行ってもそれによるモーメントは0のままである。
制御部11の許可判定部13fは、姿勢判定部13eから移動体10aの姿勢に関する情報が与えられており、移動体10aの姿勢が状態変更許可姿勢に一致又は略一致した場合に、撮影制御部12aに対してズーム等の状態変化が伴う撮影制御を許可する許可信号を撮影制御部12aに与えるようになっている。なお、許可判定部13fは、姿勢の安定性が確保できる場合、例えば、移動体10aの姿勢が状態変更許可姿勢に所定時間以上一致又は略一致した場合に、撮影許可信号を発生するようになっていてもよい。撮影制御部12aは、撮影許可信号が入力された場合にのみ、重心移動を伴う状態変化を起こすフォーカシングやズーム等の撮影制御を行うようになっている。
なお、制御部11は、撮像部10bからの撮像画像が与えられ、所定の画像信号処理、例えば、色調整処理、マトリックス変換処理、ノイズ除去処理、その他各種の信号処理を施した後、図示しない記録部に与えて記録することができる。なお、制御部11は、信号処理後の撮像画像を、図示しない通信部を介して図示しない撮影遠隔制御装置等に転送可能に構成されていてもよい。
次に、このように構成された実施の形態の動作について図4乃至図11Bを参照して説明する。図4は移動及び撮影制御を示すフローチャートである。図5A及び図5Bは移動体10aとしてドローン70を採用した場合における移動撮影装置10の外観の一例を示す説明図である。図4は図1の移動体10aとして図5A及び図5Bに示すドローン70を採用した場合の例を示している。また、移動撮影装置10は操縦装置83(図6A〜図6c参照)を用いて遠隔制御されるものとして説明する。
移動体10aであるドローン70は取付け部材75を備えており、取付け部材75に撮像部10bが取り付けられるようになっている。撮像部10bは、取付け部材75を介して移動体10aであるドローン70に取り付けられ、ケーブル76を介して、ドローン70に内蔵された制御部11との間で情報の授受を行うようになっている。ドローン70は、図1の推進部14に対応する4つの推進部71〜74を有しており、推進部71〜74によって、所望の姿勢を維持するようになっている。
図5A及び図5Bの例では、撮像部10bは、ズームミングに応じて伸縮する鏡筒21aを有している。撮像部10bは例えば、ドローン70の重心位置の鉛直下方に光軸が配置され、ドローン70がピッチング角及びバンク角がいずれも0度の場合の飛行姿勢において、鏡筒21aは図5Aの収縮状態と図5Bの伸張状態との間で鉛直方向に伸縮するようになっている。
このように、鉛直方向への伸縮と重心移動であれば、例えば、重力に逆らう天頂方向への浮遊力を維持しようとしている飛行移動体は、バランスを崩すことがない。しかし、飛行移動体が浮遊している場合はこの事が言えるが、水平方向成分変化を伴う移動時にはバランスを崩す事がありえ、また、伸縮によって風の影響を受けやすくなることから、風があるときには伸縮や重心移動はない方が安全である。したがって、こうした飛行移動体については、撮影機器が勝手な重心移動をしない方が安全なので、異なる撮影状態で重心移動を伴う撮像部を有する場合でも、次のような制御をする撮影機器であることが好ましい。つまり、上記移動体の姿勢が所定の状態変更許可姿勢になったか否かの判定結果に基づいて、制御部が、重心変化を伴う上記撮影状態の変更を制御するようにして欲しい。
図6Aは移動撮影装置10を操縦装置83によって遠隔操作する様子を示す説明図である。図6Aに示すように、ユーザ81は左手82Lで操縦装置83を把持し、右手の指82Rによって操縦装置83を操作する。操縦装置83は、例えば、図示しないタッチパネルを備えており、タッチパネル上を指82Rによって操作することによって、移動撮影装置10を遠隔操作することができるようになっている。
移動撮影装置10の制御部11は、ステップS31において、高度計、レーダー、内蔵カメラ、GPS等を用いて、現在の状態判定を行う。制御部11は、ステップS32において移動撮影装置10に対する操縦装置83からのアクセスの待機状態となる。次に、制御部11はステップS31において取得した状態情報を操縦装置83に送信する(ステップS33)。次に、制御部11は、ステップS34において内蔵カメラ18によって取得した画像を操縦装置83に送信する。
図6B及び図6Cは図6Aに示す操縦装置83の操作画面83aの一例を示す説明図である。図6B及び図6Cに示すように、操縦装置83の表面には操作画面83aが設けられている。操作画面83a上には図示しないタッチパネルが配設されており、ユーザは操作画面83a上をタッチしたりスライドさせたりすることによって、移動撮影装置10を遠隔操作することができるようになっている。また、操作画面83a上には、図6B及び図6Cに示すように、内蔵カメラ18によって撮像されて得られた画像85を表示する表示領域及び撮像部10bによって撮像されて得られた画像86a,86bを表示する表示領域も設けられている。また、操作画面83a上には、撮像部10bをズーム制御するための操作ボタン87a,87bも設けられている。操作ボタン87aをタッチ操作することで、撮像部10bをズームアップさせることができ、操作ボタン87bをタッチ操作することで、撮像部10bをズームダウンさせることができる。本実施の形態においては、操作画面83a上には、「ズーム操作OK」の表示88が表示されており、この表示88は、移動体10aが状態変更許可姿勢になっており、安定した状態でのズーム制御、フォーカス制御が可能であることを示すものである。この表示88が表示されている期間にのみ、操縦装置83によるズーム操作に基づく制御が行われるようになっている。
制御部11は、ステップS35において、航行プログラムが存在するか又は移動操縦信号を受信しているか否かを判定する。制御部11は、航行プログラムが存在せず移動操縦信号も受信していない場合には、ステップS36において飛行停止可の判定を行う。制御部11は、地上に着陸している場合等においては、飛行停止可であると判断して駆動を停止する。制御部11は、飛行停止可であると判定しなかった場合には、ステップS37において帰還(リターン)した方が良いか否かを判定する。制御部11は、帰還した方がよいと判定した場合には、帰還制御を行い(ステップS38)、そうでない場合にはホバリング制御を行う(ステップS39)。
制御部11は、航行プログラムがあるか又は移動操縦信号を受信している場合には、ステップS40において移動障害があるか否かを判定する。制御部11は、移動障害がある場合には処理をステップS37に移行し、移動障害がない場合には、航行プログラム又は移動操縦信号に応じて移動を行う(ステップS41)。なお、操縦装置83は、ステップS33において送信された状態情報において飛行状態の確認を行うことができるようになっている。制御部11は、ステップS42において目標位置に到達したか否かを判定する。目標位置に到達していない場合には、処理をステップS31に戻して、ステップS31〜S42を繰り返す。
図7乃至図9、図10A及び図10Bは移動撮影装置10が目標位置に移動するための制御を説明するための説明図である。
図7においては、移動体10aであるドローン70が目標位置Ptに対して離れた位置P1から、位置P2を通過して目標位置Ptに到達する例を示している。本実施の形態においては、撮像部10bのズーム制御は、例えば鉛直方向に対してズームアップ又はズームダウンを行うものである。従って、ドローン70を目標位置Ptの真上に位置させた状態で撮影を行うことが好ましい。例えば、目標位置Ptに位置する樹木71を移動撮影装置10によって撮影するものとする。
この場合において、樹木71の位置(目標位置Pt)が既知であれば、目標位置Ptを設定することでGPS等の機能を利用して目標位置Ptにドローン70を移動させることができる。図7の例は、樹木71の位置が既知でない場合における目標位置Ptへの移動方法を示している。いま、ドローン70が位置P1の真上に位置し、ピッチング角及びバンク角がいずれも0度の飛行姿勢で停止しているものとする。移動撮影装置10の制御部11は、高度・姿勢判定部16cの判定結果によって地上高H1を取得する。また、制御部11は内蔵カメラ18の画像解析によって、内蔵カメラ18によって撮像する樹木71の水平方向を基準にした撮影方向、即ち、俯角θ1を求める。この場合には、位置P1から目標位置Ptへの水平距離をX1として、下記(1)式が成立する。なお、下記(1)式は樹木71の高さを考慮して補正した方がよい。
H1/X1=tanθ1
X1=H1/tanθ1 …(1)
制御部11は、GPS機能等を利用して、位置P1から距離X1だけ移動して、目標位置Ptの真上に移動する。なお、位置P1から目標位置Ptまでの移動中の位置P2においては、図7に示すように、ドローン70はピッチング角及びバンク角が0度でないことがある。この場合に、内蔵カメラ18の画像を用いて目標位置Ptへの移動距離を求めるときには、俯角θ1を移動体の姿勢に応じて補正する。
制御部11は、目標位置に到達したものと判断すると、ステップS43において姿勢制御を行う。許可判定部13fは、姿勢判定部13eの判定結果によって、移動体10aの姿勢が状態変更許可姿勢になっているか否かを判定する(ステップS44)。
許可判定部13fは、移動体10aが状態変更許可姿勢になっていない場合には、撮影制御部12aに対して状態変更を許可しない。これにより、移動体10aが状態変更許可姿勢になっていない場合、例えば、ドローン等の飛行体においてピッチング角及びバンク角のいずれか一方が略0度になっていない場合には、撮影制御部12aは、撮像部10bに対してズームやフォーカス制御を行わない。従って、このような撮像部10bの状態変化によって、移動体10aにモーメントが作用して移動体10aの動きが不安定になることはない。この場合には、制御部11は、ステップS46において目標物に更に接近(降下)するように移動制御を行ってもよい。
ここで、姿勢制御部13cによる移動体10aの姿勢制御の結果、移動体10aの姿勢が状態変更許可姿勢になるものとする。許可判定部13fは、姿勢判定部13eの判定結果によって移動体10aが状態変更許可姿勢になったことが示されると、撮影制御部12aに対して状態変更を許可する(ステップS45)。
例えば、移動体10aのピッチング角及びバンク角がいずれも略0度になった場合には、撮影制御部12aに対して撮像部10bのズーム制御及びフォーカス制御が許可される。このような撮影制御によって、撮像部10bの状態が変化して重心位置が変化する。しかし、この場合の重心変化は、移動体10aの重心位置に対して鉛直方向への変化であり、撮像部10bの重心変化によっては移動体10aにモーメントは作用しない。従って、このようなホバリング状態では、強い風がなければ、(光学系を含め)撮像部の鉛直方向の重心変化では、移動体10aが不安定になることはない。また、移動体10aの姿勢の安定は維持されるので、撮像部10bによる撮影範囲も安定し、所望の撮影目標を正確に捉えて確実な合焦状態での撮影が可能となる。つまり、この撮像部は、移動体に取り付け可能で、これと連携して撮影する場合、上記移動体の姿勢が所定の状態変更許可姿勢(ここではホバリング状態)になったか否かの判定結果に基づいて、鉛直方向への重心変化を伴う上記撮影状態の変更を制御する制御部を有する。これは、移動体が許可しても、撮像部の有する制御部がホバリングを判定して許可と判定しても、あるいは、他の制御部がこれを判定しても、システムで保証されていればよい。
いま、ドローン70が目標位置Ptに到達した段階では、撮像部10bは比較的広角側で撮影を行っているものとする。この場合には、操縦装置83の操作画面83aには、例えば図6Bに示す画像85,86aが表示される。画像85は、内蔵カメラ18によって撮像された得られた樹木71の全体の一部の画像を示している。内蔵カメラ18はドローン70の飛行や風景の全体的な観察のために設けられたものであり、十分に広角な撮影が可能である。これに対し、撮像部10bは、特定の領域を高画質で撮影することを目的としたものである。目標位置Ptに到達した段階では撮像部10bは比較的広角側で撮影を行っており、撮像部10bによる画像は、樹木71の一部の数枚の葉っぱを示す画像86aとして操作画面83a上に表示されている。
ここで、ユーザ81が、図6B,図6Cの表示88を確認して、操作ボタン87aを操作することで、望遠側での撮影を行うものとする。そうすると、操縦装置83の操作画面83aには、例えば図6Cに示す画像86bが表示される。画像86aは、樹木71の1枚の葉っぱの画像を示している。こうして、ドローン70の安定性に影響を与えることなく、確実にズームアップした画像を撮影することができる。なお、表示88によるズーム操作OKが表示されていない場合には、ユーザ81が操作ボタン87a,87bを操作したとしても、これらの操作によってはズーム制御は行われることはなく、ドローン70の安定性に影響を与えることはない。
なお、ここでは説明を容易にするために、望遠にすると、鉛直方向である真下が光軸上で拡大される例を示しているが、もちろん、ミラーやプリズムなど屈曲光学系を採用すれば、撮影時の光路を曲げる事が出来、重心移動は鉛直方向ながら、拡大する方向は真下でないような設計も可能となる。なお、このズームアップ等の異なる撮影状態での撮影であるが、移動体の姿勢が所定の状態変更許可姿勢になったか否かの判定結果に基づいてのみならず、風速検出部15の出力結果に従って判断しても良いことは言うまでもない。こうした状況を判定し、あるいは判定した結果を通信で受け取って、鉛直方向とか、あらかじめ把握可能な所定の重心変化を伴う上記撮影状態の変更を制御する制御部を有することが特徴なので、この重心変化がどのようになるかは、撮影状態別にデータを入れておくデータベースなどをメモリ内に用意しておき、参照するなどしてこの内容を利用して判定すれば良い。ここでは、このメモリは特記していないが、撮影制御部12a内(またはそれに接続された形で)に撮影結果を記録する記録部を内蔵するような例を想定している。また、風速や風力も同様にデータベースで管理可能にしておく。つまり、どの撮影状態(撮影態様)なら、どの風力、風速に耐えられるかをデータベースで管理してもよい。また、風速、風力の変化は定常的ではなく、突風もあり得るので、風速、風力の変化をモニタしておき、その傾向から撮影時に起こりうる風の変化を推測するようにしてもよい。天気予報情報などを反映させて判断してもよい。この判断は、移動体が行っても、撮像部が行ってもよく、これらの操作部がインターネットなどと連携してクラウド上の人工知能と協働して行ってもよい。
図7の例は1台のドローンが位置P1から目標位置Ptに移動する例を示した。これに対し、図8は目標位置Ptに移動するドローンと目標位置Ptまでの距離を求めるドローンとが異なる例を示している。ドローン77は、内蔵カメラ18を有している一般的なドローンであり、撮像部10bを備えていない。ドローン77は、上述した方法によって上記(1)式を求めて、撮像部10bが取り付けられた移動体10aであるドローン78に、移動距離X1の情報を与える。なお、ドローン78は内蔵カメラ18が省略されていてもよい。ドローン78は、ドローン77によって取得された移動距離X1の情報に基づいて目標位置Ptまで移動する。他の作用は図7の例と同様である。
また、図9の例は撮像部10bが望遠側での撮影が可能であるだけでなく、十分に広角側での撮影も可能な場合の例を示している。この場合には、撮像部10bが取り付けられた移動体10aであるドローン79は、内蔵カメラ18を省略可能である。撮像部10bは広角側から望遠側までの十分に広い範囲の焦点距離での撮影が可能な、所謂高倍率ズームレンズを備えている。ドローン79が位置P1に位置し、ピッチング角及びバンク角がいずれも略0度である場合であっても、撮像部10bによって目標位置Ptの樹木71の撮影が可能である。
図10Aはこの場合の撮像部10bによる視野範囲91aを示している。視野範囲91a中には、樹木71の一部の画像92aが含まれる。例えば、視野範囲91aについて得られる画像を操縦装置83の操作画面83a上に表示することで、タッチ操作等によって、目標位置Ptを指定することが可能である。例えば、ユーザが操作画面83a上に表示された画像中の図10Aの画像92aに対応する位置をタッチすることで、この画像92aで示す樹木71の位置が目標位置Ptであることを指定することができる。制御部11は、上記(1)式と同様の手法によって、移動距離X1を求める。ドローン79は、取得された移動距離X1の情報に基づいて目標位置Ptまで移動する。他の作用は図7の例と同様である。ドローン79が目標位置Ptに到達した後、ピッチング角及びバンク角がいずれも略0度の状態変更許可姿勢になったことが示された後に、ズーム操作を行うことで、ズーム撮影が行われる。
図10Bはこの場合の撮像部10bによる視野範囲91bを示している。視野範囲91b中には、樹木71の一部の画像92bが含まれる。他の作用は、図7の例と同様である。
このように、本実施の形態においては、移動体の姿勢が所定の状態変更許可姿勢である場合に、撮像部の状態変化による重心移動によって移動体に作用するモーメントが0となるように撮像部を移動体に搭載すると共に、状態変更許可姿勢になったか否かを判定して、撮像部の状態変化を許可するか否かを決定するようになっている。これにより、撮像部の状態変化によって移動体が不安定になることを防止すると共に、撮像部による撮影範囲を安定させ、所望の撮影目標を正確に捉えた確実な合焦状態での撮影を可能にすることができる。
(変形例)
図1の移動撮影装置10は、移動体10aと撮像部10bとを有し、これらの移動体10a及び撮像部10bを制御する制御部11を備えている。また、本実施の形態は、個々に制御部を有して動作する移動体と撮像部(撮影機器)とを採用して、移動体と撮像部との間で通信により情報の授受を行って、図1の移動撮影装置10と同様の撮影制御を行うことも可能である。
図11A及び図11Bはこの場合における撮像部による制御と移動体による制御とをそれぞれ示すフローチャートである。図11Aにおいて、撮像部は、ステップS11において、フォーカス制御やズーム制御等による状態変更による重心位置の変化等の物理量の変化を予測する。撮像部は、ステップS12において、移動体との通信を行って、移動体が状態変更許可姿勢になっているか否かの情報を取得する。撮像部は、ステップS13において、移動体が状態変更許可姿勢になっているか否かを判定する。
撮像部は、移動体が状態変更許可姿勢になっていない場合には、フォーカス制御やズーム制御等の状態変更を許可しない(ステップS14)。これにより、移動体が状態変更許可姿勢になっていない場合、例えば、ドローン等の飛行体においてピッチング角及びバンク角のいずれか一方が略0度になっていない場合には、撮像部はズームやフォーカス制御を行わない。従って、このような撮像部の状態変化によって、移動体にモーメントが作用して移動体の動きが不安定になることはない。
ここで、移動体の姿勢制御の結果、移動体の姿勢が状態変更許可姿勢になるものとする。撮像部は、移動体が状態変更許可姿勢になったことが示されると、ズームやフォーカス制御等の状態変更を許可する(ステップS15)。こうして、撮像部は移動体と連携しながら状態変更を行うことで、移動体に意図しないモーメントがかかることを防止しながら撮影を行う。
一方、移動体においては、図11Bに示すように、ステップS21において、撮影目標が指定される。移動体は、指定された撮影目標の位置まで移動するための制御を行う(ステップS22)。移動体が撮影目標の位置に到達すると、移動体は、姿勢が状態変更許可姿勢になっているか否かを判定する(ステップS23)。
移動体は、移動体が状態変更許可姿勢になっていない場合には、撮像部に対して状態変更を許可しない(ステップS24)。これにより、移動体が状態変更許可姿勢になっていない場合、例えば、ドローン等の飛行体においてピッチング角及びバンク角のいずれか一方が略0度になっていない場合には、撮像部はズームやフォーカス制御を行わない。従って、このような撮像部の状態変化によって、移動体にモーメントが作用して移動体の動きが不安定になることはない。
ここで、移動体の姿勢制御の結果、移動体の姿勢が状態変更許可姿勢になるものとする。そうすると、移動体は、状態変更許可姿勢を維持しながら、撮像部に対して状態変更を許可する(ステップS25)。こうして、撮像部がズームやフォーカス制御を行った場合でも、移動体に意図しないモーメントがかかることを防止しながら撮像部に撮影を行わせることができる。
(第2の実施の形態)
図12Aは本発明の第2の実施の形態に係る撮影機器を示すブロック図であり、図12Bは第2の実施の形態に係る撮影用移動体を示すブロック図である。また、図13Aは図12Aの撮影機器の撮影遠隔制御装置を示すブロック図であり、図13Bは図12Bの移動体の移動遠隔制御装置を示すブロック図である。
第1の実施の形態は、1つの制御部11によって移動体10a及び撮像部10bを制御する移動撮影装置を示した。本実施の形態は、個々に制御部を有して動作する移動体と撮像部(撮影機器)とを採用して、移動体と撮像部との間で通信により情報の授受を行って、移動体の安定性を確保しながら撮影機器の状態変更を行って、確実な撮影を可能にするものである。
なお、本実施の形態においても、移動体の状態変更許可姿勢を判定して、撮影制御の可否を決定するようになっているが、状態変更許可姿勢の判定、この判定に基づく撮影制御の可否の決定及びこの決定に基づく撮影制御については、本実施の形態の例に限らず、撮影機器、撮影用移動体、移動遠隔制御装置及び撮影遠隔制御装置のいずれが行ってもよく、また、これらの装置が分散して行ってもよく、更にこれらの装置以外の他の装置が行ってもよい。
図12Aにおいて、撮影機器30は、図示しない取付け部材によって、図12Bの移動体40に取り付けられるようになっている。撮影機器30は、撮像部31を備えている。撮像部31にはCCDやCMOSセンサ等によって構成された図示しない撮像素子が設けられており、光学系31aによって被写体光学像が撮像素子の撮像面に導かれるようになっている。制御部32の撮影制御部32aは、光学系の図示しない機構部を制御して、光学系31a内に構成されたフォーカスレンズ、ズームレンズ及び絞りを駆動制御するようになっている。撮像素子は被写体光学像を光電変換して撮像画像を得る。なお、制御部32は、図示しないCPU等のプロセッサにより構成されていてもよく、図示しないメモリに記憶されたプログラムに従って各機能を実現するものであってもよい。
本実施の形態においては、光学系31aに関する情報を保持する物理情報記憶部31bが撮像部31内に設けられている。なお、図12Aでは撮像部31内に光学系31aが設けられる例を示したが、光学系として、撮影機器30の筐体に着脱自在の交換レンズを採用して、交換レンズからの被写体光学像を撮像素子の撮像面に結像する構成としてもよい。なお、光学系31aとしては図3に示す構成のものを採用してもよい。
図12Aにおいて、操作部33は、ユーザ操作に基づく操作信号を制御部32に出力する。制御部32内の撮影制御部32aは、操作部33からの操作信号に基づいてフォーカス信号及びズーム信号を発生して、光学系31aの各レンズを駆動することができる。
撮影制御部32aによるピント制御及びズーム制御によって、光学系31aの各レンズが駆動されてフォーカシング及びズーミングが行われる。ピント・画角情報取得部32bは、撮像部31からピント位置及びズーム位置に関する情報及び撮影画角に関する情報を取得して画角制御部32cに出力する。画角制御部32cは、撮影制御部32aに制御されて、ズーミングが光学系31aによる光学ズームの範囲を超えた場合には、トリミングによる電子ズームを行うように、トリミング制御部32dを制御する。
例えば図3に示すように、光学系31aは光軸方向に配置された複数のレンズ群によって構成されている。この光学系31aは、撮影機器30の筐体の前面に取り付けられた図示しないレンズ鏡筒内に配置される。なお、交換レンズはこのレンズ鏡筒を含む。広角端側から望遠端までのズーム時には、図3に示すように、レンズ群の先端から後端までの距離が変化し、各レンズ群の光軸上の配置位置が変化する。なお、レンズ鏡筒自体がズーミングに合わせて伸縮することもある。このようなレンズ群やレンズ鏡筒の移動や伸縮によって、撮影機器30全体の重心位置が変化する。
ドローン等の移動体40の重心位置、撮影機器30全体の重心位置、撮影機器30の重量及び撮影機器30の移動体40への取付位置に応じて、移動体40にはモーメントが発生する場合がある。しかし、移動体40の重心位置と撮影機器30全体の重心位置とを結ぶ線分が鉛直方向であり、ズーム時等における撮影機器30の状態変化による重心の変化が鉛直方向にしか変化しなければ、撮影機器30の状態変化が生じても移動体40に作用するモーメントは0のまま変化しない。
即ち、移動体40が鉛直方向に対してある状態変更許可姿勢の場合に、移動体40の重心位置と撮影機器30全体の重心位置とを結ぶ線分が鉛直方向で且つズーム操作等の撮影機器30の状態変化による重心の変化が鉛直方向にしか変化しないように移動体40に撮影機器30を搭載した場合において、移動体40が状態変更許可姿勢を維持すれば、ズーム操作等を行ってもそれによるモーメントは0のままである。例えば、移動体40がドローン等の飛行体である場合には、移動体40の左右軸回りの角度であるピッチング角及び前後軸回りの角度であるバンク角がいずれも0度の場合の飛行姿勢を状態変更許可姿勢に設定してもよい。
撮影機器30の物理情報記憶部32eには、ズーフォーカシングやズーミング行った場合に、どのように撮影機器30の重心位置が変化するかを示す物理量の情報が記憶されている。即ち、移動体40に対する撮影機器30の取付け及び撮影機器30の状態変化による重心移動を適宜設定することにより、物理情報記憶部32eには、移動体40が状態変更許可姿勢を維持すればズーム操作等を行ってもそれによる移動体40に生じるモーメントが0のままであることを示す情報が記憶されることになる。
撮影機器30は通信部37を有しており、制御部32内の通信制御部32fは、通信部37を制御して、後述する移動体40の通信部47との間で情報の送受信を可能にする。制御部32は、ズーム操作等の重心移動が発生する状態変更を行う場合には、事前に、通信部37と移動体40の通信部47との通信によって、移動体40が状態変更許可姿勢になっているか否かの情報を取得するようになっている。制御部32は、移動体40から状態変更許可姿勢になっていることを示す情報が与えられた場合にのみ、撮影制御部32aを制御して、ズーミングやフォーカシング等の重心移動を伴う状態変更を許可するようになっている。
また、本実施の形態においては、後述するように、移動体40は通信部47,37を介して、ズームやフォーカス制御のための撮影制御情報を撮影機器30の制御部32に送信して、撮影機器30の撮影動作を制御することができるようになっていてもよい。この場合に、移動体40は、状態変更許可姿勢になっている場合にのみ、ズームやフォーカス制御のための撮影制御情報を移動体40に送信するようになっていてもよい。
また、上述したように、光学系31aとしては交換レンズを採用することも可能である。この場合には、交換レンズにおいて、物理情報記憶部32eに記憶されている情報と同様の情報を記憶しておいた方がよい場合がある。図12Aではこの場合を考慮して、撮像部31に物理情報記憶部31bが設けられている例を示している。制御部32は、ズーム操作を行う場合には、事前に、撮像部31の物理情報記憶部31bに記憶されている情報を通信部37を介して移動体40に送信させるようになっていてもよい。
制御部32は、撮像部31からの撮像画像が与えられ、所定の画像信号処理、例えば、色調整処理、マトリックス変換処理、ノイズ除去処理、その他各種の信号処理を施した後、記録部36に与えて記録することができる。記録部36としては例えばICメモリを採用することができる。なお、記録部36の物理情報記憶領域36aに物理情報記憶部32eに記憶されている情報と同様の情報を記録するようにしてもよい。また、制御部32は、撮像画像を通信部38を介して撮影遠隔制御装置50に転送可能である。
また、撮影機器30には仰角、方位センサ34も設けられている。仰角、方位センサ34は、撮影機器30の姿勢を検出して検出結果を制御部32に出力するようになっている。制御部32は仰角、方位センサ34の検出結果に基づいて、撮像部31の撮影方向を判定することができる。なお、制御部32は、撮像部31の撮影方向に関する情報についても通信部37を介して移動体40に送信するようにしてもよい。
また、撮影機器には時計部35も設けられている。時計部35は時間情報を発生して制御部32に出力する。制御部32は、移動体40の安定性を維持するために、ズームやフォーカス制御における単位時間当たりの制御量が所定の制御量以内となるなように、時計部35からの時間情報を用いて各部を制御するようになっていてもよい。また、制御部32は、撮影機器30と移動体40との間で連携して制御を行うために、時計部35の時間情報を移動体40で用いる時間情報に同期させるようになっていてもよい。
また、制御部32には距離判定部32gが設けられている。距離判定部32gは被写体までの距離を算出することができる。制御部32は、距離判定部32gによる距離の判定結果を通信部37を介して移動体40に送信するようになっていてもよい。移動体40は、この距離情報を目標位置に到達したか否かの判定に用いることができるようになっている。
図12Bにおいて、移動体40は制御部42を有している。制御部42は、図示しないCPU等のプロセッサにより構成されていてもよく、図示しないメモリに記憶されたプログラムに従って各機能を実現するものであってもよい。移動体40には推進部41及び電源43が設けられている。電源43は例えばバッテリによって構成され、移動体40の各部に電力を供給する。推進部41は移動体40を移動させるための推進力を発生する。なお、移動体40が空中を移動するドローンの場合には、ホバリング時にも推進力を発生させる必要がある一方、移動体40が飛行機等である場合には滑空時において推進力が不要な場合もある。
移動体40がドローンの場合には、例えば、図示しないアームの端部に複数の推進部41が設けられ、アームの中央上部に制御部42が設けられる。各推進部41は、例えばモータと各モータにより回転駆動されるプロペラとにより構成される。なお、この場合には、移動体40を所定の姿勢及び速度で移動可能なように、各推進部41を構成する各モータは相互に独立して制御される。アーム中央下部には、取付部材が取り付けられて、図12Aの撮影機器30が取り付けられるようになっている。
制御部42には推進制御部42aが設けられており、推進制御部42aは複数の推進部41の推進力を独立して制御可能である。制御部42には方向制御部42b及び姿勢制御部42cが設けられている。方向制御部42b及び姿勢制御部42cはそれぞれ移動体40の移動方向又は移動体40の姿勢を制御するための制御信号を推進制御部42aに出力する。
移動判定部42dは、移動体40の移動方向を判定して判定結果を方向制御部42bに出力する。また、姿勢判定部42eは、移動体40の姿勢を判定して判定結果を姿勢制御部42cに出力する。移動体40の移動方向を指定された方向に制御するために、方向制御部42bは、移動判定結果が指定された移動方向に一致するように、推進制御部42aを制御する。また、姿勢制御部42cは、姿勢判定結果が指定された姿勢に一致するように、推進制御部42aを制御する。
移動体40の移動方向及び姿勢を判定するために、制御部42には各種センサ情報が与えられる。図12Bの例では、移動体40には空間情報取得部45a、位置・方位判定部45b、高度・姿勢判定部45cが設けられている。空間情報取得部45aは、例えばレーダーやカメラ等によって構成することができ、対地速度等の空間情報を取得する。位置・方位判定部45bは、例えば、GPS(Global Positioning System )受信機によって構成することができ、移動体40の位置及び方向情報を取得する。また、高度・姿勢判定部45cは、例えば、気圧センサ、加速度センサやジャイロスコープ等によって構成することができ、移動体40の高度及び姿勢を判定する。これらの判定部45a〜45cの判定結果が移動判定部42d及び姿勢判定部42eに与えられ、移動判定部42d及び姿勢判定部42eはこれらの判定結果に基づいて移動体40の移動方向及び姿勢を判定するようになっている。
なお、移動体40には図1の風速検出部15と同様の風速検出部44が設けられている。風速検出部44は移動体40との相対的な風速を検出して制御部42に出力する。制御部42は、方向判定及び姿勢判定に風速の検出結果を利用することができると共に、推進制御にも風速の検出結果を利用することができるようになっている。
なお、制御部42には電源判定部42fが設けられている。電源判定部42fは電源43のバッテリ残量を判定する。制御部42はバッテリ残量が所定の閾値以下の場合には、移動停止や所定の位置への移動のための制御を行う。例えば、移動体40がドローンの場合には、バッテリ残量が所定の閾値よりも小さくなると、墜落防止のために、移動体40を所定の基地局に帰還させる等の制御が行われる。
また、移動体40には記録部46が設けられている。記録部46には移動体40の移動経路の情報を記録することができるようになっている。また、記録部46は通信部47を介して撮影機器30から送信された画像情報を記録することができるようになっていてもよい。また、移動体には通信部48が設けられている。通信部48は後述する移動遠隔制御装置60の通信部63との間で通信を行うことができるようになっている。
移動体40には通信部47が設けられている。通信部47は撮影機器30の通信部37との間で情報の送受信が可能である。通信制御部42gは通信部47を制御して、撮影機器30からの情報を受信すると共に、許可判定部42hからの情報を撮影機器30の通信部37に送信するようになっている。
また、移動体40には内蔵カメラ49が設けられていてもよい。内蔵カメラ49は、移動体40の周囲の所定方向を撮像して撮像画像を得ることができるようになっている。特に、内蔵カメラ49は、移動体40の移動時における周囲の観察を容易に行うことができるように、比較的広角の撮影が可能に構成される。例えば、内蔵カメラ49は、移動体40がドローン等の飛行機である場合には、移動体40が水平に飛行している状態で、移動方向の前方及び下方を撮影範囲として撮影可能であることが望ましい。
制御部42の許可判定部42hは、撮影機器30からズームやフォーカス制御を要求する情報を受信すると、姿勢判定部42eの判定結果によって、移動体40の姿勢が状態変更許可姿勢になっているか否かを判定し、判定結果を通信部47,37を介して撮影機器30の制御部32に供給するようになっている。なお、撮影機器30の制御部32は、移動体40の姿勢が状態変更許可姿勢になっていることを示す判定結果が与えられた場合にのみ、ズームやフォーカス制御等を行うようになっている。
なお、許可判定部42hは、移動体40の姿勢が状態変更許可姿勢になっている場合にのみ、通信部47,37を介して撮影機器30の制御部32に、ズームやフォーカス制御を許可する許可信号を供給し、状態変更許可姿勢になっていない場合には、通信部47,37を介して撮影機器30の制御部32に、ズームやフォーカス制御を禁止する禁止信号を供給するようになっていてもよい。
また、許可判定部42hは、撮影機器30の制御部32にズームやフォーカス制御等の重心変動を伴う状態変化を許可する場合には、撮影機器30が状態を変化させる期間において状態変更許可姿勢を維持するために必要な推進力、即ち、安定性を確保するための推進力(以下、安定推進力という)を算出し、この安定推進力を得るために推進制御部42a、方向制御部42b及び姿勢制御部42cを制御する制御情報を発生するようになっている。
なお、許可判定部42hは、風速検出部44の検出結果等によって、推進部41において安定推進力が得られるか否かを判定する。許可判定部42hは、撮影機器30が状態を変化させる期間において安定推進力が得られる可能性がない場合には、撮影機器30の状態変更を禁止するようになっていてもよい。
撮影機器30は撮影機器30に設けられた操作部33によって操作可能であると共に、撮影遠隔制御装置50を用いて撮影制御が可能である。また、移動体40は図示しない記憶部に記録されたプログラムに従って、自立式で移動可能であると共に、移動遠隔制御装置60を用いて移動制御が可能である。
図13Aに示すように、撮影遠隔制御装置50は、操作部51及び制御部52を有している。制御部52は図示しないCPU等のプロセッサによって構成することができ、撮影遠隔制御装置50の各部を制御する。撮影遠隔制御装置50には記憶部56が設けられており、記憶部56には各種情報や制御部52において用いるプログラム等を格納することができるようになっている。撮影遠隔制御装置50は通信部53を有しており、通信部53は撮影機器30の通信部38との間で情報の送受信が可能である。制御部52には通信制御部52aが設けられており、通信制御部52aは、通信部53,38を介して撮影機器30の制御部32との間で情報の授受が可能である。
制御部52は、操作部51に対するユーザ操作に基づいて、撮影機器30を操作するための操作信号を発生して通信部53,38を介して撮影機器30の制御部32に送信することができるようになっている。
また、撮影遠隔制御装置50には表示部54が設けられており、通信制御部52aは、撮影機器30からの撮像画像を受信して、表示部54に供給することができる。表示部54は、撮影機器30により撮影された画像を表示画面上に表示することができるようになっている。
撮影遠隔制御装置50には通信部55が設けられていることもある。通信部55は後述する移動遠隔制御装置60の通信部65との間で通信可能に構成されている。通信制御部52aは、通信部55を制御して制御部52と移動遠隔制御装置60の制御部62との間で情報の授受を可能にする。なお、通信部55は、移動遠隔制御装置60との間で通信を行わない場合には、省略可能である。
図13Bに示すように、移動遠隔制御装置60は、操作部61及び制御部62を有している。制御部62は図示しないCPU等のプロセッサによって構成することができ、移動遠隔制御装置60の各部を制御する。移動遠隔制御装置60には記憶部66が設けられており、記憶部66には各種情報や制御部62において用いるプログラム等を格納することができるようになっている。移動遠隔制御装置60は通信部63を有しており、通信部63は移動体40の通信部48との間で情報の送受信が可能である。制御部62には通信制御部62aが設けられており、通信制御部62aは、通信部63,48を介して移動体40の制御部42との間で情報の授受を可能にする。
制御部62は、操作部61に対するユーザ操作に基づいて、移動体40を操作するための操作信号を発生して通信部63,48を介して移動体40の制御部42に送信することができるようになっている。
移動遠隔制御装置60には表示部64が設けられており、表示部64は表示画面上に移動体40を制御するための各種メニュー表示等を表示することができるようになっている。
また、通信制御部62aは、移動体40からの撮像画像を受信して、表示部64に供給することができる。表示部64は移動体40からの撮像画像を表示画面上に表示することができるようになっている。
移動遠隔制御装置60には通信部65も設けられていることもある。通信部65は撮影遠隔制御装置50の通信部55との間で通信可能に構成されている。通信制御部62aは、通信部65を制御して制御部62と撮影遠隔制御装置50の制御部52との間で情報の授受を可能にする。なお、通信部65は、撮影遠隔制御装置50との間で通信を行わない場合には、省略可能である。
次に、このように構成された実施の形態の動作について図14乃至図17Bを参照して説明する。図14はカメラ制御を示すフローチャートであり、図15は移動体制御を示すフローチャートである。図16A及び図16Bは操縦時の様子及び操作画面を示す説明図であり、図17A及び図17Bは撮影時の様子及び操作画面を示す説明図である。
撮像によって得る画像の品質を高品質にしようとした場合、ズームや露出、ピントなどの制御が複雑になりやすく、移動体の操縦に集中することは困難となる。そこで、本実施の形態においては、ドローン等の移動体と撮影機器とを別人が個別に操作するようにした例を示す。
図16Aに示すように、操作者95は、例えば、右手96Rで移動遠隔制御装置60の筐体60aを把持し、左手96Lで移動体40を操作するための操作部61としての操作レバー61aを操作する。なお、撮影機器30については、図17Aに示すように、撮影者98が、左手99Lによって支持された撮影遠隔制御装置50を右手99Rによって操作することで撮影制御が行われるものとする。
図16Bは移動遠隔制御装置60の表示部64の表示画面64aに表示された操作画面101を示している。図16Bの例では、操作画面101中には、ドローン等の移動体40の位置を示す地図表示102が表示されている。地図表示102には地図が表示されており、ポイント表示102aが移動体40の位置を示す。また、操作画面101中には、メッセージ表示領域103が設けられており、メッセージ表示ボタン104,105の操作に応じたメッセージがメッセージ表示領域103に表示されるようになっている。メッセージ表示ボタン104は移動体40の姿勢が状態変更許可姿勢であるか否か、即ち、撮影機器30の重心移動等の状態変更を許可するか否かのメッセージを表示させるためのものであり、図16Bの例では「状態変更不許可」の表示によって、移動体40は、状態変更許可姿勢になっていないことが示されている。なお、状態変更許可姿勢になっている場合には、例えばメッセージ表示領域103には「状態変更許可」と表示される。また、メッセージ表示ボタン105は風速を示す表示をメッセージ表示領域103に表示させるためのものである。
図12Bの移動体40として図5A及び図5Bに示すドローン70を採用した場合の例について説明する。撮影機器30は取付け部材75を介して移動体40であるドローン70に取り付けられている。撮影機器30は、取付け部材75を介して移動体40であるドローン70に取り付けられ、ケーブル76を介して、ドローン70に内蔵された制御部42との間で情報の授受を行うようになっている。ドローン70は、図12Bの推進部41に対応する4つの推進部71〜74を有しており、推進部71〜74によって、所望の姿勢を維持するようになっている。
撮影機器30は、ズームミングに応じて伸縮する鏡筒21aを有している。撮影機器30は例えば、ドローン70の重心位置の鉛直下方に光軸が配置され、ドローン70がピッチング角及びバンク角がいずれも0度の場合の飛行姿勢において、鏡筒21aは図5Aの収縮状態と図5Bの伸張状態との間で鉛直方向に伸縮するようになっている。
ドローン70の制御部42は、図15のステップS71において、高度計、レーダー、内蔵カメラ、GPS等を用いて、現在の状態判定を行う。制御部42は、ステップS72において移動体40に対する移動遠隔制御装置60からのアクセスの待機状態となる。制御部42は、ステップS73において、航行プログラムが存在するか又は移動操縦信号を受信しているか否かを判定する。制御部42は、航行プログラムが存在せず移動操縦信号も受信していない場合には、ステップS74において飛行停止可の判定を行う。制御部42は、地上に着陸している場合等においては、飛行停止可であると判断して駆動を停止する。制御部42は、飛行停止可であると判定しなかった場合には、ステップS75において帰還(リターン)した方が良いか否かを判定する。制御部42は、帰還した方がよいと判定した場合には、帰還制御を行い(ステップS76)、そうでない場合にはホバリング制御を行う(ステップS77)。
制御部42は、航行プログラムがあるか又は移動操縦信号を受信している場合には、ステップS78において移動障害があるか否かを判定する。制御部42は、移動障害がある場合には処理をステップS75に移行し、移動障害がない場合には、航行プログラム又は移動操縦信号に応じて移動を行う(ステップS79)。制御部42は、移動遠隔制御装置60において飛行状態の確認ができるように、ステップS80において内蔵カメラ49からの画像を移動遠隔制御装置60に送信し、ステップS71において取得した状態判定結果に基づく状態情報を通信部48を介して移動遠隔制御装置60の通信部63に送信する(ステップS81)。
内蔵カメラ49として赤外画像を出力可能なカメラを採用してもよい。この場合には、ステップS80において赤外画像を出力可能である。赤外画像は、通常の画像と波長、感度特性が異なり、被写体の水分量に応じた絵柄を得ることも可能である。例えば、ドローン70を農業や林業等の分野において利用する場合には、内蔵カメラ49として赤外カメラを採用することで、農作物等の水分量から農作物等の生育を判定すること等も可能である。例えば、内蔵カメラ49の波長感度特性と、撮影機器30の撮像部31による波長感度特性とを異なる特性に設定するようにしてもよい。例えば、内蔵カメラ49を赤外カメラとし、撮影機器30をズームカメラとするようにしてもよい。
ドローン70におけるステップS71〜ステップS81の処理は、撮影機器30の搭載の有無に拘わらず、実施されるものである。撮影機器30が搭載されている場合には、ドローン70はステップS82においてカメラ通信の有無を判定する。
一方、撮影機器30は撮影遠隔制御装置50によって操作される。図17Aに示すように、撮影者98は、例えば、左手99Lで撮影遠隔制御装置50を把持し、右手99Rで表示部54の表示画面54aに表示された撮像画像(スルー画)を見ながら撮影を行う。図17Bはこの場合における撮影遠隔制御装置50の表示部54の表示画面54aの表示を示している。図17Bの例では、表示画面54a上に、スルー画表示領域111に鳥の画像111aが表示されている。
撮影機器30では図14に示す制御が行われる。図14のステップS51において、制御部32は、通信部37と移動体40の通信部47との間で通信が可能である否かを判定する。制御部32は、ステップS52において、自動露出制御(AE)を行い、撮像部31を駆動して撮像画像を取得する。制御部32は、ステップS53において、移動体に取り付けて撮影を行うドローンモードであるか否かを判定する。ドローンモード以外のモードの場合には、そのモードにおいて操作に従った動作を行う。制御部32は、ドローンモードの場合には、ステップS54においてドローン70との間で通信を行う。
なお、ステップS52の露出制御時には、ドローン70の航行安定性に影響を与えない範囲で、オートフォーカス制御を行うようにしてもよい。
ドローン70の制御部42は、ステップS83において、撮影機器30からの要求を受信して、要求に従った対応を行う。例えば、制御部42は、撮影機器30から撮影の許可を求める要求が発生した場合には、撮影を許可可能であるか否かの判定処理を行ってもよい。また、撮影機器30からの撮影許可の要求が発生したことを、移動遠隔制御装置60に送信して、表示画面64a上にその旨を表示させてもよい。また、撮影機器30からの要求に対して、警告を発生したり、飛行の停止処理を行ったりしてもよく、これらの処理に関する情報を移動遠隔制御装置60に送信して表示画面64a上にその旨を表示させてもよい。
ドローン70の制御部42は、飛行時等において、撮影機器30による撮影によって安定性に支障を来す虞がある場合には、撮影機器30に対して撮影を許可しない。撮影許可の指示を、ユーザ操作に応じて発生させてもよい。例えば、移動遠隔制御装置60の表示画面64a上に、撮影許可ボタン106を配設してもよい。操作者95がこのボタン106を操作した場合に、撮影機器30に撮影を許可するようになっていてもよい。
撮影機器30の制御部32は、ステップS55において、ドローン70から撮影許可が与えられるか否かを判定しており、撮影許可が与えられない場合には処理をステップS56に移行して、撮影に関する各種動作を停止させる。例えば、撮影機器30は省エネルギーモードに移行してもよい。
撮影機器30の制御部32は、ステップS57において撮像画像を撮影遠隔制御装置50に送信する。次に、制御部32は、ステップS58において、ドローン70から状態変更の許可が与えられたか否かを判定する。
ドローン70の許可判定部42hは、ステップS84において、移動体40の姿勢が状態変更許可姿勢であるか否かを判定している。許可判定部42hは、移動体40が状態変更許可姿勢であるか否かによって状態変更許可可能であるか否かを判定する。制御部42は、状態変更許可不能である場合には、ステップS85からステップS86に移行して、状態変更不可の応答を行い、状態変更許可可能である場合には、ステップS87において状態変更許可信号を送信する。
撮影機器30の制御部32は、ステップS58において、ドローン70から状態許可信号を受信して状態変更が許可され場合には、ステップS59に処理を移行して、操作等に応じて状態を変更させる。
例えばこの場合には、状態許可信号が撮影機器30から又はドローン70から直接、撮影遠隔制御装置50に与えられており、撮影遠隔制御装置50の表示画面54a上には、状態変更が許可されているか否かを示す表示112が表示される。図17Bの例では、「ズーム操作OK」の表示112によって、状態変更が許可されていることが示されている。なお、状態変更が不許可の場合には、制御部32は、ステップS60において、表示画面54a上に警告表示を表示させる。例えば、この場合には、表示画面54a上に、「ズーム操作NG」等の表示112が表示される。
表示画面54a上には、撮影機器30の撮像部31をズーム制御するための操作ボタン113a,113bが設けられている。撮影者98は、必要に応じて、操作ボタン113a又は113bをタッチ操作することで、撮像部31をズームアップ又はズームダウンさせる。
また、本実施の形態においても、第1の実施の形態と同様に、ズーム操作NGの表示112が表示されている場合には、操作ボタン113a,113bが操作されても、ズーム制御を行わないようになっていてもよい。また、たとえば、ズーム操作NGの表示112が表示されている場合に、操作ボタン113a,113bが操作されると、状態変更を可能にするための依頼を発生させてもよい。即ち、撮影遠隔制御装置50においてこの操作が行われると、撮影機器30の制御部32は、ステップS61において状態変更依頼が発生したことを判定し、ステップS62においてドローン70に対して状態変更を可能にする依頼を送信する。
この場合には、ドローン70の制御部42は、例えば飛行を一時停止してホバリング動作を行い、状態変更許可姿勢に移行するように制御を行ってもよい。この制御の結果、状態変更許可姿勢になると、制御部42は、ステップS87において状態変更許可信号を発生する。
なお、上述した説明では、ユーザ操作によって、状態変更を可能にするための依頼を発生させるものと説明したが、撮影機器30の制御部32の判断によってこの依頼を発生させてもよい。例えば、予め、撮像部31の画像解析によって所定の画像が撮影されたものと判定した場合には、状態変更を可能にするための依頼を発生させてもよい。これにより、ズーム撮影すべき重要な被写体については、強制的に飛行を一時停止させ、ドローン70を安定させた状態でズーム撮影等を自動的に行うことも可能である。
制御部32は、ステップS63において撮影操作(レリーズ操作)のための信号を受信したか否かを判定する。制御部32はレリーズ操作があったと判定した場合には、ステップS64において撮影を行い、撮像画像を記録部36に記録する。また、制御部32は撮像画像をドローン70に送信してもよい。制御部32はステップS65においてドローン70の停止を判定し、停止していない場合には処理をステップS51に戻す。
このように本実施の形態においても、移動体の姿勢が状態変更許可姿勢である場合にのみ、撮影機器の重心変化を伴う状態変更が許可される。これにより、移動体の安定性及び撮影の安定性を維持することができる。
なお、上記実施の形態においては、主に、移動体と移動遠隔制御装置との間で通信を行うと共に、撮影機器と撮影遠隔制御装置との間で通信を行う例を説明したが、安定性を維持する撮影制御を、撮影機器を遠隔操作する撮影遠隔制御装置と移動体を遠隔操作する移動遠隔制御装置との間の通信によって連携制御することによって実現してもよい。移動体と移動遠隔制御装置との間の通信可能距離に比べて、撮影機器と撮影遠隔制御装置との間の通信可能距離が、比較的短いことから、撮影遠隔制御装置と移動遠隔制御装置との間で通信を行って連携制御した方が有利な場合がある。この場合には、撮影遠隔制御装置と移動体との距離が比較的離れた場合でも、確実な制御が可能である。また、遠隔制御装置や移動遠隔制御装置としては、全部又は一部がスマートフォンによって構成可能な場合がある。スマートフォンは表示の自由度が比較的高い。従って、本実施の形態においては、安定性を維持した撮影制御のためにユーザ操作が必要な場合でも、ユーザフレンドリなGUIを提供することができる可能性があるという利点がある。
上記各実施の形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話やスマートフォンなど携帯情報端末(PDA:Personal Digital Assist)等に内蔵されるカメラでも勿論構わない。また、ドローンと書いた所は、バランスを取って移動するような機器であれば、すべて応用可能である。飛行機やヘリコプターのような飛行する移動体のみならず、舟やボート、潜水艦状の水中水上移動機器、あるいは、自転車に明らかなようにバランスが重要な地上移動体もあり、ひろくロボットなどにも、本願の考え方は適用でき、こうした分野での発明と言い換えても良い。また、移動体、撮影機器というのは、それぞれを操縦する操縦部も含んだ概念であることは言うまでもない。
本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
なお、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。
なお、ここで説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。