JP2017112440A - 撮像システムおよびその制御方法、移動撮像装置、通信装置 - Google Patents

撮像システムおよびその制御方法、移動撮像装置、通信装置 Download PDF

Info

Publication number
JP2017112440A
JP2017112440A JP2015243696A JP2015243696A JP2017112440A JP 2017112440 A JP2017112440 A JP 2017112440A JP 2015243696 A JP2015243696 A JP 2015243696A JP 2015243696 A JP2015243696 A JP 2015243696A JP 2017112440 A JP2017112440 A JP 2017112440A
Authority
JP
Japan
Prior art keywords
zoom
control
imaging device
imaging
moving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015243696A
Other languages
English (en)
Other versions
JP2017112440A5 (ja
JP6758828B2 (ja
Inventor
片山 達嗣
Tatsushi Katayama
達嗣 片山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015243696A priority Critical patent/JP6758828B2/ja
Publication of JP2017112440A publication Critical patent/JP2017112440A/ja
Publication of JP2017112440A5 publication Critical patent/JP2017112440A5/ja
Application granted granted Critical
Publication of JP6758828B2 publication Critical patent/JP6758828B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Abstract

【課題】移動撮像装置および通信装置を備える撮像システムにおいて、ユーザが簡単な操作で移動撮像装置の画角制御を行えるようにする。【解決手段】撮像システムは、ズーム機能を有する移動撮像装置100と、通信装置を備える。通信装置はズーム機能の指示信号を送信し、移動撮像装置100が受信する。移動撮像装置100は、駆動部を制御する移動制御部と、撮像部を制御するカメラ制御部を備える。移動撮像装置100のCPUは、ズーム機能の指示信号が受信された場合、ズーム位置がカメラズーム領域320内である場合、カメラ制御部によって撮影画角を変更する第1の制御を行い、ズーム位置がカメラズーム領域320を超えて移動ズーム領域321,322に変更された場合、移動制御部によって移動撮像装置100を移動させることで撮影画角を変更する第2の制御を行う。【選択図】図3

Description

本発明は、ズーム機能を有する撮像部を備えた移動撮像装置と通信装置からなる撮像システムに関する。
ズーム機能を有するビデオカメラを移動制御するシステムとして、テレビ会議がある。特許文献1には、カメラのズーム位置に応じてビデオカメラの移動速度を制御する技術が開示されている。テレビ会議にてビデオカメラを移動制御する際、ズーム倍率に依らずに移動速度を一定に制御すると、被写体像の移動量が広角撮影時に小さく、望遠撮影時に大きくなる。このため、受信画像を見ているユーザに違和感が生じてしまう点を課題として、特許文献1では、ズーム制御量に応じてビデオカメラの移動速度を制御する。
また移動撮像装置としてドローンにカメラを取り付けた装置があり、コンピュータやスマートフォンをコントローラとして手軽に操作可能である。ドローンは、乗務員が搭乗せずに遠隔操作や自律制御によって飛行する飛行体であり、近年では無人機全般を意味する。ズーム機能付きのカメラを搭載したドローンは、移動用の操作キーとカメラのズーム動作用の操作キーを備えている。
特開平6−268899号公報
無線通信による操作に対応したズーム機能付きのカメラを備えるドローンにおいては、ユーザがドローンの移動操作とカメラのズーム操作を行いつつ、フレーミングを行う必要がある。被写体に対するズーム動作の際にユーザは、ドローンの移動操作を行いながらズーム操作を行うことになる。このため、操作が煩雑になり、安定したズーム撮影が困難になる。
また、特許文献1に開示の技術では、ズーム制御量に連動してビデオカメラの移動速度が制御される。よって、簡単な操作によって、光学ズームとビデオカメラの移動を適応的に制御することができない。
移動体に搭載されたズーム機能付きのカメラで撮影を行う場合には、安定したズーム動作による撮影を優先して移動体の姿勢および移動の自動制御を行うことが求められる。本発明は、移動撮像装置および通信装置を備える撮像システムにおいて、ユーザが簡単な操作で移動撮像装置の画角制御を行えるようにすることを目的とする。
本発明の一実施形態に係る撮像システムは、ズーム機能を有する移動撮像装置と、該移動撮像装置と通信する通信装置を備える撮像システムであって、前記通信装置は、前記移動撮像装置にズーム機能の指示信号を送信する送信手段を有し、前記移動撮像装置は、前記移動撮像装置の駆動手段を制御する移動制御手段と、撮像手段の撮像制御を行う撮像制御手段と、前記通信装置から前記指示信号を受信する受信手段と、前記撮像手段のズーム位置を検出する検出手段と、前記受信手段が前記指示信号を受信したときに、前記検出手段により検出された前記ズーム位置が第1のズーム領域内である場合、前記撮像制御手段によって撮影画角を変更する第1の制御を行い、前記受信手段が前記指示信号を受信したときに、前記検出手段により検出された前記ズーム位置が第2のズーム領域内である場合、前記移動制御手段によって前記移動撮像装置を移動させることで撮影画角を変更する第2の制御を行う制御手段と、を有する。
本発明によれば、移動撮像装置および通信装置を備える撮像システムにおいて、ユーザが簡単な操作で移動撮像装置の画角制御を行うことができる。
本発明の実施形態に係る移動撮像装置と通信装置との関係図である。 本発明の実施形態に係る移動撮像装置のブロック図である。 本発明の実施形態に係る通信装置の表示画面を例示する概略図である。 本発明の実施形態に係る動作フローチャート図である。 本発明の実施形態に係る機体の移動によるズーム動作を説明する図である。 本発明の第2実施形態に係る通信装置の画面表示を例示する概略図である。 本発明の第2実施形態に係る衝突回避動作のフローチャート図である。 本発明の第2実施形態に係る自動撮影ポジション合わせの動作フローチャート図である。
以下、本発明の各実施形態について図面を参照して説明する。各実施形態では、撮像機能および移動機能を有する移動撮像装置と通信装置を備える撮像システムとして、無人機を使用した移動撮像システムを説明する。各実施形態の移動撮像装置は、撮像制御部および撮像部と移動制御部および駆動部を備えるカメラ一体型のドローンである。
[第1実施形態]
図1は、本発明の実施形態に係る移動撮像装置100と通信装置200との関係を説明する概念図である。移動撮像装置100は無人機であり、本実施形態では4つのモータM1〜M4を備える飛行体を例示する。飛行体は、各モータに接続されているロータ(回転翼)を、それぞれ独立にバランスよく回転することで飛行を実現する駆動制御部を備える。飛行体は、カメラレンズと撮像素子を介して被写体を撮像する撮像部を備え、通信装置200からの操作指示信号にしたがって撮像動作を行う。移動撮像装置100は、機体の移動と撮影動作を実現する装置である。
通信装置200は移動撮像装置100との通信機能を有する。通信装置200は、スマートフォンやコンピュータ、または専用のリモートコントローラ等の外部機器である。通信装置200は、無線LAN(Local Area Network)、Bluetooth(登録商標)、ラジオコントロール等の通信方式を用いて、移動撮像装置100と通信する。具体的には、以下の無線通信手段によって、通信装置200と移動撮像装置100とが接続される。
・第1の無線通信手段
通信装置200の送信部はユーザ操作の指示信号を移動撮像装置100へ送信する。移動撮像装置100の受信部は通信装置200から指示信号を受信し、移動撮像装置100の移動制御や撮像制御が行われる。ユーザ操作の指示信号は、移動撮像装置100へのズーム指示信号を含む。
・第2の無線通信手段
移動撮像装置100は、撮像された画像データと、撮像制御状態および移動制御状態のデータを通信装置200に送信し、通信装置200の受信部がデータを受信する。
図2は、移動撮像装置100のハードウェア構成を例示するブロック図である。レンズユニット101は、被写体を撮像するためのレンズや絞り等の光学部材を備える。レンズユニット101が内蔵するレンズモータに対して制御電圧を変更することで光学ズーム制御が行われる。光学ズーム制御はレンズユニット101の駆動制御により撮影画角を変更する制御である。尚、必要に応じて画像処理によってズーム倍率を変更する電子ズーム制御を組み合わせてもよい。
撮像素子102はレンズユニット101を通過した光束を受光し、画像信号へ光電変換して画像信号を出力する。生成された画像信号は、デジタルデータとしてDRAM(Dynamic Random Access Memory)104へ一時保持される。DRAM104は移動撮像装置100の撮像ブロックにおけるメモリである。
ズーム制御部103はレンズユニット101のズーム制御を行うためにレンズモータの制御電圧を変更する。レンズモータの駆動制御により光学ズーム機能が実現される。画像符号化部105は撮像素子102によって取得された画像信号を符号化し、画像ストリームを生成する。生成された画像ストリームのデータはDRAM104へ一時保持される。
画像データ送信部106は、画像符号化部105によって生成された画像ストリームのデータを、通信装置200へストリーミング送信する。インタフェース部(以下、I/F部という)107は、移動撮像装置100に装着されている記録媒体300とのI/F部である。つまりI/F部107はDRAM104からデータを読み込み、記録媒体300へ記録可能なMedia I/F部である。記録媒体300は、移動撮像装置100に対して着脱可能なメモリカード等である。
カメラ制御部108は撮像ブロックの制御部であり、サブCPU(Central Processing Unit)を備える。撮像範囲検出部109は、撮像素子102によって取得された所定時間分の撮像データを比較し、現在の撮像範囲の変化量を算出する。撮像部データバス123には、各部(レンズユニット101から撮像範囲検出部109)が接続されている。カメラ制御部108からの制御指示やDRAM104へのアクセスは、撮像部データバス123を経由して行われる。
移動制御部110は移動撮像装置100の移動制御ブロックの制御部であり、サブCPUを備える。複数のモータ制御部111〜114はそれぞれ、移動撮像装置100のモータM1〜M4の駆動電流やタイミング等を制御する。各モータ制御部は、それぞれ対応するモータの電流の向きを切換えることでモータの回転方向を制御し、PWM(パルス幅変調)制御によりモータの回転数を制御する。移動制御部データバス115には、移動制御部110、モータ制御部111〜114が接続されている。移動制御部110からの制御指示は、移動制御部データバス115を経由して行われる。
記憶部116はフラッシュメモリ(半導体不揮発性メモリ)であり、後述のCPU120により実行可能なアプリケーションプログラムが格納されている。GPS(Global Positioning System、全地球測位網)ユニット117は、移動撮像装置100の位置情報を検出する。
操作情報通信部118は、通信装置200からの操作指示信号を受信する。通信装置200からの操作指示信号は、操作情報通信部118を介して後述のCPU120へ通知される。ジャイロセンサ119は、移動撮像装置100の角度や角速度を検出する。障害物検知センサ130は、移動方向(前方向)の障害物を検知し、検出レベル値をCPU120に出力する。CPU120は検出レベル値を取得して演算を行い、移動撮像装置100から障害物までの距離を算出する。障害物検知センサ130として、超音波センサ、ミリ波レーダー等の公知のセンサを用いることが可能であるため、その詳細について説明は省略する。障害物検知センサ130の検出情報を用いた障害物回避処理については、後述の第2実施形態において説明する。
CPU120は移動撮像装置100全体の制御を司るメインCPUである。CPU120は、ジャイロセンサ119や障害物検知センサ130から取得される検出信号に基づいて移動制御部110に指示し、移動撮像装置100の飛行制御やホバリング(空中で停止している状態)を実現する。プログラムバス121には、CPU120と各部(記憶部116からジャイロセンサ119、障害物検知センサ130)が接続されている。メイン制御バス122には、CPU120とカメラ制御部108、移動制御部110が接続されている。CPU120は、メイン制御バス122を介してカメラ制御部108と移動制御部110への制御指示を行う。
次に、本実施形態におけるソフトウェアについて説明する。記憶部116には、CPU120が実行可能な以下のプログラムが格納されている。
・ズーム制御指示プログラム:操作情報通信部118によって受信されたズーム操作の指示信号(ズーム指示信号)に基づき、カメラ制御部108または移動制御部110を介して行われるズーム動作を実現するプログラム。
カメラ制御部108を介して制御されるズーム制御部103への指示により光学ズーム制御、つまりレンズユニット101の駆動による画角制御が行われる。また移動制御部110を介して行われる機体の移動によって撮影位置が変更されて撮影画角の変更が行われる。以下では、機体の移動によるズーム制御、つまり撮影位置の変更による撮影画角の制御を「移動ズーム」と呼ぶ。
・光学ズーム位置算出プログラム:カメラ制御部108を介して、現在のレンズユニット101のズーム位置を検出するプログラム。
・ズーム速度算出プログラム:カメラ制御部108および移動制御部110から制御値を取得し、レンズユニット101のズーム位置の移動速度および移動撮像装置の移動速度を算出するプログラム。
・衝突回避プログラム:障害物検知センサ130の検出レベル値に基づき、CPU120が操作情報通信部118を介して通信装置200に情報を送信すると共に、移動制御部110を制御して障害物との衝突を回避するプログラム。
・撮影ポジション制御プログラム:ズーム操作の有無の情報を、操作情報通信部118を介して取得し、移動撮像装置100の撮影位置およびレンズユニット101のズーム位置を自動的に調整するプログラム。
CPU120は移動制御部110に指示して移動撮像装置100の撮影位置を変更し、カメラ制御部108に指示してレンズユニット101のズーム位置を変更する制御を行うことで、撮影位置および光学ズーム位置を自動的に調整する。
次に図3を参照して、移動撮像装置100におけるズーム機能について説明する。図3では移動撮像装置100が被写体301を撮影している状況を例示する。また通信装置200の表示画面の一部(310,311)を模式的に示す。本実施形態の通信装置200の表示部はタッチパネルを備え、ユーザの手指によるタッチ操作およびムーブ操作を検出するタッチ操作検出機能を有している。通信装置200は操作検出結果に対応する信号を無線通信で移動撮像装置100に送信し、移動撮像装置100の制御が行われる。通信装置200の画面310,311には、移動撮像装置100の撮影倍率を設定するためのグラフィカル・ユーザ・インタフェース(以下、GUIという)領域が表示されている。このGUI領域を「ズームバー」と呼ぶ。
図3に示す画面のズームバーは、カメラズーム領域320と、その両側に移動ズーム領域321,322を有する。カメラズーム領域320は、レンズユニット101の移動による光学ズームを行う第1のズーム領域である。また、移動ズーム領域321,322は、移動ズームを行う第2のズーム領域である。マーカー323は撮影映像のズーム倍率を示す指標である。ユーザが手指によるタッチ操作でマーカー323を移動させることができる。通信装置200におけるマーカー323の位置に応じて、移動撮像装置100の撮影倍率を変更することができる。この撮影倍率は光学ズームによる撮影倍率と移動ズームによる撮影倍率を含んでいる。
移動撮像装置100はズーム撮影にて、光学ズームの限界位置をテレ側(望遠側)およびワイド側(広角側)で検出する。光学ズームポジションが光学ズームの限界位置を超えているとCPU120が判断した場合、CPU120は移動撮像装置100の位置を変更して移動ズームを実行し、光学ズームの限界を超えたズーム撮影を行う。
図3(A)は、移動撮像装置100が空中の所定の位置でホバリングしている状態を例示する。ユーザの手指で操作されるマーカー323の位置は第1のズーム領域内、つまりカメラズーム領域320の範囲内にある。操作情報通信部118が通信装置200からズーム指示信号を受信すると、CPU120はカメラ制御部108に指示し、レンズユニット101のズーム位置を変更して光学ズーム制御を行う。
図3(B)は、ユーザ操作により画面310内のマーカー323の位置から、画面311内のマーカー324の位置に移動した場合を例示している。画面311内に示すマーカー324は第2のズーム領域内、つまり移動ズーム領域321の範囲内である。この場合、操作情報通信部118により受信したズーム指示信号に基づいて、CPU120はカメラ制御部108および移動制御部110に指示する。これにより、移動撮像装置100は被写体301に近づく方向に移動する。その際、移動撮像装置100の移動速度と、レンズユニット101の光学ズーム速度との間に所定値以上の差異があるときには補正が必要である。CPU120は、移動撮像装置100の移動と連動してレンズユニット101の光学ズーム位置を変更することで補正処理を行う。
レンズユニット101の光学ズーム速度に関しては、CPU120が所定の時間間隔ごとにカメラ制御部108から取得する情報に基づいて算出する。つまり、ズーム制御部103の制御値に基づき、その時間変化量から光学ズーム速度を算出することができる。また、移動撮像装置100の移動速度に関しては、CPU120が所定の時間間隔ごとに移動制御部110から取得する情報に基づいて算出する。つまり、移動制御部110の制御値に基づき、その時間変化量から移動速度を算出する。あるいは移動撮像装置100の移動中にCPU120がGPSユニット117により位置情報を所定の時間間隔ごとに取得して、位置情報の変化から移動速度を算出することも可能である。算出された移動速度は、移動ズーム速度に相当する。
図4を参照して、移動撮像装置100におけるズーム機能の動作について説明する。図4のフローチャートに示す処理は、所定の時間間隔で実行される。操作情報通信部118は通信装置200から設定情報を受信し、本実施形態の制御モード(以下、移動ズームモードという)での撮影が開始する(S400)。次にCPU120は、操作情報通信部118がズーム指示信号を受信したか否かを判断する(S401)。操作情報通信部118がズーム指示信号を受信していないと判断された場合(S401でNo)、所定時間ごとの処理にて次のタイミングでS401の判断処理が繰り返される。また操作情報通信部118がズーム指示信号を受信したと判断された場合(S401でYes)、S402に処理を進める。
S402でCPU120は、光学ズーム位置算出プログラムを実行してレンズユニット101のズーム位置(Szと記す)を算出する。次にCPU120は、ズーム速度算出プログラムを実行してズーム速度(Sdと記す)を算出する(S403)。ズーム速度Sdは、カメラのズーミング中においてレンズユニット101のズームレンズの移動速度を示し、移動ズーム中において移動撮像装置100の移動速度を示す。S404でCPU120は、S402およびS403で算出された光学ズーム位置Szとズーム速度Sdに基づいて、現時点のズーム状態を判断する。S404はカメラのズーム位置がテレ側の光学ズーム限界位置を超えているか否かの判断処理である。図5を参照して、テレ側ズーム限界位置の検出処理を説明する。
図5は光学ズーム位置の時間的変化を例示する。横軸は時間軸であり、各時刻t1からt8において本フローチャートで示される動作が実施されるものとする。時間間隔(Tと記す)は一定である。図5の縦軸は光学ズーム位置Szを示す。光学ズーム位置については、縦軸に沿って値が大きい方が光学ズームの限界に近いものとする。この例では説明の便宜上、2種類のズーム操作例を示している。ズーム操作は時刻t1から開始されるものとする。
まず、ズーム操作(1)では、時刻t2でズーム位置Aに到達する。この場合、ズーム速度は、ズーム位置Aとズーム位置Oの差分を時間間隔Tで除算した、(A−O)/Tとなる。これに対してズーム操作(2)では、時刻t4で略ズーム位置Aに到達しているので、ズーム速度は(A−O)/(3T)となる。
CPU120は、各時刻において算出したズーム位置Szに基づいて、テレ側のズーム位置A,B,Cをそれぞれ超えているか否かについて判定する。ズーム位置Szが各ズーム位置A,B,Cを超えていることが判定された場合、CPU120は次に、ズーム速度Sdを用いて下記のいずれかの条件を満たすか否かを判定する。
・ズーム位置A<Sz<ズーム位置Bの場合、Sd>V1 ・・・(条件1)
・ズーム位置B<Sz<ズーム位置Cの場合、Sd>V2 ・・・(条件2)
・ズーム位置C<Szの場合、 Sd>V3 ・・・(条件3)
条件1から3において、速度の閾値は「V3<V2<V1」の関係を満たすものとする。
CPU120は、上記条件1から3のいずれかに該当することを判定した場合、カメラのズーム位置がテレ側の光学ズーム限界位置を超えていると判断して図4のS406に処理を移行する。条件1から3を用いた判定処理により、ズーム速度が大きいほど、移動ズームへの移行がより早いタイミングで切り換えられる。すなわち、光学ズームの端点(制御端)への到達前に移動ズームに切り換えることができるので、移動ズームへの切り替え処理を滑らかに実現可能となる。尚、S404の判断時点で既にテレ側に移動ズーム中である場合には、上記条件1から3に依らずに処理が図4のS406に移行する。
S406でCPU120は移動制御プログラムを実行して、ズーム速度Sdに応じて移動撮像装置100を移動させる制御を行う。つまりテレ側の光学ズーム限界位置を超えた場合には、移動撮像装置100が被写体に近づく方向に移動する。
一方、S404にて現時点での光学ズーム位置がテレ側の光学ズーム限界位置を超えていないと判断された場合には、S405に処理を進める。CPU120は、現時点での光学ズーム位置がワイド側の光学ズーム限界位置を超えていないかどうかを判断する(S405)。ワイド側の光学ズーム限界位置の検出処理では、図5で示したズーム位置A〜Cがワイド側のズーム位置に置き換わること以外、S404の場合と同様であるため、詳細な説明を省略する。
S405においてCPU120は光学ズーム位置がワイド側の光学ズーム限界位置を超えたと判断すると、処理をS407に移行させる。CPU120は移動制御プログラムを実行して、ズーム速度Sdに応じて移動撮像装置100を移動させる制御を行う(S407)。つまりワイド側の光学ズーム限界位置を超えた場合、移動撮像装置100は被写体から遠ざかる方向に移動する。尚、S405の判断時点で既にワイド側に移動ズーム中である場合にはS405での判定条件に依らずにS407に処理が移行する。
S404、S405の判断処理の結果、光学ズーム位置がテレ側およびワイド側の光学ズーム限界位置のいずれも超えていない場合には、S408に処理を進める。S408でCPU120はカメラ制御部108に指示し、ズーム制御部103によりレンズユニット101を駆動して光学ズーム制御を行う。S406、S407、およびS408の処理後にズーム機能の動作を終了し、S409に進む。
S409にてCPU120は、移動ズームモードを終了するか否かを判断する。操作情報通信部118が受信した信号にしたがって移動ズームモードの設定を解除した場合には、移動ズームモードを終了する。また操作情報通信部118が移動ズームモードの解除の設定信号を受信していない場合には、S401に戻り、次に到来する処理のタイミングで前記動作を再び実行する。
本実施形態において、ユーザが通信装置200を用いてズーム操作を行った場合、移動撮像装置100の画像データ送信部106は、動作状態情報をストリーミング画像データとともに通信装置200に送信する。動作状態情報とは、移動撮像装置100の移動制御状態とカメラズーム制御状態を示す情報である。通信装置200は当該情報の信号を受信し、表示部に動作状態を表示することで、ユーザに動作状態を通知する。
本実施形態によれば、カメラズームと移動ズームによる撮影において、移動撮像装置100の移動制御と光学ズーム制御を適応的に制御することで、ユーザは通信装置を使用してズーム操作を行うだけで所望の撮影倍率で撮影を行える。よって簡単な操作で滑らかなズーム映像(ズーム制御により変更される撮影画角での映像)を取得することができる。
[第2実施形態]
次に、本発明に係る第2実施形態を説明する。本実施形態の移動撮像装置の特長は、移動ズーム中において移動方向に障害物が存在する場合に衝突回避動作を行うことである。また移動撮像装置は、ユーザが通信装置によりズーム操作を行わない期間において、光学ズーム位置がテレ端とワイド端との中央位置になるように自動的に調整する(自動撮影ポジション合わせ機能)。以下、第1実施形態の場合と同様の構成要素については既に使用した符号を用いることで、それらの詳細な説明を省略し、主に相違点を説明する。
図6は、本実施形態の移動撮像装置における障害物回避を示す概略図である。図6(A)において移動撮像装置100は被写体511を撮影しており、移動ズームを行っている状態を例示する。障害物510は移動撮像装置100の移動方向に存在し、他の飛行体または鳥等が想定される。移動撮像装置100は、障害物検知センサ130により、移動ズーム中に移動方向の障害物510を検知する。CPU120は障害物510に対する回避動作が必要であると判断した場合には、ユーザに告知する処理を実行する。以下、図6(B)および図7を参照して、障害物との衝突を回避する機能の詳細について説明する。
図6(B)は、ズーム撮影中の通信装置200の表示画面例を示す概略図である。図6(B)に示す表示画面520には、撮影対象である主被写体の画像522を示す。またズームバー521上でユーザは、タッチ操作によりマーカーを移動することにより、ズーム倍率を調整することができる。ズーム操作により、移動撮像装置100から取得されて表示画面520に表示される映像が拡大され、または縮小される。衝突回避アイコン523は、移動撮像装置100の移動ズームの方向に障害物が存在する場合に、表示画面520に表示される。障害物510と移動撮像装置100との距離が所定範囲内である場合、移動撮像装置100は操作情報通信部118を介して通信装置200に障害物の情報を送信する。通信装置200は当該情報を受信して表示画面520上に衝突回避アイコン523を表示する。
図7のフローチャートを参照して、衝突回避動作について説明する。尚、本実施形態におけるズーム動作全体の流れは図4で説明した通りであるため、以下ではS406およびS407の移動ズーム中の衝突回避動作について説明する。
S600で移動ズーム動作が開始する。S601でCPU120は、障害物検知センサ130による障害物検知処理を実行する。次にS602でCPU120は障害物の有無を判断する。移動撮像装置100の進行方向に障害物が存在しないと判断された場合、S603に移行する。また移動撮像装置100の進行方向に障害物が存在すると判断された場合、S604に処理を進める。
S603にてCPU120は、移動ズームの処理を実行して処理を終了する。またS604に移行した場合、CPU120は通信装置200に障害物の存在を通知する。図6(B)に示すように衝突回避アイコン523が通信装置200の表示画面520に表示される。次のS605でCPU120は移動ズームの処理を停止して、衝突回避処理を終了する。
図7のS601において移動撮像装置100の進行方向に障害物が検出された際に、CPU120は、検出した障害物までの距離を算出して所定の閾値と比較する。移動撮像装置100から障害物までの距離が閾値以上である場合、CPU120は移動ズームの制御を続行する。また移動撮像装置100から障害物までの距離が閾値より小さい場合(移動撮像装置100が障害物に接近している場合)には、S604で通信装置200への通知の前にCPU120は移動撮像装置100を緊急停止させてホバリング制御を行う。あるいは、障害物への衝突を確実に回避するために、CPU120は障害物を検知したときの位置から上下方向または左右方向に移動撮像装置100を移動させる飛行制御を行う。
次に、図8を参照して、ズーム操作が所定時間以上行われない場合の自動撮影ポジション合わせ動作について説明する。図8は、移動撮像装置100における自動撮影ポジション合わせ機能の動作フローチャートであり、以下の処理は所定時間ごとに実行される。
CPU120は、操作情報通信部118によってズーム指示信号を受信したか否かを判断する。当該指示信号が受信されない場合、図8に示す自動撮影ポジション合わせ動作を開始する。S701でCPU120は光学ズーム位置算出プログラムを実行し、カメラの光学ズーム位置を取得する。S702でCPU120は、取得した光学ズーム位置が中央位置よりテレ側にあるかどうかを判断する。光学ズーム位置が中央位置よりテレ側にあると判断された場合(S702でYes)、S703に処理を進める。光学ズーム位置が中央位置よりテレ側にないと判断された場合(S702でNo)、S704に移行する。
S703でCPU120は移動制御部110に指示し、移動撮像装置100を被写体方向へ移動させる制御を行う。撮影位置は移動撮像装置100の前進によって被写体に近づく。そしてS706に処理を進める。
S704でCPU120は、S701で取得した光学ズーム位置が中央位置よりワイド側にあるかどうかを判断する。光学ズーム位置が中央位置よりワイド側にないと判断された場合(S704でNo)、自動撮影ポジション合わせ機能の動作を終了する。また光学ズーム位置が中央位置よりワイド側にあると判断された場合(S704でYes)、S705に処理を進める。CPU120は移動制御部110に指示し、移動撮像装置100を被写体方向と反対方向へ後退させる制御を行う(S705)。撮影位置は移動撮像装置100の後退によって被写体から遠ざかる。そしてS706に処理を進める。
S706でCPU120は、撮像範囲検出部109により検出される撮像範囲の変化量を取得する。次にCPU120は、S706で取得した撮像範囲の変化量がゼロに近く、かつカメラズーム位置が中央位置となるように、ズーム制御部103を介してレンズユニット101を制御する(S707)。その際、必要に応じて移動ズームが行われる。S707の処理後に自動撮影ポジション合わせ機能の動作を終了する。
本実施形態によれば、移動ズーム中に障害物を自動的に検出して衝突を回避することができるので、ユーザは撮影に集中することが可能となる。またユーザによりズーム操作が所定時間以上行われないことが検出された場合、自動撮影ポジション合わせ機能によって、撮像範囲が変わらないように移動制御とカメラズーム制御が行われる。すなわち撮像範囲の変化を抑制して極力撮像範囲を変えずに移動撮像装置100のカメラのズーム位置が中央位置に設定される。よって、次にユーザが行うズーム操作に対してテレ側およびワイド側ともに素早く反応できるので、フレーミングの応答性能を向上させることができる。
[その他の実施形態]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100 移動撮像装置
101 レンズユニット
103 ズーム制御部
108 カメラ制御部
110 移動制御部
120 CPU
130 障害物検知センサ

Claims (13)

  1. ズーム機能を有する移動撮像装置と、該移動撮像装置と通信する通信装置を備える撮像システムであって、
    前記通信装置は、前記移動撮像装置にズーム機能の指示信号を送信する送信手段を有し、
    前記移動撮像装置は、
    前記移動撮像装置の駆動手段を制御する移動制御手段と、
    撮像手段の撮像制御を行う撮像制御手段と、
    前記通信装置から前記指示信号を受信する受信手段と、
    前記撮像手段のズーム位置を検出する検出手段と、
    前記受信手段が前記指示信号を受信したときに、前記検出手段により検出された前記ズーム位置が第1のズーム領域内である場合、前記撮像制御手段によって撮影画角を変更する第1の制御を行い、前記受信手段が前記指示信号を受信したときに、前記検出手段により検出された前記ズーム位置が第2のズーム領域内である場合、前記移動制御手段によって前記移動撮像装置を移動させることで撮影画角を変更する第2の制御を行う制御手段と、を有することを特徴とする撮像システム。
  2. ズーム機能を有する移動撮像装置であって、
    前記移動撮像装置の駆動手段を制御する移動制御手段と、
    撮像手段の撮像制御を行う撮像制御手段と、
    ズーム機能の指示信号を受信する受信手段と、
    前記撮像手段のズーム位置を検出する検出手段と、
    前記受信手段が前記指示信号を受信したときに、前記検出手段により検出された前記ズーム位置が第1のズーム領域内である場合、前記撮像制御手段によって撮影画角を変更する第1の制御を行い、前記受信手段が前記指示信号を受信したときに、前記検出手段により検出された前記ズーム位置が第2のズーム領域内である場合、前記移動制御手段によって前記移動撮像装置を移動させることで撮影画角を変更する第2の制御を行う制御手段と、を有することを特徴とする移動撮像装置。
  3. 前記制御手段は、前記検出手段により検出されたズーム位置が前記第1のズーム領域から望遠側に変更されて前記第2のズーム領域内となった場合、前記移動制御手段によって前記移動撮像装置を被写体に近づく方向に移動させ、前記検出手段により検出されたズーム位置が前記第1のズーム領域から広角側に変更されて前記第2のズーム領域内となった場合、前記移動制御手段によって前記移動撮像装置を被写体から離れる方向に移動させる制御を行うことを特徴とする請求項2に記載の移動撮像装置。
  4. 前記制御手段はズーム制御の速度を算出して第1の閾値および該第1の閾値よりも小さい第2の閾値と比較し、前記検出手段により検出された前記ズーム位置が第1の位置であって前記速度が前記第1の閾値より大きい場合に比べて、前記ズーム位置が前記第1の位置よりも大きい第2の位置であって前記速度が前記第2の閾値より大きい場合に、より早いタイミングで前記第1の制御から前記第2の制御へ切り換えることを特徴とする請求項2または3に記載の移動撮像装置。
  5. 障害物を検知する検知手段と、
    前記移動撮像装置と通信する通信装置に信号を送信する送信手段を有し、
    前記制御手段は、前記検知手段から前記移動撮像装置の移動方向に障害物が存在することを示す情報を取得した場合、前記送信手段により前記障害物の存在を通知する信号を送信する制御を行うことを特徴とする請求項2から4のいずれか1項に記載の移動撮像装置。
  6. 前記制御手段は、前記検知手段により検知された前記障害物と前記移動撮像装置との距離を算出し、前記距離が閾値以上である場合に前記移動撮像装置の移動制御を行い、前記距離が前記閾値より小さい場合には前記送信手段が前記信号を送信する前に、前記移動撮像装置の移動を停止させる制御を行うことを特徴とする請求項5に記載の移動撮像装置。
  7. 前記制御手段は、前記検知手段により検知された前記障害物と前記移動撮像装置との距離を算出し、前記距離が閾値以上である場合に前記移動撮像装置の移動制御を行い、前記距離が前記閾値より小さい場合には前記送信手段が前記信号を送信する前に、前記移動撮像装置を移動して前記障害物との衝突を回避する制御を行うことを特徴とする請求項5に記載の移動撮像装置。
  8. 前記制御手段は前記指示信号が受信されず、かつ前記ズーム位置が中央位置よりも望遠側である場合に前記移動撮像装置を被写体に対して前進させる制御を行い、前記指示信号が受信されず、かつ前記ズーム位置が中央位置よりも広角側である場合に前記移動撮像装置を被写体に対して後退させる制御を行うことを特徴とする請求項2から7のいずれか1項に記載の移動撮像装置。
  9. 前記制御手段はさらに、前記ズーム位置を前記中央位置と比較し、前記ズーム位置が前記中央位置でない場合、前記撮像制御手段に指示して前記ズーム位置を前記中央位置に近づける制御を行うこと特徴とする請求項8に記載の移動撮像装置。
  10. 前記制御手段は、前記撮像制御手段から前記撮像手段の撮像範囲を取得し、前記指示信号が受信されない場合、前記移動制御手段に指示して前記移動撮像装置を移動させて前記撮像範囲の変化を抑制する制御を行うことを特徴とする請求項2に記載の移動撮像装置。
  11. 前記撮像制御手段は、前記第1のズーム領域にてレンズの移動による光学ズーム制御を行うことを特徴とする請求項2から10のいずれか1項に記載の移動撮像装置。
  12. 請求項1に記載の撮像システムを構成する通信装置であって、
    前記指示信号に対応するズーム位置の情報を、前記第1および第2のズーム領域を示す範囲とともに表示する表示手段を有することを特徴とする通信装置。
  13. ズーム機能を有する移動撮像装置と、該移動撮像装置と通信する通信装置を備える撮像システムにて実行される制御方法であって、
    前記通信装置が前記移動撮像装置にズーム機能の指示信号を送信する送信工程と、
    前記移動撮像装置の受信手段が前記通信装置から前記指示信号を受信する受信工程と、
    前記移動撮像装置の検出手段が撮像手段のズーム位置を検出する検出工程と、
    前記受信手段が前記指示信号を受信したときに、前記検出手段により検出された前記ズーム位置が第1のズーム領域内である場合、前記移動撮像装置の撮像制御手段によって撮影画角を変更する制御を制御手段が行う第1の制御工程と、
    前記受信手段が前記指示信号を受信したときに、前記検出手段により検出された前記ズーム位置が第2のズーム領域内である場合、前記移動撮像装置の駆動手段を制御する移動制御手段によって前記移動撮像装置を移動させることで撮影画角を変更する制御を前記制御手段が行う第2の制御工程と、を有することを特徴とする撮像システムの制御方法。

JP2015243696A 2015-12-15 2015-12-15 撮像システムおよびその制御方法 Active JP6758828B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015243696A JP6758828B2 (ja) 2015-12-15 2015-12-15 撮像システムおよびその制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015243696A JP6758828B2 (ja) 2015-12-15 2015-12-15 撮像システムおよびその制御方法

Publications (3)

Publication Number Publication Date
JP2017112440A true JP2017112440A (ja) 2017-06-22
JP2017112440A5 JP2017112440A5 (ja) 2019-01-31
JP6758828B2 JP6758828B2 (ja) 2020-09-23

Family

ID=59080977

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015243696A Active JP6758828B2 (ja) 2015-12-15 2015-12-15 撮像システムおよびその制御方法

Country Status (1)

Country Link
JP (1) JP6758828B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018107648A (ja) * 2016-12-27 2018-07-05 キヤノンマーケティングジャパン株式会社 情報処理装置、及びその制御方法、プログラム
WO2019039099A1 (ja) * 2017-08-23 2019-02-28 キヤノン株式会社 制御装置、制御システム、制御方法、プログラム、及び記憶媒体
WO2019168047A1 (ja) * 2018-02-28 2019-09-06 株式会社ナイルワークス ドローン、ドローンの制御方法、および、ドローン制御プログラム
CN111264055A (zh) * 2018-06-19 2020-06-09 深圳市大疆创新科技有限公司 确定装置、摄像***、移动体、合成***、确定方法以及程序

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018107648A (ja) * 2016-12-27 2018-07-05 キヤノンマーケティングジャパン株式会社 情報処理装置、及びその制御方法、プログラム
WO2019039099A1 (ja) * 2017-08-23 2019-02-28 キヤノン株式会社 制御装置、制御システム、制御方法、プログラム、及び記憶媒体
JP2019041185A (ja) * 2017-08-23 2019-03-14 キヤノン株式会社 制御装置、制御システム、制御方法、プログラム、及び記憶媒体
CN111034172A (zh) * 2017-08-23 2020-04-17 佳能株式会社 控制设备、控制***、控制方法、程序及存储介质
EP3687159A4 (en) * 2017-08-23 2021-08-18 Canon Kabushiki Kaisha CONTROL DEVICE, CONTROL SYSTEM, CONTROL METHOD, PROGRAM AND RECORDING MEDIUM
US11310416B2 (en) 2017-08-23 2022-04-19 Canon Kabushiki Kaisha Control device, control system, control method, and storage medium
JP7057637B2 (ja) 2017-08-23 2022-04-20 キヤノン株式会社 制御装置、制御システム、制御方法、プログラム、及び記憶媒体
WO2019168047A1 (ja) * 2018-02-28 2019-09-06 株式会社ナイルワークス ドローン、ドローンの制御方法、および、ドローン制御プログラム
JPWO2019168047A1 (ja) * 2018-02-28 2020-08-20 株式会社ナイルワークス ドローン、ドローンの制御方法、および、ドローン制御プログラム
CN111264055A (zh) * 2018-06-19 2020-06-09 深圳市大疆创新科技有限公司 确定装置、摄像***、移动体、合成***、确定方法以及程序

Also Published As

Publication number Publication date
JP6758828B2 (ja) 2020-09-23

Similar Documents

Publication Publication Date Title
JP7007497B2 (ja) 測距方法、知能制御方法及び装置、電子機器ならびに記憶媒体
US11175569B2 (en) Gimbal control
US10860039B2 (en) Obstacle avoidance method and apparatus and unmanned aerial vehicle
JP6758828B2 (ja) 撮像システムおよびその制御方法
US11310416B2 (en) Control device, control system, control method, and storage medium
JP2017062529A (ja) 方向制御方法
WO2021078003A1 (zh) 无人载具的避障方法、避障装置及无人载具
CN107431749B (zh) 一种跟焦器控制方法和装置及***
US20210325886A1 (en) Photographing method and device
JP2017072986A (ja) 自律飛行装置、自律飛行装置の制御方法及びプログラム
JP2017169170A (ja) 撮像装置、移動装置、撮像システム、撮像方法およびプログラム
JP6685714B2 (ja) 移動撮像装置の制御装置、移動撮像装置、および移動撮像装置の制御方法
US10362277B2 (en) Following apparatus and following system
CN108419052B (zh) 一种多台无人机全景成像方法
JP2017034320A (ja) 移動機構を持った撮像装置
EP3822732B1 (en) Control method and apparatus for unmanned aerial vehicle and unmanned aerial vehicle
KR101600699B1 (ko) 비행 촬영 시스템 및 그 운용 방법
JP6685713B2 (ja) 撮像システムおよびその制御方法、通信装置、移動撮像装置
WO2022126478A1 (zh) 影像获取方法、装置、可移动平台、控制终端、***
WO2022000211A1 (zh) 拍摄***的控制方法、设备、及可移动平台、存储介质
US11765454B2 (en) Image control method and device, and mobile platform
US11810386B2 (en) Image capture apparatus and control method
US20130038784A1 (en) Lens apparatus and imaging system using the same
JP2017059949A (ja) 撮像装置、表示装置及び撮像装置の制御方法
JP2013205814A (ja) レンズ装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181214

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191021

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200902

R151 Written notification of patent or utility model registration

Ref document number: 6758828

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151