JP6543875B2 - 制御装置、撮像装置、飛行体、制御方法、プログラム - Google Patents

制御装置、撮像装置、飛行体、制御方法、プログラム Download PDF

Info

Publication number
JP6543875B2
JP6543875B2 JP2017189081A JP2017189081A JP6543875B2 JP 6543875 B2 JP6543875 B2 JP 6543875B2 JP 2017189081 A JP2017189081 A JP 2017189081A JP 2017189081 A JP2017189081 A JP 2017189081A JP 6543875 B2 JP6543875 B2 JP 6543875B2
Authority
JP
Japan
Prior art keywords
change amount
lens
focus
distance
change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017189081A
Other languages
English (en)
Other versions
JP2019066556A (ja
Inventor
佳範 永山
佳範 永山
本庄 謙一
謙一 本庄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Priority to JP2017189081A priority Critical patent/JP6543875B2/ja
Priority to CN201780065011.XA priority patent/CN109844634B/zh
Priority to PCT/CN2017/117981 priority patent/WO2019061887A1/zh
Publication of JP2019066556A publication Critical patent/JP2019066556A/ja
Application granted granted Critical
Publication of JP6543875B2 publication Critical patent/JP6543875B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/09Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted for automatic focusing or varying magnification
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/18Focusing aids
    • G03B13/20Rangefinders coupled with focusing arrangements, e.g. adjustment of rangefinder automatically focusing camera
    • G03B13/22Rangefinders coupled with focusing arrangements, e.g. adjustment of rangefinder automatically focusing camera coupling providing for compensation upon change of camera lens
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Lens Barrels (AREA)
  • Studio Devices (AREA)

Description

本発明は、制御装置、撮像装置、飛行体、制御方法、プログラムに関する。
特許文献1には、ズームレンズの移動に伴うピントズレを補正するためにフォーカスレンズを移動させるズームトラッキング制御を行うレンズ装置が開示されている。
特許文献1 特開2016−224096号公報
上記のようなズームトラキング制御は、撮像装置から被写体までの距離が一定であることを前提としている。しかしながら、その距離が常に一定であるとは限らず、ズームトラッキングの精度が低下する場合がある。
本発明の一態様に係る制御装置は、ズームレンズ及びフォーカスレンズを備えるレンズ装置を制御する。制御装置は、ズームレンズの位置を示すズーム位置が変化する場合に、レンズ装置からの距離が変化しない被写体に対する合焦状態を維持するための、フォーカスレンズの位置を示すフォーカス位置の第1変化量を特定する第1特定部を備えてよい。制御装置は、レンズ装置からの距離が変化する被写体に対する合焦状態を維持するための、フォーカス位置の第2変化量を特定する第2特定部を備えてよい。制御装置は、第1変化量及び第2変化量に基づいて、フォーカス位置を制御する制御部を備えてよい。
ズームレンズを第1ズーム位置から第2ズーム位置に移動させるための命令に応じて、第1特定部は、ズームレンズが第1ズーム位置から第2ズーム位置に移動する場合の第1変化量を特定してよい。その命令に応じて、第2特定部は、ズームレンズが第2ズーム位置に移動する前に撮像された複数の画像に基づいて、第2変化量を特定してよい。
第2特定部は、ズームレンズが第1ズーム位置にあるときに撮像された第1画像、及び第1画像より前に撮像された第2画像を含む複数の画像に基づいて、第2変化量を特定してよい。
第2特定部は、第1画像に基づいてレンズ装置から被写体までの距離を示す第1距離を特定し、第2画像に基づいてレンズ装置から被写体までの距離を示す第2距離を特定し、第1距離と第2距離とに基づいて、第2変化量を特定してよい。
第2特定部は、第1距離と第2距離との差に基づいて、第2変化量を特定してよい。
第1特定部は、レンズ装置からの距離が変化しない被写体に対する合焦状態を維持するためのフォーカスレンズの位置を示すフォーカス位置と、ズームレンズのズーム位置との関係を示す情報に基づいて、第1変化量を特定してよい。
制御部は、レンズ装置が予め定められた撮像条件を満たさない場合、第1変化量及び第2変化量に基づいてフォーカス位置を制御してよい。制御部は、レンズ装置が予め定められた撮像条件を満たす場合、第2変化量に基づかず、第1変化量に基づいて、フォーカス位置を制御してよい。
制御部は、レンズ装置から地面までの距離が予め定められた距離以上であるという予め定められた撮像条件を満たさない場合、第1変化量及び第2変化量に基づいてフォーカス位置を制御してよい。制御部は、レンズ装置から地面までの距離が予め定められた距離以上であるという予め定められた撮像条件を満たす場合、第2変化量に基づかず、第1変化量に基づいて、フォーカス位置を制御してよい。
制御部は、レンズ装置から地面までの距離が予め定められた距離以上であり、かつレンズ装置の撮像方向が予め定められた方向の成分を含むという予め定められた撮像条件を満たさない場合、第1変化量及び第2変化量に基づいてフォーカス位置を制御してよい。制御部は、レンズ装置から地面までの距離が予め定められた距離以上であり、かつレンズ装置の撮像方向が予め定められた方向の成分を含むという予め定められた撮像条件を満たす場合、第2変化量に基づかず、第1変化量に基づいて、フォーカス位置を制御してよい。予め定められた方向は、鉛直方向でよい。
制御部は、レンズ装置から被写体までの距離が予め定められた距離以上であるという予め定められた撮像条件を満たさない場合、第1変化量及び第2変化量に基づいてフォーカス位置を制御してよい。制御部は、レンズ装置から被写体までの距離が予め定められた距離以上であるという予め定められた撮像条件を満たす場合、第2変化量に基づかず、第1変化量に基づいて、フォーカス位置を制御してよい。
制御部は、レンズ装置が予め定められた撮影モードで動作するという予め定められた撮像条件を満たさない場合、第1変化量及び第2変化量に基づいてフォーカス位置を制御してよい。制御部は、レンズ装置が予め定められた撮影モードで動作するという予め定められた撮像条件を満たす場合、第2変化量に基づかず、第1変化量に基づいて、フォーカス位置を制御してよい。
レンズ装置は、飛行体に搭載されてよい。制御部は、飛行体が飛行中であるという予め定められた撮像条件を満たさない場合、第1変化量及び第2変化量に基づいてフォーカス位置を制御してよい。制御部は、飛行体が飛行中であるという予め定められた撮像条件を満たす場合、第2変化量に基づかず、第1変化量に基づいて、フォーカス位置を制御してよい。
本発明の一態様に係る撮像装置は、上記制御装置と、レンズ装置とを備える。
本発明の一態様に係る飛行体は、上記撮像装置を備えて飛行する。飛行体は、撮像装置を回転可能に支持する支持機構を備えてよい。
本発明の一態様に係る制御方法は、ズームレンズ及びフォーカスレンズを備えるレンズ装置を制御する。制御方法は、ズームレンズの位置を示すズーム位置が変化する場合に、レンズ装置からの距離が変化しない被写体に対する合焦状態を維持するための、フォーカスレンズの位置を示すフォーカス位置の第1変化量を特定する段階を備えてよい。制御方法は、レンズ装置からの距離が変化する被写体に対する合焦状態を維持するための、フォーカス位置の第2変化量を特定する段階を備えてよい。制御方法は、第1変化量及び第2変化量に基づいて、フォーカス位置を制御する段階を備えてよい。
本発明の一態様に係るプログラムは、ズームレンズ及びフォーカスレンズを備えるレンズ装置をコンピュータに制御させるためのプログラムである。プログラムは、ズームレンズの位置を示すズーム位置が変化する場合に、レンズ装置からの距離が変化しない被写体に対する合焦状態を維持するための、フォーカスレンズの位置を示すフォーカス位置の第1変化量を特定する段階をコンピュータに実行させてよい。プログラムは、レンズ装置からの距離が変化する被写体に対する合焦状態を維持するための、フォーカス位置の第2変化量を特定する段階をコンピュータに実行させてよい。プログラムは、第1変化量及び第2変化量に基づいて、フォーカス位置を制御する段階をコンピュータに実行させてよい。
本発明の一態様によれば、レンズ装置から被写体までの距離が変化した場合にズームトラキングの精度が低下することを抑制できる。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
無人航空機及び遠隔操作装置の外観の一例を示す図である。 無人航空機の機能ブロックの一例を示す図である。 ズームトラッキング曲線の一例を示す図である。 撮像装置のズーム制御の手順の一例を示すフローチャートを示す図である。 被写体までの距離の変化に基づくフォーカス位置の第2変化量の導出の手順の一例を示すフローチャートを示す図である。 レンズ部の光学系における被写体距離、焦点距離などについて説明するための図である。 レンズ部の光学系における被写体距離、焦点距離などについて説明するための図である。 ズーム位置の変化に基づくフォーカス位置の第1変化量の導出の手順の一例を示すフローチャートを示す図である。 ズームトラッキング曲線に基づくフォーカス位置の特定の手順について説明するための図である。 ズームトラッキング制御によるフォーカス位置の変化の様子について説明するための図である。 ハードウェア構成の一例について説明するための図である。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施の形態は特許請求の範囲に係る発明を限定するものではない。また、実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。以下の実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイルまたはレコードに表示される通りであれば異議を唱えない。ただし、それ以外の場合、一切の著作権を留保する。
本発明の様々な実施形態は、フローチャート及びブロック図を参照して記載されてよく、ここにおいてブロックは、(1)操作が実行されるプロセスの段階または(2)操作を実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、プログラマブル回路、及び/またはプロセッサによって実装されてよい。専用回路は、デジタル及び/またはアナログハードウェア回路を含んでよい。集積回路(IC)及び/またはディスクリート回路を含んでよい。プログラマブル回路は、再構成可能なハードウェア回路を含んでよい。再構成可能なハードウェア回路は、論理AND、論理OR、論理XOR、論理NAND、論理NOR、及び他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ(FPGA)、プログラマブルロジックアレイ(PLA)等のようなメモリ要素等を含んでよい。
コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよい。その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー(登録商標)ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROMまたはフラッシュメモリ)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、静的ランダムアクセスメモリ(SRAM)、コンパクトディスクリードオンリメモリ(CD-ROM)、デジタル多用途ディスク(DVD)、ブルーレイ(RTM)ディスク、メモリスティック、集積回路カード等が含まれてよい。
コンピュータ可読命令は、1または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードの何れかを含んでよい。ソースコードまたはオブジェクトコードは、従来の手続型プログラミング言語を含む。従来の手続型プログラミング言語は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはSmalltalk、JAVA(登録商標)、C++等のようなオブジェクト指向プログラミング言語、及び「C」プログラミング言語または同様のプログラミング言語でよい。コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク(LAN)、インターネット等のようなワイドエリアネットワーク(WAN)を介して提供されてよい。プロセッサまたはプログラマブル回路は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
図1は、無人航空機(UAV)10及び遠隔操作装置300の外観の一例を示す。UAV10は、UAV本体20、ジンバル50、複数の撮像装置60、及び撮像装置100を備える。ジンバル50、及び撮像装置100は、撮像システムの一例である。UAV10は、空中を移動する飛行体の一例である。飛行体とは、UAVの他、空中を移動する他の航空機、飛行船、ヘリコプター等を含む概念である。
UAV本体20は、複数の回転翼を備える。複数の回転翼は、推進部の一例である。UAV本体20は、複数の回転翼の回転を制御することでUAV10を飛行させる。UAV本体20は、例えば、4つの回転翼を用いてUAV10を飛行させる。回転翼の数は、4つには限定されない。また、UAV10は、回転翼を有さない固定翼機でもよい。
撮像装置100は、所望の撮像範囲に含まれる被写体を撮像する撮像用のカメラである。ジンバル50は、撮像装置100を回転可能に支持する。ジンバル50は、支持機構の一例である。例えば、ジンバル50は、撮像装置100を、アクチュエータを用いてピッチ軸で回転可能に支持する。ジンバル50は、撮像装置100を、アクチュエータを用いて更にロール軸及びヨー軸のそれぞれを中心に回転可能に支持する。ジンバル50は、ヨー軸、ピッチ軸、及びロール軸の少なくとも1つを中心に撮像装置100を回転させることで、撮像装置100の姿勢を変更してよい。
複数の撮像装置60は、UAV10の飛行を制御するためにUAV10の周囲を撮像するセンシング用のカメラである。2つの撮像装置60が、UAV10の機首である正面に設けられてよい。更に他の2つの撮像装置60が、UAV10の底面に設けられてよい。正面側の2つの撮像装置60はペアとなり、いわゆるステレオカメラとして機能してよい。底面側の2つの撮像装置60もペアとなり、ステレオカメラとして機能してよい。複数の撮像装置60により撮像された画像に基づいて、UAV10の周囲の3次元空間データが生成されてよい。UAV10が備える撮像装置60の数は4つには限定されない。UAV10は、少なくとも1つの撮像装置60を備えていればよい。UAV10は、UAV10の機首、機尾、側面、底面、及び天井面のそれぞれに少なくとも1つの撮像装置60を備えてもよい。撮像装置60で設定できる画角は、撮像装置100で設定できる画角より広くてよい。撮像装置60は、単焦点レンズまたは魚眼レンズを有してもよい。
遠隔操作装置300は、UAV10と通信して、UAV10を遠隔操作する。遠隔操作装置300は、UAV10と無線で通信してよい。遠隔操作装置300は、UAV10に上昇、下降、加速、減速、前進、後進、回転などのUAV10の移動に関する各種命令を示す指示情報を送信する。指示情報は、例えば、UAV10の高度を上昇させる指示情報を含む。指示情報は、UAV10が位置すべき高度を示してよい。UAV10は、遠隔操作装置300から受信した指示情報により示される高度に位置するように移動する。指示情報は、UAV10を上昇させる上昇命令を含んでよい。UAV10は、上昇命令を受け付けている間、上昇する。UAV10は、上昇命令を受け付けても、UAV10の高度が上限高度に達している場合には、上昇を制限してよい。
図2は、UAV10の機能ブロックの一例を示す。UAV10は、UAV制御部30、メモリ32、通信インタフェース36、推進部40、GPS受信機41、慣性計測装置42、磁気コンパス43、気圧高度計44、温度センサ45、湿度センサ46、ジンバル50、撮像装置60及び撮像装置100を備える。
通信インタフェース36は、遠隔操作装置300などの他の装置と通信する。通信インタフェース36は、遠隔操作装置300からUAV制御部30に対する各種の命令を含む指示情報を受信してよい。メモリ32は、UAV制御部30が、推進部40、GPS受信機41、慣性計測装置(IMU)42、磁気コンパス43、気圧高度計44、温度センサ45、湿度センサ46、ジンバル50、撮像装置60、及び撮像装置100を制御するのに必要なプログラム等を格納する。メモリ32は、コンピュータ読み取り可能な記録媒体でよく、SRAM、DRAM、EPROM、EEPROM、及びUSBメモリ等のフラッシュメモリの少なくとも1つを含んでよい。メモリ32は、UAV本体20の内部に設けられてよい。UAV本体20から取り外し可能に設けられてよい。
UAV制御部30は、メモリ32に格納されたプログラムに従ってUAV10の飛行及び撮像を制御する。UAV制御部30は、CPUまたはMPU等のマイクロプロセッサ、MCU等のマイクロコントローラ等により構成されてよい。UAV制御部30は、通信インタフェース36を介して遠隔操作装置300から受信した命令に従って、UAV10の飛行及び撮像を制御する。推進部40は、UAV10を推進させる。推進部40は、複数の回転翼と、複数の回転翼を回転させる複数の駆動モータとを有する。推進部40は、UAV制御部30からの命令に従って複数の駆動モータを介して複数の回転翼を回転させて、UAV10を飛行させる。
GPS受信機41は、複数のGPS衛星から発信された時刻を示す複数の信号を受信する。GPS受信機41は、受信された複数の信号に基づいてGPS受信機41の位置(緯度及び経度)、つまりUAV10の位置(緯度及び経度)を算出する。IMU42は、UAV10の姿勢を検出する。IMU42は、UAV10の姿勢として、UAV10の前後、左右、及び上下の3軸方向の加速度と、ピッチ、ロール、及びヨーの3軸方向の角速度とを検出する。磁気コンパス43は、UAV10の機首の方位を検出する。気圧高度計44は、UAV10が飛行する高度を検出する。気圧高度計44は、UAV10の周囲の気圧を検出し、検出された気圧を高度に換算して、高度を検出する。温度センサ45は、UAV10の周囲の温度を検出する。湿度センサ46は、UAV10の周囲の湿度を検出する。
撮像装置100は、撮像部102及びレンズ部200を備える。レンズ部200は、レンズ装置の一例である。撮像部102は、イメージセンサ120、撮像制御部110、及びメモリ130を有する。イメージセンサ120は、CCDまたはCMOSにより構成されてよい。イメージセンサ120は、複数のレンズ210を介して結像された光学像の画像データを撮像制御部110に出力する。撮像制御部110は、CPUまたはMPUなどのマイクロプロセッサ、MCUなどのマイクロコントローラなどにより構成されてよい。撮像制御部110は、UAV制御部30からの撮像装置100の動作命令に応じて、撮像装置100を制御してよい。メモリ130は、コンピュータ可読可能な記録媒体でよく、SRAM、DRAM、EPROM、EEPROM、及びUSBメモリなどのフラッシュメモリの少なくとも1つを含んでよい。メモリ130は、撮像制御部110がイメージセンサ120などを制御するのに必要なプログラム等を格納する。メモリ130は、撮像装置100の筐体の内部に設けられてよい。メモリ130は、撮像装置100の筐体から取り外し可能に設けられてよい。
レンズ部200は、複数のレンズ210、複数のレンズ駆動部212、及びレンズ制御部220を有する。複数のレンズ210は、ズームレンズ、バリフォーカルレンズ、及びフォーカスレンズとして機能してよい。複数のレンズ210の少なくとも一部または全部は、光軸に沿って移動可能に配置される。レンズ部200は、撮像部102に対して着脱可能に設けられる交換レンズでよい。レンズ駆動部212は、カム環などの機構部材を介して、複数のレンズ210の少なくとも一部または全部を光軸に沿って移動させる。レンズ駆動部212は、アクチュエータを含んでよい。アクチュエータは、ステッピングモータを含んでよい。レンズ制御部220は、撮像部102からのレンズ制御命令に従って、レンズ駆動部212を駆動して、機構部材を介して1または複数のレンズ210を光軸方向に沿って移動させる。レンズ制御命令は、例えば、ズーム制御命令、及びフォーカス制御命令である。
レンズ部200は、メモリ222、位置センサ214をさらに有する。レンズ制御部220は、撮像部102からのレンズ動作命令に応じてレンズ駆動部212を介して、レンズ210の光軸方向への移動を制御する。レンズ制御部220は、撮像部102からのレンズ動作命令に応じてレンズ駆動部212を介して、レンズ210の光軸方向への移動を制御する。レンズ210の一部または全部は、光軸に沿って移動する。レンズ制御部220は、レンズ210の少なくとも1つを光軸に沿って移動させることで、ズーム動作及びフォーカス動作の少なくとも一方を実行する。位置センサ214は、レンズ210の位置を検出する。位置センサ214は、現在のズーム位置またはフォーカス位置を検出してよい。
レンズ駆動部212は、振れ補正機構を含んでよい。レンズ制御部220は、振れ補正機構を介して、レンズ210を光軸に沿った方向、または光軸に垂直な方向に移動させることで、振れ補正を実行してよい。レンズ駆動部212は、ステッピングモータにより振れ補正機構を駆動して、振れ補正を実行してよい。なお、振れ補正機構は、ステッピングモータにより駆動されて、イメージセンサ120を光軸に方向に沿った方向、または光軸に垂直な方向に移動させることで、振れ補正を実行してよい。
メモリ222は、レンズ駆動部212を介して移動する複数のレンズ210の制御値を記憶する。メモリ222は、SRAM、DRAM、EPROM、EEPROM、及びUSBメモリなどのフラッシュメモリの少なくとも1つを含んでよい。
このように構成された撮像装置100は、いわゆるズームトラッキング機能を有する。ズームトラッキング機能は、ズームレンズの位置を示すズーム位置が変化する場合に、撮像装置100からの距離が変化しない被写体に対する合焦状態を維持するために、ズーム位置の変化に応じて、フォーカスレンズの位置を示すフォーカス位置を変化させる機能である。ズームトラッキングは、例えば、図3に示すような、被写体距離に応じたズームトラキング曲線に従って特定された、目標のズーム位置に対応する目標のフォーカス位置にフォーカスレンズを移動させることにより実行される。ズームトラッキング曲線は、レンズ部200からの距離が変化しない被写体に対する合焦状態を維持するためのフォーカスレンズの位置を示すフォーカス位置と、ズームレンズのズーム位置との関係を示す情報の一例である。その情報は、レンズ部200の光学系の特性により定められ、例えば、メモリ222に格納されてよい。
例えば、被写体が無限端に存在する場合に、レンズ部200の光学系がズーム位置(1)及びフォーカス位置(1)の状態から、ズーム位置(2)の状態に変更される場合、撮像装置100は、ズームトラッキング曲線400に従って、ズーム位置(2)に対応するフォーカス位置(2)を特定する。撮像装置100は、ズーム位置(1)とズーム位置(2)とに基づいてズーム位置の変化量を導出し、フォーカス位置(1)とフォーカス位置(2)とからフォーカス位置の変化量を導出する。そして、撮像装置100は、それぞれの変化量に基づいて、ズーム位置及びフォーカス位置を制御する。
上記のようなズームトラキングは、ズームレンズを所望のズーム位置に移動中、レンズ部200から被写体までの距離が一定にあることを前提としている。しかしながら、その距離は、ズーム位置が変化している間に変化する可能性がある。例えば、撮像装置100がUAV10などの飛行体に搭載されている場合、飛行体の飛行中における飛行体または被写体の位置の変化により、ズームトラッキングの精度が低下する可能性がある。そこで、本実施形態では、レンズ部200から被写体までの距離が変化する場合でも、ズームトラッキングの精度が低下することを抑制する。
撮像制御部110は、特定部112、ズーム位置制御部114、及びフォーカス位置制御部116を有する。特定部112は、ズームレンズの位置を示すズーム位置が変化する場合に、レンズ部200からの距離が変化しない被写体に対する合焦状態を維持するための、フォーカスレンズの位置を示すフォーカス位置の第1変化量を特定する。特定部112は、レンズ部200からの距離が変化する被写体に対する合焦状態を維持するための、フォーカス位置の第2変化量を特定する。特定部112は、第1特定部及び第2特定部の一例である。ズーム位置とは、必ずしもズームレンズを構成する少なくとも1つのレンズの光軸方向における物理的な位置を直接的に示すものでなくてもよい。例えば、ズームレンズを移動させるためにカム機構を使用する場合、ズーム位置は、カム部材の変位位置に相当する値でもよい。また、円筒型のカムを用いてズームレンズを移動させる場合、ズーム位置は、円筒型のカムの回転角に相当する値でもよい。フォーカス位置とは、必ずしもズームレンズを構成する少なくとも1つのレンズの光軸方向における物理的な位置を直接的に示すものでなくてもよい。例えば、ズーム位置は、フォーカスレンズを光軸方向に移動させるための駆動機構を駆動するためのステッピングモータの基準回転位置からのステップ数に相当する値でもよい。
ズームレンズを第1ズーム位置から第2ズーム位置に移動させるための命令に応じて、特定部112は、ズームレンズが第1ズーム位置から2ズーム位置に移動する場合の第1変化量を特定する。特定部112は、さらに、ズームレンズが第2ズーム位置に移動する前に撮像された複数の画像に基づいて、第2変化量を特定する。特定部112は、ズームレンズが第1ズーム位置にあるときに撮像された第1画像、及び第1画像より前に撮像された第2画像を含む複数の画像に基づいて、第2変化量を特定してよい。特定部112は、第1画像に基づいてレンズ部200から被写体までの距離を示す第1距離を特定してよい。特定部112は、第2画像に基づいてレンズ部200から被写体までの距離を示す第2距離を特定してよい。特定部112は、第1距離と第2距離とに基づいて、第2変化量を特定してよい。特定部112は、第1距離と第2距離との差に基づいて、第2変化量を特定してよい。
フォーカス位置制御部116は、第1変化量及び第2変化量に基づいて、フォーカス位置を制御する。ズーム位置制御部114は、ズームレンズを第1ズーム位置から第2ズーム位置に移動させるための命令に応じて、ズームレンズの位置を制御する。
ズームトラッキングにおいて、フォーカス位置制御部116は、ズームレンズの位置の変化に基づき特定される第1変化量に加えて、被写体までの距離の変化に基づき特定される第2変化量に基づいて、フォーカス位置を制御する。これにより、被写体までの距離が変化する場合でも、撮像制御部110は、ズームトラッキングを制御よく実行できる。特定部112が、ズームレンズが第1ズーム位置から第2ズーム位置に移動する前に、第1ズーム位置で撮像された第1画像、及び第1画像より前に撮像された第2画像に少なくとも基づいて、被写体までの距離の変化量を特定する。特定部112は、その変化量に基づいて、ズームレンズが第2ズーム位置に移動する前に、フォーカス位置の第2変化量を特定する。フォーカス位置制御部116は、ズームレンズが第1ズーム位置から第2ズーム位置に移動する間に、ズームレンズの位置に変化に基づく第1変化量に加えて、被写体までの距離の変化に基づく第2変化量に基づいて、フォーカスレンズの位置を制御できる。よって、被写体までの距離が変化する場合でもズームトラッキングの精度が低下することを抑制できる。
ここで、例えば、レンズ部200から被写体までの距離が比較的長いと、被写体までの距離が変化しても、ズームトラッキングの精度にほんとど影響がない。すなわち、撮像装置100の撮像条件によっては、被写体までの距離の変化に基づく第2変化量に基づく、ズームトラッキングは必ずしも必要ない場合もある。そこで、フォーカス位置制御部116は、撮像装置100が予め定められた撮像条件を満たさない場合には、第1変化量及び第2変化量に基づいてフォーカス位置を制御してよい。一方、フォーカス位置制御部116は、レンズ装置が予め定められた撮像条件を満たす場合、第2変化量に基づかず、第1変化量に基づいて、フォーカス位置を制御してよい。
フォーカス位置制御部116は、レンズ部200から地面までの距離が予め定められた距離以上であるという予め定められた撮像条件を満たさない場合、第1変化量及び第2変化量に基づいてフォーカス位置を制御してよい。フォーカス位置制御部116は、レンズ部200から地面までの距離が予め定められた距離以上であるという予め定められた撮像条件を満たす場合、第2変化量に基づかず、第1変化量に基づいて、フォーカス位置を制御してよい。レンズ部200から地面までの距離は、例えば、UAV本体20または撮像装置100に設けられた赤外線センサからの信号に基づいて特定されてよい。赤外線センサは、赤外線が鉛直方向下向きに放射されるように、例えばUAV本体20に設けられてよい。赤外線センサは、放射された赤外線の反射光に基づいて、赤外線センサから反射面までの距離を、レンズ部200から地面までの距離として検出してよい。
フォーカス位置制御部116は、レンズ部200から地面までの距離が予め定められた距離以上であり、かつレンズ部200の撮像方向が予め定められた方向の成分を含むという予め定められた撮像条件を満たさない場合、第1変化量及び第2変化量に基づいてフォーカス位置を制御してよい。フォーカス位置制御部116は、レンズ部200から地面までの距離が予め定められた距離以上であり、かつレンズ部200の撮像方向が予め定められた方向の成分を含むという予め定められた撮像条件を満たす場合、第2変化量に基づかず、第1変化量に基づいて、フォーカス位置を制御してよい。予め定められた方向は、撮像装置100が地面方向を撮影できる方向でよく、例えば、鉛直方向下向きでよい。例えば、撮像装置100が、UAV10に搭載され、UAV10の飛行中に、空撮により地表を撮影する。このような場合、被写体までの距離が長いので、被写体までの距離が変化しても、ズームトラッキングの精度にほんとど影響がない。そのため、上記のような条件を満たす場合には、フォーカス位置制御部116は、第2変化量に基づかず、第1変化量に基づいて、フォーカス位置を制御してよい。一方、レンズ部200の撮像方向が例えば鉛直方向の成分を含んでいても、撮像装置100が、距離が比較的短い被写体を撮影する場合、被写体までの距離の変化がズームトラッキングの精度に影響を与える可能性がある。例えば、UAV10を飛行させて、撮像装置100が、ポートレート撮影する場合、被写体までの距離の変化がズームトラッキングの精度に影響を与える可能性がある。そこで、このような条件で撮影が行われる場合には、フォーカス位置制御部116は、第1変化量及び第2変化量に基づいて、フォーカス位置を制御してよい。
フォーカス位置制御部116は、撮像装置100が予め定められた撮影モードで動作するという予め定められた撮像条件を満たさない場合、第1変化量及び第2変化量に基づいてフォーカス位置を制御してよい。フォーカス位置制御部116は、予め定められた撮影モードで動作するという予め定められた撮像条件を満たす場合、第2変化量に基づかず、第1変化量に基づいて、フォーカス位置を制御してよい。フォーカス位置制御部116は、例えば、ポートレートモードなどの被写体までの距離が比較的短いシーンを想定している予め定められた撮影モード以外の撮影モードで撮像装置100が動作する場合、予め定められた撮影条件を満たさないと判断して、第1変化量及び第2変化量に基づいてフォーカス位置を制御してよい。予め定められた撮影モードは、被写体までの距離が変化しても、ズームトラッキングの精度にほんとど影響がないシーンを撮影する任意の撮影モードでよい。
フォーカス位置制御部116は、レンズ部200から被写体までの距離が予め定められた距離以上であるという予め定められた撮像条件を満たさない場合、第1変化量及び第2変化量に基づいてフォーカス位置を制御してよい。フォーカス位置制御部116は、レンズ部200から被写体までの距離が予め定められた距離以上であるという予め定められた撮像条件を満たす場合、第2変化量に基づかず、第1変化量に基づいて、フォーカス位置を制御してよい。
フォーカス位置制御部116は、UAV10が飛行中であるという予め定められた撮像条件を満たさない場合、第1変化量及び第2変化量に基づいてフォーカス位置を制御してよい。フォーカス位置制御部116は、UAV10が飛行中であるという予め定められた撮像条件を満たす場合、第2変化量に基づかず、第1変化量に基づいて、フォーカス位置を制御してよい。
以上のように、被写体までの距離が変化しても、ズームトラッキングの精度にほんとど影響がない場合には、被写体までの距離の変化に基づく第2変化量に基づいたズームトラッキングを行わない。これにより、ズームトラキング制御における処理の負担を低減できる。
図4は、撮像装置100のズーム制御の手順の一例を示すフローチャートである。撮像制御部110が、ユーザ操作に基づいてズームレンズを移動させるズーム命令を受信する(S100)、撮像制御部110は、そのズーム命令に応じて、ズームトラッキング動作を開始する。さらに、撮像制御部110は、被写体までの距離の変化を考慮せずにズームトラッキング動作を行ってよい予め定められた撮像条件を満たすか否かを判定する(S102)。予め定められた撮像条件を満たさない場合、撮像制御部110は、被写体までの距離の変化を考慮してズームトラッキング動作を実行すべきと判断する。そして、撮像制御部110は、撮像された画像から主被写体の領域の変化量を導出する(S104)。撮像制御部110は、まず画像から主被写体の領域を特定する。例えば、撮像制御部110は、画像の中心に存在する被写体を主被写体と判断して、主被写体の領域を特定してよい。撮像制御部110は、予め定められた期間内で動きが最も大きい被写体を主被写体と判断して、主被写体の領域を特定してよい。撮像制御部110は、第1時点で撮像された画像の主被写体の領域と、第1時点より前の第2時点で撮像された画像の主被写体の領域との差分を、主被写体の領域の変化量として導出してよい。
次いで、撮像制御部110は、その変化量が予め定められた閾値以上か否かを判定する(S106)。その変化量が予め定められた閾値より小さければ、撮像制御部110は、被写体までの距離の変化がズームトラッキングの精度に与える影響は少ないと判断して、ステップS102に戻る。その変化量が予め定められた閾値以上であれば、撮像制御部110は、被写体までの距離の変化がズームトラッキングの精度に影響を与える可能性があると判断して、フォーカス位置の第2変化量を導出する(S108)。
ズームトラッキング動作が開始されると、撮像制御部110は、現在のズーム位置を保持する(S110)。撮像制御部110は、位置センサ214により検出されたズームレンズの現在のズーム位置を示す情報をレンズ制御部220から取得して、そのズーム位置を現在のズーム位置として保持してよい。さらに、撮像制御部110は、ズーム命令に基づいて、目標のズーム位置を導出する(S112)。撮像制御部110は、ズーム命令に示されるズーム位置を目標のズーム位置として特定してよい。撮像制御部110は、ズーム命令に示されるズームレンズの移動量と、現在のズーム位置から、目標のズーム位置を特定してよい。
次いで、撮像制御部110は、ズーム位置の変化に基づいて移動すべきフォーカスレンズの移動量に相当するフォーカス位置の第1変化量を導出する(S114)。フォーカス位置制御部116は、フォーカス位置の変化量を決定する(S116)。フォーカス位置制御部116は、第2変化量が導出されている場合には、第1変化量に第2変化量を加算することで、フォーカス位置の変化量を決定してよい。フォーカス位置制御部116は、第2変化量が導出されていない場合には、第1変化量をフォーカス位置の変化量として決定してよい。または、フォーカス位置制御部116は、第1変化量及び第2変化量の一方をフォーカス位置の変化量として決定し、その後、フォーカス位置制御部116は、第1変化量及び第2変化量の他方をフォーカス位置の変化量として決定してよい。フォーカス位置制御部116は、レンズ制御部220を介して、決定された変化量に基づいてフォーカスレンズを駆動する(S118)。フォーカス位置制御部116は、第1変化量及び第2変化量に基づいて、一度にフォーカスレンズのフォーカス位置を所望のフォーカス位置に変化させてもよい。または、フォーカス位置制御部116は、第1変化量及び第2変化量の一方に基づいて、フォーカスレンズのフォーカス位置を一旦変化させた後、さらに第1変化量及び第2変化量の他方に基づいてフォーカスレンズのフォーカス位置を変化させてよい。つまり、フォーカス位置制御部116は、第1変化量及び第2変化量に基づいて段階的にフォーカスレンズのフォーカス位置を所望のフォーカス位置に変化させてもよい。
一方、ズーム位置制御部114は、現在のズーム位置と、目標のズーム位置とからズーム位置の変化量を決定する(S120)。ズーム位置制御部114は、レンズ制御部220を介して、決定されたズーム位置の変化量に基づいて、ズームレンズを駆動する(S122)。
撮像制御部110は、ズーム位置がズーム命令に従って特定される最終のズーム位置に到達しているか否かを判定する(S124)。ズーム位置がズーム命令に従って特定される最終のズーム位置に到達していなければ、撮像制御部110は、ステップS110以降の処理を繰り返す。一方、最終のズーム位置に到達していれば、撮像制御部110は、処理を終了する。
図5は、被写体までの距離の変化に基づくフォーカス位置の第2変化量の導出の手順の一例を示すフローチャートである。図6及び7は、レンズ部200の光学系における被写体距離L1、焦点距離fなどについて説明するための図である。
特定部112は、前フレームで撮像された画像について、像面上の被写体サイズy1を特定する。特定部112は、図6に示すように、レンズ210を介して結像した像面上の被写体502のサイズを特定する(S200)。特定部112は、前フレームの像倍率α1を導出する(S202)。像倍率α1は、前フレームでのズーム位置とフォーカス位置とに基づいて一意に導出される。特定部112は、ズーム位置及びフォーカス位置と、像倍率との関係を示す予め定められた情報に基づいて、像倍率α1(=IM1:設計値像倍率)を導出してよい。
さらに、特定部112は、被写体距離L1、及び実際の被写体サイズYを導出する(S204)。特定部112は、L1=f/IM1の式に従って、被写体距離L1を導出してよい。さらに、特定部112は、Y=y1×L1/fの式に従って、被写体サイズYを導出してよい。
続いて、特定部112は、現フレームで撮像された画像について、図7に示すように、レンズ210を介して結像した像面上の被写体504の被写体サイズy2を特定する(S206)。特定部112は、現フレームでのズーム位置とフォーカス位置とに基づいて、現フレームでの像倍率α2(=IM2:設計値像倍率)を導出する(S208)。さらに、特定部112は、被写体距離L2及び、実際の被写体サイズYを導出する(S210)。特定部112は、L2=f/IM2の式に従って、被写体距離L2を導出してよい。特定部112は、Y=y2×L2/fの式に従って、被写体サイズYを導出してよい。
特定部112は、被写体距離Lの変化量ΔLを導出する(S212)。特定部112は、ΔL=L1−L2の式に従って、変化量ΔLを導出してよい。さらに、特定部112は、像面変化量Δxを導出してよい。特定部112は、Δx=L1(1−(IM1/IM2))×IM2の式に従って、像面変化量Δxを導出してよい。特定部112は、像面変化量Δxに基づいてフォーカス位置の第2変化量を導出してよい。特定部112は、像面変化量Δxに予め定められた係数Kを乗算することで、フォーカス位置の第2変化量を導出してよい。係数Kは、像面位置変化に対するフォーカス位置変換のために予め定められた係数である。
特定部112は、現フレームで撮像された画像、及び前フレームで撮像された少なくとも1つの画像に基づいて、第2ズーム位置で撮像される将来のフレームの画像での被写体の位置を予測して、その予測からフォーカス位置の第2変化量を導出してもよい。
図8は、ズーム位置の変化に基づくフォーカス位置の第1変化量の導出の手順の一例を示すフローチャートである。
特定部112は、現在のズーム位置を取得する(S300)。特定部112は、レンズ制御部220を介して、ズームレンズの現在のズーム位置を取得してよい。特定部112は、現在のフォーカス位置を取得する(S302)。特定部112は、レンズ制御部220を介してフォーカスレンズの現在のフォーカス位置を取得してよい。特定部112は、現在のズーム位置における駆動レンジを導出する(S304)。特定部112は、図9に示すように、無限端のズームトラッキング曲線400における現在のズーム位置に対応するフォーカス位置と、至近端のズームトラッキング曲線402における現在のズーム位置に対応するフォーカス位置との間の駆動レンジ404を特定してよい。さらに、特定部112は、現在のズーム位置における駆動レンジに対するフォーカス位置の比率を導出する(S306)。特定部112は、例えば、図9に示す、駆動レンジ404における比率b/aを導出する。
特定部112は、ズーム命令に基づいて、目標のズーム位置を導出する(S308)。特定部112は、目標のズーム位置における駆動レンジを導出する(S310)。特定部112は、例えば、図9に示す、目標のズーム値における駆動レンジ406を導出する。特定部112は、目標のズーム位置における比率及び駆動レンジから目標のフォーカス位置を導出する。特定部112は、例えば、図9に示す、比率b/aと駆動レンジ406とから目標のフォーカス位置を導出する。特定部112は、現在のフォーカス位置と、目標のフォーカス位置とから、フォーカス位置の第1変化量を導出する(S314)。
特定部112は、予め定義された被写体までの少なくとも2つの距離に対応するズームトラッキング曲線から、現在の被写体までの距離に対応するズームトラキング曲線を導出してよい。さらに、特定部112は、導出されたズームトラッキング曲線から、被写体までの距離が変化しない場合の目標のフォーカス位置を導出してよい。
例えば、図10に示すように、ズームレンズが第1ズーム位置から第2ズーム位置に移動する。この場合に、特定部112が、第1ズーム位置及び現在のフォーカス位置から特定されるズームトラッキング曲線401に従って、暫定フォーカス位置(1)を特定し、第1変化量412を特定する。しかし、実際には被写体までの距離が変化している場合がある。そこで、特定部112が、被写体までの距離の変化量に基づいてフォーカス位置の第2変化量414を特定する。特定部112は、第1ズーム位置で撮像された第1画像、及び第1画像より前に撮像された第2画像に基づいて、被写体までの距離の変化量を特定し、フォーカス位置の第2変化量414を特定してよい。フォーカス位置制御部116は、ズームレンズが第1位置から第2位置に移動する間に、第1変化量412と第2変化量414とを加味して、変化量416だけ移動させて、フォーカスレンズを第1フォーカス位置まで移動させる。フォーカス位置制御部116は、ズームレンズが第1位置から第2位置に移動する間に、一度に変化量416、フォーカスレンズを移動してよい。また、フォーカス位置制御部116は、第1ズーム位置から第2ズーム位置に移動する間に、第1変化量412、フォーカスレンズを移動させた後、さらに第2変化量414、フォーカスレンズを移動させてよい。
さらに、ズームレンズが第2ズーム位置から第3ズーム位置に移動する。この場合に、特定部112は、ズームトラッキング曲線402に従って、暫定フォーカス位置(2)を特定し、第1変化量422を特定する。さらに、特定部112は、被写体までの距離の変化量に基づいてフォーカス位置の第2変化量424を特定する。フォーカス位置制御部116は、第2ズーム位置から第3ズーム位置に移動する間に、第1変化量422及び第2変化量424を加味して、変化量426だけフォーカスレンズを移動させて、フォーカスレンズを第2フォーカス位置に移動させてよい。第1変化量422及び第2変化量424を加味して、一度にフォーカスレンズを移動させることで、フォーカスレンズの移動量を少なくできる。なお、フォーカス位置制御部116は、第2ズーム位置から第3ズーム位置に移動する間に、第1変化量422だけ、フォーカスレンズを移動させた後、第2変化量424だけ、フォーカスレンズを移動させることで、第2フォーカス位置にフォーカスレンズを移動させてもよい。
本実施形態に係る撮像装置100によれば、レンズ部200から被写体までの距離が変化する場合でも、被写体までの距離の変化量に基づいてズームトラッキング中にフォーカス位置の調整が行われるので、ズームトラッキングの精度が低下することを抑制できる。
図11は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ1200の一例を示す。コンピュータ1200にインストールされたプログラムは、コンピュータ1200に、本発明の実施形態に係る装置に関連付けられるオペレーションまたは当該装置の1または複数の「部」として機能させることができる。または、当該プログラムは、コンピュータ1200に当該オペレーションまたは当該1または複数の「部」を実行させることができる。当該プログラムは、コンピュータ1200に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ1200に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定のオペレーションを実行させるべく、CPU1212によって実行されてよい。
本実施形態によるコンピュータ1200は、CPU1212、及びRAM1214を含み、それらはホストコントローラ1210によって相互に接続されている。コンピュータ1200はまた、通信インタフェース1222、入力/出力ユニットを含み、それらは入力/出力コントローラ1220を介してホストコントローラ1210に接続されている。コンピュータ1200はまた、ROM1230を含む。CPU1212は、ROM1230及びRAM1214内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。
通信インタフェース1222は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブが、コンピュータ1200内のCPU1212によって使用されるプログラム及びデータを格納してよい。ROM1230はその中に、アクティブ化時にコンピュータ1200によって実行されるブートプログラム等、及び/またはコンピュータ1200のハードウェアに依存するプログラムを格納する。プログラムが、CR−ROM、USBメモリまたはICカードのようなコンピュータ可読記録媒体またはネットワークを介して提供される。プログラムは、コンピュータ可読記録媒体の例でもあるRAM1214、またはROM1230にインストールされ、CPU1212によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ1200に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ1200の使用に従い情報のオペレーションまたは処理を実現することによって構成されてよい。
例えば、通信がコンピュータ1200及び外部デバイス間で実行される場合、CPU1212は、RAM1214にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース1222に対し、通信処理を命令してよい。通信インタフェース1222は、CPU1212の制御の下、RAM1214、またはUSBメモリのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
また、CPU1212は、USBメモリ等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がRAM1214に読み取られるようにし、RAM1214上のデータに対し様々なタイプの処理を実行してよい。CPU1212は次に、処理されたデータを外部記録媒体にライトバックしてよい。
様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。CPU1212は、RAM1214から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索/置換等を含む、様々なタイプの処理を実行してよく、結果をRAM1214に対しライトバックする。また、CPU1212は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第2の属性の属性値に関連付けられた第1の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、CPU1212は、第1の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第2の属性の属性値を読み取り、それにより予め定められた条件を満たす第1の属性に関連付けられた第2の属性の属性値を取得してよい。
上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ1200上またはコンピュータ1200近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはRAMのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ1200に提供する。
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
10 UAV
20 UAV本体
30 UAV制御部
32 メモリ
36 通信インタフェース
40 推進部
41 GPS受信機
42 慣性計測装置
43 磁気コンパス
44 気圧高度計
45 温度センサ
46 湿度センサ
50 ジンバル
60 撮像装置
100 撮像装置
102 撮像部
110 撮像制御部
112 特定部
114 ズーム位置制御部
116 フォーカス位置制御部
120 イメージセンサ
130 メモリ
200 レンズ部
210 レンズ
212 レンズ駆動部
214 位置センサ
220 レンズ制御部
222 メモリ
300 遠隔操作装置
1200 コンピュータ
1210 ホストコントローラ
1212 CPU
1214 RAM
1220 入力/出力コントローラ
1222 通信インタフェース
1230 ROM

Claims (17)

  1. ズームレンズ及びフォーカスレンズを備えるレンズ装置を制御する制御装置であって、
    前記ズームレンズの位置を示すズーム位置が変化する場合に、前記レンズ装置からの距離が変化しない被写体に対する合焦状態を維持するための、前記フォーカスレンズの位置を示すフォーカス位置の第1変化量を特定する第1特定部と、
    前記レンズ装置からの距離が変化する被写体に対する合焦状態を維持するための、前記フォーカス位置の第2変化量を特定する第2特定部と、
    前記第1変化量及び前記第2変化量に基づいて、前記フォーカス位置を制御する制御部と
    を備え
    前記制御部は、
    前記レンズ装置が予め定められた撮像条件を満たさない場合、前記第1変化量及び前記第2変化量に基づいて前記フォーカス位置を制御し、
    前記レンズ装置が予め定められた撮像条件を満たす場合、前記第2変化量に基づかず、前記第1変化量に基づいて、前記フォーカス位置を制御し、
    前記制御部は、
    前記レンズ装置から地面までの距離が予め定められた距離以上であるという前記予め定められた撮像条件を満たさない場合、前記第1変化量及び前記第2変化量に基づいて前記フォーカス位置を制御し、
    前記レンズ装置から地面までの距離が予め定められた距離以上であるという前記予め定められた撮像条件を満たす場合、前記第2変化量に基づかず、前記第1変化量に基づいて、前記フォーカス位置を制御する、制御装置。
  2. ズームレンズ及びフォーカスレンズを備えるレンズ装置を制御する制御装置であって、
    前記ズームレンズの位置を示すズーム位置が変化する場合に、前記レンズ装置からの距離が変化しない被写体に対する合焦状態を維持するための、前記フォーカスレンズの位置を示すフォーカス位置の第1変化量を特定する第1特定部と、
    前記レンズ装置からの距離が変化する被写体に対する合焦状態を維持するための、前記フォーカス位置の第2変化量を特定する第2特定部と、
    前記第1変化量及び前記第2変化量に基づいて、前記フォーカス位置を制御する制御部と
    を備え、
    前記制御部は、
    前記レンズ装置が予め定められた撮像条件を満たさない場合、前記第1変化量及び前記第2変化量に基づいて前記フォーカス位置を制御し、
    前記レンズ装置が予め定められた撮像条件を満たす場合、前記第2変化量に基づかず、前記第1変化量に基づいて、前記フォーカス位置を制御し、
    前記制御部は、
    前記レンズ装置から地面までの距離が予め定められた距離以上であり、かつ前記レンズ装置の撮像方向が予め定められた方向の成分を含むという前記予め定められた撮像条件を満たさない場合、前記第1変化量及び前記第2変化量に基づいて前記フォーカス位置を制御し、
    前記レンズ装置から地面までの距離が予め定められた距離以上であり、かつ前記レンズ装置の撮像方向が予め定められた方向の成分を含むという前記予め定められた撮像条件を満たす場合、前記第2変化量に基づかず、前記第1変化量に基づいて、前記フォーカス位置を制御する、制御装置。
  3. ズームレンズ及びフォーカスレンズを備えるレンズ装置を制御する制御装置であって、
    前記ズームレンズの位置を示すズーム位置が変化する場合に、前記レンズ装置からの距離が変化しない被写体に対する合焦状態を維持するための、前記フォーカスレンズの位置を示すフォーカス位置の第1変化量を特定する第1特定部と、
    前記レンズ装置からの距離が変化する被写体に対する合焦状態を維持するための、前記フォーカス位置の第2変化量を特定する第2特定部と、
    前記第1変化量及び前記第2変化量に基づいて、前記フォーカス位置を制御する制御部と
    を備え、
    前記制御部は、
    前記レンズ装置が予め定められた撮像条件を満たさない場合、前記第1変化量及び前記第2変化量に基づいて前記フォーカス位置を制御し、
    前記レンズ装置が予め定められた撮像条件を満たす場合、前記第2変化量に基づかず、前記第1変化量に基づいて、前記フォーカス位置を制御し、
    前記制御部は、
    前記レンズ装置から前記被写体までの距離が予め定められた距離以上であるという前記予め定められた撮像条件を満たさない場合、前記第1変化量及び前記第2変化量に基づいて前記フォーカス位置を制御し、
    前記レンズ装置から前記被写体までの距離が予め定められた距離以上であるという前記予め定められた撮像条件を満たす場合、前記第2変化量に基づかず、前記第1変化量に基づいて、前記フォーカス位置を制御する、制御装置。
  4. 前記ズームレンズを第1ズーム位置から第2ズーム位置に移動させるための命令に応じて、
    前記第1特定部は、前記ズームレンズが前記第1ズーム位置から前記第2ズーム位置に移動する場合の前記第1変化量を特定し、
    前記第2特定部は、前記ズームレンズが前記第2ズーム位置に移動する前に撮像された複数の画像に基づいて、前記第2変化量を特定する、請求項1から3の何れか1つに記載の制御装置。
  5. 前記第2特定部は、前記ズームレンズが前記第1ズーム位置にあるときに撮像された第1画像、及び前記第1画像より前に撮像された第2画像を含む前記複数の画像に基づいて、前記第2変化量を特定する、請求項に記載の制御装置。
  6. 前記第2特定部は、前記第1画像に基づいて前記レンズ装置から前記被写体までの距離を示す第1距離を特定し、前記第2画像に基づいて前記レンズ装置から前記被写体までの距離を示す第2距離を特定し、前記第1距離と前記第2距離とに基づいて、前記第2変化量を特定する、請求項に記載の制御装置。
  7. 前記第2特定部は、前記第1距離と前記第2距離との差に基づいて、前記第2変化量を特定する、請求項に記載の制御装置。
  8. 前記第1特定部は、前記レンズ装置からの距離が変化しない被写体に対する合焦状態を維持するための前記フォーカスレンズの位置を示すフォーカス位置と、前記ズームレンズのズーム位置との関係を示す情報に基づいて、前記第1変化量を特定する、請求項1から7の何れか1つに記載の制御装置。
  9. 前記制御部は、
    前記レンズ装置が予め定められた撮影モードで動作するという前記予め定められた撮像条件を満たさない場合、前記第1変化量及び前記第2変化量に基づいて前記フォーカス位置を制御し、
    前記レンズ装置が前記予め定められた撮影モードで動作するという前記予め定められた撮像条件を満たす場合、前記第2変化量に基づかず、前記第1変化量に基づいて、前記フォーカス位置を制御する、請求項1から8の何れか1つに記載の制御装置。
  10. 前記レンズ装置は、飛行体に搭載されて、
    前記制御部は、
    前記飛行体が飛行中であるという前記予め定められた撮像条件を満たさない場合、前記第1変化量及び前記第2変化量に基づいて前記フォーカス位置を制御し、
    前記飛行体が飛行中であるという前記予め定められた撮像条件を満たす場合、前記第2変化量に基づかず、前記第1変化量に基づいて、前記フォーカス位置を制御する、請求項1から9の何れか1つに記載の制御装置。
  11. 請求項1から10の何れか1つに記載の制御装置と、
    前記レンズ装置と
    を備える撮像装置。
  12. 請求項11に記載の撮像装置を備えて飛行する飛行体。
  13. 前記撮像装置を回転可能に支持する支持機構をさらに備える、請求項12に記載の飛行体。
  14. ズームレンズ及びフォーカスレンズを備えるレンズ装置を制御する制御方法であって、
    前記ズームレンズの位置を示すズーム位置が変化する場合に、前記レンズ装置からの距離が変化しない被写体に対する合焦状態を維持するための、前記フォーカスレンズの位置を示すフォーカス位置の第1変化量を特定する段階と、
    前記レンズ装置からの距離が変化する被写体に対する合焦状態を維持するための、前記フォーカス位置の第2変化量を特定する段階と、
    前記第1変化量及び前記第2変化量に基づいて、前記フォーカス位置を制御する段階と
    を備え
    前記制御する段階は、
    前記レンズ装置が予め定められた撮像条件を満たさない場合、前記第1変化量及び前記第2変化量に基づいて前記フォーカス位置を制御する段階と、
    前記レンズ装置が予め定められた撮像条件を満たす場合、前記第2変化量に基づかず、前記第1変化量に基づいて、前記フォーカス位置を制御する段階と
    を含み、
    前記制御する段階は、
    前記レンズ装置から地面までの距離が予め定められた距離以上であるという前記予め定められた撮像条件を満たさない場合、前記第1変化量及び前記第2変化量に基づいて前記フォーカス位置を制御する段階と、
    前記レンズ装置から地面までの距離が予め定められた距離以上であるという前記予め定められた撮像条件を満たす場合、前記第2変化量に基づかず、前記第1変化量に基づいて、前記フォーカス位置を制御する段階を含む、制御方法。
  15. ズームレンズ及びフォーカスレンズを備えるレンズ装置を制御する制御方法であって、
    前記ズームレンズの位置を示すズーム位置が変化する場合に、前記レンズ装置からの距離が変化しない被写体に対する合焦状態を維持するための、前記フォーカスレンズの位置を示すフォーカス位置の第1変化量を特定する段階と、
    前記レンズ装置からの距離が変化する被写体に対する合焦状態を維持するための、前記フォーカス位置の第2変化量を特定する段階と、
    前記第1変化量及び前記第2変化量に基づいて、前記フォーカス位置を制御する段階と
    を備え、
    前記制御する段階は、
    前記レンズ装置が予め定められた撮像条件を満たさない場合、前記第1変化量及び前記第2変化量に基づいて前記フォーカス位置を制御する段階と、
    前記レンズ装置が予め定められた撮像条件を満たす場合、前記第2変化量に基づかず、前記第1変化量に基づいて、前記フォーカス位置を制御する段階と
    を含み、
    前記制御する段階は、
    前記レンズ装置から地面までの距離が予め定められた距離以上であり、かつ前記レンズ装置の撮像方向が予め定められた方向の成分を含むという前記予め定められた撮像条件を満たさない場合、前記第1変化量及び前記第2変化量に基づいて前記フォーカス位置を制御し、
    前記レンズ装置から地面までの距離が予め定められた距離以上であり、かつ前記レンズ装置の撮像方向が予め定められた方向の成分を含むという前記予め定められた撮像条件を満たす場合、前記第2変化量に基づかず、前記第1変化量に基づいて、前記フォーカス位置を制御する、制御方法。
  16. ズームレンズ及びフォーカスレンズを備えるレンズ装置を制御する制御方法であって、
    前記ズームレンズの位置を示すズーム位置が変化する場合に、前記レンズ装置からの距離が変化しない被写体に対する合焦状態を維持するための、前記フォーカスレンズの位置を示すフォーカス位置の第1変化量を特定する段階と、
    前記レンズ装置からの距離が変化する被写体に対する合焦状態を維持するための、前記フォーカス位置の第2変化量を特定する段階と、
    前記第1変化量及び前記第2変化量に基づいて、前記フォーカス位置を制御する段階と
    を備え、
    前記制御する段階は、
    前記レンズ装置が予め定められた撮像条件を満たさない場合、前記第1変化量及び前記第2変化量に基づいて前記フォーカス位置を制御する段階と、
    前記レンズ装置が予め定められた撮像条件を満たす場合、前記第2変化量に基づかず、前記第1変化量に基づいて、前記フォーカス位置を制御する段階と
    を含み、
    前記制御する段階は、
    前記レンズ装置から前記被写体までの距離が予め定められた距離以上であるという前記予め定められた撮像条件を満たさない場合、前記第1変化量及び前記第2変化量に基づいて前記フォーカス位置を制御し、
    前記レンズ装置から前記被写体までの距離が予め定められた距離以上であるという前記予め定められた撮像条件を満たす場合、前記第2変化量に基づかず、前記第1変化量に基づいて、前記フォーカス位置を制御する、制御方法。
  17. 請求項1から10の何れか1つに記載の制御装置としてコンピュータを機能させるためのプログラム。
JP2017189081A 2017-09-28 2017-09-28 制御装置、撮像装置、飛行体、制御方法、プログラム Expired - Fee Related JP6543875B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017189081A JP6543875B2 (ja) 2017-09-28 2017-09-28 制御装置、撮像装置、飛行体、制御方法、プログラム
CN201780065011.XA CN109844634B (zh) 2017-09-28 2017-12-22 控制装置、摄像装置、飞行体、控制方法以及程序
PCT/CN2017/117981 WO2019061887A1 (zh) 2017-09-28 2017-12-22 控制装置、摄像装置、飞行体、控制方法以及程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017189081A JP6543875B2 (ja) 2017-09-28 2017-09-28 制御装置、撮像装置、飛行体、制御方法、プログラム

Publications (2)

Publication Number Publication Date
JP2019066556A JP2019066556A (ja) 2019-04-25
JP6543875B2 true JP6543875B2 (ja) 2019-07-17

Family

ID=65900493

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017189081A Expired - Fee Related JP6543875B2 (ja) 2017-09-28 2017-09-28 制御装置、撮像装置、飛行体、制御方法、プログラム

Country Status (3)

Country Link
JP (1) JP6543875B2 (ja)
CN (1) CN109844634B (ja)
WO (1) WO2019061887A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021032990A (ja) * 2019-08-21 2021-03-01 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 制御装置、撮像システム、制御方法、及びプログラム
CN111086636B (zh) * 2020-01-09 2023-05-12 海南中农航服科技有限公司 一种航拍无人机的摄像装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7415200B2 (en) * 2003-10-14 2008-08-19 Canon Kabushiki Kaisha Imaging device
CN1932632A (zh) * 2005-09-15 2007-03-21 乐金电子(中国)研究开发中心有限公司 移动通信终端中的镜头自动调焦方法及装置
CN100573302C (zh) * 2006-03-14 2009-12-23 致伸科技股份有限公司 数码相机的变焦追踪方法
JP2008046351A (ja) * 2006-08-16 2008-02-28 Canon Inc 自動焦点調節装置および撮像装置
JP2010266701A (ja) * 2009-05-15 2010-11-25 Sanyo Electric Co Ltd 電子カメラ
JP2013130827A (ja) * 2011-12-22 2013-07-04 Canon Inc レンズ制御装置
JP5995969B2 (ja) * 2012-01-13 2016-09-21 キヤノン株式会社 レンズユニット、撮像装置、および、これらの制御方法
KR101293245B1 (ko) * 2012-02-21 2013-08-09 (주)비에이치비씨 광학 줌 카메라의 줌 트래킹 자동 초점 제어기 및 그 제어 방법
JP2015212746A (ja) * 2014-05-02 2015-11-26 キヤノン株式会社 ズームトラッキング制御装置、ズームトラッキング制御プログラム、光学機器および撮像装置
CN105227835B (zh) * 2015-09-11 2018-09-18 浙江宇视科技有限公司 一种辅助聚焦方法和装置
CN105635571B (zh) * 2015-12-24 2018-02-02 广东欧珀移动通信有限公司 拍照控制方法、拍照控制装置及拍照***
CN106341598A (zh) * 2016-09-14 2017-01-18 北京环境特性研究所 光学镜头自动聚焦***及方法

Also Published As

Publication number Publication date
WO2019061887A1 (zh) 2019-04-04
JP2019066556A (ja) 2019-04-25
CN109844634A (zh) 2019-06-04
CN109844634B (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
WO2018185939A1 (ja) 撮像制御装置、撮像装置、撮像システム、移動体、撮像制御方法、及びプログラム
JP6733106B2 (ja) 決定装置、移動体、決定方法、及びプログラム
JP2019110462A (ja) 制御装置、システム、制御方法、及びプログラム
JP2020012878A (ja) 制御装置、移動体、制御方法、及びプログラム
US20210105411A1 (en) Determination device, photographing system, movable body, composite system, determination method, and program
JP6543875B2 (ja) 制御装置、撮像装置、飛行体、制御方法、プログラム
US10942331B2 (en) Control apparatus, lens apparatus, photographic apparatus, flying body, and control method
JP2019191428A (ja) 制御装置、撮像装置、移動体、制御方法、及びプログラム
JP6501091B1 (ja) 制御装置、撮像装置、移動体、制御方法、及びプログラム
JP6503607B2 (ja) 撮像制御装置、撮像装置、撮像システム、移動体、撮像制御方法、及びプログラム
JP2019096965A (ja) 決定装置、制御装置、撮像システム、飛行体、決定方法、及びプログラム
JP6641574B1 (ja) 決定装置、移動体、決定方法、及びプログラム
CN110785997B (zh) 控制装置、摄像装置、移动体以及控制方法
JP6714802B2 (ja) 制御装置、飛行体、制御方法、及びプログラム
JP2019078953A (ja) 制御装置、撮像装置、飛行体、制御方法、及びプログラム
JP6569157B1 (ja) 制御装置、撮像装置、移動体、制御方法、及びプログラム
CN111213369B (zh) 控制装置、方法、摄像装置、移动体以及计算机可读存储介质
JP2020014054A (ja) 制御装置、移動体、制御方法、及びプログラム
JP6878738B1 (ja) 制御装置、撮像システム、移動体、制御方法、及びプログラム
JP6459012B1 (ja) 制御装置、撮像装置、飛行体、制御方法、及びプログラム
JP6413170B1 (ja) 決定装置、撮像装置、撮像システム、移動体、決定方法、及びプログラム
JP2020098289A (ja) 制御装置、撮像システム、移動体、制御方法、及びプログラム
CN112166374A (zh) 控制装置、摄像装置、移动体、控制方法以及程序
JP2020052220A (ja) 制御装置、撮像装置、移動体、制御方法、及びプログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190521

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190531

R150 Certificate of patent or registration of utility model

Ref document number: 6543875

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees