JP6743337B1 - 制御装置、撮像装置、撮像システム、制御方法、及びプログラム - Google Patents

Abstract

【課題】画像から被写体を見失うと、画像から再び被写体を検出するまでＡＦエリアを設定できないので、ＡＦ処理に時間を要する。被写体が存在しないＡＦエリアのままＡＦ処理が実行される場合がある。【解決手段】制御装置は、撮像装置により撮像される画像内の複数の領域のそれぞれについて合焦状態を示す値を導出し、複数の値のうちで最も合焦状態に近いことを示す値に基づいて、撮像装置の合焦制御を実行するように構成された回路を備えてよい。【選択図】図８

Description

本発明は、制御装置、撮像装置、撮像システム、制御方法、及びプログラムに関する。

特許文献１には、被写***置、被写体移動距離、及び被写体速度に応じてＡＦエリアの大きさを設定することが記載されている。
［先行技術文献］
［特許文献］
［特許文献１］ 特開２０１９−２０５４４号公報

しかしながら、画像から被写体を見失うと、画像から再び被写体を検出するまでＡＦエリアを設定できないので、ＡＦ処理に時間を要する。被写体が存在しないＡＦエリアのままＡＦ処理が実行される場合がある。

本発明の一態様に係る制御装置は、撮像装置により撮像される画像内の複数の領域のそれぞれについて合焦状態を示す値を導出し、複数の値のうちで最も合焦状態に近いことを示す値に基づいて、撮像装置の合焦制御を実行するように構成された回路を備えてよい。

回路は、撮像装置により撮像される画像に基づいて、予め定められた条件を満たす被写体を特定し、被写体に合焦させるべく合焦制御を実行し、その後、被写体が位置付けられる第１領域を含む複数の領域のそれぞれについて値を導出するように構成されてよい。

撮像装置は、撮像装置の姿勢を制御可能に支持する支持機構に取り付けられてよい。支持機構が撮像装置の姿勢を制御することで、被写体が第１領域に位置付けられてよい。

回路は、支持機構の制御情報に基づいて、最も合焦状態に近いことを示す値を補正し、補正された値に基づいて合焦制御を実行するように構成されてよい。

回路は、撮像装置に撮像される画像から特定される被写体の位置と、複数の領域のうちの最も合焦状態に近いことを示す値に対応する領域との位置関係に基づいて、最も合焦状態に近いことを示す値を補正し、補正された値に基づいて合焦制御を実行するように構成されてよい。

回路は、位相差方式のオートフォーカス制御により合焦制御を実行するように構成されてよい。

複数の領域のうちの少なくとも２つの領域は、部分的に重複していてよい。

複数の領域は、画像内の予め定められた第１領域と、第１領域の第１方向に位置する第２領域と、第１領域の第１方向と反対の第２方向に位置する第３領域と、第２領域の第１方向に位置する第４領域と、第３領域の第２方向に位置する第５領域と、第１領域の第３方向に位置する第６領域と、第２領域の第３方向と反対の第４方向に位置する第７領域と、第３領域の第４方向に位置する第８領域とを含んでよい。

第２領域は、第１領域及び第４領域と部分的に重複してよい。第３領域は、第１領域及び第５領域と部分的に重複してよい。

第１領域は、画像の中央領域でよい。

本発明の一態様に係る撮像装置は、上記制御装置と、制御装置に制御されるフォーカスレンズと、画像を撮像するイメージセンサとを備えてよい。

本発明の一態様に係る撮像システムは、上記撮像装置と、撮像装置の姿勢を制御可能に支持する支持機構を備えてよい。

本発明の一態様に係る制御方法は、撮像装置により撮像される画像内の複数の領域のそれぞれについて合焦状態を示す値を導出する段階を備えてよい。制御方法は、複数の値のうちで最も合焦状態に近いことを示す値に基づいて、撮像装置の合焦制御を実行する段階を備えてよい。

本発明の一態様に係るプログラムは、上記制御装置としてコンピュータを機能させるためのプログラムでよい。

本発明の一態様によれば、撮像装置の合焦制御をより適切に実行できる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

撮像システムの外観斜視図である。 撮像システムの機能ブロックを示す図である。 トラッキングモードでのＰＤＡＦについて説明するための図である。 トラッキングモードでのＰＤＡＦについて説明するための図である。 トラッキングモードでのＰＤＡＦについて説明するための図である。 トラッキングモードでのＰＤＡＦについて説明するための図である。 トラッキングモードでのＰＤＡＦについて説明するための図である。 被写体の検出及び位相差データの導出について説明するための図である。 デフォーカス量を導出する複数の領域の一例を示す図である。 複数の領域のデフォーカス量に基づくＰＤＡＦについて説明するための図である。 各領域のデフォーカス量の時間的変化の一例を示す図である。 撮像制御部による合焦制御の手順の一例を示すフローチャートである。 支持機構の制御情報に基づくデフォーカス量の補正について説明するための図である。 撮像システムの他の形態を示す図である。 無人航空機及び遠隔操作装置の外観の一例を示す図である。 ハードウェア構成の一例を示す図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施の形態は特許請求の範囲に係る発明を限定するものではない。また、実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。以下の実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイルまたはレコードに表示される通りであれば異議を唱えない。ただし、それ以外の場合、一切の著作権を留保する。

本発明の様々な実施形態は、フローチャート及びブロック図を参照して記載されてよく、ここにおいてブロックは、（１）操作が実行されるプロセスの段階または（２）操作を実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、プログラマブル回路、及び／またはプロセッサによって実装されてよい。専用回路は、デジタル及び／またはアナログハードウェア回路を含んでよい。集積回路（ＩＣ）及び／またはディスクリート回路を含んでよい。プログラマブル回路は、再構成可能なハードウェア回路を含んでよい。再構成可能なハードウェア回路は、論理ＡＮＤ、論理ＯＲ、論理ＸＯＲ、論理ＮＡＮＤ、論理ＮＯＲ、及び他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックアレイ（ＰＬＡ）等のようなメモリ要素等を含んでよい。

コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよい。その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ-ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク、メモリスティック、集積回路カード等が含まれてよい。

コンピュータ可読命令は、１または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードの何れかを含んでよい。ソースコードまたはオブジェクトコードは、従来の手続型プログラミング言語を含む。従来の手続型プログラミング言語は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ（登録商標）、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語または同様のプログラミング言語でよい。コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して提供されてよい。プロセッサまたはプログラマブル回路は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。

図１は、本実施形態に係る撮像システム１０の外観斜視図である。撮像システム１０は、撮像装置１００、支持機構２００、及び把持部３００を備える。支持機構２００は、撮像装置１００を、アクチュエータを用いてロール軸、ピッチ軸、ヨー軸のそれぞれを中心に回転可能に支持する。支持機構２００は、ロール軸、ピッチ軸、及びヨー軸の少なくとも１つを中心に撮像装置１００を回転させることで、撮像装置１００の姿勢を変更、または維持してよい。支持機構２００は、ロール軸駆動機構２０１、ピッチ軸駆動機構２０２、及びヨー軸駆動機構２０３を備える。支持機構２００は、ヨー軸駆動機構２０３が固定される基部２０４をさらに備える。把持部３００は、基部２０４に固定される。把持部３００は、操作インタフェース３０１、及び表示部３０２を備える。撮像装置１００は、ピッチ軸駆動機構２０２に固定される。

操作インタフェース３０１は、撮像装置１００及び支持機構２００を操作するための命令をユーザから受け付ける。操作インタフェース３０１は、撮像装置１００による撮影または録画を指示するシャッター／録画ボタンを含んでよい。操作インタフェース３０１は、撮像システム１０の電源をオンまたはオフ、及び撮像装置１００の静止画撮影モードまたは動画撮影モードの切り替えを指示する電源／ファンクションボタンを含んでよい。

表示部３０２は、撮像装置１００により撮像される画像を表示してよい。表示部３０２は、撮像装置１００及び支持機構２００を操作するためのメニュー画面を表示してよい。表示部３０２は、撮像装置１００及び支持機構２００を操作するための命令を受け付けるタッチパネルディスプレイでよい。

ユーザは、把持部３００を把持して撮像装置１００により静止画または動画を撮影する。撮像装置１００は、合焦制御を実行する。撮像装置１００は、コントラストオートフォーカス（コントラストＡＦ）、位相差ＡＦ、像面位相差ＡＦなどを実行してよい。撮像装置１００は、撮像装置１００により撮像された少なくとも２つの画像のぼけ度合いからフォーカスレンズの合焦位置を予測することで合焦制御を実行してもよい。

図２は、撮像システム１０の機能ブロックを示す図である。撮像装置１００は、撮像制御部１１０、イメージセンサ１２０、メモリ１３０、レンズ制御部１５０、レンズ駆動部１５２、及び複数のレンズ１５４を備える。

イメージセンサ１２０は、ＣＣＤまたはＣＭＯＳにより構成されてよい。イメージセンサ１２０は、複数のレンズ１５４を介して結像された光学像の画像データを撮像制御部１１０に出力する。撮像制御部１１０は、ＣＰＵまたはＭＰＵなどのマイクロプロセッサ、ＭＣＵなどのマイクロコントローラ、システムオンチップ（ＳＯＣ）などにより構成されてよい。撮像制御部１１０は、回路の一例である。撮像制御部１１０は、把持部３００からの撮像装置１００の動作命令に応じて、撮像装置１００を制御してよい。

メモリ１３０は、コンピュータ可読可能な記録媒体でよく、ＳＲＡＭ、ＤＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びＵＳＢメモリなどのフラッシュメモリの少なくとも１つを含んでよい。メモリ１３０は、撮像制御部１１０がイメージセンサ１２０などを制御するのに必要なプログラム等を格納する。メモリ１３０は、撮像装置１００の筐体の内部に設けられてよい。把持部３００は、撮像装置１００により撮像された画像データを保存するための他のメモリを備えてよい。把持部３００は、把持部３００の筐体からメモリを取り外し可能なスロットを有してよい。

複数のレンズ１５４は、ズームレンズ、バリフォーカルレンズ、及びフォーカスレンズとして機能してよい。複数のレンズ１５４の少なくとも一部または全部は、光軸に沿って移動可能に配置される。レンズ制御部１５０は、撮像制御部１１０からのレンズ制御命令に従って、レンズ駆動部１５２を駆動して、１または複数のレンズ１５４を光軸方向に沿って移動させる。レンズ制御命令は、例えば、ズーム制御命令、及びフォーカス制御命令である。レンズ駆動部１５２は、複数のレンズ１５４の少なくとも一部または全部を光軸方向に移動させるボイスコイルモータ（ＶＣＭ）を含んでよい。レンズ駆動部１５２は、ＤＣモータ、コアレスモータ、または超音波モータなどの電動機を含んでよい。レンズ駆動部１５２は、電動機からの動力をカム環、ガイド軸などの機構部材を介して複数のレンズ１５４の少なくとも一部または全部に伝達して、複数のレンズ１５４の少なくとも一部または全部を光軸に沿って移動させてよい。

撮像装置１００は、姿勢制御部２１０、角速度センサ２１２、及び加速度センサ２１４をさらに備える。角速度センサ２１２は、撮像装置１００の角速度を検出する。角速度センサ２１２は、撮像装置１００のロール軸、ピッチ軸、及びヨー軸回りのそれぞれの角速度を検出する。姿勢制御部２１０は、角速度センサ２１２から撮像装置１００の角速度に関する角速度情報を取得する。角速度情報は、撮像装置１００のロール軸、ピッチ軸、及びヨー軸回りのそれぞれの角速度を示してよい。姿勢制御部２１０は、加速度センサ２１４から撮像装置１００の加速度に関する加速度情報を取得する。加速度情報は、撮像装置１００の振動の大きさを表す振動レベルを示してよい。加速度情報は、撮像装置１００のロール軸、ピッチ軸、及びヨー軸のそれぞれの方向の加速度を示してもよい。

角速度センサ２１２、及び加速度センサ２１４は、イメージセンサ１２０及びレンズ１５４などを収容する筐体内に設けられてよい。本実施形態では、撮像装置１００と支持機構２００とが一体的に構成される形態について説明する。しかし、支持機構２００が、撮像装置１００を着脱可能に固定する台座を備えてよい。この場合、角速度センサ２１２、及び加速度センサ２１４は台座など撮像装置１００の筐体の外に設けられてよい。

姿勢制御部２１０は、角速度情報及び加速度情報に基づいて、撮像装置１００の姿勢を維持または変更すべく、支持機構２００を制御する。姿勢制御部２１０は、撮像装置１００の姿勢を制御するための支持機構２００の動作モードに従って、撮像装置１００の姿勢を維持または変更すべく、支持機構２００を制御する。

動作モードは、支持機構２００の基部２０４の姿勢の変化に撮像装置１００の姿勢の変化を追従させるように支持機構２００のロール軸駆動機構２０１、ピッチ軸駆動機構２０２、及びヨー軸駆動機構２０３の少なくとも１つを動作させるモードを含む。動作モードは、支持機構２００の基部２０４の姿勢の変化に撮像装置１００の姿勢の変化を追従させるように支持機構２００のロール軸駆動機構２０１、ピッチ軸駆動機構２０２、及びヨー軸駆動機構２０３のそれぞれを動作させるモードを含む。動作モードは、支持機構２００の基部２０４の姿勢の変化に撮像装置１００の姿勢の変化を追従させるように支持機構２００のピッチ軸駆動機構２０２、及びヨー軸駆動機構２０３のそれぞれを動作させるモードを含む。動作モードは、支持機構２００の基部２０４の姿勢の変化に撮像装置１００の姿勢の変化を追従させるようにヨー軸駆動機構２０３のみを動作させるモードを含む。

動作モードは、支持機構２００の基部２０４の姿勢の変化に撮像装置１００の姿勢の変化を追従させるように支持機構２００を動作させるＦＰＶ（Ｆｉｒｓｔ Ｐｅｒｓｏｎ Ｖｉｅｗ）モードと、撮像装置１００の姿勢を維持するように支持機構２００を動作させる固定モードとを含んでよい。

ＦＰＶモードは、支持機構２００の基部２０４の姿勢の変化に撮像装置１００の姿勢の変化を追従させるように、ロール軸駆動機構２０１、ピッチ軸駆動機構２０２、及びヨー軸駆動機構２０３の少なくとも１つを動作させるモードである。固定モードは、撮像装置１００の現在の姿勢を維持するように、ロール軸駆動機構２０１、ピッチ軸駆動機構２０２、及びヨー軸駆動機構２０３の少なくとも１つを動作させるモードである。

動作モードは、撮像装置１００に撮像される画像内の予め定められた第１領域に予め定められた条件を満たす被写体が位置付けられるように撮像装置１００の姿勢を制御すべく支持機構２００を動作させるトラッキングモードを含む。例えば、姿勢制御部２１０は、撮像装置１００に撮像される画像内の中央領域に、顔が位置付けられるように、撮像装置１００の姿勢を制御すべく支持機構２００を動作させてよい。

トラッキングモードにおいて、撮像制御部１１０は、撮像装置１００に撮像される画像内の予め定められた第１領域に位置付けられる被写体に焦点が合うように合焦制御を実行する。撮像制御部１１０は、例えば、像面位相差方式でオートフォーカス制御を実行する。すなわち、撮像制御部１１０は、ＰＤＡＦ（Ｐｈａｓｅ Ｄｅｔｅｃｔｉｏｎ Ａｕｔｏ Ｆｏｃｕｓ）を実行する。

イメージセンサ１２０は、像面位相差検出用の複数の一対の画素を有してよい。撮像制御部１１０は、複数の一対の画素から出力される複数の一対の画像信号から位相差データ（ＰＤデータ）を導出してよい。撮像制御部１１０は、位相差データからデフォーカス量、及びフォーカスレンズの移動方向を特定してよい。撮像制御部１１０は、特定されたデフォーカス量及びフォーカスレンズの移動方向に従って、フォーカスレンズを移動させて、合焦制御を実行してよい。

撮像制御部１１０は、トラッキングモードで動画を撮影する場合、動画を構成するフレームから予め定められた条件を満たす被写体を検出して、検出された被写体を含む第１領域の位相差データを導出する。撮像制御部１１０は、位相差データからデフォーカス量及びフォーカスレンズの移動方向を特定して、特定されたデフォーカス量及びフォーカスレンズの移動方向に基づいて、フォーカスレンズを移動させることで、合焦制御を実行する。

図３Ａに示すように、撮像制御部１１０は、イメージセンサ１２０により撮像される画像１６０から予め定められた条件を満たす被写体１７０を検出する。撮像制御部１１０は、被写体１７０が検出された領域１６２を位相差データを導出する対象の領域に設定する。

図３Ｂに示すように、撮像制御部１１０は、設定された領域に含まれる像面位相差検出用の少なくとも１つの一対の画素からの少なくとも１つの一対の画像信号を取得する。撮像制御部１１０は、少なくとも１つの一対の画像信号から位相差データを導出する。撮像制御部１１０は、位相差データに基づいてＰＤＡＦを実行する。すなわち、撮像制御部１１０は、位相差データからデフォーカス量及びフォーカスレンズの移動方向を特定して、特定されたデフォーカス量及びフォーカスレンズの移動方向に従ってフォーカスレンズを移動させる。

ここで、撮像システム１０がトラッキングモードで動作している場合でも、被写体１７０が移動したり、ユーザが撮像装置１００の撮像方向を変化させたりすることで、姿勢制御部２１０が被写体１７０のトラッキングを一時的にできなくなることがある。例えば、図３Ｃに示すように、画像１６０の領域１６２外に被写体１７０が移動する場合がある。この場合、領域１６２内の位相差データに基づくデフォーカス量及びフォーカスレンズの移動方向に従ってフォーカスレンズを移動させると、領域１６２内に被写体１７０が存在せず、領域１６２内の背景などに合焦してしまう。すなわち、画像１６０内の被写体１７０に焦点が合わなくなってしまう。

その後、図３Ｄに示すように、撮像制御部１１０は、画像１６０から被写体１７０を検出して、画像１６０内の被写体１７０に対応する位置に領域１６２を設定する。そして、図３Ｅに示すように、撮像制御部１１０は、新たな領域１６２内の位相差データに基づくデフォーカス量及びフォーカスレンズの移動方向に従ってフォーカスレンズを移動させる。これにより、領域１６２内の被写体１７０に合焦させることができる。

しかながら、上記のような処理では、撮像装置１００により撮像される画像１６０内の被写体１７０が一時的にぼやけてしまう。撮像装置１００により撮像される動画で、被写体１７０がぼやける期間が一時的に発生してしまう。

図４に示すように、被写体の検出に基づく領域１６２の設定と、設定された領域１６２内の位相差データの導出は、平行して行われている。したがって、移動後の被写体の検出に基づく領域１６２の設定の前に導出された領域１６２の位相差データは、被写体１７０のデフォーカス量を適切に反映していない場合がある。

そこで、本実施形態では、被写体１７０が画像１６０内で移動しても、被写体１７０への合焦状態が維持されるようにする。

撮像制御部１１０は、撮像装置１００により撮像される画像内の複数の領域のそれぞれについてデフォーカス量を導出し、複数のデフォーカス量のうち最も合焦状態に近い値を示すデフォーカス量に基づいて、撮像装置１００の合焦制御を実行する。ここで、デフォーカス量は、合焦状態を示す値の一例である。最も合焦状態に近い値を示すデフォーカス量は、例えば、複数のデフォーカス量のうちの最小の値を示すデフォーカス量でよい。

複数の領域のうちの少なくとも２つの領域は、部分的に重複してよい。複数の領域は、画像１６０内の予め定められた第１領域と、第１領域の第１方向に位置する第２領域と、第１領域の第１方向と反対の第２方向に位置する第３領域と、第２領域の第１方向に位置する第４領域と、第３領域の第２方向に位置する第５領域と、第１領域の第３方向に位置する第６領域と、第２領域の前記第３方向と反対の第４方向に位置する第７領域と、第３領域の前記第４方向に位置する第８領域とを含んでよい。第２領域は、第１領域及び第４領域と部分的に重複してよい。第３領域は、第１領域及び第５領域と部分的に重複してよい。

撮像制御部１１０は、図５に示すように、複数の領域として、領域１６２、領域１６２１、領域１６２２、領域１６２３、領域１６２４、領域１６２５、領域１６２６、及び領域１６２７を設定してよい。領域１６２は、画像１６０内の中央領域である。領域１６２は、第１領域の一例である。

領域１６２は、例えば、トラッキングモードで予め定められた条件を満たす被写体が位置すべき予め定められた第１領域（Ｃ領域）である。第１領域は、例えば、画像１６０内の中央領域である。姿勢制御部２１０は、被写体が第１領域に位置付けられるように支持機構２００を動作させて撮像装置１００の姿勢を制御する。第１領域は、合焦させるべき被写体が位置する領域であり、合焦枠に対応する領域でよい。撮像制御部１１０は、プレビュー画像に重畳して第１領域を合焦枠として表示部３０２に表示させてよい。撮像制御部１１０は、プレビュー画像に第１領域以外の領域を重畳させずに表示部３０２に表示させてよい。すなわち、撮像制御部１１０は、プレビュー画像に重畳して第１領域のみを合焦枠として表示部３０２に表示させてよい。または、撮像制御部１１０は、プレビュー画像に複数の領域のそれぞれを重畳させて表示部３０２に表示させてよい。撮像制御部１１０は、プレビュー画像に第１領域とともに第１領域と区別して識別できるように線の太さまたは色が異なる態様で他の領域を重畳させて表示部３０２に表示させてよい。

領域１６２１は、領域１６２の左側で、領域１６２の左側半分の領域が重複する領域（ＣＬ領域）である。領域１６２２は、領域１６２１の左側で、領域１６２１の左側半分の領域が重複する領域（ＣＬＬ領域）である。領域１６２３は、領域１６２１の下側の領域（ＣＤＬ）である。領域１６２４は、領域１６２の右側で、領域１６２の右側半分の領域が重複する領域である（ＣＲ領域）。領域１６２５は、領域１６２４の左側で、領域１６２４の右側半分の領域が重複する領域（ＣＲＲ領域）である。領域１６２６は、領域１６２４の下側の領域（ＣＤＲ領域）である。領域１６２７は、領域１６２の上側の領域（ＣＵ領域）である。

撮像制御部１１０は、図６に示すように、画像１６０内の被写体１７０を検出する。撮像制御部１１０は、画像１６０内の被写体１７０に合焦させるべく、合焦制御を実行する。撮像制御部１１０は、画像１６０内の被写体１７０に合焦させるべく、像面位相差ＡＦを実行する。

姿勢制御部２１０は、被写体１７０が画像１６０内の予め定められた第１領域である領域１６２に位置付けられるように、撮像装置１００の姿勢を制御する。撮像制御部１１０は、領域１６２を基準位置として、領域１６２の周囲にデフォーカス量を導出する少なくとも１つの領域を追加的に設定する。撮像制御部１１０は、領域１６２、領域１６２１、領域１６２２、領域１６２３、領域１６２４、領域１６２５、領域１６２６、及び領域１６２７を設定する。

撮像制御部１１０は、複数の領域のそれぞれについてデフォーカス量を導出する。撮像制御部１１０は、複数の領域のそれぞれのデフォーカス量のうち、最も小さいデフォーカス量に従って、フォーカスレンズを移動させる。すなわち、撮像制御部１１０は、被写体１７０が位置すべき予め定められた領域に加えて、その領域の周囲の領域についてもデフォーカス量を導出し、それらの中から、最も小さいデフォーカス量に従ってフォーカスレンズを移動させる。これにより、被写体１７０が位置すべき予め定められた領域から被写体１７０が移動しても、被写体１７０に合焦させることができる。

撮像制御部１１０により設定される複数の領域は、図５に示すような８個の領域でなくてもよい。複数の領域は、少なくとも２つの領域でよい。領域の数は、撮像装置１００の像面位相差ＡＦで設定可能な領域の数に従って設定されてよい。

図７は、Ｃ領域、ＣＲ領域、ＣＲＲ領域、ＣＬ領域、及びＣＬＬ領域のデフォーカス量ｙの時間的変化の一例を示す。図７に示すようにデフォーカス量が変化する場合、撮像制御部１１０は、第１期間において、Ｃ領域のデフォーカス量に従ってフォーカスレンズを移動させる。撮像制御部１１０は、第２期間において、ＣＲ領域のデフォーカス量に従ってフォーカスレンズを移動させる。撮像制御部１１０は、第３期間において、ＣＲＲ領域のデフォーカス量に従ってフォーカスレンズを移動させる。撮像制御部１１０は、第４期間において、ＣＲ領域のデフォーカス量に従ってフォーカスレンズを移動させる。

図８は、撮像制御部１１０による合焦制御の手順の一例を示すフローチャートである。

撮像制御部１１０は、操作インタフェース３０１を介したユーザからの指示に従って、撮像システム１０をトラッキングモードに設定する（Ｓ１００）。撮像制御部１１０は、イメージセンサ１２０により撮像された画像から、予め定められた条件を満たす被写体、例えば、顔の条件を示す被写体を検出する（Ｓ１０２）。

撮像制御部１１０は、トラッキングモードで予め設定されている第１領域を含む複数の領域を、デフォーカス量を導出する領域として、設定する。姿勢制御部２１０は、検出された被写体が第１領域に位置付けられるように、支持機構２００を動作させて、撮像装置１００の姿勢を制御する（Ｓ１０４）。撮像制御部１１０は、検出された被写体を含む領域のデフォーカス量に従って合焦制御を実行する。

次いで、撮像制御部１１０は、姿勢制御部２１０が被写体のトラッキングをすべく支持機構２００を制御している間に、設定された複数の領域のそれぞれのデフォーカス量を導出する（Ｓ１０６）。撮像制御部１１０は、複数のデフォーカス量のうち、最も小さいデフォーカス量を特定する（Ｓ１０８）。撮像制御部１１０は、特定されたデフォーカス量に従って合焦制御を実行する（Ｓ１１０）。

姿勢制御部２１０は、トラッキングモードが終了していなければ、被写体を第１領域に位置付けるべく支持機構２００を動作させて、撮像装置１００の姿勢を制御する。撮像制御部１１０は、ステップＳ１０６以降の処理を継続する。

以上の通り、本実施形態によれば、被写体が位置すべき領域から一時的にずれても、被写体への合焦状態を維持することができる。

ここで、撮像制御部１１０は、複数の領域のそれぞれのデフォーカス量のうち最も小さいデフォーカス量に対応する領域に所望の被写体が存在すると仮定して、合焦制御を実行している。しかし、必ずしも最も小さいデフォーカス量の領域に所望の被写体が存在するとは限らない。

そこで、撮像制御部１１０は、図９に示すように、支持機構２００の制御情報に基づいて、最小のデフォーカス量を補正し、補正されたデフォーカス量に基づいて合焦制御を実行してよい。撮像システム１０がトラッキングモードで動作している場合、支持機構２００は、被写体を第１領域に位置させるべく動作している。撮像制御部１１０は、支持機構２００の制御情報から、被写体の位置を特定する。特定された被写体の位置を含む領域と、最小のデフォーカス量に対応する領域との差が小さければ、最小のデフォーカス量に対応する領域に被写体が位置している可能性が高い。一方、特定された被写体の位置を含む領域と、最小のデフォーカス量に対応する領域との差が大きければ、最小のデフォーカス量に対応する領域に被写体が位置している可能性は高くない。すなわち、差が小さいほど最小のデフォーカス量の信頼度が高い。

撮像制御部１１０は、撮像装置１００に撮像される画像から特定される被写体の位置と、複数の領域のうちの最小のデフォーカス量に対応する領域との位置関係に基づいて、最小のデフォーカス量を補正し、補正されたデフォーカス量に基づいて合焦制御を実行してよい。

撮像制御部１１０は、第１領域から最小のデフォーカス量に対応する領域への移動量及び移動方向を示すベクトル量と、支持機構２００の制御情報から特定される撮像装置１００により撮像される画像の移動量及び移動方向を示すベクトル量との差を導出し、その差に基づいて最小のデフォーカス量を補正してよい。撮像制御部１１０が、差が大きいほど、最小のデフォーカス量が小さくなるように、すなわち、差が大きいほどフォーカスレンズの移動量が小さくなるように、デフォーカス量を補正してよい。

これにより、最小のデフォーカス量の信頼度が低い場合に、撮像制御部１１０が必要以上にフォーカスレンズを移動させることを防止できる。

なお、本実施形態では、撮像制御部１１０は、像面位相差ＡＦにより合焦制御を実行する例について説明した。しかしながら、撮像制御部１１０は、位相差ＡＦ、コントラストＡＦなどの合焦制御を実行してもよい。例えば、コントラスＡＦの場合、撮像制御部１１０は、被写体が位置すべき予め定められた第１領域を含む複数の領域のそれぞれについてコントラスト値を導出し、最も合焦状態に近い値、すなわち、最大のコントラスト値に従って合焦制御を実行してよい。

図１０は、撮像システム１０の他の形態を示す。図１０に示すように、撮像システム１０は、把持部３００の脇に、スマートフォン４００などのディスプレイを備えるモバイル端末を固定した状態で、使用されてよい。

上記のような撮像装置１００は、移動体に搭載されてもよい。撮像装置１００は、図１１に示すような、無人航空機（ＵＡＶ）に搭載されてもよい。ＵＡＶ１０００は、ＵＡＶ本体２０、ジンバル５０、複数の撮像装置６０、及び撮像装置１００を備えてよい。ジンバル５０、及び撮像装置１００は、撮像システムの一例である。ＵＡＶ１０００は、推進部により推進される移動体の一例である。移動体とは、ＵＡＶの他、空中を移動する他の航空機などの飛行体、地上を移動する車両、水上を移動する船舶等を含む概念である。

ＵＡＶ本体２０は、複数の回転翼を備える。複数の回転翼は、推進部の一例である。ＵＡＶ本体２０は、複数の回転翼の回転を制御することでＵＡＶ１０００を飛行させる。ＵＡＶ本体２０は、例えば、４つの回転翼を用いてＵＡＶ１０００を飛行させる。回転翼の数は、４つには限定されない。また、ＵＡＶ１０００は、回転翼を有さない固定翼機でもよい。

撮像装置１００は、所望の撮像範囲に含まれる被写体を撮像する撮像用のカメラである。ジンバル５０は、撮像装置１００を回転可能に支持する。ジンバル５０は、支持機構の一例である。例えば、ジンバル５０は、撮像装置１００を、アクチュエータを用いてピッチ軸で回転可能に支持する。ジンバル５０は、撮像装置１００を、アクチュエータを用いて更にロール軸及びヨー軸のそれぞれを中心に回転可能に支持する。ジンバル５０は、ヨー軸、ピッチ軸、及びロール軸の少なくとも１つを中心に撮像装置１００を回転させることで、撮像装置１００の姿勢を変更してよい。

複数の撮像装置６０は、ＵＡＶ１０００の飛行を制御するためにＵＡＶ１０００の周囲を撮像するセンシング用のカメラである。２つの撮像装置６０が、ＵＡＶ１０００の機首である正面に設けられてよい。更に他の２つの撮像装置６０が、ＵＡＶ１０００の底面に設けられてよい。正面側の２つの撮像装置６０はペアとなり、いわゆるステレオカメラとして機能してよい。底面側の２つの撮像装置６０もペアとなり、ステレオカメラとして機能してよい。複数の撮像装置６０により撮像された画像に基づいて、ＵＡＶ１０００の周囲の３次元空間データが生成されてよい。ＵＡＶ１０００が備える撮像装置６０の数は４つには限定されない。ＵＡＶ１０００は、少なくとも１つの撮像装置６０を備えていればよい。ＵＡＶ１０００は、ＵＡＶ１０００の機首、機尾、側面、底面、及び天井面のそれぞれに少なくとも１つの撮像装置６０を備えてもよい。撮像装置６０で設定できる画角は、撮像装置１００で設定できる画角より広くてよい。撮像装置６０は、単焦点レンズまたは魚眼レンズを有してもよい。

遠隔操作装置６００は、ＵＡＶ１０００と通信して、ＵＡＶ１０００を遠隔操作する。遠隔操作装置６００は、ＵＡＶ１０００と無線で通信してよい。遠隔操作装置６００は、ＵＡＶ１０００に上昇、下降、加速、減速、前進、後進、回転等のＵＡＶ１０００の移動に関する各種命令を示す指示情報を送信する。指示情報は、例えば、ＵＡＶ１０００の高度を上昇させる指示情報を含む。指示情報は、ＵＡＶ１０００が位置すべき高度を示してよい。ＵＡＶ１０００は、遠隔操作装置６００から受信した指示情報により示される高度に位置するように移動する。指示情報は、ＵＡＶ１０００を上昇させる上昇命令を含んでよい。ＵＡＶ１０００は、上昇命令を受け付けている間、上昇する。ＵＡＶ１０００は、上昇命令を受け付けても、ＵＡＶ１０００の高度が上限高度に達している場合には、上昇を制限してよい。

図１２は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ１２００の一例を示す。コンピュータ１２００にインストールされたプログラムは、コンピュータ１２００に、本発明の実施形態に係る装置に関連付けられるオペレーションまたは当該装置の１または複数の「部」として機能させることができる。または、当該プログラムは、コンピュータ１２００に当該オペレーションまたは当該１または複数の「部」を実行させることができる。当該プログラムは、コンピュータ１２００に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ１２００に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定のオペレーションを実行させるべく、ＣＰＵ１２１２によって実行されてよい。

本実施形態によるコンピュータ１２００は、ＣＰＵ１２１２、及びＲＡＭ１２１４を含み、それらはホストコントローラ１２１０によって相互に接続されている。コンピュータ１２００はまた、通信インタフェース１２２２、入力／出力ユニットを含み、それらは入力／出力コントローラ１２２０を介してホストコントローラ１２１０に接続されている。コンピュータ１２００はまた、ＲＯＭ１２３０を含む。ＣＰＵ１２１２は、ＲＯＭ１２３０及びＲＡＭ１２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。

通信インタフェース１２２２は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブが、コンピュータ１２００内のＣＰＵ１２１２によって使用されるプログラム及びデータを格納してよい。ＲＯＭ１２３０はその中に、アクティブ化時にコンピュータ１２００によって実行されるブートプログラム等、及び／またはコンピュータ１２００のハードウェアに依存するプログラムを格納する。プログラムが、ＣＲ−ＲＯＭ、ＵＳＢメモリまたはＩＣカードのようなコンピュータ可読記録媒体またはネットワークを介して提供される。プログラムは、コンピュータ可読記録媒体の例でもあるＲＡＭ１２１４、またはＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ１２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ１２００の使用に従い情報のオペレーションまたは処理を実現することによって構成されてよい。

例えば、通信がコンピュータ１２００及び外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース１２２２に対し、通信処理を命令してよい。通信インタフェース１２２２は、ＣＰＵ１２１２の制御の下、ＲＡＭ１２１４、またはＵＳＢメモリのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。

また、ＣＰＵ１２１２は、ＵＳＢメモリ等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がＲＡＭ１２１４に読み取られるようにし、ＲＡＭ１２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ１２１２は次に、処理されたデータを外部記録媒体にライトバックしてよい。

様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ１２１２は、ＲＡＭ１２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ１２１４に対しライトバックする。また、ＣＰＵ１２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ１２１２は、第１の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。

上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ１２００上またはコンピュータ１２００近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ１２００に提供する。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ 撮像システム
１００ 撮像装置
１１０ 撮像制御部
１２０ イメージセンサ
１３０ メモリ
１５０ レンズ制御部
１５２ レンズ駆動部
１５４ レンズ
２００ 支持機構
２０１ ロール軸駆動機構
２０２ ピッチ軸駆動機構
２０３ ヨー軸駆動機構
２０４ 基部
２１０ 姿勢制御部
２１２ 角速度センサ
２１４ 加速度センサ
３００ 把持部
３０１ 操作インタフェース
３０２ 表示部
４００ スマートフォン
１０００ ＵＡＶ
１２００ コンピュータ
１２１０ ホストコントローラ
１２１２ ＣＰＵ
１２１４ ＲＡＭ
１２２０ 入力／出力コントローラ
１２２２ 通信インタフェース
１２３０ ＲＯＭ

Claims (11)

1. 支持機構に姿勢を制御可能に支持される撮像装置により撮像される画像に基づいて、予め定められた条件を満たす被写体を特定し、前記被写体に合焦させるべく合焦制御を実行し、その後、撮像装置により撮像される画像内の、前記支持機構が前記撮像装置の姿勢を制御することで前記被写体が位置付けられる第１領域を含む複数の領域のそれぞれについて合焦状態を示す値を導出し、複数の前記値のうちで最も合焦状態に近いことを示す値に基づいて、前記撮像装置の合焦制御を実行するように構成された回路を備え、
   前記回路は、
   前記支持機構の制御情報に基づいて、前記最も合焦状態に近いことを示す値を補正し、補正された前記値に基づいて合焦制御を実行するように構成される、制御装置。
2. 前記回路は、前記撮像装置に撮像される画像から特定される前記被写体の位置と、前記複数の領域のうちの前記最も合焦状態に近いことを示す値に対応する領域との位置関係に基づいて、前記最も合焦状態に近いことを示す値を補正し、補正された値に基づいて前記合焦制御を実行するように構成される、請求項１に記載の制御装置。
3. 前記回路は、位相差方式のオートフォーカス制御により前記合焦制御を実行するように構成される、請求項１または２に記載の制御装置。
4. 前記複数の領域のうちの少なくとも２つの領域は、部分的に重複している、請求項１から３の何れか１つに記載の制御装置。
5. 前記複数の領域は、前記画像内の予め定められた第１領域と、前記第１領域の第１方向に位置する第２領域と、前記第１領域の前記第１方向と反対の第２方向に位置する第３領域と、前記第２領域の前記第１方向に位置する第４領域と、前記第３領域の前記第２方向に位置する第５領域と、前記第１領域の第３方向に位置する第６領域と、前記第２領域の前記第３方向と反対の第４方向に位置する第７領域と、前記第３領域の前記第４方向に位置する第８領域とを含む、請求項１から４の何れか１つに記載の制御装置。
6. 前記第２領域は、前記第１領域及び前記第４領域と部分的に重複し、
   前記第３領域は、前記第１領域及び前記第５領域と部分的に重複する、請求項５に記載の制御装置。
7. 前記第１領域は、前記画像の中央領域である、請求項５または６に記載の制御装置。
8. 請求項１から７の何れか１つに記載の制御装置と、
   前記制御装置に制御されるフォーカスレンズと、
   前記画像を撮像するイメージセンサと
   を備える撮像装置。
9. 請求項８に記載の撮像装置と、
   前記撮像装置の姿勢を制御可能に支持する支持機構と
   を備える撮像システム。
10. 支持機構に姿勢を制御可能に支持される撮像装置により撮像される画像に基づいて、予め定められた条件を満たす被写体を特定し、前記被写体に合焦させるべく合焦制御を実行し、その後、撮像装置により撮像される画像内の、前記支持機構が前記撮像装置の姿勢を制御することで前記被写体が位置付けられる第１領域を含む複数の領域のそれぞれについて合焦状態を示す値を導出する段階と、
    複数の前記値のうちで最も合焦状態に近いことを示す値に基づいて、前記撮像装置の合焦制御を実行する段階と
    備え、
    前記撮像装置の合焦制御を実行する段階は、前記支持機構の制御情報に基づいて、前記最も合焦状態に近いことを示す値を補正し、補正された前記値に基づいて合焦制御を実行する段階を含む、制御方法。
11. 請求項１から６の何れか１つに記載の制御装置としてコンピュータを機能させるためのプログラム。