JP2018019352A

JP2018019352A - 撮像装置及びその制御方法

Info

Publication number: JP2018019352A
Application number: JP2016150327A
Authority: JP
Inventors: 隼亀田; Hayato Kameda
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-07-29
Filing date: 2016-07-29
Publication date: 2018-02-01
Anticipated expiration: 2036-07-29
Also published as: JP6732590B2

Abstract

【課題】連続撮影における撮影駒間隔を短縮できる撮像装置およびその制御方法を提供する。【解決手段】複数の画素における電荷蓄積のタイミングがラインごとに異ならない第１の撮像処理で取得された画像における被写体を検出手段により検出して、複数の画素における電荷蓄積のタイミングがラインごとに異なる第２の撮像処理で取得された画像に対してＡＦ領域を設定する際、第１の撮像処理と第２の撮像処理の違いによる被写***置のずれを補正してＡＦ領域を設定する。【選択図】図６

Description

本発明は、撮像装置及びその制御方法に関する。

画像データを得るための撮像素子で位相差方式の焦点検出を行うデジタルカメラが提案されている。

一方、従来から撮像画面の中から主要な被写体（以下、主被写体と呼ぶ）を検出する技術が知られている。例えば人物の目や口等の特徴から特定した顔や、色や輝度から特定の物体を主被写体として検出する。その際、主被写体の位置やサイズを検出結果として出力することが多い。

前述のような撮像素子で位相差検出方式の焦点検出を行う場合において、検出された主被写体をＡＦ領域とすることが知られている（例えば、特許文献１）。

特開２０１６−３８４２８号公報

しかし、連続撮影において、撮影毎に撮像画面の中から主被写体を検出してＡＦ領域を設定する場合、主被写体が検出できるまでＡＦ領域の設定やＡＦ演算処理ができないため、ＡＦに時間がかかり連続撮影の速度を上げられない恐れがある。

本発明はこのような従来技術の課題に鑑みなされたものであり、連続撮影における撮影駒間隔を短縮できる撮像装置およびその制御方法を提供することを目的とする。

本発明の技術的特徴として、２次元状に配列された複数の画素を備え、前記複数の画素における電荷蓄積のタイミングがラインごとに異なる第１の撮像処理と、前記複数の画素における電荷蓄積のタイミングがラインごとに異ならない第２の撮像処理と、を行う撮像手段を有する撮像装置の制御方法であって、前記撮像手段により取得された画像における被写体を検出する検出ステップと、前記検出された被写体に対してＡＦ領域を設定する設定ステップと、前記撮像手段により取得された画像の前記ＡＦ領域における焦点状態を検出し、前記焦点状態に基づいてフォーカスレンズの移動を制御する制御ステップと、を備え、前記設定ステップでは、前記第１の撮像処理で取得された画像に対してＡＦ領域を設定する際、前記検出ステップにより検出された被写体が、前記第２の撮像処理で取得された画像における被写体である場合に、前記第１の撮像処理と前記第２の撮像処理の違いによる前記被写***置のずれを補正してＡＦ領域を設定することを特徴とする。

本発明によれば、連続撮影における撮影駒間隔を短縮できる撮像装置およびその制御方法を提供することができる。

本発明の実施形態に共通する撮像装置の全体構成を示す図である。本発明の実施形態に共通する撮影処理のタイミングチャートである。本発明の実施形態に共通する撮影処理のフローチャートである。カメラパンニング時に発生する静止画とＡＦ画の撮像方式の違いによる出力画像の差を説明するための図である。実施例１の撮影処理のタイミングチャートである。実施例１の撮影処理のフローチャートである。角速度信号と像面移動量の関係を示す図である。被写***置の補正を説明するための図である。実施例２の撮影処理のタイミングチャートである。実施例２の撮影処理のフローチャートである。被写体移動時に発生する静止画とＡＦ画の撮像方式の違いによる出力画像の差を説明するための図である。実施例３の撮影処理のタイミングチャートである。実施例３の撮影処理のフローチャートである。カメラパンニングと被写体移動が同時に発生する静止画とＡＦ画の撮像方式の違いによる出力画像の差を説明するための図である。撮像素子１０７の１画素の構成を示す図である。

以下、本発明の例示的な実施形態を、添付図面に基づいて詳細に説明する。

＜撮像装置の構成＞
図１は、本実施形態に共通する撮像装置の全体構成を示す図である。本実施形態による撮像装置１００は、デジタルカメラ、デジタルビデオカメラのようなカメラはもとより、カメラ機能付き携帯電話、カメラ付きコンピュータなど、カメラ機能を備える任意の電子機器であっても良い。

図１に示すように、結像光学系の先端部に第１レンズ群１０１が配置されており、第１レンズ群１０１は光軸方向に進退可能に保持されている。

絞り１０２は、開口径を調節することで撮影時の光量調節を行なう。絞り１０２と第２レンズ群１０３とは一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動によって、変倍作用（ズーム機能）を奏する。第３レンズ群１０４は、光軸方向の進退によって、焦点調節を行なうフォーカスレンズである。シャッタ１０５は先幕・後幕などの機構を備え、それぞれを走行させた際のスリットから得られる光を撮像素子１０７へ導くことで露光調節を行う。光学的ローパスフィルタ１０６は、撮影画像の偽色やモアレを軽減するための光学素子である。撮像素子１０７は、２次元ＣＭＯＳフォトセンサーと周辺回路で、結像光学系の結像面に配置される。

図１５は撮像素子１０７の１画素の構成を示している。１５０１は画素を表す。１つの画素は、マイクロレンズ１５０２を有する。また、１つの画素は、複数の光電変換領域としてのフォトダイオード（以下、ＰＤ）を有する。図例では、左側のＰＤ１５０３と右側のＰＤ１５０４の２つ有しているが、個数に限定はなく、例えば、４つや９つなどでも構わない。図示された構成要素以外にも、例えば、ＰＤの信号を列読み出し回路に読み出すための画素増幅アンプ、行を選択する選択スイッチ、ＰＤの信号をリセットするリセットスイッチなどを備える。ＰＤ１５０３とＰＤ１５０４は各々、撮影レンズの射出瞳の異なる領域の光を受光しているので、撮像面での位相差方式の焦点検出が可能となっている。

ズームアクチュエータ１１１は、図示しないカム筒を回動することで、第１レンズ群１０１乃至第３レンズ群１０４を光軸方向に進退駆動し、変倍操作を行なう。絞りアクチュエータ１１２は、絞り１０２の開口径を制御し撮影光量を調節する。フォーカスアクチュエータ１１３は、第３レンズ群１０４を光軸方向に進退駆動して焦点調節を行なう。シャッタアクチュエータ１１４は静止画撮影時の露光制御を行なう。撮影時に用いられる照明手段（被写体照明用電子フラッシュ）１１５は、キセノン管を用いた閃光照明装置が好適であるが、連続発光するＬＥＤを備えた照明装置を用いてもよい。ＡＦ補助光手段１１６は、所定の開口パターンを有するマスクの像を、投光レンズを介して被写体に投影し、暗い被写体あるいは低コントラストの被写体に対する焦点検出能力を向上させる。

制御部１２１は、撮像装置１００における種々の制御を司るものであり、図示しないＣＰＵ（演算部）、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有している。制御部１２１は、メモリ１３４の有するＲＯＭに記憶された所定のプログラムに基づいて、撮像装置１００の各種回路を駆動し、ＡＦ、撮影、画像処理、記録等の一連の動作を実行する。制御部１２１は、画像処理手段として機能する。

電子フラッシュ制御回路１２２は、撮影動作に同期して照明手段１１５を点灯制御する。補助光駆動回路１２３は、焦点検出動作に同期してＡＦ補助光手段１１６を点灯制御する。

撮像素子駆動回路１２４は、撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換して制御部１２１に送信する。画像処理回路１２５は、撮像素子１０７が取得した画像の被写体検出、γ変換、カラー補間、ＪＰＥＧ圧縮等の処理を行なう。

フォーカス駆動回路１２６は、焦点検出結果に基づいてフォーカスアクチュエータ１１３を駆動制御し、第３レンズ群１０４を光軸方向に進退駆動して焦点調節を行なう。シャッタ駆動回路１２７は、シャッタアクチュエータ１１４を駆動制御してシャッタ１０５を制御する。絞り駆動回路１２８は、絞りアクチュエータ１１２を駆動制御して絞り１０２を制御する。ズーム駆動回路１２９は、撮影者によるズーム操作に応じてズームアクチュエータ１１１を駆動する。

表示装置１３１は、例えばＬＣＤ等により構成されており、撮像装置１００の撮影モードに関する情報、撮影前のプレビュー画像、撮影後の確認用画像、焦点検出時の合焦状態の表示画像等を表示する。操作スイッチ群１３２は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等を含む。記録媒体１３３は、着脱可能なフラッシュメモリ等であり、撮影により取得した画像ファイルを記録する。メモリ１３４はＲＡＭ、ＲＯＭ等であり、所定のプログラムの記憶や、画像処理中の画像データや画像処理に必要なパラメータデータの保持等を行っている。角速度センサ１３５は、ジャイロセンサ等であり、撮像装置１００の移動量を表す角速度を検出し電気信号として変換して制御部１２１に伝達する。制御部１２１は、メモリ１３４の有するＲＯＭに記憶された所定のプログラムに基づいて、撮像装置１００の各種回路を駆動し、ＡＦ、撮影、画像処理、記録等の一連の動作を実行する。

＜連続撮影処理の動作フロー＞
次に、本実施形態による撮像装置１００によって行われる被写体追従ＡＦ連続撮影について、図２と図３を用いて説明する。図２は、本発明の実施形態による撮像装置１００における被写体追従ＡＦ連続撮影のタイミングチャートである。図３は、本発明の実施形態による撮像装置１００における被写体追従ＡＦ連続撮影のフローチャートである。

撮像装置１００は、操作スイッチ群１３２に含まれる撮影モード選択スイッチのユーザ操作により、撮影モードが被写体追従ＡＦ連続撮影モードとなっていることを前提とする。前記撮影モードのときに、操作スイッチ群１３２に含まれるレリーズスイッチがオンとなることで撮影が開始され、ステップＳ３０１へ移行する。

ステップＳ３０１では、静止画撮影のために撮像素子１０７への露光を行い、電荷が蓄積される。光量は絞りアクチュエータ１１２で制御する。露光はシャッタアクチュエータ１１４でシャッタ１０５を操作して制御する。この撮像処理のタイミングは２０１で示すように、ＳＷ２が押下された後に実行する。

ステップＳ３０２では、撮像素子駆動回路１２４により、撮像素子１０７に蓄積された電荷から得られた画像信号をＡ／Ｄ変換して制御部１２１に送信する処理を開始する。このとき撮像素子駆動回路１２４において、撮像素子１０７の有効画素領域全体を読み出す駆動モードで画像信号を読み出す。読み出し中はシャッタアクチュエータ１１４でシャッタ１０５を閉幕し、撮像素子１０７に余分な電荷が蓄積されないように制御することで、読み出した画像に歪みが出ることを軽減している。読み出しが完了したらシャッタアクチュエータ１１４でシャッタ１０５を開幕する。処理のタイミングは２０２で示すように、静止画蓄積処理の完了後に実行する。つまりこの処理には、２次元状に複数の画素が配列された撮像素子から、ライン毎に同じタイミングで複数の画素における電荷蓄積を行い、シャッタを閉じた状態で読み出しを行うメカシャッタ方式が用いられることとなる。

ステップＳ３０３では、制御部１２１に送信されてきた画像信号をもとに画像処理回路１２５において被写体検出処理を開始する。画像から人物・顔・モノ・色等を被写体として検出する手法には様々な方法が開示されており、ここでは説明を行わない。処理のタイミングは２０３で示すように、静止画読出処理の完了後に実行する。

ステップＳ３０４では、被写体検出の結果からＡＦ領域を算出する。ＡＦ領域は、ステップＳ３０３で検出された被写体領域を基準に、被写体領域の一部・もしくは全部が含まれるように、有効画全体のうちの部分的な領域を設定する。処理のタイミングは２０４で示すように、静止画からの被写体検出完了後に実行する。

ステップＳ３０５では、ＡＦ用の画像を得るために、撮像素子１０７へ露光を開始し、電荷が蓄積される。光量は絞りアクチュエータ１１２で制御する。静止画の蓄積とは異なり、露光はシャッタアクチュエータ１１４でシャッタ１０５を開幕状態のままにして、行う。撮像素子駆動回路１２４で撮像素子１０７の電荷をリセットするタイミングと読み出しを開始するタイミングの間で蓄積を行うように制御する。これにより電子的なシャッタ制御ができる。処理のタイミングは２０５で示すように、ＡＦ領域の決定後に実行する。

ステップＳ３０６では、撮像素子駆動回路１２４により、ステップ３０５で撮像素子１０７に蓄積された電荷から得られた画像信号をＡ／Ｄ変換して制御部１２１に送信する撮像処理を開始する。静止画の読み出しとは異なり、読み出し中もシャッタ１０５は開幕状態のまま維持する。Ｓ３０５で蓄積が完了した画素を、画素単位で操作方向に順次読み出しを実行していく。処理のタイミングは２０６で示すように、タイミング２０５と並列に行われる。つまりこの処理には、２次元状に複数の画素が配列された撮像素子から、ライン毎に異なるタイミングで複数の画素における電荷蓄積と読み出しを行うローリングシャッタ方式が用いられることとなる。なお、ＡＦ用の画像を得る際の読み出し領域は、有効画全体でもよいし、有効画全体のうちの部分的な領域のみでもよい。例えば、ステップＳ３０４において決定したＡＦ領域の中心を基準に、読み出し走行方向に前後数ライン、有効画全体のうちの部分的な領域の画像信号を読み出すようにしてもよい。または、有効画全体の画像信号を読み出すようにして、表示装置１３１にライブビュー画像を表示するようにしてもよい。

ステップＳ３０７では、制御部１２１に送信された画像信号をもとにＡＦの焦点状態の検出処理を実行して、次の撮影で被写体にフォーカスするためのレンズの駆動量を制御部１２１で算出する。処理のタイミングは２０７で示すように、ＡＦ用画像（以下、ＡＦ画ともいう）の読み出し完了後に実行する。

ステップＳ３０８では、制御部１２１で算出したレンズの駆動量から、フォーカス駆動回路１２６を制御して、フォーカスアクチュエータ１１３を駆動させて、被写体に合焦する位置までレンズを駆動させる。処理のタイミングは２０８で示すように、駆動量の算出が行われた後で行われる。

ステップＳ３０９では、操作スイッチ群１３２に含まれるレリーズスイッチ（ＳＷ２）がオンかオフかを判断して、オンであればステップＳ３０８で合焦したレンズ位置を用いてステップ３０１にもどり連写撮影を続ける。オフであれば連写撮影を停止して撮影終了となる。タイミングとしては２０８でレンズの駆動が完了した後に行われ、オンの場合はタイミング２０９、２１０に示すように繰り返し撮影を行って行き、オフの場合は終了する。

＜静止画とＡＦ画の撮像方式の違いによる出力画像の差＞
図４は静止した被写体に対して撮像装置１００がパンニングされている状態で撮影を行う際の、静止画とＡＦ画の撮像方式の違いによる出力画像の差を表している。ステップＳ３０１及びステップＳ３０２の静止画の撮像方式はメカシャッタ方式をとる。これにより撮像素子１０７の画素の読み出し時間の違いによる歪みの影響が小さくなっている。しかし、ステップＳ３０５及びステップＳ３０６のＡＦ画撮像方式はローリングシャッタ方式をとる。このためパンニング方向とは逆方向に歪みの影響が大きくなる。

また、図１１は静止した撮像装置１００に対して被写体が移動している状態で撮影を行う際の、静止画とＡＦ画の撮像方式の違いによる出力画像の差を表している。上記と同様の理由で静止画は歪みの影響が小さいが、ＡＦ画では被写体移動方向に歪みの影響が大きくなる。

また、図１４は撮像装置１００がパンニングされており、かつ被写体が移動している状態で撮影を行う際の、静止画とＡＦ画の撮像方式の違いによる出力画像の差を表している。撮像装置１００のパンニング速度と被写体の移動速度が等しい場合は、図１４に示すように静止画とＡＦ画の撮像方式に違いがあっても歪みが出ない。撮像装置１００の速度のほうが速い場合は、図４に示したのと同じ歪みがＡＦ画に発生する。被写体移動速度のほうが速い場合は図１１に示したのと同じ歪みがＡＦ画に発生する。

＜実施例１＞
以下、撮像装置１００によって行われる被写体追従ＡＦ連続撮影の実施例１を説明する。実施例１では図４に示すような静止した被写体に対して撮像装置１００がパンニングされている状態で撮影を行う際の、ＡＦ領域の補正手法について触れる。

図５は実施例１の被写体追従ＡＦ連続撮影のタイミングチャートである。図６は実施例１の被写体追従ＡＦ連続撮影のフローチャートである。

ステップＳ６０１はステップＳ３０１と同様の処理を行う。静止画蓄積タイミング５０１はタイミング２０１と同様のタイミングで行う。

ステップＳ６０２はステップＳ３０２と同様の処理を行う。静止画読出しタイミング５０２はタイミング２０２と同様のタイミングで行う。

ステップＳ６０３はステップＳ３０３と同様の処理を行う。被写体検出タイミング５０３はタイミング２０３と同様のタイミングで行う。

ステップＳ６０４はステップＳ３０４と同様の処理を行う。ＡＦ領域算出のタイミング５０５はタイミング２０４と同様のタイミングで行う。

ステップＳ６０５では、角速度センサ１３５から撮像装置１００の移動量をパンニング角速度として制御部１２１に取得する。取得が完了したらステップＳ６０６に進む。パンニング角速度の取得タイミング５０４は、ＡＦ領域決定タイミング５０５までの間に行う。

ステップＳ６０６では、ステップＳ６０４で算出された領域と、ステップＳ６０５で取得されたパンニング角速度を用いて、制御部１２１にてＡＦ領域の補正を行う。図７は被写体がｔ秒の間に点Ａから点Ｂへ移動し、それに応じてセンサ上に結像した前記被写体像が点Ｃから点Ｄへと移動したことを示したものである。ここで、点Ｃと点Ｄとの距離をν［ｐｉｘｅｌ］、焦点距離をｆ［ｍｍ］、センサの画素ピッチをｐ［μｍ／ｐｉｘｅｌ］とした時、角速度ω［ｒａｄ／ｓｅｃ］は以下の式１で表わされる。被写体が静止している場合角速度ωは撮像装置１００のパンニングの角速度と等しくなる。式１より検出したパンニング速度ωから像面移動量νが求められる。

図８に示すようにステップＳ６０４で算出された被写体検出位置は有効画素領域全体に対して検出された被写体領域の中央座標とする。ＡＦ読み出し時間ｔ１の間に像面上の被写体がＡ地点（ｘ１，ｙ１）からＢ地点（ｘ２，ｙ２）まで移動すると、ローリング歪みによって被写***置は（ｘ３，ｙ３）にずれる。ローリング歪みによる被写***置補正量Ｒ１は像面移動量の半分の距離ずれるため式２で求められる。
Ｒ_１＝ω×ｔ_１÷２式２

静止画撮影時の被写体検出位置に対して被写体補正量Ｒを加算・減算を行うことで被写***置を補正する。加算減算の判断はパンニング方向によって切り替える。

さらに静止画蓄積タイミング５０１からＡＦ蓄積タイミング５０６までにもタイムラグがあるため被写***置はずれる。タイムラグの時間をｔ２とすると、撮像タイミングの違いによる被写体補正量Ｒ２は以下の式３で求められる。
Ｒ_２＝ω×ｔ_２式３

上記、Ｒ１とＲ２の補正量を合算した値を被写体補正量Ｒとする。
Ｒ＝Ｒ_１＋Ｒ_２式４

ＡＦ領域は補正後の被写体検出位置を用いて、ステップＳ３０４と同様の方法で求める。ＡＦ領域補正タイミングは５０５に示すように、被写体検出タイミング５０３とパンニング角速度取得タイミング５０４が完了してから、ＡＦ画の蓄積タイミング５０６が開始されるよりも前に行う必要がある。

ステップＳ６０７はステップＳ３０５と同様の処理を行う。ＡＦ画の蓄積タイミング５０６はタイミング２０５と同様のタイミングで行う。

ステップＳ６０８はステップＳ３０６と同様の処理を行う。ＡＦ画の読み出しタイミング５０７はタイミング２０６と同様のタイミングで行う。

ステップＳ６０９はステップＳ３０７と同様の処理を行う。レンズ駆動量算出タイミング５０８はタイミング２０７と同様のタイミングで行う。

ステップＳ６１０はステップＳ３０８と同様の処理を行う。レンズ駆動タイミング５０９はタイミング２０８と同様のタイミングで行う。

ステップＳ６１１はステップＳ３０９と同様の処理を行う。連続撮影の判断タイミング５１０はタイミング２０９、２１０と同様のタイミングで行う。

以上のように実施例１では、メカシャッタ方式で撮像した静止画で算出した被写体結果を用いて、ローリングシャッタ方式で画撮したＡＦ画像のＡＦ領域を決定する。この際に、角速度センサから取得したパンニング角速度を利用して、ローリングシャッタ歪みによる被写***置のズレを補正してＡＦ領域を決定する。これにより図４のような場合において、被写体へのＡＦ精度が高く高速な連続撮影が可能になる。

＜実施例２＞
以下、撮像装置１００によって行われる被写体追従ＡＦ連続撮影の実施例２を説明する。

実施例２では特に、図１１に示すような静止した撮像装置１００に対して被写体が移動している状態や撮影を行う際の、ＡＦ領域の補正手法について触れる。

図９は実施例２の被写体追従ＡＦ連続撮影のタイミングチャートである。図１０は実施例２の被写体追従ＡＦ連続撮影のフローチャートである。

図９に示す通りＬＶ中は、ユーザが撮影前に被写体を確認するためのＬＶ画像の取得を行っている。ＬＶ画像はローリングシャッタ方式で連続的に取得され、操作スイッチ群１３２よりＬＶ終了ボタンが押下される、もしくはＳＷ２が押下されるまで、表示装置１３１に連続的に取得画像が表示される。ＳＷ２が押下されると被写体追尾ＡＦ連続撮影が行われる。

ステップＳ１００１のＬＶ画用の蓄積はステップＳ３０５と同様の手法で行われる。また、ステップＳ１００２ではステップ３０６と同様の手法で行う。ただし、ステップＳ３０６においてＡＦ画は有効画全体のうちの部分的な領域を読み出していたのに対して、ＬＶ画では有効画全体を含む領域の画像信号を読み出す。この時、ＬＶ画像の読み出し時間を高速するために撮像素子駆動回路１２４により、撮像素子１０７からの読み出しするライン数を間引いて取得し、画像処理回路１２５によってＬＶ中に表示する画像を作成しても良い。ステップＳ１００１およびステップＳ１００２の処理タイミングは、蓄積タイミング９０１で蓄積が完了したラインから順次、読出しタイミング９０２で読み出される。

ステップＳ１００３はステップＳ３０３と同様の処理を行う。被写体検出タイミング９０３はＬＶ画読み出しタイミング９０２が完了してから行う。

ステップＳ１００４では、制御部１２１において複数枚の画像から被写体角速度を検出するために必要な所定枚数のＬＶ画像が取得されたかを判断する。ここでは２枚のＬＶ画像をより被写体角速度を算出するため、取得枚数が２枚以上の場合はスッテプＳ１００４に進み、２枚よりも少ない場合はステップＳ１００１に戻ってステップＳ１００３までを繰り返し行いＬＶ画を取得する。ステップＳ１００４の処理タイミングは、被写体検出９０３および９０６の被写体検出が完了したタイミングである。

ステップＳ１００５では像面上の被写体角速度を算出する。複数の画像から被写体移動量を予測する手法は様々な手法が開示されている。ここでは連続して撮影された２枚のＬＶ画において、ステップＳ１００３で検出された被写***置の差分からを像面上の被写体移動量を算出する。直前に取得したＬＶ画から求めた被写***置（ｘ５，ｙ５）と、先に取得した画像から求めた被写***置（ｘ４，ｙ４）を減算した結果の絶対値を像面上の被写体移動量νとする時、式１から角速度ωが求められる。角速度ωは像面上の被写体角速度であるが、撮像装置１００が静止している場合には角速度ωは被写体角速度とも等しくなる。タイミングとしては９０７に示す通り、２枚目以降の被写体検出タイミング９０６が完了してから順次処理を開始する。処理中にＳＷ２が押下された場合、ＡＦ領域決定タイミング９１１までに完了する。

ステップＳ１００６では操作スイッチ群１３２よりＳＷ２が押下されているか判断する。ＳＷ２が押下されていた場合、ＬＶを中断し、静止画の蓄積Ｓ１００７に移行する。

ステップＳ１００７はステップＳ３０１と同様の処理を行う。静止画蓄積タイミング９０８はタイミング２０１と同様のタイミングで行う。

ステップＳ１００８はステップＳ３０２と同様の処理を行う。静止画読出しタイミング９０９はタイミング２０２と同様のタイミングで行う。

ステップＳ１００９はステップＳ３０３と同様の処理を行う。被写体検出タイミング９１０はタイミング２０３と同様のタイミングで行う。

ステップＳ１０１０では、ＡＦ領域の補正を行う。まず、ステップＳ１００５によって求められた像面上の被写体の角速度ωから、ローリング歪みによる被写***置補正量Ｒ１が式２によって算出される。また、撮像タイミングの違いによる被写体補正量Ｒ２が、式３よって算出される。また、被写体補正量ＲがＲ１とＲ２を合算して求められる。これにより静止画撮影時の被写体検出位置に対して、被写***置の補正が行われる。加算減算の判断は被写体移動量νの正負によって被写体の移動方向を判断し切り替える。ＡＦ領域は補正後の被写***置を用いて、ステップＳ３０４と同様の方法で求める。ＡＦ領域補正タイミング９１１はタイミング２０４と同様のタイミングで行う。

ステップＳ１０１１はステップＳ３０５と同様の処理を行う。ＡＦ画の蓄積タイミング９１２はタイミング２０５と同様のタイミングで行う。

ステップＳ１０１２はステップＳ３０６と同様の処理を行う。ＡＦ画の読み出しタイミング９１３はタイミング２０６と同様のタイミングで行う。

ステップＳ１０１３はステップＳ３０７と同様の処理を行う。レンズ駆動量算出タイミング９１４はタイミング２０７と同様のタイミングで行う。

ステップＳ１０１４はステップＳ３０８と同様の処理を行う。レンズ駆動タイミング９１５はタイミング２０８と同様のタイミングで行う。

ステップＳ１０１５はステップＳ３０９と同様の処理を行う。連続撮影の判断タイミング９１６はタイミング２０９、２１０と同様のタイミングで行う。

以上のように実施例２では、メカシャッタ方式で撮像した静止画で算出した被写体結果を用いて、ローリングシャッタ方式で画撮したＡＦ画のＡＦ領域を決定する。この際に、複数のＬＶ画像から制御部１２１で算出した像面上の被写体角速度を利用して、ローリングシャッタ歪みによる被写***置のズレを補正してＡＦ領域を決定する。これにより図１１のような場合において、被写体へのＡＦ精度が高く高速な連続撮影が可能になる。

また、同様の手法で図４に示した静止した被写体に対して撮像装置１００がパンニングされている状態で撮影を行う際や、図１４に示すような撮像装置１００がパンニングされており、かつ被写体が移動している状態においても可能である。

また、本実施例では複数枚のＬＶ画像を使って像面上の被写体角速度を求めたが、図９において被写体追尾ＡＦ連続撮影中においても、撮影した複数枚の静止画を使うことで同様の手法で求めることができる。

＜実施例３＞
以下、撮像装置１００によって行われる被写体追従ＡＦ連続撮影の実施例３を説明する。実施例３では、特に図１４のように等速で移動する被写体を追尾しながら連続撮影する場合において、撮像装置１００の角速度が静止画撮影毎にバラつく場合などに好ましいＡＦ領域の補正手法について触れる。

図１２は実施例３の被写体追従ＡＦ連続撮影のタイミングチャートである。図１３は実施例３の被写体追従ＡＦ連続撮影のフローチャートである。

ステップＳ１３０１はステップＳ１００１と同様の処理を行う。ＬＶ画の蓄積タイミング１２０１はタイミング９０１と同様のタイミングで行う。

ステップＳ１３０２はステップＳ１００２と同様の処理を行う。ＬＶ画の読出しタイミング１２０２はタイミング９０２と同様のタイミングで行う。

ステップＳ１３０３はステップＳ１００３と同様の処理を行う。被写体検出タイミング１２０３はタイミング９０３と同様のタイミングで行う。

ステップＳ１３０４はステップＳ１００４と同様の処理を行う。所定枚数の確認タイミングはタイミング９０３、タイミング９０６などのＬＶ画像の被写体検出完了時に行う。

ステップＳ１３０５はステップＳ１００５と同様の処理を行う。像面上の被写体角速度算出タイミング１２０７はタイミング９０７と同様のタイミングで行う。

ステップＳ１３０６はステップＳ１００６と同様の処理を行う。

ステップＳ１３０７はステップＳ３０１と同様の処理を行う。静止画の蓄積タイミング１２０８はタイミング２０１と同様のタイミングで行う。

ステップＳ１３０８はステップＳ３０２と同様の処理を行う。静止画の読出しタイミング１２０９はタイミング２０２と同様のタイミングで行う。

ステップＳ１３０９はステップＳ３０３と同様の処理を行う。静止画の被写体検出タイミング１２１０はタイミング２０３と同様のタイミングで行う。

ステップＳ１３１０はステップＳ６０５と同様の処理を行う。パンニング角速度取得タイミング１２１１はタイミング５０４と同様のタイミングで行う。

ステップＳ１３１１ではＡＦ領域の補正を行う。式５に示すように像面上の被写体の角速度ωは、被写体角速度ω_ｓからパンニング角速度ω_ｐを減算したものと表せる。
ω＝ω_ｓ−ω_{ｐ式５}

Ｓ１３０５で算出した値を像面上の被写体角速度ωと、Ｓ１３１０で取得した値をパンニング角速度ω_ｐとを、式５に代入することで被写体角速度ω_ｓが求まる。被写体角速度ω_ｓはメモリ１３４に保存しておく。二枚目以降の撮影ではステップＳ１３１０で静止画撮影ごとに取得されるパンニング角速度ω_ｐとメモリ１３４に保存された被写体角速度ω_ｓから式５により像面上の被写体角度ωを求める。ステップ１３０９で静止画から求めた被写体検出位置に対して、被写***置の補正が行われる。まず、像面上の被写体の角速度ωから式２によって、ローリング歪みによる被写***置補正量Ｒ１が算出される。また、撮像タイミングの違いによる被写体補正量Ｒ２が式３よって算出される。また、Ｒ１とＲ２を合算した被写体補正量Ｒを加算・減算を行う。これにより、被写***置の補正が行われる。加算減算の判断は像面上の被写体角速度ωの正負によって被写体の移動方向を判断し切り替える。ＡＦ領域は補正後の被写***置を用いて、ステップＳ３０４と同様の方法で求める。

ステップＳ１３１２はステップＳ３０５と同様の処理を行う。ＡＦ画の蓄積タイミング１２１３はタイミング２０５と同様のタイミングで行う。

ステップＳ１３１３はステップＳ３０６と同様の処理を行う。ＡＦ画の読み出しタイミング１２１４はタイミング２０６と同様のタイミングで行う。

ステップＳ１３１４はステップＳ３０７と同様の処理を行う。レンズ駆動量算出タイミング１２１５はタイミング２０７と同様のタイミングで行う。

ステップＳ１３１５はステップＳ３０８と同様の処理を行う。レンズ駆動タイミング１２１６はタイミング２０８と同様のタイミングで行う。

ステップＳ１３１６はステップＳ３０９と同様の処理を行う。連続撮影の判断タイミ１２１７はタイミング２０９と同様のタイミングで行う。

以上のように実施例３では、メカシャッタ方式で撮像した静止画で算出した被写体結果を用いて、ローリングシャッタ方式で画撮したＡＦ画のＡＦ領域を決定する。この際に、複数のＬＶ画像から制御部１２１で算出した像面上の被写体角速度と、静止画撮影毎に角速度センサ１３５から取得したパンニング角速度を利用して、ローリングシャッタ歪みによる被写***置のズレを補正してＡＦ領域を決定する。これにより等速で移動する被写体を追尾しながら連続撮影する場合において、被写体へのＡＦ精度が高く高速な連続撮影が可能になる。

＜その他の実施例＞
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

上述の実施形態では、１つの画素の中にある１つのマイクロレンズで集光されるフォトダイオードを分割することによって、各々のフォトダイオードは撮像レンズの異なる瞳面の光を受光するように構成されている。これによって、２つのフォトダイオードの出力を比較することで上記の撮像面位相差検出が可能となる。しかしこれに限らず、撮像素子の一部の受光用画素を、オンチップマイクロレンズの光軸に対して受光部の感度領域を偏心させて瞳分割機能を付与する焦点検出用画素とし、撮影用画素群の間に所定の間隔で配置することで、撮像面位相差検出を行っても良い。また、撮像素子の出力信号、特に高周波成分のコントラスト情報に着目し、そのＡＦ評価値が最も大きくなるフォーカスレンズの位置を合焦位置とするコントラストＡＦ方式を適用してもよい。これらの場合にも、上述の実施形態で説明したように、ローリングシャッタ歪みによる被写***置のズレを補正してＡＦ領域を決定することで、被写体へのＡＦ精度が高く高速な連続撮影が可能になる。

また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。

また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

Claims

２次元状に配列された複数の画素を備え、前記複数の画素における電荷蓄積のタイミングがラインごとに異なる第１の撮像処理と、前記複数の画素における電荷蓄積のタイミングがラインごとに異ならない第２の撮像処理と、を行う撮像手段と、
前記撮像手段により取得された画像における被写体を検出する検出手段と、
前記検出された被写体に対してＡＦ領域を設定する設定手段と、
前記撮像手段により取得された画像の前記ＡＦ領域における焦点状態を検出し、前記焦点状態に基づいてフォーカスレンズの移動を制御する制御手段と、を備え、
前記設定手段は、前記第１の撮像処理で取得された画像に対してＡＦ領域を設定する際、前記検出手段により検出された被写体が、前記第２の撮像処理で取得された画像における被写体である場合に、前記第１の撮像処理と前記第２の撮像処理の違いによる前記被写体の位置のずれを補正してＡＦ領域を設定することを特徴とする撮像装置。
前記第１の撮像処理はローリングシャッタ方式による撮像処理であることを特徴とする請求項１に記載の撮像装置。
前記第２の撮像処理はメカシャッタ方式による撮像処理であることを特徴とする請求項１又は２に記載の撮像装置。
前記設定手段は、前記撮像装置をパンニングした際の角速度の情報に基づいて前記第１の撮像処理と前記第２の撮像処理の違いによる前記被写体の位置のずれを補正することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
前記設定手段は、前記撮像手段により撮像された２つの画像の間での被写体の移動速度に基づいて前記第１の撮像処理と前記第２の撮像処理の違いによる前記被写体の位置のずれを補正することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
２次元状に配列された複数の画素を備え、前記複数の画素における電荷蓄積のタイミングがラインごとに異なる第１の撮像処理と、前記複数の画素における電荷蓄積のタイミングがラインごとに異ならない第２の撮像処理と、を行う撮像手段を有する撮像装置の制御方法であって、
前記撮像手段により取得された画像における被写体を検出する検出ステップと、
前記検出された被写体に対してＡＦ領域を設定する設定ステップと、
前記撮像手段により取得された画像の前記ＡＦ領域における焦点状態を検出し、前記焦点状態に基づいてフォーカスレンズの移動を制御する制御ステップと、を備え、
前記設定ステップでは、前記第１の撮像処理で取得された画像に対してＡＦ領域を設定する際、前記検出ステップにより検出された被写体が、前記第２の撮像処理で取得された画像における被写体である場合に、前記第１の撮像処理と前記第２の撮像処理の違いによる前記被写体の位置のずれを補正してＡＦ領域を設定することを特徴とする制御方法。