以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
(第1の実施形態)
まず、図1を参照して、本発明の第1の実施形態における撮像装置の構成について説明する。図1は、本実施形態における撮像装置100(レンズ交換式カメラシステム)のブロック図である。撮像装置100は、カメラ本体20(撮像装置本体)と、カメラ本体20に着脱可能なレンズユニット10(交換レンズ)とを備えて構成されている。レンズユニット10の全体の動作を統括制御するレンズ制御部106と、レンズユニット10を含む撮像装置100(カメラシステム)の全体の動作を統括するカメラ制御部212とは、レンズマウントに設けられた端子(不図示)を介して相互に通信可能である。なお本実施形態は、レンズユニットとカメラ本体とが一体的に構成された撮像装置にも適用可能である。
まず、レンズユニット10の構成について説明する。固定レンズ101、絞り102、および、フォーカスレンズ103は、撮像光学系を構成する。絞り102は、絞り駆動部104により駆動され、後述する撮像素子201への入射光量を制御する。フォーカスレンズ103は、フォーカスレンズ駆動部105により駆動され、フォーカスレンズ103の位置に応じて撮像光学系の合焦距離が変化する。絞り駆動部104およびフォーカスレンズ駆動部105は、レンズ制御部106により制御され、絞り102の開口量およびフォーカスレンズ103の位置をそれぞれ決定する。
レンズ操作部107は、AF(オートフォーカス)/MF(マニュアルフォーカス)モードの切り替え、MFによるフォーカスレンズ103の位置調整、手ブレ補正モードの設定など、ユーザがレンズユニット10の動作に関する設定を行う入力デバイス群である。レンズ操作部107がユーザにより操作されると、レンズ制御部106はその操作に応じた制御を行う。レンズ制御部106は、後述するカメラ制御部212から受信した制御命令や制御情報に応じて絞り駆動部104やフォーカスレンズ駆動部105を制御する。またレンズ制御部106は、レンズ制御情報をカメラ制御部212に送信する。
次に、カメラ本体20の構成について説明する。カメラ本体20は、レンズユニット10の撮像光学系を通過した光束から撮像信号を取得するように構成されている。撮像素子201は、CCDセンサやCMOSセンサなどを備え、レンズユニット10の撮像光学系を介して形成された被写体像(光学像)を光電変換して画素信号(画像データ)を出力する。すなわち撮像光学系から入射した光束は、撮像素子201の受光面上に結像し、撮像素子201において配列された画素(フォトダイオード)により、入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、カメラ制御部212の指令に従い、タイミングジェネレータ214から出力される駆動パルスに基づいて、信号電荷に応じた電圧信号として撮像素子201から順次読み出される。
本実施形態で用いられる撮像素子201の各画素は、2つ(一対)のフォトダイオードA、Bとこれら一対のフォトダイオードA、Bに対して設けられた(フォトダイオードA、Bを共有する)1つのマイクロレンズとを備えて構成されている。すなわち撮像素子201は、1つのマイクロレンズに対し一対のフォトダイオード(第1光電変換部および第2光電変換部)を有し、複数のマイクロレンズが2次元状に配列されている。各画素は、入射する光をマイクロレンズで分割して一対のフォトダイオードA、B上に一対の光学像を形成し、この一対のフォトダイオードA、Bから後述するAF用信号に用いられる一対の画素信号(A像信号およびB像信号)を出力する。また、一対のフォトダイオードA、Bの出力を加算することにより、撮像用信号(A+B像信号)を得ることができる。
複数の画素から出力された複数のA像信号と複数のB像信号とをそれぞれ合成することにより、撮像面位相差検出方式によるAF(撮像面位相差AF)に用いられるAF用信号(焦点検出用信号)としての一対の像信号が得られる。後述するAF信号処理部204は、一対の像信号に対する相関演算を行って、一対の像信号のずれ量である位相差(像ずれ量)を算出し、さらに像ずれ量から撮像光学系のデフォーカス量(およびデフォーカス方向)を算出する。
このように撮像素子201は、レンズユニット10の撮像光学系を通過した光束を受光して形成された光学像を電気信号に光電変換して画像データ(像信号)を出力する。本実施形態の撮像素子201は、1つのマイクロレンズに対して2つのフォトダイオードが設けられており、撮像面位相差AF方式による焦点検出に用いる像信号を生成可能である。なお、1つのマイクロレンズに対して4つのフォトダイオードを設けるなど、1つのマイクロレンズを共有するフォトダイオード(分割PD)の個数を変更してもよい。
図3(a)は、撮像面位相差AF方式に対応していない画素の構成、図3(b)は、撮像面位相差AF方式に対応した画素の構成例を模式的に示している。図3(a)、(b)のいずれの画素構成でも、ベイヤー配列が用いられており、Rは赤のカラーフィルタを、Bは青のカラーフィルタを、Gr、Gbは緑のカラーフィルタをそれぞれ示している。撮像面位相差AFに対応する図3(b)の画素構成では、図3(a)に示される撮像面位相差AF方式に非対応の画素構成における1画素(実線で示される画素)内に、図3(b)の水平方向に2分割された2つのフォトダイオードA、Bが設けられている。フォトダイオードA、B(第1光電変換部、第2光電変換部)は、撮像光学系の互いに異なる瞳領域を通過した光束を受光する。フォトダイオードAとフォトダイオードBは、撮影光学系の射出瞳の異なる領域を通過した光束を受光するため、B像信号はA像信号に対して視差を有している。なお、図3(b)に示される画素の分割方法は一例であり、図3(b)の垂直方向に分割した構成や、水平方向および垂直方向に2分割ずつ(合計4分割)した構成などの他の構成を採用してもよい。また、同じ撮像素子内において互いに異なる分割方法で分割された複数種類の画素が含まれてもよい。
なお本実施形態では、1つのマイクロレンズに対して複数の光電変換部が配置され、瞳分割された光束が各光電変換部に入射される構成を示したが、本発明はこれに限定されるものではない。例えば焦点検出用画素の構成は、マイクロレンズ下に1つのPDを有し、遮光層により左右または上下を遮光することで瞳分割を行う構成でもよい。また、複数の撮像用画素の配列の中に一対の焦点検出用画素を離散的に配置し、その一対の焦点検出用画素から一対の像信号を取得する構成でもよい。
CDS/AGC/ADコンバータ202は、撮像素子201から読み出されたAF用信号および撮像用信号に対して、リセットノイズを除去するための相関二重サンプリング、ゲイン調節、および、AD変換を行う。CDS/AGC/ADコンバータ202は、これらの処理を行った撮像用信号およびAF用信号のそれぞれを画像入力コントローラ203およびAF信号処理部204に出力する。
画像入力コントローラ203は、CDS/AGC/ADコンバータ202から出力された撮像用信号を、バス21を介してSDRAM209に画像信号として格納する。SDRAM209に格納された画像信号は、バス21を介して表示制御部205により読み出され、表示部206に表示される。画像信号の記録を行う録画モードにおいて、SDRAM209に格納された画像信号は、記録媒体制御部207により半導体メモリなどの記録媒体208に記録される。ROM210は、カメラ制御部212(焦点調節手段)により実行される制御プログラムや処理プログラム、および、これらのプログラムの実行に必要な各種データなどを格納している。フラッシュROM211は、ユーザにより設定されたカメラ本体20の動作に関する各種設定情報などを格納している。
カメラ制御部212の被写体検出部2121は、画像入力コントローラ203から入力された撮像用信号に基づいて特定の被写体を検出し、撮像用信号内での特定の被写体の位置を決定する。また被写体検出部2121は、画像入力コントローラ203から連続的に撮像用信号を入力し、検出した特定の被写体が移動した場合には移動先の被写体の位置を判定する。このように被写体検出部2121は、特定の被写体の位置を追従する。特定の被写体とは、例えば、顔被写体や、カメラ操作部213を介してユーザにより撮像画面内で指定された位置に存在する被写体などである。後述するように、検出した特定の被写体の位置や大きさに関する情報は、主にAFを行う領域(焦点検出領域)を設定するために用いられる。
AF信号処理部204(算出手段)は、CDS/AGC/ADコンバータ202から出力されたAF用信号である一対の像信号に対して相関演算を行い、一対の像信号の像ずれ量および信頼性を算出する。信頼性は、後述する二像(一対の像信号)の一致度と相関変化量の急峻度とを用いて算出される。またAF信号処理部204は、撮像画面内で焦点検出およびAFを行う領域である焦点検出領域の位置および大きさを設定する。AF信号処理部204は、焦点検出領域において算出した像ずれ量(検出量)および信頼性に関する情報をカメラ制御部212に出力する。なお、AF信号処理部204が行う処理の詳細については後述する。
カメラ制御部212内のAF制御部2122は、AF信号処理部204により算出された像ずれ量、信頼性、および、レンズユニット10とカメラ本体20との状態を示す情報に基づいて、必要に応じてAF信号処理部204の設定を変更する。例えば、AF制御部2122は、像ずれ量が所定量以上である場合、相関演算を行う領域をAF信号処理部204により設定された領域よりも広く設定し、または、一対の像信号のコントラストに応じてバンドパスフィルタの種類を変更する。またAF制御部2122は、AF信号処理部204による焦点検出領域の設定のため、被写体検出部2121にて検出された特定の被写体や、カメラ操作部213を介してユーザにより撮像画面内で指定された位置をAF信号処理部204に渡す。これにより、AF制御部2122およびAF信号処理部204は、これらの情報に基づいて焦点検出領域の位置や範囲を設定することができる。
なお本実施形態において、カメラ制御部212は、撮像素子201から、撮像用信号(A+B像信号)およびAF用信号である一対の像信号(A像信号、B像信号)の計3つの信号を取得する。ただし、撮像素子201の負荷を考慮して、カメラ制御部212は、例えば撮像用信号(A+B像信号)と1つのAF用信号(A像信号)の計2つの信号を撮像素子201から取り出すように構成してもよい。この場合、カメラ制御部212は、取り出した撮像用信号とAF用像信号との差分((A+B像信号)−(A像信号))を、他の1つのAF用像信号(B像信号)として算出して用いることができる。なお、撮像用信号(A+B像信号)と一方の像信号(A像信号またはB像信号)も視差を有する。
カメラ制御部212は、カメラ本体20内の各部と情報のやり取りを行いながら各部を制御する。またカメラ制御部212は、ユーザの操作に基づくカメラ操作部213からの入力に応じて、電源のON/OFF、各種設定の変更、撮像処理、AF処理、記録画像の再生処理など、ユーザ操作に対応する種々の処理を実行する。またカメラ制御部212は、レンズユニット10(レンズ制御部106)に対する制御命令やカメラ本体20の情報をレンズ制御部106に送信し、また、レンズユニット10の情報をレンズ制御部106から取得する。カメラ制御部212は、マイクロコンピュータを備えて構成され、ROM210に記憶されたコンピュータプログラムを実行することにより、レンズユニット10を含むカメラシステム全体の制御を司る。またカメラ制御部212は、AF信号処理部204にて算出された焦点検出領域での像ずれ量を用いてデフォーカス量を算出し、算出したデフォーカス量に基づいてレンズ制御部106を介してフォーカスレンズ103の駆動を制御する。
次に、図4を参照して、本実施形態における焦点調節動作(フォーカス制御)について説明する。図4は、焦点調節動作の手順を示すフローチャートである。図4の各ステップは、カメラ制御部212(主にAF制御部2122)によりコンピュータプログラム(撮像処理プログラム)に従って実行される。
まず、ステップS401において、カメラ制御部212は、カメラ本体20の設定やカメラ操作部213からの入力信号に応じて、焦点調節動作を実行するか否かを判定する。焦点調節動作を開始するまで、ステップS401を繰り返す。カメラ制御部212が焦点調節動作を実行すると判定すると、ステップS402に進む。ステップS402において、カメラ制御部212は、撮像面位相差AFに用いられるAF用信号およびライブビュー表示用に用いられる撮像用信号を取得するため、撮像素子201への露光を行い、ライブビュー撮影を実行する。
続いてステップS403において、カメラ制御部212は、現在のカメラ本体20の設定および焦点調節動作の制御状態(駆動モード)に応じて、適切な検出特性(焦点検出に用いる像信号の周波数帯域)を設定する。カメラ制御部212は、例えば図5に示されるように、AF動作、制御状態(駆動モード)、および、AFモードの組み合わせ(焦点調節動作の種類)に基づいて、同時に焦点検出を行う焦点検出領域の数および使用する評価帯域(像信号の周波数帯域)を決定する。AF動作、AFモードは、例えばユーザによる入力を受けて設定される。また、制御状態としては、前フレームにおける焦点検出結果を受けて選択される結果を用いる。
図5は、検出特性設定(焦点検出特性の設定)に関する説明図である。図5において、AF動作は、ワンショットAF、サーボAF、および、コンティニュアスAFを含む。制御状態(駆動モード)は、合焦停止、ターゲット駆動、デフォーカス駆動、および、サーチ駆動を含む。AFモードは、1点AF、顔AF、ゾーンAF、および、自動選択AFを含む。図5において、1点や9点などの数は、同時に焦点検出を行う焦点検出領域の数を示している。焦点調節動作の評価帯域は、像信号に適用されるフィルタの種類に応じて変更することができ、本実施形態では、評価帯域として、高域、中域、および、低域の3つの帯域を有する。
高域、中域、低域とは、相関演算に用いられるAF用信号(信号波形)の評価帯域(周波数帯域)である。ここで、図2を参照して、高域、中域、低域(高域信号、中域信号、低域信号)の特性について説明する。図2は、AF用信号の評価帯域ごとの検出精度と検出デフォーカス量との関係図であり、縦軸は検出精度、横軸は検出デフォーカス量をそれぞれ示している。図2に示されるように、高域信号は、検出精度は高いが、検出デフォーカス量の範囲(デフォーカス量の検出可能範囲)は狭い。このため高域信号は、合焦状態の近傍でのピント合わせに適して用いられる。一方、低域信号は、検出デフォーカス量の範囲は広いが、検出精度は低い。このため低域信号は、大ボケ時の方向検出動作に適して用いられる。また中域信号は、高域信号および低域信号の両方の中間の特性を有する。
図5において、例えば、AF動作がワンショットAFであって、AFモードが所定の一つの焦点検出領域に対して焦点調節動作を行う1点AFや顔AFに設定されている場合について着目する。このとき、演算対象領域は限られているため、カメラ制御部212は、焦点調節動作の制御状態によらず、高域、中域、および、低域の全ての評価帯域を所定の処理時間内に演算することが可能である。一方、同時に複数の焦点検出領域を演算しながら焦点調節動作と並行して主領域の選択動作を行う必要があるゾーンAFや自動選択AFの場合、所定の処理時間内に全ての評価帯域を演算することは困難である。このため、制御状態に応じて、演算する評価帯域を効果的に切り替える(選択する)必要がある。
また、図5において、例えばAFモードが顔AFモードに設定されている場合について着目する。このとき、AF動作が焦点調節動作中に被写体が静止していることを想定したワンショットAFの場合、演算対象領域を限定することができる。このため、焦点調節動作の制御状態によらず、高域、中域、および、低域の全ての評価帯域を所定の処理時間内に演算することが可能である。一方、焦点調節動作中に被写体が動いていることを想定したサーボAFやコンティニュアスAFの場合、同時に複数の焦点検出領域を演算しながら焦点調節動作と並行して主領域選択動作を行う必要がある。このため、所定の処理時間内に全ての評価帯域を演算することは困難であり、制御状態に応じて演算する評価帯域を効果的に切り替える(選択する)必要がある。
なお本実施形態において、AF動作、制御状態、および、AFモードの種類はこれらに限定されるものでなく、これらの一部を含まない構成や、他のAF動作、制御状態、または、AFモードを含む構成であってもよい。また本実施形態において、評価帯域は、高域、中域、および、低域の3つの帯域に限定されるものではなく、2つの帯域または4つ以上の帯域を有していてもよい。
続いてステップS404において、AF信号処理部204は、カメラ制御部212(AF制御部2122)からの指令に基づいて、焦点検出処理を行う。焦点検出処理は、撮像面位相差AFを行うためのデフォーカス量と信頼性(相関信頼性)に関する情報を取得する処理である。また、焦点検出処理において情報を取得する撮像画面内の領域(焦点検出領域)に関して設定される検出特性は、カメラ本体20の制御状態などに応じて設定される。なお、焦点検出処理の詳細については後述する。
続いてステップS405において、カメラ制御部212(AF制御部2122)は、ステップS403、S404の処理が、設定されている全ての焦点検出領域に関して行われたか否かを判定する。ステップS403、S404の処理が行われていない焦点検出領域がある場合、ステップS403へ戻り、AF制御部2122は、まだ行われていない焦点検出領域に関してステップS403、S404の処理を行う。一方、ステップS403、S404の処理が全ての焦点検出領域に対して行われた場合、ステップS406へ進む。
ステップS406において、カメラ制御部212(AF制御部2122)は、ステップS404にて算出された各焦点検出領域に関する信頼性(相関信頼性)および検出デフォーカス量に基づいて、焦点調節動作の対象とすべき主領域(主焦点検出領域)を選択する。ステップS406は、主にAFモードがゾーンAFや自動選択AFの場合に必要となる。主領域の選択方式は、顔位置優先、至近優先、中央優先などの種々の方式があるが、本実施形態では用途に応じて任意の方式を用いて選択することができる。なお、AFモードが一点AFや顔AFであって一つの焦点検出領域のみが存在する場合、その一つの焦点検出領域を主領域として設定すればよい。
続いて、ステップS407〜S410において、焦点検出の信頼性及び焦点検出により得られたデフォーカス量に応じて、行う駆動制御の選択をする。ここでの選択結果は、次フレームで取得される画像に対する検出特性設定(S403)に用いられる。ステップS407において、カメラ制御部212(AF制御部2122)は、ステップS406にて選択された主領域に関する信頼性が第2信頼性閾値以上であるか否かを判定する。信頼性は、前述した二像の一致度や像ずれ量の急峻性により求められる。本実施形態において、第2信頼性閾値としては、算出されたデフォーカス量を信頼することができない信頼性範囲の最高値を設定することが好ましい。なお、信頼性は、二像の一致度および像ずれ量の急峻性の両方または一方(すなわち少なくとも一方)を用いて求めることができる。また信頼性は、二像の信号レベルなどの他の指標を用いて求めてもよい。
ステップS407にて信頼性が第2信頼性閾値以上であると判定された場合、ステップS408へ進み、AF制御部2122は、信頼性が第2信頼性閾値よりも高い第1信頼性閾値以上であるか否かを判定する。第1信頼性閾値は、算出されたデフォーカス量の検出ばらつきに基づいて決定され、合焦精度を保証することができない信頼性範囲の最高値を設定することが好ましい。
ステップS408にて信頼性が第1信頼性閾値以上であると判定された場合、ステップS409へ進む。ステップS409において、AF制御部2122は、ステップS406にて選択された主領域に関して算出されたデフォーカス量(検出デフォーカス量)が第2デフォーカス閾値以内であるか否かを判定する。第2デフォーカス閾値は、算出されたデフォーカス量に基づいて決定され、前述の評価帯域をデフォーカス量の検出範囲の狭い高域に切り替えた場合でもデフォーカス量を検出可能なデフォーカス範囲の最高値を設定することが好ましい。
検出デフォーカス量が第2デフォーカス閾値以内であると判定された場合、ステップS410へ進み、AF制御部2122は、検出デフォーカス量が第2デフォーカス量閾値よりも小さい第1デフォーカス閾値以内であるか否かを判定する。第1デフォーカス閾値は、焦点深度に基づいて決定され、合焦状態であると判定可能なデフォーカス範囲の最高値を設定することが好ましい。
ステップS410にて検出デフォーカス量が第1デフォーカス閾値以内であると判定された場合、ステップS411へ進む。ステップS411において、AF制御部2122は、被写体に合焦させることができた(合焦状態である)と判定し、フォーカスレンズ103を停止する(合焦停止)。一方、検出デフォーカス量が第1デフォーカス閾値以内ではないと判定された場合、ステップS412へ進む。ステップS412において、AF制御部2122は、検出デフォーカス量に基づいてフォーカスレンズ103の駆動量を算出するとともに、フォーカスレンズ駆動部105を介してフォーカスレンズ103を間欠的に駆動するターゲット駆動を行う。ターゲット駆動は、焦点調節における検出精度および制御精度を高めるため、焦点検出処理とフォーカスレンズ制御(フォーカスレンズ駆動)とを排他的に行う駆動である。すなわちターゲット駆動では、フォーカスレンズが停止中に取得された画像信号を用いて焦点検出が行われる。
ステップS408にて信頼性が第1信頼性閾値以上でないと判定された場合、または、ステップS409にて検出デフォーカス量が第2デフォーカス閾値以内でないと判定された場合、ステップS413へ進む。ステップS413において、AF制御部2122は、検出デフォーカス量に基づいてフォーカスレンズ103の駆動量を算出するとともに、フォーカスレンズ駆動部105を介してフォーカスレンズ103を連続的に駆動するデフォーカス駆動を行う。デフォーカス駆動は、精度よりも速度を優先して、焦点検出処理とフォーカスレンズ制御(フォーカスレンズ駆動)とを並行して行う駆動である。すなわちデフォーカス駆動では、フォーカスレンズの駆動中に取得された画像信号を用いて焦点検出が行われる。
ステップS407にて信頼性が第2信頼性閾値以上でないと判定された場合、ステップS414へ進む。ステップS414において、AF制御部2122は、信頼性が高いデフォーカス量が得られるように、フォーカスレンズ103の駆動量を算出するとともに、フォーカスレンズ駆動部105を介してフォーカスレンズ103を駆動するサーチ駆動を行う。サーチ駆動は、算出したデフォーカス量を用いずに焦点深度に応じて駆動速度を決定し、焦点検出処理とフォーカスレンズ制御とを並行して行う駆動である。
ステップS411〜S414にて焦点調節動作の制御状態をそれぞれ設定すると、ステップS415へ進む。ステップS415において、カメラ制御部212は、カメラ本体20の設定やカメラ操作部213からの入力、および、焦点調節動作の制御状態に応じて、焦点調節動作を終了するか否かを判定する。焦点調節動作を終了しないと判定されると、ステップS402へ戻る。一方、焦点調節動作を終了すると判定されると、本フローを終了する。このようにカメラ制御部212は、AF動作、AFモード、および、焦点調節動作の制御状態に応じて、適切な検出特性を設定して、焦点調節動作を行う。
次に、図6を参照して、AF信号処理部204により実行される焦点検出処理(図4のステップS404)について詳述する。図6は、焦点検出処理を示すフローチャートである。図6の各ステップは、主に、カメラ制御部212の指令に基づいてAF信号処理部204により実行される。
まずステップS601において、AF信号処理部204は、撮像素子201の焦点検出領域に含まれる複数の画素からAF用信号としての一対の像信号(像データ)を取得する。図7は、撮像素子201の画素アレイ701上での焦点検出領域702の説明図である。焦点検出領域702の両側のシフト領域703は、相関演算に必要な領域である。このため、焦点検出領域702とシフト領域703とを合わせた領域704が相関演算に必要な画素領域である。図7中のp、q、s、tはそれぞれ、水平方向(x軸方向)での座標であり、pとqはそれぞれ領域704(画素領域)の始点と終点のx座標、sとtはそれぞれ焦点検出領域702の始点と終点のx座標をそれぞれ示している。
図8は、図7の焦点検出領域702に含まれる複数の画素から取得したAF用信号(一対の像信号)の説明図である。図8において、実線801は一対の像信号のうちの一方(A像信号)、破線802は一対の像信号のうち他方(B像信号)である。図8(a)はシフト前のA像信号およびB像信号を示し、図8(b)、(c)はそれぞれ、A像信号およびB像信号を図8(a)の状態からプラス方向およびマイナス方向にシフトした状態を示している。
続いて、図6のステップS602において、AF信号処理部204は、ステップS601にて取得した一対の像信号(A像信号、B像信号)を1画素(1ビット)ずつ相対的にシフトさせながら、一対の像信号の相関量(相関データ)を算出する。AF信号処理部204は、焦点検出領域内に設けられた複数の画素ライン(走査ライン)のそれぞれに関して、図8(b)、(c)に示されるようにA像信号801およびB像信号802の両方を矢印の方向に1ビットずつシフトする。またAF信号処理部204は、複数の走査ラインのそれぞれに関して一対の像信号(A像信号801、B像信号802)の相関量を算出し、複数の走査ラインの相関量を加算平均することにより、1つの相関量を算出する。
本実施形態では、相関量を算出する際に、一対の像信号を1画素ずつ相対的にシフトさせるように構成されているが、これに限定されるものではない。例えば、一対の像信号を2画素ずつ相対的にシフトさせるなど、より多くの画素単位でシフトさせるように構成してもよい。また本実施形態では、複数の走査ラインのそれぞれに関する相関量を加算平均することにより1つの相関量を算出しているが、これに限定されるものではない。例えば、複数の走査ラインのそれぞれに関する一対の像信号に対して加算平均を行い、その後、加算平均した一対の像信号に対して相関量の算出を行うように構成してもよい。
相関量COR[i]は、以下の式(1)を用いて算出することができる。
式(1)において、iはシフト量、p−sはマイナス方向の最大シフト量、q−tはプラス方向の最大シフト量、xは焦点検出領域702の開始座標、yは焦点検出領域702の終了座標である。
ここで、図9を参照して、シフト量と相関量CORとの関係について説明する。図9(a)、(b)は、シフト量と相関量CORとの関係の説明図である。図9(b)は図9(a)の領域902の拡大図である。図9(a)において、横軸はシフト量、縦軸は相関量CORをそれぞれ示している。シフト量とともに変化する相関量901における極値付近の領域902、903のうち、より小さい相関量に対応するシフト量において一対の像信号(A像信号、B像信号)の一致度が最も高くなる。
続いて、図6のステップS603において、AF信号処理部204は、ステップS602にて算出した相関量に基づいて相関変化量を算出する。本実施形態では、図9(a)に示される相関量901の波形における1シフトおきの相関量の差を相関変化量として算出する。相関変化量ΔCOR[i]は、以下の式(2)を用いて算出することができる。
続いて、ステップS604において、AF信号処理部204は、ステップS603にて算出した相関変化量を用いて像ずれ量を算出する。ここで、図10を参照して、シフト量と相関変化量ΔCORとの関係について説明する。図10(a)、(b)は、シフト量と相関変化量ΔCORとの関係の説明図である。図10(b)は図10(a)の領域1002の拡大図である。図10(a)において、横軸はシフト量、縦軸は相関変化量ΔCORをそれぞれ示している。シフト量とともに変化する相関変化量1001は、領域1002、1003においてプラスからマイナスになる。相関変化量が0となる状態をゼロクロスと呼び、一対の像信号(A像信号、B像信号)の一致度が最も高くなる。このため、ゼロクロスを与えるシフト量が像ずれ量となる。
図10(b)において、1004は相関変化量1001の一部である。ゼロクロスを与えるシフト量(k−1+α)は、整数部分β(=k−1)と小数部分αとに分けられる。小数部分αは、図10(b)中の三角形ABCと三角形ADEとの相似の関係から、以下の式(3)を用いて算出することができる。
整数部分βは、図10(b)より、以下の式(4)を用いて算出することができる。
すなわち、小数部分αと整数部分βとの和から像ずれ量PRDを算出することができる。図10(a)に示されるように、相関変化量ΔCORのゼロクロスが複数存在する場合、その付近での相関変化量ΔCORの変化の急峻性がより大きい方を第1のゼロクロスとする。この急峻性はAFの行い易さを示す指標であり、その値が大きいほど高精度なAFを行い易い点であることを示す。急峻性maxderは、以下の式(5)を用いて算出することができる。
本実施形態では、相関変化量のゼロクロスが複数存在する場合、その急峻性に基づいて第1のゼロクロスを決定し、第1のゼロクロスを与えるシフト量を像ずれ量とする。
続いて、図6のステップS605において、AF信号処理部204は、ステップS604にて算出された像ずれ量の信頼性の高さを表す信頼性(相関信頼性)を算出する。像ずれ量の信頼性は、一対の像信号(A像信号、B像信号)の一致度(二像の一致度)fnclvlと、前述の相関変化量ΔCORの急峻性とにより定義することができる。二像の一致度は、像ずれ量の精度を表す指標であり、ここではその値が小さいほど精度が良いことを意味する。図9(b)において、904は相関量901の一部である。二像の一致度fnclvlは、以下の式(6)を用いて算出することができる。
最後に、図6のステップS606において、AF信号処理部204は、ステップS604にて算出された像ずれ量を用いて、対象となる焦点検出領域に関するデフォーカス量を算出し、本フロー(焦点検出処理)を終了する。
本実施形態によれば、AF動作、焦点調節動作の制御状態、および、AFモードの組み合わせに応じて、同時に演算する焦点検出領域の数およびAF用信号の評価帯域などの検出特性を適切に設定することができる。このため本実施形態によれば、安定的に高速かつ高精度な焦点調節動作を実現可能となる。
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。本実施形態は、検出特性の設定(図4のステップS403)が第1の実施形態とは異なる。すなわちカメラ制御部212は、複数の焦点検出領域を設定し、焦点調節動作の種類として、検出特性の設定対象となる焦点検出領域の種類(焦点検出領域が主領域であるか否か)に応じて、検出特性を変更する。その他の構成および動作は第1の実施形態と同様であるため、それらの説明を省略する。
図11は、本実施形態における検出特性の設定(ステップS403)を示すフローチャートである。図11の各ステップは、主にカメラ制御部212により実行される。
まずステップS1101において、カメラ制御部212は、検出特性の設定対象となる焦点検出領域が図4のステップS405にて決定された主領域(主焦点検出領域)であるか否かを判定する。ステップS1101にて焦点検出領域が主領域であると判定された場合、ステップS1102へ進む。ステップS1102において、カメラ制御部212は、高域、中域、および、低域(高域+中域+低域)の検出特性を設定する。高域、中域、低域とは、相関演算に使用するAF用信号(信号波形)の評価帯域であり、図2を参照して説明したとおりである。
一方、ステップS1101にて焦点検出領域が主領域でないと判定された場合、ステップS1103へ進む。ステップS1103において、カメラ制御部212は、フォーカスレンズ103の制御状態(焦点調節動作の制御状態、駆動モード)を判定する。ステップS1103にて制御状態(駆動モード)がターゲット駆動であると判定された場合、ステップS1104へ進む。ステップS1104において、カメラ制御部212は、高域および中域(高域+中域)の検出特性を設定する。一方、ステップS1103にて制御状態がデフォーカス駆動またはサーチ駆動であると判定された場合、ステップS1105へ進む。ステップS1105において、カメラ制御部212は、中域および低域(中域+低域)の検出特性を設定する。
複数の焦点検出領域を設定した場合において、全ての焦点検出領域に対して全ての検出特性(すなわち、高域+中域+低域のAF用信号)を用いて焦点検出を行おうとすると、所定の処理時間内に全ての評価帯域に関する相関演算を行うことは困難である。一方、所定の処理時間で相関演算を完了するために高域+中域または中域+低域のAF用信号を用いて焦点検出を行うと、焦点検出精度が低下し、または、焦点調整動作に時間を要する可能性がある。しかし、本実施形態のように、特に焦点調整動作の制御に直結する主領域に設定する検出特性(AF用信号の評価帯域)を、高域+中域+低域に設定することにより、安定的に高速かつ高精度な焦点調節動作を実現することが可能となる。
本実施形態によれば、対象となる焦点検出領域が主領域であるか否かに応じて、AF用信号の検出特性を適切に設定することができる。このため本実施形態によれば、安定的に高速かつ高精度な焦点調節動作を実現可能となる。
(第3の実施形態)
次に、本発明の第3の実施形態について説明する。本実施形態は、撮影条件とAF用像信号の状態との少なくとも一方に応じて第2デフォーカス閾値を設定(変更)する点で、第1の実施形態と異なる。
図12を参照して、本実施形態における焦点調節動作(フォーカス制御)について説明する。図12は、本実施形態における焦点調節動作の手順を示すフローチャートである。図12は、図4のステップS408とステップS409との間にステップS420が挿入されている点でのみ図4と異なるため、ステップS420以外のステップの説明は省略する。
ステップS408にて信頼性が第1信頼性閾値以上であると判定された場合、ステップS420へ進む。ステップS420において、AF制御部2122は第2デフォーカス閾値を設定する。通常、第2デフォーカス閾値は、算出されたデフォーカス量に基づいて決定され、前述の評価帯域をデフォーカス量の検出範囲の狭い高域に切り替えた場合でもデフォーカス量を検出可能なデフォーカス範囲の最高値を設定することが好ましい。ただし、本実施形態では、撮影条件やAF用像信号の状態に応じて適切な値を設定することにより、ターゲット駆動(ステップS412)とデフォーカス駆動(ステップS413)とを効果的に切り替えてAF動作の精度と速度を両立することを目的の一つとする。本実施形態では、撮像条件として、焦点距離や絞り(絞り径)の状態に応じて決まる、合焦状態に至るまでの像面移動量を用いる。そして、合焦状態に至るまでの像面移動量所定値よりもが大きく、且つ、二像の一致度、像ずれ量の急峻性、二像の信号レベルなどのAF用像信号の状態が良好である場合、通常の撮影条件に対して第2デフォーカス閾値を大きく設定する。なお、このとき対象とする撮影条件は、明るさや手振れ状態など、必要に応じて適宜追加しても構わない。
このように、本実施形態では、撮影条件やAF用像信号の状態に応じて適切な第2デフォーカス閾値を設定する。これにより、ターゲット駆動(ステップS412)とデフォーカス駆動(ステップS413)とを効果的に切り替えてAF動作の精度と速度を両立することが可能となる。
図13は、図12を参照して説明した焦点調節動作における信頼性と検出デフォーカス量との関係の説明図である。図13(a)は像面移動量(所定条件における像面移動量)が通常の場合(第1撮影状態)、図13(b)は図13(a)よりも像面移動量が大きい場合(第2撮影状態)をそれぞれ示している。図13(a)、(b)において、横軸は信頼性を表し、合焦状態に近づいて信頼性が高くなるにしたがって値が大きくなる。縦軸は検出デフォーカス量を表し、合焦状態に近づいて検出デフォーカス量が小さくなるにしたがって値が小さくなる。
前述のとおり、フォーカスレンズ103の駆動状態は信頼性と検出デフォーカス量とに応じて決定される。一般的には、大きくボケた左上の状態からサーチ駆動(ステップS414)、デフォーカス駆動(ステップS413)、ターゲット駆動(ステップS412)の順に状態遷移を行い、最終的にピントの合った右下の状態で合焦停止(ステップS411)となる。本実施形態では、ステップS420にて説明したように、焦点距離や絞りの状態などに応じて合焦状態に至るまでの像面移動量が大きい場合、第2デフォーカス閾値を大きくする。これにより、デフォーカス駆動(ステップS413)からターゲット駆動(ステップS412)への移行条件を緩和し、合焦時間の短縮を図ることが可能となる。
このように各実施形態において、制御装置は、算出手段(AF信号処理部204)および焦点調節手段(カメラ制御部212)を有する。算出手段は、撮像光学系の互いに異なる瞳領域を通過した光束(撮像素子201からの出力信号)に対応する第1信号(A像信号に対応する信号)および第2信号(B像信号に対応する信号)に基づいてデフォーカス量を算出する。焦点調節手段は、デフォーカス量に基づいて焦点調節動作(フォーカス制御)を行う。また焦点調節手段は、焦点調節動作の種類に応じて、算出手段による第1信号および第2信号の検出特性を変更する。
好ましくは、検出特性は、算出手段がデフォーカス量の算出に用いる第1信号および第2信号の周波数帯域(評価帯域)に関する特性を含む。評価帯域の変更は、算出手段において第1信号および第2信号に適用されるフィルタ(高域、中域、低域などのフィルタ帯域)を変更することで実現可能である。より好ましくは、焦点調節手段は、焦点調節動作の種類として、焦点調節動作を行う複数の駆動モード(図5に示される複数の制御状態)から一つの駆動モードを選択的に設定する。複数の駆動モードは、第1駆動モード(ターゲット駆動)および第2駆動モード(デフォーカス駆動またはサーチ駆動)を含む。第1駆動モードは、撮像光学系のフォーカスレンズの停止中に取得された第1信号および第2信号を用いて焦点調節動作を行う駆動モードである。第2駆動モードは、フォーカスレンズの駆動中に取得された第1信号および第2信号を用いて焦点調節動作を行う駆動モードである。焦点調節手段は、駆動モードに応じて検出特性を変更する。より好ましくは、算出手段は、デフォーカス量に応じて複数の駆動モードから一つの駆動モードを選択する(S409〜S414)。また好ましくは、算出手段は、第1信号および第2信号に関する信頼性を算出し、焦点調節手段は、信頼性に応じて複数の駆動モードから一つの駆動モードを選択する(S407、S408、S411〜S414)。
好ましくは、焦点調節手段は、周波数帯域として、第1駆動モードにおける第1周波数帯域(高域+中域)を、第2駆動モードにおける第2周波数帯域(中域+低域)よりも高くなるように設定する。また好ましくは、検出特性は、第1信号および第2信号を検出する焦点検出領域の数を含む(図5)。より好ましくは、焦点調節手段は、第1駆動モードにおける焦点検出領域の数を、第2駆動モードにおける焦点検出領域の数よりも小さくなるように設定する(図5)。
好ましくは、焦点調節手段は、第1信号および第2信号を検出するための複数の焦点検出領域を設定する。そして焦点調節手段は、焦点調節動作の種類として、複数の焦点検出領域のうち検出特性の設定対象となる焦点検出領域の種類(焦点検出領域が主領域であるか否か)に応じて検出特性を変更する(S1101〜S1105)。より好ましくは、焦点調節手段は、複数の焦点検出領域から主領域を決定し、複数の焦点検出領域のうち主領域と他の領域との間で検出特性を変更する(S1101〜S1105)。より好ましくは、主領域に関する検出特性としての周波数帯域は、他の領域に関する周波数帯域よりも広い(S1102、S1104、S1105)。
好ましくは、焦点調節手段は、複数の駆動モードから一つの駆動モード(デフォーカス駆動)を選択するためのデフォーカス量の閾値(第2デフォーカス閾値)を、撮像光学系の状態に基づいて変更する。より好ましくは、撮像光学系は、第1撮影状態(図13(a))と、所定条件における像面移動量が第1撮影状態よりも大きい第2撮影状態(図13(b))とを有する。そして焦点調節手段は、第2撮影状態でのデフォーカス量の閾値(第2デフォーカス閾値)を第1撮影状態でのデフォーカス量の閾値よりも大きくする。より好ましくは、第2撮影状態は、第1撮影状態よりも焦点距離が長い。また好ましくは、第2撮影状態は、第1撮影状態よりも絞り径が小さい。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
各実施形態によれば、安定的に高速かつ高精度な焦点調節が可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供することができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。