(撮像装置の構成)
図1は、本発明を実施した撮像装置の一例としての、レンズ交換式デジタルカメラ本体(以下、カメラ本体という)100、およびカメラ本体100に対して着脱可能に取り付けられる撮影レンズ500の構成図である。
撮影レンズ500は、撮影光学系を有し、本実施例では、焦点距離が可変なズームレンズである。被写体からの光束は第1レンズ群501、第2レンズ群502、および第3レンズ群503を透過し、カメラ本体100内の撮像面に被写体像が結像される。第2レンズ群502は、光軸に沿って進退して変倍を行うバリエータとして機能する。第3レンズ群503は、光軸に沿って進退して焦点調節を行うフォーカスレンズとして機能する。第3レンズ群503は、ステッピングモーターなどを用いたフォーカス駆動部504によって駆動される。虹彩絞り505は、撮影レンズ500に入射する光量を調節するための複数の絞り羽根で構成されている。絞り駆動部506は、絞り羽根を所定のFナンバになるまで絞り込み駆動する。レンズCPU507は、レンズ側通信端子508およびカメラ側通信端子113を介してカメラCPU104と通信し、各種情報を送受信するとともに、カメラCPU104からの指令に基づいてフォーカス駆動部504や絞り駆動部506を駆動制御する。
撮影レンズ500のズームレンジや開放Fナンバは撮影意図に応じて設計されるが、本発明の実施例においては、開放Fナンバはズーム状態やフォーカス状態によらず、F2の一定値となるように構成されている。一方、射出瞳と撮像面間との距離、いわゆる射出瞳距離はズーム状態およびフォーカス状態に応じて変化する。
撮影レンズ500内の各レンズ群を透過した光束は、カメラ本体100に備え付けられた光束分割手段としてのビームスプリッタ103に入射する。ビームスプリッタ103はカメラ内に固定されており、本実施例においてはハーフミラーである。ビームスプリッタ103によって分割された光束の一方の光束はビームスプリッタ103を透過して第1の撮像面に被写体像を配置された第1撮像素子101に導かれる。他方の光束はビームスプリッタ103で反射して第2の撮像面に配置された第2撮像素子102に導かれる。なお、ビームスプリッタ103は、ハーフミラーと同様に入射する光束を分割することができるものであれば、必ずしもハーフミラーでなくてもよい。
第1および第2の撮像面は、撮影レンズ500から見て光学的に等価な位置にある。言い換えると、第1の撮像面に配置された第1撮像素子101と第2の撮像面に配置された第2撮像素子102はそれぞれ、撮影レンズ500を介して、被写体に対して光学的に共役な結像面にある。
第1および第2の撮像面には、ビームスプリッタ103の透過率および反射率に応じた明るさの被写体像が形成される。ハーフミラーは理想的な平面で、かつ光束が透過する領域の屈折率も一様であることが望ましいが、現実にはある程度のうねりや屈折率分布が生じているため、ビームスプリッタ103を透過および反射した光束により形成される画像は画質が低下する場合がある。そして、ハーフミラーが薄板ガラスで構成される場合、画質低下の程度は、透過した光束により形成される画像と比較し、反射した光束により形成される画像において相対的に大きい。そこで、本実施例では、透過側の第1撮像素子101を高解像度記録用撮像素子、すなわち主として静止画を撮影するための撮像素子とし、反射側の第2撮像素子102は静止画よりも記録画素数が少ない動画の撮影に用いる撮像素子としている。しかしながら、本発明はこの形態に限定されるものではなく、ビームスプリッタ103の特性やその他の条件に応じて第1撮像素子101と第2撮像素子102の位置を入れ替えてもよい。
CMOSエリアセンサからなる第1撮像素子101および第2撮像素子102は、被写体像を電気信号に変換するマトリクス状に配置された画素部によって構成される。電気信号に変換された画素情報はカメラCPU104で画像信号や焦点検出信号を得るための各種補正処理や、得られた画像信号をライブビュー画像や記録画像に変換するための処理等が行われる。なお、本実施例においてはこれらの処理等をカメラCPU104で行っているが、これらの処理等は専用の回路を設けて当該回路によって処理してもよい。撮像素子駆動手段114は、第2撮像素子102を光軸方向へ移動させるための手段である。第1撮像素子101および第2撮像素子102は、上述のように、光学的に共役な結像面に配されるが、組立上の誤差や、後述する収差の影響による最良像面の差により、共役な面に配置することは困難で、所定の誤差を有する。2つの撮像素子で同時に画像を得る際に、撮影レンズ500に設けられた焦点調節手段だけでは、2つの撮像素子に対して、ピント調整することができないため、撮像素子駆動手段114を設けている。撮像素子駆動手段114は、第2撮像素子102を駆動してもよいし、ビームスプリッタ103を移動してもよい。また、各撮像素子には、赤外カットフィルタや光学的ローパスフィルタなどが一体的に配置されている。
操作部材105は、カメラの撮影モードや撮影条件等を設定するための各種部材である。記憶媒体106は、フラッシュメモリであり、撮影した静止画や動画を記録するための媒体である。ファインダ内表示器107は、有機ELディスプレイや液晶ディスプレイ等の小型で高精細な表示手段としてのディスプレイ108と接眼レンズ109とで構成される。外部表示器110は、裸眼視に適した画面サイズの有機ELディスプレイや液晶ディスプレイが用いられる。カメラ本体100の設定状態、ライブビュー画像、撮影済み画像等の各種情報は、ファインダ内表示器107や外部表示器110に表示される。
フォーカルプレンシャッタ111は、第1撮像素子101の前面に配置されている。シャッタ駆動部112は、例えば、モーターであり、シャッタの羽根を駆動制御することで、静止画を撮像する際の露光時間を制御する。カメラ側通信端子113は、撮影レンズ500を装着するためのカメラマウント部に設けられている。カメラ側通信端子113は、レンズマウント部に設けられたレンズ側通信端子508とともにカメラCPU104とレンズCPU507の間でやりとりされる情報を送受信する。
図2は、第1撮像素子101の構成図である。本実施例では、第1および第2撮像素子101、102は、画素ピッチおよび1つのマイクロレンズに対応する光電変換部の数が異なる。それ以外の機能、構成については類似である。
図2(a)は、第1の撮像面の中央近傍(像高0付近)における一部の画素部を撮影レンズ500側から見た平面図である。第1撮像素子101が有する複数の画素部はそれぞれ、撮像面上の水平方向(x)、垂直方向(y)ともに4μmの大きさを有する正方形の画素部であり、画素部の構造は実質的にすべて同じである。第1撮像素子101は、画素部が水平方向に6000画素、垂直方向に4000画素配列された、有効画素数2400万画素の撮像素子である。撮像領域の大きさは画素部の大きさ、すなわち画素ピッチに画素数を乗じれば求めることができ、この場合は水平方向に24mm、垂直方向に16mmとなる。各画素部には、RGBのカラーフィルタがモザイク状に配列されている。
図2(b)は、画素部の断面図である。CMOSイメージセンサの基体を成すシリコン基板101d内には、光電変換部101a、101bが設けられている。また、シリコン基板101d内には、各光電変換部で発生した光電子を電圧に変換して外部に読み出す不図示のスイッチングトランジスタ等が形成され、光電変換後の出力信号は配線層101eによって読み出される。
配線層101eは、透明な層間膜101fによって絶縁されている。オンチップマイクロレンズ101cの下には、色分離用のカラーフィルタ101gが設けられている。オンチップマイクロレンズ101cの形状は、その焦点位置が光電変換部101a、101bの上面に略一致するように決められる。そのため、光電変換部101a、101bはオンチップマイクロレンズ101cを介して撮影光学系の射出瞳近傍に逆投影され、逆投影像が位相差検出方式の焦点検出を行う際の焦点検出瞳として機能する。位相差検出方式の焦点検出を行う際は、光電変換部101a、101bの出力信号を個別に処理して一対2像の位相差像を生成する。焦点検出手段としてのカメラCPU104は、2像の相対的な像ずれ量から撮像面における被写体像のデフォーカス量を算出する。また、加算制御手段としてのカメラCPU104は、光電変換部101a、101bの信号を加算して静止画または動画の記録用画像信号またはライブビュー用(表示用)の画像信号を得る。なお、加算処理は専用の回路を設けて行ってもよいし、光電変換部101a、101bから個別に出力された信号が第1撮像素子101内で加算され、出力されてもよい。
図3は、第2撮像素子102の構成図であり、第2の撮像面の中央近傍(像高0付近)における一部の画素部を撮影レンズ500側から見た平面図である。第2撮像素子102が有する複数の画素部はそれぞれ、撮像面上の水平方向(x)、垂直方向(y)共に12μmの大きさを有する正方形の画素部であり、画素部の構造は実質的にすべて同じである。第2撮像素子102は、画素部が水平方向に2000画素、垂直方向に1333画素配列された、有効画素数約267万画素の撮像素子である。撮像領域の大きさは画素部の大きさ、すなわち画素ピッチに画素数を乗じれば求めることができ、この場合は水平方向に24mm、垂直方向に16mmとなる。各画素部には、RGBのカラーフィルタがモザイク状に配列されている。第1撮像素子101と比較して、画素ピッチが3倍となっているため、総画素数が1/3となっている。
第2撮像素子102の各画素部は、各配線層やオンチップマイクロレンズ、色分離用のカラーフィルタなどは、第1撮像素子101と同様に構成されている。第1撮像素子101と異なる点として、オンチップマイクロレンズ102jの下に、9つの光電変換部を有する。これにより、第1撮像素子101に対して、受光する光束の角度分解能を上げることができる。第1撮像素子101では、撮影光学系の射出瞳近傍に生成される逆投影像が、2つの光電変換部101a、101bに対応する。一方、第2撮像素子102では、撮影光学系の射出瞳近傍に生成される逆投影像が、9つの光電変換部102a〜102iに対応する。これにより、位相差検出方式の焦点検出を行う際の焦点検出瞳の構成方法が、水平方向に分割、垂直方向に分割など複数考えられる。焦点検出手段としてのカメラCPU104は、2像の相対的な像ずれ量から撮像面における被写体像のデフォーカス量を算出する。また、加算制御手段としてのカメラCPU104は、光電変換部102a〜101iの信号を全て、または選択的に加算して静止画または動画の記録用画像信号またはライブビュー用(表示用)の画像信号を得る。なお、加算処理は専用の回路を設けて行ってもよいし、光電変換部102a〜102iから個別に出力された信号が第2撮像素子102内で加算され、出力されてもよい。
本実施例の第1および第2撮像素子101、102は、2種類の読み出しモードを有する。第1の読み出しモードは、全画素読み出しモードと称するもので、記録用の静止画や動画を撮像するためのモードである。このモードでは、全画素部の信号が読み出される。第2の読み出しモードは、間引き読み出しモードと称するもので、記録用の静止画よりも画素数の少ないライブビュー画像の表示を行うためのモードである。ライブビュー画像とは、各撮像素子で取得された画像をファインダ内表示器107や外部表示器110にリアルタイムで表示するための画像である。ライブビューに必要な画素数は全画素数よりも少ないため、x方向およびy方向ともに所定比率に間引いた画素部のみから信号を読み出すことで、信号処理回路の処理負荷を軽減するとともに、消費電力の低減にも寄与する。また、第1および第2のいずれの読み出しモードにおいても、各画素部が備える所定数の光電変換部の信号は独立して読み出しされるため、焦点検出のための信号生成が可能となっている。読み出しモードに応じて、読み出された信号の画素数・画素ピッチが変わる。
なお、本実施例では、第1撮像素子101は主として静止画撮影用に用いられるが、動画撮影に用いられてもよい。例えば、第2撮像素子102で動画撮影中に、第1撮像素子101は間引き読み画像を低解像度動画として記録することも可能である。同様に、第2撮像素子102は主として動画撮影用に用いられるが、静止画撮影に用いられてもよい。例えば、動画記録中に所望の1フレームを静止画として記録することも可能である。
次に、画素部の構造と焦点検出瞳について説明する。図4は、各撮像素子の光電変換部と焦点検出瞳の対応関係を説明する図である。
図4(a)および図4(b)は、撮影光学系の射出瞳面と、像高ゼロすなわち像面中央近傍に配置された第1撮像素子101の光電変換部101a、101bとの共役関係を説明する図である。光電変換部と撮影光学系の射出瞳面は、オンチップマイクロレンズ101cによって共役関係となるように設計されている。撮影光学系の射出瞳は、一般的に光量調節用の虹彩絞りが置かれる面と略一致する。
本実施例の撮影レンズ500は、変倍機能を有するズームレンズであるが、光学タイプによっては変倍操作を行うと、射出瞳の像面からの距離や大きさが変化する。図4(a)における撮影光学系は、焦点距離が広角端と望遠端の中間、すなわちMiddleの状態を示している。これを標準的な射出瞳距離Zepと仮定して、オンチップマイクロレンズ101cの形状や、像高(X、Y座標)に応じた偏心パラメータの最適設計がなされる。
図4(a)において、鏡筒部材501r、503rはそれぞれ、第1レンズ群501および第3レンズ群503を保持する。開口板505aは絞り開放時の開口径を規定し、絞り羽根505bは絞り込み時の開口径を調節するための絞り羽根である。なお、撮影レンズ500を通過する光束の制限部材として作用する鏡筒部材501r、開口板505a、絞り羽根505b、および鏡筒部材503rは、像面から観察した場合の光学的な虚像を示している。また、絞り505の近傍における合成開口をレンズの射出瞳と定義し、前述のように像面から射出瞳までの距離をZepとする。
2つの光電変換部101a、101bは、オンチップマイクロレンズ101cによって撮影光学系の射出瞳面に投影される。換言すると、撮影光学系の射出瞳(投影像EP1a、EP1b)は、オンチップマイクロレンズ101cを介して、光電変換部101a、101bの表面に投影される。
図4(b)は、撮影光学系の射出瞳面上における、光電変換部の投影像を示しており、光電変換部101a、101bに対する投影像はそれぞれ、EP1a、EP1bとなる。また、本実施例において、第1撮像素子101は、2つの光電変換部101a、101bのいずれか一方の出力と、両方の和の出力を得ることができる画素部を有する。両方の和の出力は、撮影光学系の略全瞳領域である投影像EP1a、EP1bの両方の領域を通過した光束を光電変換して出力された信号である。
図4(a)において、撮影光学系を通過する光束(の最外部)をLで示すと、光束Lは、開口板505aで規制されており、投影像EP1a、EP1bは、撮影光学系においてケラレがほぼ発生していない。図4(b)では、図4(a)の光束Lにより形成される円TLの内部に、光電変換部101a、101bの投影像EP1a、EP1bの大部分が含まれていることからも、ケラレがほぼ発生していないことがわかる。光束Lは、開口板505aでのみ制限されているため、円TLは開口板505aと言い換えることができる。この際、像面中央では投影像EP1a、EP1bのケラレ状態は、光軸に対して対称となり、光電変換部101a、101bが受光する光量は互いに等しい。
図4(c)は、図4(a)に対して、第2撮像素子102の光電変換部102a〜102iに関連する部分のみが異なる。3つの光電変換部102d、102e、102fは、オンチップマイクロレンズ102nによって撮影光学系の射出瞳面に投影される。換言すると、撮影光学系の射出瞳(投影像EP2d、EP2e、EP2f)は、オンチップマイクロレンズ102nを介して、光電変換部102d、102e、102fの表面に投影される。
図4(d)は、撮影光学系の射出瞳面上における、光電変換部の投影像を示しており、光電変換部102a〜102iに対する投影像はそれぞれ、EP2a〜EP2iとなる。また、本実施例において、第2撮像素子102は、9つの光電変換部102a〜102iの各々の出力と、全ての和の出力を得ることができる画素部を有する。全ての和の出力は、撮影光学系の略全瞳領域である投影像EP2a〜EP2iの全領域を通過した光束を光電変換して出力された信号である。
図4(c)において、撮影光学系を通過する光束(の最外部)をLで示すと、光束Lは、開口板505aで規制されており、投影像EP2d、EP2e、EP2fは、撮影光学系においてケラレがほぼ発生していない。図4(d)では、図4(c)の光束Lにより形成された円TLの内部に、光電変換部102a〜102iの投影像EP2a〜EP2iの大部分が含まれていることからも、ケラレがほぼ発生していないことがわかる。光束Lは、開口板505aでのみ制限されているため、円TLは、開口板505aと言い換えることができる。この際、像面中央では各投影像のケラレ状態は、光軸に対して対称となる。
ここで、位相差検出方式の焦点検出を行う場合の画素信号について説明する。本実施例では、オンチップマイクロレンズ101cと、分割された光電変換部101a、101bとにより、撮影光学系の射出光束を瞳分割する。そして、同一行上に配置された所定範囲内の複数の画素において、光電変換部101aの出力をつなぎ合わせて編成したものをAF用A像とする。同様に、光電変換部101bの出力をつなぎ合わせて編成したものをAF用B像とする。光電変換部101a、101bの出力は、ベイヤー配列の緑、赤、青、緑の出力を信号加算処理したものであり、疑似的に輝度(Y)信号として算出されたものが用いられる。ただし、赤、青、緑の色ごとに、AF用A像、B像を編成してもよい。このように生成したAF用A像とB像の相対的な像ずれ量を相関演算により検出することにより、所定領域の焦点ずれ量、すなわちデフォーカス量を検出することができる。
第2撮像素子102についても、1対の像信号を取得する。第2撮像素子102は、第1撮像素子101より瞳分割数が多いため、像信号の構成方法は、複数考えられる。例えば、光電変換部102a、102d、102gの出力を加算し1つの信号とし、それをつなぎ合わせて編成したものをAF用C像とする。同様に、光電変換部102c、102f、102iの出力を加算し1つの信号とし、それをつなぎ合わせて編成したものをAF用D像とする。また、AF用C像のために光電変換部102dの出力、AF用D像のために光電変換部102fの出力を使用してもよい。また、AF用C像のために左側6個の光電変換部(102a、102b、102d、102e、102g、102h)の出力、AF用D像のために右側6個の光電変換部(102b、102c、102e、102f、102h、102i)の出力を使用してもよい。また、AF用C像、D像に用いる光電変換部の個数は揃う必要はない。撮像素子上で像高が高い個所では、撮影光束のビネッティングが発生するため、ビネッティング状況に基づいて、AF用C像、D像に用いる光電変換部を選択してもよい。選択後の光量の差、すなわち信号出力の大きさの差があった場合でも、後述するシェーディング補正により、信号出力の大きさを略等しくするため、問題はない。第1撮像素子101のAF用A像、B像や第2撮像素子102のAF用C像、D像の信号は、各撮像素子の水平方向へ像ずれが発生するように構成されている。ただし、第2撮像素子102は、垂直方向へ像ずれが発生する1対の像信号も取得できる。本実施例では、垂直方向へ像ずれが発生する1対の信号として、AF用E像、F像を取得する。AF用E像、F像に用いる光電変換出力として種々のものが考えられるのは上述のとおりである。
(共役関係の説明)
図2から図4を参照して説明したように、第1および第2撮像素子101、102は、撮像のみの機能だけではなく焦点検出装置としての機能も有する。また、焦点検出方法としては、射出瞳を分割した光束を受光する焦点検出用画素を備えているため、位相差検出方式の焦点検出を行うことが可能である。
次に、図5を参照して、本実施例の焦点検出領域について説明する。図5は、第1および第2撮像素子101、102の画素が形成された、点線で示される撮影範囲217内における焦点検出領域を示す図である。本実施例では、撮影範囲217の中央部と左右2箇所の計3箇所の焦点検出領域が設けられている。本実施例では、焦点検出領域内で第1および第2撮像素子101,102から得られた信号に基づいて、撮像面位相差AF(位相差検出方式AF)が行われる。図5の焦点検出領域は、第1撮像素子101の水平方向(横方向)へ瞳分割を行う画素を含む焦点検出部を備えている。また、第2撮像素子102の水平方向(横方向)および垂直方向(縦方向)へ瞳分割を行う画素を含む焦点検出部を備えている。
本実施例では、撮影範囲217を共通としているが、別々に分けてもよい。例えば、静止画撮影と動画撮影を、第1および第2撮像素子101、102で同時に行う場合などは、静止画像と動画像のアスペクト比など異なる撮影範囲を有してもよい。このような場合には、撮影画像を表示する際に、各撮像素子の撮影範囲を枠で明示するなどにより、撮影者に知らしめることができる。
撮影範囲217内には、撮像面位相差AFを行う3つの横方向の焦点検出領域218ah、218bh、218chと、縦方向の焦点検出領域218av、218bv、218cvが設けられている。第1撮像素子101は、焦点検出領域218ah、218bh、218chに対応する領域から焦点検出信号を得ることにより、被写体のコントラストを有する方向に関して、水平方向のみの焦点検出を行う。第2撮像素子102は、焦点検出領域218ah、218bh、218chに対応する領域から焦点検出信号を得ることにより、被写体のコントラストを有する方向に関して、水平方向の焦点検出を行う。また、第2撮像素子102は、焦点検出領域218av、218bv、218cvに対応する領域から焦点検出信号を得ることにより、被写体のコントラストを有する方向に関して、垂直方向の焦点検出を行う。
表示枠219a、219b、219cは、外部表示器110における焦点検出領域の範囲を示している。表示枠を焦点検出領域と概ね同じサイズにすることにより、撮影者が表示枠内に配置した被写体に対して適切に焦点検出を行うことができる。
(撮影フロー)
図6を参照して、本実施例の撮影処理について説明する。図6は、本実施例における撮影処理を示すメインフローチャートである。撮影者がカメラ本体100の電源スイッチをオン操作すると、カメラCPU104はカメラ本体100内の各アクチュエータや第1および第2撮像素子101、102の動作確認を行うとともに、メモリ内容や実行プログラムの初期化を行う。
ステップS101では、カメラCPU104は、レンズCPU507と通信を行い、撮影レンズの開放Fナンバ、焦点距離、射出瞳距離PL、フォーカスレンズ繰り出し量とピント変化量の比例定数であるフォーカス敏感度等の情報を受信する。
ステップS102では、カメラCPU104は、カメラ本体100が静止画撮影モード(静止画撮影のみを行うモード、または静止画/動画同時撮影モード)に設定されているか否かを判定する。静止画撮影モードに設定されている場合、ステップS103に進み、静止画撮影モードに設定されていない、すなわち動画のみ撮影するモードに設定されている場合、ステップS104に進む。
ステップS103では、カメラCPU104は、静止画撮影用の第1撮像素子101を被写体情報取得モードで駆動させ、動画撮影用の第2撮像素子102をライブビューモードで駆動させる。
ライブビューモードとは、撮像素子で取得された画像をファインダ内表示器107や外部表示器110にリアルタイムで表示するモードである。記録用画像の画素数に対して各表示器の画素数は水平方向および垂直方向ともに少ないため、ライブビューモードでは撮像素子から読み出す際に、水平方向および垂直方向ともに画素の間引きを行い、撮像素子や信号処理回路の消費電力を低く抑えている。また、ライブビューモードで読み出した画像信号を用いて位相差検出も行うが、焦点検出信号の分解能維持のため、焦点検出領域のみ間引き読みせずに全画素の情報を読み出してもよい。
被写体情報取得モードとは、被写体のパターンの空間周波数特性や分光、コントラストの方向などの被写体情報や、焦点検出情報を取得するためのモードである。焦点検出範囲が、複数あり、領域が広い場合には、第2の読み出しモードで駆動する。一方、撮影者の指示や被写体検出などにより、焦点検出領域が限定される場合には、第1の読み出しモードで焦点検出領域の近傍のみを、水平、垂直方向の間引きを行わずに、出力信号を得る。また、必要に応じて、フレームレートを上げ、情報取得の時間間隔を縮めることにより、より多くの被写体情報を得る。領域を限定して信号を取得することにより、撮像素子や信号処理回路の消費電力を低く抑えている。
ステップS104では、カメラCPU104は、動画のみの撮影に対応するため、第2撮像素子102を駆動する。本実施例では、動画のみの撮影では、静止画撮影用の第1撮像素子101を駆動させない。これは、動画撮影で得られる画像の解像度は第2撮像素子102の画素ピッチで制限されるため、より高周波の情報を得ても、有効に活用できない可能性があるためである。これにより消費電力の抑制が可能となる。ただし、静止画撮影用の第1撮像素子101を、動画撮影用の第2撮像素子102よりもフレームレートを上げるなどして、より多くの被写体情報を得るように構成してもよい。
ステップS105では、カメラCPU104は、第2撮像素子102で取得した信号を表示用信号に変換し、ファインダ内表示器107または外部表示器110に送信してライブビュー表示を開始する。
ステップS106では、カメラCPU104は、第2撮像素子102の駆動により得られる画像信号の明るさを判断し、ライブビュー時の絞り制御を行う。第2撮像素子102の蓄積時間や絞り制御は、どちらの記録画像を優先するかで決定すればよい。動画は、フレームレートを決定すると、記録画像における移動被写体の連続性に鑑みると、蓄積時間に制約が出る。そのため、適切な露光状態を調整するために、調節可能なパラメータは絞りと信号のゲイン調整のみとなる。静止画は、撮影画像に対する撮影者の設定はあるが、静止画撮影前の待機状態においては、絞り、蓄積時間、ゲインの設定に自由度がある。これらの要件を踏まえて、絞り制御を行う。
ステップS107では、カメラCPU104は、焦点検出処理を実行する。本実施例では、2つの撮像素子による焦点検出、および、被写体情報の取得を行う。また、被写体情報を用いて焦点検出結果の補正も行う。また、焦点検出結果に基づき、レンズ駆動や、合焦表示なども行う。
ステップS108では、カメラCPU104は、動画撮影トリガボタンがオン操作されたか否かを判断する。オン操作された場合、ステップS109に進み、オン操作されていない場合、ステップS110に進む。
ステップS109では、カメラCPU104は、動画用の画像処理を行い、動画の生成を開始する。生成された動画は、記録される。
ステップS110では、カメラCPU104は、静止画開始トリガボタンがオン操作されたか否かを判断する。本実施例では、動画用ライブビュー、または動画記録時に静止画撮影が指示されると、第1撮像素子101による静止画の記録を可能としている。オン操作された場合、ステップS111に進み、オン操作されていない場合、ステップS112に進む。なお、カメラ本体100が動画のみを撮影するモードに設定されている場合、ステップS110の処理は省略してもよい。
ステップS111では、カメラCPU104は、静止画撮影を実行する。まず、カメラCPU104は、静止画撮影用のFナンバをカメラ側通信端子113およびレンズ側通信端子508を介してレンズCPU507に送信する。次に、撮影レンズ500は、絞り駆動部506を駆動制御し、虹彩絞りの開口径を静止画撮影用のFナンバに対応する値に制御する。動画撮影優先の場合、この処理はスキップする。その後、ライブビュー用に開放状態となっていたフォーカルプレンシャッタを閉鎖状態にリセット駆動し、第1撮像素子101で静止画撮影を行うための電荷蓄積動作を開始する。次に、所定の露出演算プログラムで計算された静止画撮影用のシャッタ秒時に基づき、フォーカルプレンシャッタの先幕および後幕を駆動制御し、第1撮像素子101に所定の露光量を与える。フォーカルプレンシャッタの走行が完了すると、第1撮像素子101の蓄積動作を終了し、電荷転送を行う。
ステップS111で行われる静止画記録は、1枚の画像を記録する単写モードでもよいし、複数の画像を記録する連写モードでもよい。本実施例では、連写モードを想定して、以降の説明を行う。
ステップS112では、カメラCPU104は、動画撮影トリガボタンがオフ操作されたか否かを判断する。オフ操作されていない場合、すなわちオン状態が継続されている場合、ステップS105からステップS111までの処理を繰り返し実行し、動画用のAF制御や動画記録を継続するとともに、静止画の割り込みも許可する。オフ操作された場合、撮影処理を終了する。
本実施例では、静止画撮影用と動画撮影用の2つの撮像素子から得た信号で、焦点検出や撮像を行う。焦点検出や撮像の指示は、静止画と動画で異なる操作部材を用意して対応する。これにより、静止画と動画の記録タイミングを独立して制御できるだけでなく、焦点検出の際も、静止画の焦点検出では、高速に焦点検出し、動画の焦点検出では低速に焦点検出するなどの、異なる制御を行うことができる。
次に、図7を参照して、本実施例の焦点検出処理(AF処理)について説明する。図6は、7焦点検出処理のフローチャートである。図7の各ステップは、主に、カメラCPU104により実行される。
ステップS901では、カメラCPU104は、焦点検出領域を設定する。本実施例では、カメラCPU104は、焦点検出領域219a、219b、219cの選択を行う。選択は、撮影者の指示に基づいてもよいし、事前の焦点検出結果や被写体認識結果などに基づいてもよい。
ステップS902では、カメラCPU104は、選択された焦点検出領域に関して、像信号を取得する。カメラCPU104は、第1撮像素子101から、AF用A像、B像、第2撮像素子102から、AF用C像、D像、E像、F像を取得する。
ステップS903では、カメラCPU104は、信号の各種補正とフィルタ処理を行う。カメラCPU104は、まず、信号出力特性に応じたオフセットやゲインの調整を行う。その後、各AF用信号の撮影レンズ500のビネッティングの影響による光量差を補正する、いわゆるシェーディング補正を行う。撮影光学系の射出瞳の光軸上の位置、絞り値、光束を遮る枠情報から求まる光束の範囲と、光電変換部の角度ごとの強度情報から、1対のAF用信号の光量比が求まる。シェーディング補正に用いる補正値は、この光量比の逆数とし、1対の信号に乗じることにより、補正を行う。シェーディング補正に用いる係数は、射出瞳の光軸上の位置、絞り値、光束を遮る枠情報などごとに、ルックアップテーブルを記憶しておけばよい。信号補正を終えると、焦点検出に用いる評価帯域に合わせたデジタルフィルタ処理を行う。一般に、高域を評価すると検出可能なデフォーカス領域が狭くなるため、複数種類の帯域を評価するため、複数のフィルタ処理を行う。第1撮像素子101から得られるAF用A像、B像は、第1撮像素子101の画素ピッチが細かいため、より高域評価が可能である。そのため、高域と中域に対応するフィルタ処理を行う。また、第2撮像素子102から得られるAF用C像、D像、E像、F像を使用する場合、低域と超低域のフィルタ処理を行う。
ステップS904では、カメラCPU104は、対の信号S1と信号S2を用いて相関演算により2像の位相差からデフォーカス量を算出する。
相関量算出手段としてのカメラCPU104は、対の焦点検出信号の相関量を算出する。相関演算を行う際に、視野内データ数とシフトデータ数の設定を行う。視野内データとは、相関演算を行う際の窓に相当し、焦点検出を行う領域の広さを決定する。視野内データを大きくすると、より信頼性の高い相関演算結果が得られるが、距離の異なる被写体が同じ焦点検出領域内に存在する、いわゆる遠近競合が発生する頻度が高まる。そのため、被写体の大きさや撮影光学系の焦点距離などの情報をもとに、適切な大きさの焦点検出領域に相当する視野内データに設定する。シフトデータ数は、対の像の位置関係をずらしながら相関量を評価する際の最大ずらし量に相当する。対の像の位置関係のずらし量を大きくすると、より大きなデフォーカス状態の被写体の焦点検出を行うことができる。一方で、A像とB像の位置関係のずらし量を大きくすることは、演算量増加につながり、焦点検出演算の時間が長くかかってしまう。そのため、検出したいデフォーカス量と精度に鑑みて、適切に設定する。相関演算に用いる相関量COR(h)は、例えば、以下の式(1)で算出することができる。
式(1)において、対の焦点検出信号を、それぞれS1(k)、S2(k)(1≦k≦P)としている。NW1は視野内データに相当し、hmaxはシフトデータ数に相当する。シフト量hについての相関量COR(h)を求めた後、対の像の相関が最も高くなるシフト量h、すなわち、相関量CORが最小となるシフト量hの値を求める。なお、相関量COR(h)の算出時におけるシフト量hは整数とするが、相関量COR(h)が最小となるシフト量hを求める場合には、デフォーカス量の精度を向上させるため、適宜補間処理を行いサブピクセル単位の値(実数値)を求める。対の信号としては、AF用A像とB像、AF用C像とD像、AF用E像とF像の組み合わせに関して、上記の位相差を算出する。
カメラCPU104は、相関量の算出と同時に、信頼性評価値を算出する。信頼性評価値とは、相関量の極小値が、精度よく算出可能な状況か否かを判定するための評価値である。例えば、相関量CORの極小値が十分に小さく、焦点検出信号S1、S2の一致度が高いかどうか、相関量CORの極小値近傍の相関量CORの変化が大きいかどうかなどを評価値とする。また、焦点検出信号S1、S2のピークボトムを用いてもよい。
カメラCPU104は、相関量波形の極小値検出を行う。公知のサブピクセル演算等を行い、精度よく検出する。相関量の差分値DCORは、以下の式(2)に従って算出される。
DCOR(h)=COR(h)−COR(h−1) (2)
カメラCPU104は、相関量の差分値DCORを用いて、相関量CORの差分量の符号が変化するシフト量dhを、相関量COR(h)が最小となるシフト量hとして算出する。差分量の符号が変化する直前のhの値をh1、符号が変化したhの値をh2(h2=h1+1)とすると、シフト量dhは以下の式(3)に従って算出される。
dh=h1+|DCOR(h1)|/|DCOR(h1)−DCOR(h2)| (3)
以上のようにして相関演算手段としてのカメラCPU104は、対の像の相関が最大となるシフト量dhをサブピクセル単位で算出し、得られたシフト量dhに対して、敏感度を乗じることにより、デフォーカス量に換算する。なお、2つの1次元像信号の位相差を算出する方法は、ここで説明したものに限らず、公知の任意の方法を用いることができる。
ステップS905では、カメラCPU104は、被写体情報を抽出する。被写体情報とは、後述する焦点検出結果の補正に用いる情報で、被写体の空間周波数特性や分光(色)やコントラストの方向などに関する情報である。
ステップS906では、カメラCPU104は、被写体情報に対応した補正量(BP量)を算出する。
ステップS907では、カメラCPU104は、検出したデフォーカス量に対して、補正を行う。
ステップS908では、カメラCPU104は、得られたデフォーカス量の中から信頼性の高い検出結果の選択を行う。本実施例では、第1撮像素子101から得られたAF用A像、B像から第1の焦点検出結果、第2撮像素子102から得られたAF用C像、D像から第2の焦点検出結果、第2撮像素子102から得られたAF用E像、F像から第3の焦点検出結果が得られる。カメラCPU104は、信頼性評価値から、信頼性の高い結果を選択するとともに、被写体情報に鑑みて、適切な検出結果を選択する。例えば、被写体情報として、高周波成分が多い場合、第1撮像素子101から得られる第1の焦点検出結果を優先し、コントラスト方向が垂直方向の成分が多い場合、第2撮像素子102から得られる第3の焦点検出結果を優先したりする。また、検出されるデフォーカス量が大きい場合は、評価帯域が低域の方が、信頼性が高いため、検出されたデフォーカス量から、どの焦点検出結果を用いるかを決定してもよい。
ステップS909では、カメラCPU104は、選択されたデフォーカス量に基づき、第3レンズ群503および第2撮像素子102の駆動を行う。本実施例では、第3レンズ群503の移動に加えて、第2撮像素子102の駆動によっても焦点調節が可能である。これは、BP量や組み付け時の誤差によって、2つ撮像素子の位置が光学的に共役ではないことに対応するものである。本ステップでは、第1撮像素子101から得られた焦点検出結果から、第3レンズ群503を駆動する。また、第2撮像素子102から得られた焦点検出結果から、第3レンズ群503の駆動による焦点調節の過不足分を、第2撮像素子102の駆動で補う。第2撮像素子102の駆動量は、第1撮像素子101から得られた焦点検出結果と、2つの撮像素子の組み付け誤差量やBP量の差分から決定されてもよい。反対に、第3レンズ群503の駆動量は、第2の焦点検出結果を用いて決定されてもよい。
ステップS910では、カメラCPU104は、合焦した旨を撮影者に知らせるために、ディスプレイ108やファインダ内表示器107に、焦点検出領域に対応した枠などの表示を行う。
(被写体情報の抽出方法)
図8から図10を参照して、図7のステップS905の被写体情報抽出処理について説明する。図8は、被写体情報抽出処理を示すフローチャートである。図8の各ステップは、主にカメラCPU104により実行される。カメラCPU104は、第1および第2撮像素子101、102から得られた信号から被写体情報抽出する、被写体情報抽出手段として機能する。
ステップS9051では、カメラCPU104は、第1撮像素子101から得られた信号を用いて、被写体情報を取得する。設定された焦点検出領域に対応する領域から得られる撮像信号(撮影光学系の略全瞳領域を通過した光束から得られる信号)が用いられる。ベイヤー状態で得られた信号を、RGBの色ごとに分離し、方向ごとの空間周波数特性が取得される。方向ごとの空間周波数特性を取得する方法として、2次元FFTを行ってもよいし、数種の帯域の異なるデジタルフィルタ処理を垂直方向に施した信号の信号量(パワー)と水平方向に施した信号の信号量を得てもよい。これにより、焦点検出を行う被写体の色味や周波数成分、コントラストの方向を得ることができる。第1撮像素子101では、焦点検出方向は、水平方向のみのため、第1撮像素子101のみ用いた焦点検出や撮像を行う場合には、垂直方向の被写体情報の抽出は省略してもよい。
ステップS9052では、カメラCPU104は、第2撮像素子102から得られた信号を用いて、被写体情報を取得する。
ここで、図9を参照して、第1および第2撮像素子101、102で得られる被写体情報の特性を説明する。
第1撮像素子101は、画素ピッチが細かいため、必要に応じて、被写体情報取得モードで駆動することにより、空間周波数帯域に関して高域から低域まで幅広い情報を得ることができる。また、被写体情報の取得に特化することにより、蓄積時間を短く設定することも可能で、手振れや被写体ぶれの影響による像信号の高周波成分の損失を抑えて、情報取得を行うことができる。また、コントラストの方向に関しては、上述の方法により、水平方向および垂直方向ともに取得可能である。ただし、焦点検出信号と信号補正処理やデジタルフィルタ処理などを共通に処理することを考える場合、焦点検出には用いない低域信号の算出や垂直方向のフィルタ処理は、別途必要となる。被写体情報の抽出に際し、各種処理を施された対の焦点検出信号の和を用いて行うことにより、演算量の低減を行うことができる。本実施例では、図9で「要演算」と書かれた項目について演算を省略する。
第2撮像素子102は、画素ピッチが相対的に大きいため、高域信号を得ることは不可能である。一方、焦点検出用に処理された信号を用いて、低域、超低域の被写体情報は、演算量を増やすことなく得ることができる。同様に、コントラストの方向に関しても、垂直方向の焦点検出信号を得ているため、演算量を増やすことなく、垂直方向の被写体情報を得ることができる。
本実施例では、上述のように、撮像素子の特性に合わせて、取得する被写体情報を分担することにより、演算量を増やすことなく、必要十分な情報を得ることができる。
ステップS9053では、カメラCPU104は、2つの撮像素子から得られた被写体情報を統合する。本実施例では、色3種類、コントラスト方向2種類、周波数4種類を乗じた24種類のカテゴリーの情報量の大小関係を得ることができる。本実施例では、2つの撮像素子で得られる情報を異なるものとしたが、例えば、水平方向の中域の信号を、両方の撮像素子から得ることにより、互いの信号量の校正を行うことができる。
ステップS9054では、カメラCPU104は、焦点検出に用いられる信号の帯域の重み付け(AF評価帯域)を算出する。AF評価帯域は、被写体情報、撮影光学系、撮像素子のサンプリング、および評価に用いるデジタルフィルタの影響に鑑みて算出される。また、カメラCPU104は、撮影画像に用いられる信号の帯域の重み付け(撮影画像評価帯域)を算出する。撮影画像評価帯域は、被写体、撮影光学系、撮像素子のサンプリング、および撮影画像の鑑賞者の評価帯域の影響に鑑みて算出される。
図10を参照して、AF評価帯域および撮影画像評価帯域の算出について説明する。AF評価帯域は、対の焦点検出信号ごとに算出される。また、撮影画像評価帯域は、2つの撮像素子ごとに算出される。図10(a)〜(f)はいずれも、空間周波数ごとの強度を示し、横軸に空間周波数、縦軸に強度を示している。
図10(a)は、被写体の空間周波数特性(I)を示している。横軸上のF1、F2、F3、F4は、評価する空間周波数帯域で、F1からF4に向かうにつれ、高域となる。ステップS9053で取得された被写体情報の高域はF4、中域はF3、低域はF2、超低域はF1に相当する。同様の情報が、RGBごと、コントラスト方向ごとに存在するが、簡単のため、水平方向の緑色の被写体情報を示している。また、Nqは、第1撮像素子101の画素ピッチに応じて決定されるナイキスト周波数である。同様に、Nq2は、第2撮像素子102の画素ピッチに応じて決定されるナイキスト周波数である。空間周波数F1〜F4、および、ナイキスト周波数Nqについては、図10(b)〜(f)にも同様に示されている。
本実施例では、被写体の空間周波数特性(I)は、ステップS9053で取得された被写体情報を用いる。図10(a)では、被写体の空間周波数特性(I)は曲線で描かれているが、離散的に空間周波数F1、F2、F3、F4に対応した値を有し、それをI(n)(1≦n≦4)と表す。
図10(b)は、撮影光学系の合焦時の空間周波数特性(O)である。この情報は、レンズCPU507から取得してもよいし、カメラCPU104内のRAMなどに記憶しておいてもよい。図10(b)において、撮影光学系の空間周波数特性(O)は曲線で描かれているが、離散的に空間周波数F1、F2、F3、F4に対応した値を有し、それをO(n)(1≦n≦4)と表す。
図10(c)は、光学的ローパスフィルタの空間周波数特性(L)である。この情報は、カメラCPU104内のRAMに記憶されている。図10(c)において、光学的ローパスフィルタの空間周波数特性(L)は曲線で描かれているが、離散的に空間周波数F1、F2、F3、F4に対応した値を有し、それをL(n)(1≦n≦4)と表す。なお、2つの撮像素子間で、異なる光学的ローパスフィルタを用いる場合には、個別に、空間周波数特性を記憶しておく。
図10(d)は、信号生成による空間周波数特性(M1、M2)である。本実施例の撮像素子は、複数種類の読み出しモードを有する。第1の読み出しモード、すなわち全画素読み出しモードでは、信号生成時に空間周波数特性は変化しない。図10(d)中の空間周波数特性(M1)は、第1の読み出しモードの際の空間周波数特性である。一方、第2の読み出しモード、すなわち間引き読み出しモードの際には、信号生成時に空間周波数特性が変化する。X方向の間引きの際に信号の加算を行いS/Nの改善を図るため、加算によるローパス効果が発生する。図10(d)中の空間周波数特性(M2)は、第2の読み出しモードの際の信号生成時の空間周波数特性を示している。ここでは、間引きの影響は加味せず、加算によるローパス効果を示している。図10(d)において、信号生成による空間周波数特性(M1、M2)は曲線で描かれているが、離散的に空間周波数F1、F2、F3、F4に対応した値を有し、それをM1(n)、M2(n)(1≦n≦4)と表す。
図10(e)は、撮影画像を鑑賞する際の空間周波数ごとの感度を示す空間周波数特性(D1)とAF評価信号の処理時に用いるデジタルフィルタの空間周波数特性(D2)を示している。撮影画像を鑑賞する際の空間周波数ごとの感度は、鑑賞者の個人差や、画像サイズや鑑賞距離、明るさなどの鑑賞環境などにより影響を受ける。本実施例では、代表的な値として、鑑賞時の空間周波数ごとの感度を設定して記憶している。鑑賞距離は、ユーザーから記録画像が表示されるディスプレイまでの距離、ユーザーから記録画像が印字される紙までの距離を意味する。一方、第2の読み出しモードの際には、間引きの影響で、信号の周波数成分の折り返しノイズが発生する。空間周波数特性(D2)は、その影響を加味したデジタルフィルタの空間周波数特性である。図10(e)において、鑑賞時の空間周波数特性(D1)およびデジタルフィルタの空間周波数特性(D2)は曲線で描かれているが、離散的に空間周波数F1、F2、F3、F4に対応した値を有し、それをD1(n)、D2(n)(1≦n≦4)と表す。
以上のように、種々の情報を、カメラまたはレンズのいずれかに記憶しておくことにより、撮影画像の評価帯域W1やAF評価帯域W2が以下の式(4)、(5)を用いて算出される。
W1(n)=I(n)×O(n)×L(n)×M1(n)×D1(n)(1≦n≦4) (4)
W2(n)=I(n)×O(n)×L(n)×M2(n)×D2(n)(1≦n≦4) (5)
図10(f)は、撮影画像の評価帯域W1(撮像特性情報)およびAF評価帯域W2(焦点検出信号の特性情報)を示している。式(4)、(5)で表される計算を行うことにより、撮影画像の合焦状態を決定する因子に対して、空間周波数ごとに、どの程度の影響度合いを有するかを定量化することができる。同様に、焦点検出結果が有する誤差が、空間周波数ごとに、どの程度の影響度合いを有するかを定量化することができる。本実施例では、撮影画像の評価帯域W1およびAF評価帯域W2を、RGBの色ごと、水平と垂直のコントラスト方向に対応した6種類を各々算出する。
図10では、説明を簡易にするため、4つの空間周波数(F1〜F4)を用いて説明したが、データを有する空間周波数の数は、多いほど、撮影画像やAFの評価帯域の空間周波数特性を正確に再現することができ、高精度な補正値を算出することができる。
(BP量の算出サブルーチン)
図11から図14を参照して、図7のステップS906のBP量算出処理について説明する。図11は、BP量算出処理を示すフローチャートである。図11の各ステップは、主に、カメラCPU104により実行される。
ステップS9061では、カメラCPU104は、図6のステップS106で決定されている絞り情報を取得する。
ステップS9062では、カメラCPU104は、図7のステップS901で設定された焦点検出領域の情報を取得し、撮像素子上の像高を算出する。
ステップS9063では、カメラCPU104は、撮影レンズ収差情報を取得する。撮影レンズ収差情報は、カメラCPU104の要求に応じて、レンズCPU507から得られる情報であり、被写体の色ごと、コントラスト方向ごと、空間周波数ごとの撮影光学系の結像位置に関する情報である。被写体の色ごとの結像位置に関する情報は、主に色収差に関連する情報である。また、被写体のコントラスト方向ごとの結像位置に関する情報は、主に、非点収差に関連する情報である。また、被写体の空間周波数ごとの結像位置に関する情報は、主に、球面収差に関連する情報である。
図12を参照して、不図示のレンズ内のメモリに格納されている撮影レンズ収差情報の一例を説明する。図12(a)は、撮影光学系の特性である空間周波数ごとのデフォーカスMTFの極大値を示すフォーカスレンズ位置を示している。横軸は、空間周波数で、図10で説明した評価帯域(F1、F2、F3、F4)に対応している。縦軸は、デフォーカスMTFの極大値に対応するフォーカスレンズ位置を示している。図12(a)は、色が緑色で、コントラスト方向が水平方向に関する情報(MTF_GH)と、色が緑色で、コントラスト方向が垂直方向に関する情報(MTF_GV)と、を示している。同様に、赤と青に対応した情報を持ち、合計6種類のデフォーカスMTFピーク情報を有する。情報MTF_GHは、4つの周波数に対応して、PGH1、PGH2、PGH3、PGH4のフォーカスレンズ位置を情報として有する。情報MTF_GVは、4つの周波数に対応して、PGV1、PGV2、PGV3、PGV4のフォーカスレンズ位置を情報として有する。赤(R)や青(B)についても同様である。本実施例では、緑色、水平方向の場合の撮影レンズ収差情報を、MTF_GH(n)(1≦n≦4)、緑色、垂直方向の場合の撮影レンズ収差情報をMTF_GV(n)と表す。また、赤色、水平方向の場合の撮影レンズ収差情報を、赤色、垂直方向の場合の撮影レンズ収差情報をMTF_RH(n)と表す。また、青色、水平方向の場合の撮影レンズ収差情報を、MTF_RV(n)、青色、垂直方向の場合の撮影レンズ収差情報をMTF_BH(n)、MTF_BV(n)と表す。
また、撮影レンズ収差情報は、ズームステート、フォーカスステート、絞り値、焦点検出領域の像高によって異なる値を記憶している。本ステップでは、事前に得た絞り値の情報、像高の情報を、レンズに送信し、レンズ側は、現在のズームステート、フォーカスステートと合わせて、撮影レンズ収差情報を選択し、カメラに通信する。例えば、撮影光学系のズーム位置とフォーカス位置と絞り値を8つのゾーンに分割し、その分割ゾーンごと像高に関して3分割して撮影レンズ収差情報を有する。ただし、本発明は、これらに限定されるものではない。
ステップS9064では、カメラCPU104は、ビームスプリッタ103(ハーフミラー)情報による撮影レンズ収差情報の加工を行う。図12(b)を用いて、撮影レンズ収差情報の加工について説明する。第2撮像素子102は、撮影レンズ500を透過しハーフミラーで反射された光束を受光する。そのため、ハーフミラーが歪みなどを持たず、反射によって新たに収差が発生しない場合には、撮影レンズ収差情報は、加工することなく用いればよい。一方、撮影レンズ500およびハーフミラーも透過し、第1撮像素子101により受光された光束は、所定の屈折率・分散を有する材質のハーフミラーにより、ハーフミラーに入射する光の角度、波長に応じて異なる屈折が発生する。撮影レンズ収差情報は、デフォーカスMTFの極大値と対応するフォーカスレンズ位置情報を有するため、ハーフミラーを透過することで、極大値となるフォーカスレンズ位置がオフセットする。このオフセット量(第1の収差情報)は、色の波長や射出瞳距離や像高で決定するハーフミラーへの光束の入射角度から算出することができる。図12(b)では、オフセット前の撮影レンズ収差情報MTF_GH(波線)に対して、ハーフミラーの透過によりオフセットした撮影レンズ収差情報MTF_GH2を示している。同様に、他の撮影レンズ収差情報もオフセット量を算出し、オフセットした撮影レンズ収差情報MTF_GV2、MTF_RH2、MTF_RV2、MTF_BH2、MTF_BV2が算出される。
ステップS9065では、カメラCPU104は、図8のステップS9054で算出されたAF評価帯域および撮像評価帯域を、カメラCPU104内のメモリから取得する。AF評価帯域としては、AF用A像、B像に対して、W1_a(n)、AF用C像、D像に対して、W1_b(n)、AF用E像、F像に対して、W1_c(n)を取得する。撮像評価帯域としては、第1撮像素子101の記録画像に対応したW2_a(n)、第2撮像素子102の記録画像に対応したW2_b(n)を取得する。これらの評価帯域は、各々が色3種(RGB)×コントラスト方向2種(水平、垂直)の計6種ずつ有している。例えば、AF評価帯域W1_a(n)は、W1_a_RH(n)、W1_a_RV(n)、W1_a_GH(n)、W1_a_GV(n)、W1_a_BH(n)、W1_a_BV(n)の6種類から構成されている。これらの6種の係数は、各々が4つの周波数の成分を有し、合計24の係数から構成される。これらの24種の係数は、色、空間周波数、コントラスト方向ごとの情報量の大小関係を示している。本実施例では、この24種の係数を、24種の係数の総和が1となるように規格化して、被写体情報の重み付けとして用いる。
ステップS9066では、カメラCPU104は、ハーフミラーの分光反射率、および分光透過率に基づく分光分布を取得する。
ここで、図13および図14を参照して、ハーフミラーの分光反射率、および分光透過率の角度依存性について説明する。図13は、ハーフミラーの分光透過率を光線の入射角度ごとに示している。横軸に波長、縦軸に透過率を示しており、分光反射率は、100%から透過率を差し引いた値となる。誘電多層膜によりハーフミラーを構成した場合、光線の入射角度、波長によって透過率が変化する。図13には、入射角が、30度、45度、60度の場合の分光透過率を示している。本実施例では、カメラCPU104内のメモリに、撮像素子のカラーフィルタの主波長に対応したRGBの3種類の分光透過率を、30度、45度、60度について記憶している。
図14は、撮影光学系の射出瞳距離と像高による、ハーフミラー(ビームスプリッタ103)への入射角度の変化の説明図である。本実施例のように、撮影レンズ500が交換レンズであったり、ズームレンズであったりする場合には、射出瞳距離が変化する。図14では、異なる射出瞳距離の例として、LPO1、LPO2を示しており、射出瞳の中心を通り、撮像素子上の像高IH1、IH2に到達する光線を図示している。像高IH1に到達する光線は、射出瞳距離LPO1、LPO2の位置から2本描かれているが、互いに、ハーフミラーへの入射角度が異なる。また、射出瞳距離LPO1の位置から射出され、像高IH1、IH2に到達する光線が描かれているが、互いに、ハーフミラーへの入射角度が異なる。
ステップS9066では、カメラCPU104は、撮影光学系の射出瞳距離とBP量演算を行う像高に基づき、ハーフミラーへの入射角度を計算する。その後、得られた入射角度から、各波長の反射率/透過率を補間などにより算出する。分光分布情報として、赤緑青の反射率をそれぞれ、Rr、Gr、Brとし、赤緑青の透過率をそれぞれ、Rt、Gt、Btとして取得する。なお、上述した反射率と透過率の関係より、いずれか一方を算出すればよい。
ステップS9067では、カメラCPU104は、ハーフミラーの分光透過率分布、分光反射率分布を用いた重み付けとAF評価帯域と撮影レンズ収差情報を用いて、AF信号を想定した場合の焦点位置を算出する。AF用A像、B像の相関演算(第1の相関演算)は、第1撮像素子101で行われるため、ハーフミラーを透過した光束により行われ、検出する信号は水平方向のみである。第1の相関演算における焦点検出信号で想定される焦点位置P_AF1は、以下の式(6)で算出される。
式(6)の計算により、撮影レンズ500の収差情報を、被写体の分光分布、ハーフミラーの分光透過率に鑑みて、重み付けして加算することにより、第1の相関演算における焦点検出信号で想定される焦点位置P_AF1を算出することができる。焦点位置P_AF1は、撮影レンズ500の収差情報において、焦点検出信号が評価する色の分布、空間周波数分布から想定されるデフォーカスMTFピーク位置に相当する。
AF用C像、D像の相関演算(第2の相関演算)は、第2撮像素子102で行われるため、ハーフミラーを反射した光束により行われ、検出する信号は水平方向のみである。第2の相関演算における焦点検出信号で想定される焦点位置P_AF2は、以下の式(7)で算出される。
AF用E像、F像の相関演算(第3の相関演算)は、第2撮像素子102で行われるため、ハーフミラーを反射した光束により行われ、検出する信号は垂直方向のみである。第3の相関演算における焦点検出信号で想定される焦点位置P_AF3は、以下の式(8)で算出される。
ステップS9068では、カメラCPU104は、ハーフミラーの分光透過率分布、分光反射率分布を用いた重み付けと撮像評価帯域と撮影レンズ収差情報を用いて、撮像信号を想定した場合の焦点位置を算出する。
第1撮像素子101から得られる静止画像(第1の記録画像)は、ハーフミラーを透過した光束により行われる。また、焦点調節状態の評価は、水平方向および垂直方向のコントラストも評価することになる。そのため、第1の記録画像における焦点調節状態の評価で想定される焦点位置P_IMG1は、以下の式(9)で算出される。
焦点位置P_IMG1は、撮影レンズ500の収差情報において、第1の記録画像で評価する色の分布、空間周波数分布、コントラスト方向の分布から想定されるデフォーカスMTFピーク位置に相当する。
第2撮像素子102から得られる動画像(第2の記録画像)は、ハーフミラーを反射した光束により行われる。また、焦点調節状態の評価は、水平方向および垂直方向のコントラストも評価することになる。そのため、第2の記録画像における焦点調節状態の評価で想定される焦点位置P_IMG2は、以下の式(10)で算出される。
以上のように、ステップS9067、S9068では、焦点検出信号や、撮像信号の特性(分光、空間周波数分布、コントラスト方向の分布)から、撮影レンズ収差情報を用いて、想定されるデフォーカスMTFピーク位置を算出する。
ステップS9069では、カメラCPU104は、BP量を算出する。BP量は、どの焦点検出結果を、どの記録画像の焦点調節に用いるかによって異なる。第1の焦点検出結果を、第1の記録画像に用いる場合のBP量BP1、および第2の記録画像に用いる場合のBP量BP2はそれぞれ、以下の式(11)、(12)で算出される。
BP1=P_IMG1−P_AF1 (11)
BP2=P_IMG2−P_AF1 (12)
第2の焦点検出結果を、第1の記録画像に用いる場合のBP量BP3、および第2の記録画像に用いる場合のBP量BP4は、以下の式(13)、(14)で算出される。
BP3=P_IMG1‐P_AF2 (13)
BP4=P_IMG2‐P_AF2 (14)
第3の焦点検出結果を、第1の記録画像に用いる場合のBP量BP5、および第2の記録画像に用いる場合のBP量BP6は、以下の式(15)、(16)で算出される。
BP5=P_IMG1‐P_AF3 (15)
BP6=P_IMG2‐P_AF3 (16)
算出されたBP量は、撮影状態に応じて切り替えて用いられる。例えば、垂直方向のコントラスト成分が多く、第3の相関演算から得られる焦点検出結果の信頼性が高い場合、第1撮像素子101用のBP量(第1の焦点調節補正量)として、BP量BP5を用いて焦点検出結果を補正し、フォーカスレンズ駆動量を設定する。一方、第2撮像素子102用のBP量(第2の焦点調節補正量)として、BP量BP6を用いて焦点検出結果を補正し、第2撮像素子102の駆動量を設定する。
以上のように、撮像素子ごとに取得される信号から、焦点検出信号の特性に鑑みて、想定される焦点検出信号の焦点検出位置(P_AF1,P_AF2,P_AF3)を算出する。
一方、撮像信号の特性に鑑みて、想定される撮像信号の焦点検出位置(P_IMG1,P_IMG2)を算出する。これらを用いて、BP量を算出することにより、信頼性の高い焦点検出結果を採用しながら、記録画像に合わせた焦点調節を行うことができる。
本実施例では、静止画記録用のBP量と、動画記録用のBP補正量が異なる値が算出されることに備えて、第2撮像素子102の位置を光軸に沿って調整することができる。すなわち、焦点調節機構としてのフォーカスレンズの駆動と光路長変更手段としての撮像素子の駆動により焦点調節を行うことが可能である。ただし、第2撮像素子102を駆動できないようにしてもよい。その場合、例えば、算出される2つのBP量(第1の焦点調節補正量、第2の焦点調節補正量)の平均値(第3の焦点調節補正量)を用いて、フォーカスレンズ駆動による焦点調節を行えばよい。これにより、焦点調節精度は劣るが、コストダウンを実現できる。
第2撮像素子102が駆動できない場合、第1および第2撮像素子101、102から得られる記録画像の優先度に応じて、BP量を算出してもよい。例えば、静止画(第1撮像素子101の記録画像)優先の場合は、第1撮像素子101に対するBP量と第2撮像素子102に対するBP量を、4:1で重み付けした補正量を第3の焦点調節補正量として算出し、焦点調節を行ってもよい。また、BP量の大小は、撮影レンズ500の収差情報により決定される。そのため、撮影レンズ収差情報から、収差量の大小を判定し、収差量が小さい場合には、BP量の算出を省略してもよい。
次に、図15を用いて、第1および撮像素子101、102で図8のステップS9051、S9052で行う被写体情報抽出のタイミングについて説明する。図15では、第1および第2撮像素子101、102の垂直同期信号(V1、V2、V3、V4)が同期している例を示している。第1および第2撮像素子101、102は、垂直同期のタイミングV1を境に、蓄積、読み出しを繰り返す。第2撮像素子102は、動画撮影用のため、第1撮像素子101の蓄積時間よりも蓄積時間が長く設定されている。ただし、記録画素数は少ないため、読出し時間は短い。第1撮像素子101は、被写体情報抽出手段として機能しているため、被写体ぶれや手振れの影響を低減するため、短い蓄積時間で駆動している。2つの撮像素子の信号の読み出しを終えると、取得した撮像素子の信号を用いて被写体情報が検出される。被写体情報検出を終えると、得られた被写体情報を用いて、BP量が算出される。このように構成することにより、おおよそ同じタイミングの被写体情報を、2つの撮像素子で得られるため、タイムラグによる被写体情報の変化の影響を受けにくく、信頼性の高い情報が得られる。第1撮像素子101の駆動は、被写体情報の抽出領域を狭めることなどにより、フレームレートを2倍などに上げて、より多くの情報を得てもよい。その際、半分のデータは、第2撮像素子102から得られる情報と同期が取れないが、第1撮像素子101から得られる情報から連続性を考慮するなどにより、より信頼性の高い被写体情報を抽出することができる。また、動画記録のフレームレートが高い場合などには、第1撮像素子101の駆動を間引いて、被写体情報の抽出間隔を長くしてもよい。得られる被写体情報は減るが、消費電力を低減することができる。