JP2019074623A - 撮像装置 - Google Patents

Abstract

【課題】分光状態が異なる光束を用いて焦点検出を行う場合に高精度な焦点調節を行う。【解決手段】撮像装置１００は、撮像光学系からの光束により形成される被写体像を撮像する撮像素子１０１，１０２と、撮像素子に対して、第１の分光状態の光束と第１の分光状態とは異なる第２の分光状態の光束とを入射させることが可能な光学素子１０３と、撮像素子からの信号を用いて位相差検出方式の焦点検出を行い、該焦点検出の結果を用いて焦点調節制御を行う制御手段１０４とを有する。制御手段は、焦点検出の結果と、第１の分光状態での光束の分光分布に関する第１の分光分布情報と、第２の分光状態での光束の分光分布に関する第２の分光分布情報とを用いて焦点調節制御を行う。【選択図】図１

Description

本発明は、複数の撮像素子を有する撮像装置の焦点調節制御に関する。

上記のような撮像装置として、特許文献１には、ハーフミラーの透過側と反射側のそれぞれに１つずつ撮像素子を設けた撮像装置が開示されている。このような撮像装置において、それぞれの撮像素子により焦点検出を行うことも可能である。特許文献２には、色分離プリズムによって分離された可視光と赤外光をそれぞれ受光する２つの撮像素子と、赤外光の結像位置を調節するための補正レンズとを有し、可視光と赤外光での撮像を同一被写体にピントを合わせて同時に行う撮像装置が開示されている。

特許第５６９１４４０号公報 特開２００４−３５４７１４号公報

しかしながら、ハーフミラーは、像高やレンズ瞳距離に応じて変化する光束の入射角度に応じて分光透過率および分光反射率が異なる。このため、透過側と反射側とで光束の分光状態が異なり、この結果、透過側の撮像素子で得られる焦点検出結果と反射側の撮像素子で得られる焦点検出結果とが異なる。また、同様に、ハーフミラーが撮像光路内に配置した状態で得られる焦点検出結果とハーフミラーが撮像光路外に退避した状態で得られる焦点検出結果にも違いが生じる。

本発明は、分光状態が異なる光束を用いて焦点検出を行う場合に高精度な焦点検出、さらには焦点調節制御が可能な撮像装置を提供する。

本発明の一側面としての撮像装置は、撮像光学系からの光束により形成される被写体像を撮像する撮像素子と、撮像素子に対して、第１の分光状態の光束と第１の分光状態とは異なる第２の分光状態の光束とを入射させることが可能な光学素子と、撮像素子からの信号を用いて位相差検出方式の焦点検出を行い、該焦点検出の結果を用いて焦点調節制御を行う制御手段とを有する。制御手段は、焦点検出の結果と、第１の分光状態での光束の分光分布に関する第１の分光分布情報と、第２の分光状態での光束の分光分布に関する第２の分光分布情報とを用いて焦点調節制御を行うことを特徴とする。

また、本発明の他の一側面としての焦点調節制御方法は、撮像光学系からの光束により形成される被写体像を撮像する撮像素子と、撮像素子に対して、第１の分光状態の光束と第１の分光状態とは異なる第２の分光状態の光束とを入射させることが可能な光学素子とを有し、撮像素子からの信号を用いて位相差検出方式の焦点検出を行い、該焦点検出の結果を用いて焦点調節制御を行う撮像装置に適用される。該焦点調節制御方法は、第１の分光状態での光束の分光分布に関する第１の分光分布情報を取得するステップと、第２の分光状態での光束の分光分布に関する第２の分光分布情報を取得するステップと、焦点検出の結果と、第１の分光分布情報と、第２の分光分布情報とを用いて焦点調節制御を行うステップとを有することを特徴とする。

なお、撮像装置のコンピュータに、上記焦点調節制御方法に対応する処理を実行させるコンピュータプログラムも本発明の他の一側面を構成する。

本発明によれば、分光状態が異なる光束を用いて焦点検出を行う場合に高精度な焦点検出および焦点調節制御を行うことができる。

本発明の実施例１であるカメラの構成を示すブロック図。 上記カメラに用いられる撮像素子の構成を示す図。 実施例１における射出瞳と焦点検出瞳との相対位置関係を示す図。 実施例１における焦点検出領域を示す図。 実施例１における撮像処理を示すフローチャート。 実施例１におけるＡＦ処理を示すフローチャート。 実施例１における被写体情報抽出処理を示すフローチャート。 実施例１における各撮像素子で得られる被写体情報の例を示す図。 実施例１におけるＡＦ評価帯域および撮像画像評価帯域を示す図。 実施例１におけるＡＦ評価帯域および撮像画像評価帯域を示す別の図。 実施例１におけるＢＰ量算出処理を示すフローチャート。 実施例１における撮像レンズの収差情報の例を示す図。 実施例１におけるハーフミラーの分光透過率の角度依存性を示す図。 実施例１におけるハーフミラーに対する入射角度を示す図。 実施例１における被写体情報抽出タイミングを示す図。 本発明の実施例２であるカメラの構成を示すブロック図。 実施例２における撮像処理を示すフローチャート。 実施例２におけるＡＦ処理を示すフローチャート。 実施例２におけるＢＰ量算出処理を示すフローチャート。 実施例２のカメラのハーフミラーの退避状態を示す図。

以下、本発明の実施例について図面を参照しながら説明する。

図１は、本発明の実施例１である撮像装置（カメラ）としてのレンズ交換式デジタルカメラ本体１００および撮像レンズ５００の構成を示している。撮像レンズ５００は、カメラ本体１００に対して着脱可能に構成されている。なお、カメラは、本実施例のようなレンズ交換型カメラに限らず、レンズがカメラ本体に固定されたレンズ一体型カメラでもよい。

撮像レンズ５００内の撮像光学系を透過した光束は、カメラ本体１００内に固定された光束分割手段としてのビームスプリッタ１０３に入射して２つの光束に分割される。本実施例では、ビームスプリッタ１０３として、入射した光束を透過光束（第１の光束）と反射光束（第２の光束）とに分割する光束分割手段としてのハーフミラーにより構成されている。ビームスプリッタ１０３からの透過光束は第１の撮像素子１０１に向かい、ビームスプリッタ１０３からの反射光束は第２の撮像素子１０２に向かう。ビームスプリッタ１０３は、ハーフミラーと同様に入射する光束を分割することができれば、ハーフミラーでなくてもよい。

第１の撮像素子１０１の撮像面（以下、第１の撮像面という）と第２の撮像素子１０２の撮像面（以下、第２の撮像面という）は、撮像レンズ５００から見て光学的に等価な位置にある。言い換えれば、第１の撮像面と第２の撮像面はそれぞれ、撮像レンズ５００を介して、被写体に対して光学的に共役な結像面に位置する。

第１および第２の撮像面には、ビームスプリッタ１０３の透過率および反射率に応じた明るさの被写体像が形成される。ビームスプリッタ（ハーフミラー）１０３は理想的には平面で、かつ光束が透過する領域の屈折率が一様であることが望ましいが、現実にはある程度のうねりや屈折率分布を有する。このため、ビームスプリッタ１０３を透過および反射した光束により形成される被写体像を撮像して得られる画像の画質が低下するおそれがある。

また、ハーフミラーが薄板ガラスにより構成される場合には、反射光束により形成される被写体像を撮像して得られる画像の方が、透過光束により形成される被写体像を撮像して得られる画像より画質の低下度が大きい。

このため、本実施例では、透過側の第１の撮像素子１０１を高解像度記録用の撮像素子、すなわち主として静止画を撮像するための撮像素子として用いる。一方、反射側の第２の撮像素子１０２を、静止画よりも記録画素数が少ない動画を撮像するための撮像素子として用いる。ただし、後述するように、第１の撮像素子１０１により動画撮像を行い、第２の撮像素子１０２により静止画撮像を行ってもよい。

それぞれＣＭＯＳエリアセンサからなる第１および第２の撮像素子１０１，１０２は、被写体像を電気信号に変換するマトリクス状に配置された画素によって構成される。電気信号に変換された画素情報はカメラＣＰＵ１０４で画像信号や焦点検出信号を得るための各種補正処理や、得られた画像信号をライブビュー画像や記録画像へ変換するための処理等が行われる。なお、本実施例では上記処理等をカメラＣＰＵ１０４が行うが、それぞれの処理に専用回路を設けてもよい。

撮像素子駆動部１１４は、第２の撮像素子１０２を光軸方向（撮像光学系の光軸が延びる方向）に移動させる。第１および第２の撮像素子１０１，１０２は、上述したように光学的に共役な結像面に配置されるが、カメラ本体１００の組立誤差や後述する収差の影響による最良像面の差によって共役な結像面に対して誤差を持って配置される。このため、第１および第２の撮像素子１０１，１０２を通して同時に画像を得る際に、撮像レンズ５００に設けられた後述するフォーカスレンズ(第３レンズ群５０３)だけでは第１および第２の撮像素子１０１，１０２に対して精度良く焦点調節を行うことができない。そこで、本実施例では、撮像素子駆動部１１４を設けている。撮像素子駆動部１１４は、上述したように第２の撮像素子１０２を光軸方向に移動させてよいし、ビームスプリッタ１０３を同方向に移動させてもよい。また、第１および第２の撮像素子１０１，１０２のそれぞれには、赤外カットフィルタや光学的ローパスフィルタ等の光学フィルタが一体的に配置されている。

操作部１０５は、撮像モードや撮像条件等を設定するためにユーザにより操作されるスイッチ、ダイヤル等の各種操作部材を含む。記憶媒体１０６は、フラッシュメモリにより構成され、撮像画像（静止画および動画）を記録する。

ファインダ内表示器１０７は、有機ＥＬ素子や液晶素子等のディスプレイデバイス１０８と接眼レンズ１０９とで構成され、接眼レンズ１０９を覗いたユーザにディスプレイデバイス１０８に表示された画像を観察させる。外部表示器１１０は、有機ＥＬ素子や液晶素子等により構成され、カメラ本体１００の背面に設けられている。カメラ本体１００の各種設定状態、ライブビュー画像および撮像画像等は、ファインダ内表示器１０７および外部表示器１１０に表示される。

フォーカルプレンシャッタ１１１は、第１の撮像素子１０１の前面に配置され、静止画撮像時に第１の撮像素子１０１の露光秒時を制御する。シャッタ駆動部１１２は、モータ等のアクチュエータとその駆動回路とにより構成され、フォーカルプレンシャッタ１１１のシャッタ羽根を駆動する。カメラ本体１００および撮像レンズ５００にはそれぞれ、撮像レンズ５００をカメラ本体１００に装着するためのカメラマウント部およびレンズマウント部が設けられている。カメラマウント部に設けられたカメラ側通信端子１１３およびレンズマウント部に設けられたに設けられたレンズ側通信端子５０８は、後述するカメラＣＰＵ１０４とレンズＣＰＵ５０７との間の通信を可能とする。

撮像レンズ５００内の撮像光学系は、焦点距離が可変であるズームレンズとして、以下のように構成されている。被写体からの光束は、第１レンズ群５０１、第２レンズ群５０２、虹彩絞り５０５および第３レンズ群５０３を透過して被写体像を形成する。第２レンズ群５０２は、光軸方向に移動して変倍を行うバリエータである。第３レンズ群５０３は、光軸方向に移動して焦点調節を行うフォーカスレンズ（フォーカス素子）である。第３レンズ群５０３は、ステッピングモータ等のアクチュエータを含むフォーカス駆動部５０４によって移動される。虹彩絞り５０５は、光量を調節するための複数の絞り羽根を有する。絞り駆動部５０６は、絞りアクチュエータおよびその駆動回路を含み、複数の絞り羽根を開閉方向に駆動する。

レンズＣＰＵ５０７は、レンズ側通信端子５０８およびカメラ側通信端子１１３を介してカメラＣＰＵ１０４と通信し、各種情報を送受信したり、カメラＣＰＵ１０４からの指令に基づいてフォーカス駆動部５０４や絞り駆動部５０６を制御したりする。

本実施例では、撮像レンズ５００の開放Ｆナンバは、ズーム状態やフォーカス状態によらず、一定値（例えばＦ２）となる。撮像レンズ５００の射出瞳と各撮像面（各撮像素子）との間の距離である射出瞳距離は、ズーム状態およびフォーカス状態に応じて変化する。

図２（ａ），（ｂ）は、第１の撮像素子１０１の構成を示している。本実施例では、第１の撮像素子１０１と第２の撮像素子１０２は、画素ピッチと、１つのマイクロレンズに対応する光電変換部の数とが異なるが、それ以外の構成については同様である。第２の撮像素子１０２の構成については後述する。

図２（ａ）は、第１の撮像素子１０１（第１の撮像面）のうち中央（像高０）近傍の複数の画素を撮像レンズ側から見て示している。各画素は、第１の撮像面上の水平（ｘ）方向および垂直（ｙ）方向のそれぞれにおいて４μｍのサイズの正方形状を有し、各画素の構造は基本的に同じである。第１の撮像素子１０１は、画素が水平方向に６０００画素、垂直方向に４０００画素配列された、有効画素数２４００万画素の撮像素子である。第１の撮像面のサイズは各画素のサイズ、すなわち画素ピッチに画素数を乗じれば求めることができ、本実施例では水平方向２４ｍｍ、垂直方向１６ｍｍである。全ての画素には、Ｒ、ＧまたはＢのカラーフィルタがモザイク状となるように設けられている。

図２（ｂ）は、１つの画素の断面構造を示している。ＣＭＯＳイメージセンサの基体を成すシリコン基板１０１ｄ内には、一対の光電変換部１０１ａおよび光電変換部１０１ｂが設けられている。また、シリコン基板１０１ｄ内には、各光電変換部で発生した光電子を電圧に変換して外部に読み出す不図示のスイッチングトランジスタ等が形成されている。各光電変換部からの出力信号は、複数の配線層１０１ｅを通じて読み出される。

複数の配線層１０１ｅは、透明な層間膜１０１ｆによって互いに絶縁されている。オンチップマイクロレンズ１０１ｃの下には、色分離用カラーフィルタ１０１ｇが設けられている。マイクロレンズ１０１ｃの形状は、その焦点位置が一対の光電変換部１０１ａ，１０１ｂの上面に一致するように決められる。このため、一対の光電変換部１０１ａ，１０１ｂはマイクロレンズ１０１ｃを介して後述する撮像レンズ５００の射出瞳近傍に逆投影され、その逆投影像がそれぞれ位相差検出方式焦点検出における焦点検出瞳となる。撮像光学系の射出瞳において一対の焦点検出瞳が並ぶ方向（瞳分割方向）は、水平方向または垂直方向である。

位相差検出方向焦点検出を行う際には、光電変換部１０１ａからの出力信号と光電変換部１０１ｂからの出力信号とを個別に処理して一対の位相差像信号を生成する。そして、焦点検出手段としてのカメラＣＰＵ１０４は、一対の位相差像信号の相対的なずれ量（像ずれ量）から第１の撮像面における被写体像のデフォーカス量を算出する。

また、制御手段としてのカメラＣＰＵ１０４は、一対の光電変換部１０１ａ，１０１ｂからの出力信号を加算して、静止画（または動画）記録用の画素信号もしくはライブビュー画像用の画素信号を生成する。ライブビュー画像は、記録用画像を取得するための撮像前にファインダ内表示器１０７および外部表示器１１０にリアルタイムで表示される画像である。なお、この加算処理をカメラＣＰＵ１０４とは別の専用回路により行ってもよい。また、第１の撮像素子１０１が光電変換部１０１ａ，１０１ｂの出力信号を個別に読み出し、第１の撮像素子１０１内で加算して画素信号として出力してもよい。

図２（ｃ）は、第２の撮像素子１０２の構成を示しており、第２撮像面における中央（像高０）近傍における複数の画素を撮像レンズ側から見て示している。各画素は、第２の撮像面上の水平（ｘ）方向および垂直（ｙ）方向のそれぞれにおいて１２μｍのサイズの正方形状を有し、各画素の構造は実質的に同じである。第２の撮像素子１０２は、画素が水平方向に２０００画素、垂直方向に１３３３画素配列された、有効画素数約２６７万画素の撮像素子である。第２の撮像面のサイズは、水平方向２４ｍｍ、垂直方向１６ｍｍである。全ての画素には、Ｒ、ＧまたはＢのカラーフィルタがモザイク状となるように設けられている。第２の撮像素子１０２の画素ピッチは第１の撮像素子１０１の２倍であるため、第２の撮像素子１０２の総画素数は第１の撮像素子１０１の１／４である。

第２の撮像素子１０２の各画素は、配線層、マイクロレンズおよび色分離用カラーフィルタについては第１の撮像素子１０１と同様に構成されている。第２の撮像素子１０２は、第１の撮像素子１０１と異なり、１つのオンチップマイクロレンズ１０２ｊの下に９つの光電変換部１０２ａ〜１０２ｉを有する。これにより、第１の撮像素子１０１に比べて、受光する光線の角度分解能を上げることができる。

上述したように第１の撮像素子１０１からは一対の光電変換部１０１ａ，１０１ｂが撮像レンズの射出瞳近傍に逆投影されるが、第２の撮像素子１０２からは９つの光電変換部１０２ａ〜１０２ｉが逆投影される。つまり、９つの逆投影像がそれぞれ焦点検出瞳となる。位相差検出方向焦点検出を行う際には、９つの光電変換部１０２ａ〜１０２ｉのうち一対の光電変換部からの出力信号を個別に処理して一対の位相差像信号を生成する。一対の焦点検出瞳が並ぶ瞳分割方向として、水平方向、垂直方向および斜め方向を選択することができる。そして、カメラＣＰＵ１０４は、一対の位相差像信号の相対的なずれ量から第２の撮像面における被写体像のデフォーカス量を算出する。

また、カメラＣＰＵ１０４は、９つの光電変換部１０２ａ〜１０２ｉの全部または一部からの出力信号を加算して、動画（または静止画）記録用の画素信号もしくはライブビュー表示用の画素信号を生成する。なお、この加算処理をカメラＣＰＵ１０４とは別の専用回路により行ってもよい。また、第２の撮像素子１０２が光電変換部１０２ａ〜１０２ｉの出力信号を個別に読み出し、第２の撮像素子１０２内で加算して画素信号として出力してもよい。

本実施例では、第１および第２の撮像素子１０１，１０２は、第１の読み出しモードと第２の読み出しモードとを有する。第１の読み出しモードは、記録用の静止画や動画を撮像するために全画素から出力信号が読み出される全画素読み出しモードである。第２の読み出しモードは、記録用の静止画よりも画素数が少ないライブビュー画像の表示を行うため、全画素のうち一部の画素からの出力信号のみが読み出される間引き読み出しモードである。ライブビュー画像の生成に必要な画素数は全画素数よりも少ないため、撮像素子からｘ方向およびｙ方向ともに所定比率で間引いた数の画素のみから出力信号を読み出すことで、信号処理負荷を軽減するとともに、消費電力の低減にも寄与する。また、第１および第２の読み出しモードのいずれにおいても各画素に設けられた各光電変換部からの出力信号は独立して読み出しされるため、いずれの読み出しモードでも一対の位相差像信号の生成が可能である。

上述したように本実施例では第１の撮像素子１０１は静止画撮像に用いられるが、動画撮像を行ってもよい。例えば、第２の撮像素子１０２による動画撮像中に、第１の撮像素子１０１から第２の読み出しモードで生成した低解像度動画を記録することも可能である。また、本実施例では第２の撮像素子１０２は動画撮像に用いられるが、静止画撮像も可能である。例えば、動画撮像中に特定の１フレーム画像を記録用静止画として取得することも可能である。

次に、図３（ａ）〜（ｄ）を用いて、第１および第２の撮像素子１０１，１０２の光電変換部と焦点検出瞳との関係について説明する。図３（ａ），（ｂ）は、撮像光学系の射出瞳面と第１の撮像素子１０１における像高０の位置に配置された光電変換部との共役関係を示す。撮像光学系の射出瞳面と第１の撮像素子１０１の光電変換部１０１ａ，１０１ｂとは、マイクロレンズ１０１ｃによって共役関係とされる。撮像光学系の射出瞳の位置は、一般に虹彩絞り５０５の位置と一致する。

本実施例の撮像光学系はズームレンズであるが、その光学タイプによっては変倍によって射出瞳から像面（撮像面）までの射出瞳距離や射出瞳の大きさが変化する。図３（ａ）に示す撮像光学系は、焦点距離が広角端と望遠端との間の中間ズーム状態にある。このときの射出瞳距離を基準となる射出瞳距離Ｚｅｐとして、マイクロレンズ１０１ｃの形状や像高（Ｘ座標、Ｙ座標）に応じた偏心パラメータが最適化される。

図３（ａ）において、図１に示した構成要素と同じ構成要素には、図１と同符号を付す。５０１ｒは第１レンズ群５０１を保持する鏡筒部材であり、５０３ｒはフォーカスレンズ５０３を保持する鏡筒部材である。５０５ａは虹彩絞り５０５の開放口径を決める開口部を有する開口板であり、５０５ｂは絞り込み開口径を調節するための絞り羽根である。撮像光学系を通過する光束を制限する部材としての鏡筒部材５０１ｒ、開口板５０５ａ、絞り羽根５０５ｂおよび鏡筒部材５０３ｒは、像面側から観察した場合の光学的な虚像として示している。また、虹彩絞り５０５の近傍における合成開口を撮像光学系の射出瞳（以下、レンズ射出瞳という）と定義して、前述したように像面からレンズ射出瞳までの距離をＺｅｐとする。

２つの光電変換部１０１ａ，１０１ｂは、マイクロレンズ１０１ｃによって撮像光学系の射出瞳面上に像ＥＰ１ａ，ＥＰ１ｂとして逆投影される。言い換えれば、撮像光学系の射出瞳のうち互いに異なる焦点検出瞳であるＥＰ１ａ，ＥＰ１ｂが、マイクロレンズ１０１ｃを介して光電変換部１０１ａ，１０１ｂの表面に投影される。

図３（ｂ）は、撮像光学系の射出瞳面上における光電変換部１０１ａ，１０１ｂの逆投影像ＥＰ１ａ，ＥＰ１ｂを光軸方向から見て示す。第１の撮像素子１０１は、２つの光電変換部１０１ａ，１０１ｂのうち一方からの信号を出力することができるとともに、これらの両方からの信号を加算して出力できる画素を有する。加算して出力された信号は、焦点検出瞳ＥＰ１ａ，ＥＰ１ｂを通過した全ての光束を光電変換して得られた信号である。

図３（ａ）において、撮像光学系を通過する光束（図ではその外縁を直線で示している）Ｌは、絞り５０５の開口板５０５ａによって制限されており、焦点検出瞳ＥＰ１ａ，ＥＰ１ｂからの光束は撮像光学系においてケラレることなく画素に到達する。図３（ｂ）では、図３（ａ）に示した光束Ｌの射出瞳面での断面（外縁）をＴＬとして示している。ＴＬで示される円（つまりは開口板５０５ａの開口）の内部に２つの光電変換部１０１ａ，１０１ｂの逆投影像ＥＰ１ａ，ＥＰ１ｂの大部分が含まれていることから、逆投影像ＥＰ１ａ，ＥＰ１ｂにはわずかなケラレしか発生していないことが分かる。この際、射出瞳面の中央では逆投影像ＥＰ１ａ，ＥＰ１ｂのケラレ状態は、撮像光学系の光軸（図３（ａ）に一点鎖線で示す）に関して対称となり、光電変換部１０１ａ，１０１ｂが受光する光量は互いに等しい。

図３（ｃ），（ｄ）は、撮像光学系の射出瞳面と第２の撮像素子１０２における像高０の位置に配置された光電変換部との共役関係を示す。撮像光学系の射出瞳面と第２の撮像素子１０２の光電変換部１０２ａ〜１０２ｉとは、マイクロレンズ１０２ｊによって共役関係とされる。図３（ｃ）は、上述した第１レンズ群５０１、鏡筒部材５０１ｒ、虹彩絞り５０５、フォーカスレンズ５０３、鏡筒部材５０３ｒおよび第２の撮像素子１０２の１つの画素を示す。

９つの光電変換部１０２ａ〜１０２ｉは、マイクロレンズ１０２ｊによって撮像光学系の射出瞳面上に投影像ＥＰ２ａ〜ＥＰ２ｉとして逆投影される。言い換えれば、逆投影像ＥＰ２ａ〜ＥＰ２ｉが形成される焦点検出瞳の像は、マイクロレンズ１０１ｃを介して光電変換部１０２ａ〜１０２ｉの表面に投影される。

図３（ｄ）は、撮像光学系の射出瞳面上における光電変換部１０２ａ〜１０２ｉの逆投影像ＥＰ２ａ〜ＥＰ２ｉを光軸方向から見て示す。第２の撮像素子１０２は、９つの光電変換部１０２ａ〜１０２ｉのそれぞれから信号を出力することができるとともに、９つの光電変換部１０２ａ〜１０２ｉからの信号を加算して出力できる画素を有する。加算して出力された信号は、焦点検出瞳ＥＰ２ａ〜ＥＰ２ｉを通過した全ての光束を光電変換して得られた信号である。

図３（ｃ）でも、撮像光学系を通過した光束Ｌは、虹彩絞り５０５の開口板５０５ａによって制限されている。また図３（ｄ）でも、図３（ｃ）に示した光束Ｌの射出瞳面での断面（外縁）をＴＬとして示している。ＴＬで示される円（つまりは開口板５０５ａの開口）の内部に９つの光電変換部１０２ａ〜１０２ｉの逆投影像ＥＰ２ａ〜ＥＰ２ｉの大部分が含まれていることから、逆投影像ＥＰ２ａ〜ＥＰ２ｉにはわずかなケラレしか発生していないことが分かる。この際、射出瞳面の中央では逆投影像ＥＰ２ａ〜ＥＰ２ｉのケラレ状態は、撮像光学系の光軸に関して対称となり、光電変換部１０２ａ〜１０２ｉが受光する光量は互いに等しい。

ここで、位相差検出方式の焦点検出に用いられる一対の位相差像信号について説明する。上述したように、第１の撮像素子１０１では、マイクロレンズ１０１ｃと２つの光電変換部１０１ａ，１０１ｂとによって撮像光学系の射出瞳を瞳分割する。そして、第１の撮像素子１０１の同一画素行に配置された焦点検出領域内の複数の焦点検出画素の光電変換部１０１ａからの出力信号を繋ぎ合わせることで、一対の位相差像信号うち一方の位相差像信号（以下、Ａ像信号という）が生成される。また、上記複数の焦点検出画素の光電変換部１０１ｂからの出力信号を繋ぎ合わせることで、一対の位相差像信号うち他方の位相差像信号（以下、Ｂ像信号という）が生成される。

Ａ像信号およびＢ像信号はともに、ベイヤー配列のＲ画素、Ｂ画素および２つのＧ画素からの出力信号を信号加算処理したものであり、疑似的に輝度（Ｙ）信号として算出される。ただし、Ｒ画素ごと、Ｂ画素ごとおよびＧ画素ごとにＡ像信号およびＢ像信号を生成してもよい。

このように生成したＡ像信号とＢ像信号の相対的なずれ量である位相差を相関演算により算出することにより、該位相差を用いて焦点検出領域におけるデフォーカス量を算出することができる。

また、第２の撮像素子１０２の出力信号からも、同様にして一対の位相差像信号としてのＣ像信号およびＤ像信号が生成される。第２の撮像素子１０２は、第１の撮像素子１０１よりも瞳分割数が多いため、Ｃ像信号およびＤ像信号の生成方法が複数考えられる。例えば、光電変換部１０２ａ，１０２ｄ，１０２ｇからの出力信号を加算して１つの加算信号とし、複数の焦点検出画素間で加算信号同士を繋ぎ合わせることでＣ像信号を生成する。また、光電変換部１０２ｃ，１０２ｆ，１０２ｉからの出力信号を加算して１つの加算信号とし、複数の焦点検出画素間で加算信号同士を繋ぎ合わせることでＤ像信号を生成する。

他の生成方法としては、例えば、複数の焦点検出画素間で光電変換部１０２ｄからの出力信号のみを繋ぎ合わせてＣ像信号を生成し、光電変換部１０２ｆからの出力信号のみを繋ぎ合わせてＤ像信号を生成してもよい。さらに別の生成方法としては、左側６つの光電変換部１０２ａ，１０２ｂ，１０２ｄ，１０２ｅ，１０２ｇ，１０２ｈからの出力信号を加算して１つの加算信号とし、複数の焦点検出画素間で加算信号同士を繋ぎ合わせることでＣ像信号を生成してもよい。この場合、右側６つの光電変換部１０２ｂ，１０２ｃ，１０２ｅ，１０２ｆ，１０２ｈ，１０２ｉからの出力信号を加算して１つの加算信号とし、複数の焦点検出画素間で加算信号同士を繋ぎ合わせることでＤ像信号を生成する。

なお、一対の位相差像信号のそれぞれの生成に用いる光電変換部の数は同じでなくてもよい。各撮像素子において像高が高い領域では、到達する光束にビネッティングが発生するため、ビネッティングを考慮して一対の位相差像信号の生成に用いる光電変換部を選択してもよい。一対の位相差像信号の生成に用いられる光電変換部間に受光量、すなわち出力信号の大きさに差がある場合でも、後述するシェーディング補正によって出力信号の大きさを同等にすることができるため、問題はない。

以下では、第１の撮像素子１０１から得られるＡ像およびＢ像信号と、第２の撮像素子１０２から得られるＣ像およびＤ像信号はともに、水平方向に位相差が発生するように構成されている場合について説明する。ただし、第２の撮像素子１０２は、垂直方向に位相差が発生するＣ像およびＤ像信号を生成することもできる。このため、本実施例では、第２の撮像素子１０２から、Ｃ像およびＤ像信号だけでなく、垂直方向に位相差が発生する一対の位相差像信号として、Ｅ像信号およびＦ像信号も生成する。Ｅ像およびＦ像信号の生成に用いられる光電変換部も、Ｃ像およびＤ像信号の生成に用いられる光電変換部と同様に様々に選択される。

以上説明したように、第１の撮像素子１０１および第２の撮像素子１０２はいずれも、撮像センサとしての機能のみではなく、位相差検出方式用の焦点検出センサとしての機能も有する。すなわち、本実施例のカメラ本体１００は、第１の撮像素子１０１または第２の撮像素子１０２を焦点検出センサとして用いて撮像面位相差ＡＦ（焦点検出および焦点調節制御）を行うことができる。

次に、図４を用いて、本実施例における焦点検出領域について説明する。第１の撮像素子１０１に対して、水平方向に瞳分割を行う複数の焦点検出画素を含む焦点検出領域が複数設定されている。また、第２の撮像素子１０２に対しては、水平方向および垂直方向のそれぞれに瞳分割を行う焦点検出領域が複数設定されている。

図４中に点線で示される長方形は、第１および第２の撮像素子１０１，１０２のそれぞれの撮像面（全画素領域）のうち撮像に用いる撮像領域２１７を示す。なお、ここでは第１および第２の撮像素子１０１，１０２の撮像領域２１７の大きさを共通としているが、互いに異ならせてもよい。例えば、第１の撮像素子１０１で静止画撮像を行い、第２の撮像素子で動画撮像を行う場合には、第１および第２の撮像素子１０１，１０２の撮像領域アスペクト比を異ならせてもよい。このような場合には、撮像画像を表示する際に、各撮像素子の撮像領域を枠で明示する等してユーザに認識させることが好ましい。

第１の撮像素子１０１の撮像領域２１７内には、水平方向に瞳分割を行う３つの焦点検出領域２１８ａｈ，２１８ｂｈ，２１８ｃｈがそれぞれ、撮像領域２１７の中央部と左右２箇所に設けられている。一方、第２の撮像素子１０２の撮像領域２１７内には、上記３つの焦点検出領域２１８ａｈ，２１８ｂｈ，２１８ｃｈと垂直方向に瞳分割を行う３つの焦点検出領域２１８ａｖ，２１８ｂｖ，２１８ｃｖとが撮像領域２１７の中央部と左右２箇所に設けられている。

第１の撮像素子１０１のうち焦点検出領域２１８ａｈ，２１８ｂｈ，２１８ｃｈに含まれる画素からの出力信号を用いてＡ像信号およびＢ像信号を得ることで、水平方向にコントラストを有する被写体に対する焦点検出を行うことができる。同様に、第２の撮像素子１０２のうち焦点検出領域２１８ａｈ，２１８ｂｈ，２１８ｃｈに含まれる画素からの出力信号を用いてＣ像信号およびＤ像信号を得ることで、水平方向にコントラストを有する被写体に対する焦点検出を行うことができる。さらに、第２の撮像素子１０２のうち焦点検出領域２１８ａｖ，２１８ｂｖ，２１８ｃｖからの出力信号を用いて、Ｃ像信号およびＤ像信号と同様にＥ像信号およびＦ像信号を得ることで、垂直方向にコントラストを有する被写体に対する焦点検出を行うことができる。以下の説明において、被写体がコントラストを有する方向を、コントラスト方向という。

また図４は、外部表示器１１０において焦点検出領域を表示するための表示枠２１９ａ，２１９ｂ，２１９ｃを破線で示している。これら表示枠２１９ａ，２１９ｂ，２１９ｃを焦点検出領域と概ね同じサイズにすることにより、撮像者が表示枠内に配置した被写体に対して適切に焦点検出を行うことができる。

図５のフローチャートは、本実施例における撮像処理を示している。カメラＣＰＵ１０４は、コンピュータプログラムである撮像制御プログラムに従って本処理を実行する。以下の説明において、「Ｓ」はステップを意味する。

ユーザがカメラ本体１００に設けられた電源スイッチをオン操作すると、カメラＣＰＵ１０４は、Ｓ１０１においてレンズＣＰＵ５０７と通信を行い、撮像レンズ５００の開放Ｆナンバ、焦点距離、射出瞳距離ＰＬおよびフォーカス敏感度等の情報を受信する。フォーカス敏感度は、フォーカスレンズ５０３の移動量に対する像面の移動量を示す。

次にＳ１０２では、カメラＣＰＵ１０４は、ユーザにより現在設定されている撮像モードが静止画撮像と動画撮像とを同時に行う静止画・動画撮像モードか動画撮像のみを行う動画撮像モードかを判定する。カメラＣＰＵ１０４は、静止画・動画撮像モードである場合はＳ１０３に進み、動画撮像モードである場合はＳ１０４に進む。

Ｓ１０３では、カメラＣＰＵ１０４は、静止画撮像用の第１の撮像素子１０１を被写体情報取得モードで駆動し、動画撮像用の第２の撮像素子１０２はライブビューモードで駆動する。

ここで、被写体情報取得モードとは、後述する被写体情報や焦点検出情報（デフォーカス量）を取得するためのモードである。このモードにおいて、焦点検出領域が複数であったり広かったりする場合には、第１の撮像素子１０１を上述した第２の読み出しモードで駆動する。一方、ユーザの指示や被写体検出機能等によって焦点検出を行う焦点検出領域が限定される場合には、第１の撮像素子１０１を第１の読み出しモードで駆動する。

また、ライブビューモードとは、外部表示器１１０に表示するライブビュー画像を生成するためのモードである。記録用画像の画素数に対して外部表示器１１０の画素数が水平および垂直方向とも少ないため、ライブビューモードでは第１の撮像素子１０１を第２の読み出しモードで駆動する。また、ライブビューモードで位相差像信号を取得して焦点検出を行うこともできる。この場合は、位相差像信号の分解能を高くするため、第１の読み出しモードで駆動することが好ましい。

Ｓ１０４では、カメラＣＰＵ１０４は、動画撮像を行うために第２の撮像素子１０２を駆動する。この際、静止画撮像用の第１の撮像素子１０１を駆動しない。これは、動画撮像で得られる画像の解像度は第２の撮像素子１０２の画素ピッチによって制限されるため、第１の撮像素子１０１からより高周波の情報を得ても有効に活用できないためである。これにより消費電力の抑制が可能となる。ただし、静止画撮像用の第１の撮像素子１０１を動画撮像用の第２の撮像素子１０２よりもフレームレートを上げて駆動することにより、より多くの被写体情報を得るようにしてもよい。

次にＳ１０５では、カメラＣＰＵ１０４は、第２の撮像素子１０２からの出力信号を表示用画像信号に変換し、外部表示器１１０またはファインダ内表示器１０７送信してライブビュー画像の表示を開始する。

次にＳ１０６では、カメラＣＰＵ１０４は、各撮像素子の駆動により得られる画像信号の明るさを判断し、ライブビュー画像表示時の絞り制御を行う。

次にＳ１０７では、カメラＣＰＵ１０４は、ＡＦ処理を行う。本実施例では、第１および第２の撮像素子１０１，１０２を用いて焦点検出を行うとともに被写体情報を取得する。また、被写体情報を用いて焦点検出結果（デフォーカス量）を補正する。さらに、カメラＣＰＵ１０４は、補正後の焦点検出結果に基づいてフォーカスレンズ５０３を駆動し、合焦表示も行う。焦点検出から合焦表示までのＡＦ処理の詳細については後述する。

次にＳ１０８では、カメラＣＰＵ１０４は、動画撮像トリガボタンがユーザによりオン操作されたか否かを判断する。オン操作されていた場合は、カメラＣＰＵ１０４はＳ１０９に進み、動画用の画像処理を行って動画の生成を開始する。これにより、生成された動画が記録される。この後、Ｓ１１０に進む。動画撮像トリガボタンがオン操作されていない場合は、カメラＣＰＵ１０４はＳ１０９をスキップしてＳ１１０に進む。

Ｓ１１０では、カメラＣＰＵ１０４は、静止画撮像トリガボタンがユーザによりオン操作されたか否かを判断する。カメラＣＰＵ１０４は、動画用ライブビューもしくは動画記録時に静止画撮像トリガボタンがオン操作されることに応じて、第１の撮像素子１０１による静止画の記録を行う。静止画撮像トリガボタンがオン操作された場合は、カメラＣＰＵ１０４はＳ１１１に進む。静止画撮像トリガボタンがオン操作されていない場合は、カメラＣＰＵ１０４はＳ１１１をスキップしてＳ１１２に進む。

Ｓ１１１では、カメラＣＰＵ１０４は、静止画撮像を行う。この際、カメラＣＰＵ１０４は、静止画撮像用のＦナンバ（絞り値）をレンズＣＰＵ５０７に送信する。レンズＣＰＵ５０７は、絞り駆動部５０６を通じて虹彩絞り５０５の絞り開口径を静止画撮像用のＦナンバに対応する径に制御する。その後、カメラＣＰＵ１０４は、フォーカルプレンシャッタ１１１を開閉制御して第１の撮像素子１０１の露光を制御し、第１の撮像素子１０１から出力信号を読み出して記録用静止画を生成および記録する。ここで行う静止画撮像は、単写でも連写でもよいが、以下では連写が行われる場合について説明する。

次にＳ１１２では、カメラＣＰＵ１０４は、動画撮像トリガボタンがユーザによりオフ操作されたか否かを判断する。オフ操作されていない場合は、カメラＣＰＵ１０４はＳ１０５からＳ１１１の処理を繰り返して動画用のＡＦ処理や動画撮像を継続するとともに、静止画撮像の割り込みも許可する。動画撮像トリガボタンがオフ操作された場合は、カメラＣＰＵ１０４は本処理を終了する。

本実施例では、静止画撮像用の第１の撮像素子１０１と動画撮像用の第２の撮像素子１０２から得た出力信号を用いて焦点検出や撮像を行う。これら焦点検出や撮像を指示するために、静止画撮像トリガボタンと動画撮像トリガボタンという異なる操作部材を用意している。これにより、静止画撮像と動画撮像の開始タイミングを独立して制御できるだけでなく、焦点検出についても、静止画用の焦点検出を高速に行い、動画用の焦点検出を低速（緩やか）に行う等の異なる制御を行うことができる。

次に、図６のフローチャートを用いて焦点検出処理およびこれを含むＡＦ処理（焦点調節制御方法）について説明する。カメラＣＰＵ１０４は、上記撮像制御プログラムの一部である焦点調節制御プログラムに従って本処理を実行する。

カメラＣＰＵ１０４は、Ｓ９０１において、図４に示した焦点検出領域２１９ａ〜２１９ｃからの実際に焦点検出を行う１または２以上の焦点検出領域を設定（選択）する。この設定は、ユーザの指示に応じて行ってもよいし、事前に行われた焦点検出の結果や顔認識等の被写体認識の結果等に基づいて行ってもよい。

次にＳ９０２では、カメラＣＰＵ１０４は、設定された焦点検出領域内の焦点検出画素から一対の位相差像信号を取得する。第１の撮像素子１０１からはＡ像およびＢ像信号を取得し、第２の撮像素子１０２からはＣ像およびＤ像信号と、Ｅ像およびＦ像信号を取得する。

次にＳ９０３では、カメラＣＰＵ１０４は、位相差像信号に対する補正処理とフィルタ処理を行う。補正処理としては、各撮像素子の信号出力特性に応じたオフセットやゲインを調整する処理を行う。また、撮像レンズ５００のビネッティングの影響による一対の位相差像信号間の光量差を補正するシェーディング補正も行う。フィルタ処理としては、焦点検出に用いる評価帯域に合わせたデジタルフィルタ処理を行う。一般に、高周波数帯域を評価すると検出可能なデフォーカス領域が狭くなる。このため、複数の周波数帯域を評価するために、複数のフィルタ処理を行う。

第１の撮像素子１０１から得られるＡ像およびＢ像信号は、第１の撮像素子１０１の画素ピッチが第２の撮像素子１０２よりも細かいため、より高周波数帯域での評価が可能である。このため、Ａ像およびＢ像信号には高周波数帯域と中周波数帯域に対応するフィルタ処理を行う。また、第２の撮像素子１０２から得られるＣ像およびＤ像信号とＥ像およびＦ像信号には、低周波数帯域と超低周波数帯域のフィルタ処理を行う。

次にＳ９０４では、カメラＣＰＵ１０４は、一対の位相差像信号（Ａ像およびＢ像信号、Ｃ像およびＤ像信号、Ｅ像およびＦ像信号）に対する相関演算を行って該一対の位相差像信号間の位相差を算出し、さらに該位相差からデフォーカス量を算出する。

相関演算は、例えば以下の式（１）に示す相関量ＣＯＲ（ｈ）を用いる。

式（１）においては、一対の位相差像信号をＳ１（ｋ）とＳ２（ｋ）（１≦ｋ≦Ｐ）で表している。NW1は焦点検出領域の広さを示す視野内データ数である。hmaxは一対の位相差像信号Ｓ１（ｋ），Ｓ２（ｋ）の位置関係をずらしながら（つまりはシフト量ｈを変えながら）相関量を評価する際の最大ずらし量を示すシフトデータ数である。各シフト量ｈでの相関量ＣＯＲ（ｈ）を求めた後、相関量ＣＯＲが最小となる（すなわち一対の位相差像信号の相関が最大となる）シフト量ｄｈを求める。このシフト量ｄｈが位相差に相当する。

カメラＣＰＵ１０４は、このようにして求めた位相差としてのシフト量ｄｈに、フォーカスレンズ５０３の単位移動量に対する像面移動量を示すフォーカス敏感度を乗じる等してデフォーカス量（焦点検出結果）を算出する。こうして、カメラＣＰＵ１０４は、Ａ像およびＢ像信号から第１のデフォーカス量（第１の焦点検出結果）を取得し、Ｃ像およびＤ像信号から第２のデフォーカス量（第２の焦点検出結果）を取得する。さらに、Ｅ像およびＦ像信号から第３のデフォーカス量（第３の焦点検出結果）を取得する。

次にＳ９０５では、カメラＣＰＵ１０４は第１および第２の撮像素子１０２のそれぞれから得られた出力信号から被写体情報を抽出（取得）する。被写体情報とは、被写体の空間周波数特性、分光分布（色）、コントラスト方向等に関する情報である。被写体情報の抽出処理の詳細については後述する。被写体情報の抽出を終えると、カメラＣＰＵ１０４は、Ｓ９０６にて被写体情報に対応した焦点調節補正量としてのベストピント（ＢＰ）補正量を算出する。

そしてＳ９０７では、カメラＣＰＵ１０４は、Ｓ９０４で算出した第１〜第３のデフォーカス量に対してＳ９０５で算出したＢＰ補正量を適用する補正を行う。ＢＰ補正量の算出方法の詳細については後述する。

次にＳ９０８では、Ｓ９０７で得られた補正後の第１〜第３のデフォーカス量から信頼性の高いデフォーカス量を選択する。例えば、被写体情報として高周波成分が多い場合には、第１の撮像素子１０１から得られた第１のデフォーカス量を選択する。また、コントラスト方向として垂直方向の成分が多い場合には、第２の撮像素子１０２から得られた第３のデフォーカス量を選択する。また、デフォーカス量が大きい場合には評価帯域が低周波数帯域である方が信頼性が高いため、第１〜第３のデフォーカス量からどれを選択するかを決定する。

次にＳ９０９では、カメラＣＰＵ１０４は、選択したデフォーカス量に基づいてフォーカスレンズ５０３および第２の撮像素子１０２を移動させる（駆動する）。本実施例では、フォーカスレンズ５０３の移動によるフォーカシングに加えて、第２の撮像素子１０２の移動によってもフォーカシングが可能である。これは、上述したＢＰ補正値や、第１および第２の撮像素子１０１，１０２の位置がそれらの組付け誤差により光学的に共役ではないこと等に対応するものである。

カメラＣＰＵ１０４は、第１の撮像素子１０１から得られた第１のデフォーカス量に基づいてフォーカスレンズ５０３を移動させる。さらに、フォーカスレンズ５０３の移動によるフォーカシングの過不足を第２の撮像素子１０２から得られた第２または第３のデフォーカス量に基づく第２の撮像素子１０２の移動で補う。カメラＣＰＵ１０４は、第２の撮像素子１０２の移動量を、撮像光学系の収差情報および後述する撮像画像評価帯域（第１の撮像特性情報および第２の撮像特性情報）のうち少なくとも１つの変更に応じて変更する。

第２の撮像素子１０２の移動量を、第１の撮像素子１０１から得られた第１のデフォーカス量と、第１および第２の撮像素子１０１，１０２の組み付け誤差量やＢＰ補正量の差分値から決定してもよい。フォーカスレンズ５０３の移動量を第２のデフォーカス量を用いて決定してもよい。

こうして合焦状態が得られると、カメラＣＰＵ１０４は、Ｓ９１０においてファインダ内表示器１０７や外部表示器１１０に合焦状態が得られたことをユーザに知らせるための表示を行う。そして、本処理を終了する。

次に、図７から図９を用いて、図６のＳ９０５における被写体情報の抽出方法について説明する。図７のフローチャートは被写体情報抽出処理を示す。

まずＳ９０５１において、カメラＣＰＵ１０４は、第１の撮像素子１０１から得られた撮像信号（第１の撮像信号）を用いて被写体情報を抽出する。ここにいう撮像信号は、設定された焦点検出領域に含まれる画素が撮像光学系の射出瞳全域を通過した光束を光電変換することにより得られる信号である。言い換えれば、第１の撮像素子１０１の各画素の光電変換部１０１ａ，１０１ｂからの出力信号を加算して得られる信号である。

カメラＣＰＵ１０４は、ベイヤー配列に対応するモザイク撮像信号をＲ、ＧおよびＢの色信号に分離し、それぞれの色信号について水平方向および垂直方向での空間周波数特性を算出する。水平方向および垂直方向での空間周波数特性を得る方法として、２次元ＦＦＴを用いてもよい。また、互いに周波数帯域が異なる複数のデジタルフィルタ処理を垂直方向に行って得られた撮像信号の信号量（パワー）と該デジタルフィルタ処理を水平方向に行って得られた撮像信号の信号量とを得てもよい。これにより、焦点検出を行う被写体の色味、周波数成分およびコントラスト方向を得ることができる。

第１の撮像素子１０１では、焦点検出を行う際の瞳分割方向が水平方向のみであるため、第１の撮像素子１０１のみを用いた焦点検出や撮像を行う場合には、垂直方向の被写体情報の抽出を省略してもよい。

次にＳ９０５２では、カメラＣＰＵ１０４は、Ｓ９０５１と同様に、第２の撮像素子１０２から得られた撮像信号（第２の撮像信号）を用いて被写体情報を抽出する。ここにいう撮像信号は、第２の撮像素子１０２の各画素の光電変換部１０２ａ〜１０２ｉからの出力信号を加算して得られる信号である。

図８は、第１の撮像素子１０１と第２の撮像素子１０２で得られる被写体情報の特性を示している。第１の撮像素子１０１は、第２の撮像素子１０２に比べて画素ピッチが小さいため、必要に応じて上述した被写体情報取得モードで駆動することにより、空間周波数帯域に関して高周波数域から低周波数帯域までの幅広い周波数帯域で被写体情報を得ることができる。また、第１の撮像素子１０１の用途を被写体情報の取得に特化することにより、電荷蓄積時間を短く設定することも可能であり、手振れや被写体振れの影響による撮像信号の高周波成分の損失を抑えて被写体情報を取得することができる。また、コントラスト方向に関しては、上述した方法により、水平方向および垂直方向ともに取得することが可能である。

ただし、撮像信号に対する補正処理やデジタルフィルタ処理を位相差像信号と共通とする場合には、焦点検出には用いない低周波数帯域信号の算出や垂直方向のフィルタ処理が別途必要となる。図８中の第１の撮像素子１０１について「要演算」と記載された項目については、第２の撮像素子１０２についての計算結果を代用する。また、被写体情報の抽出に際して各種処理が行われた一対の位相差像信号の和の信号を用いて行うことにより、演算量を低減することができる。

一方、第２の撮像素子１０２は、第１の撮像素子１０１に比べて画素ピッチが大きいため、高周波数帯域の信号を得ることは不可能である。しかし、焦点検出用に処理された信号を用いて、低周波数帯域および超低周波数帯域の被写体情報を、演算量を増やすことなく得ることができる。コントラスト方向に関しても、垂直方向の位相差像信号を得ているため、演算量を増やすことなく垂直方向の被写体情報を得ることができる。

このように、本実施例では、第１および第２の撮像素子１０１，１０２のそれぞれの特性に応じてそれら撮像素子から取得する被写体情報を分ける。これにより、演算量を増やすことなく、必要十分な被写体情報を取得することができる。

次にＳ９０５３では、カメラＣＰＵ１０４は、第１および第２の撮像素子１０１，１０２から得られた被写体情報を統合する。これにより、色の数３、コントラスト方向の数２および周波数帯域の数４を乗じた２４のカテゴリーの被写体情報量の大小関係を得ることができる。

なお、第１および第２の撮像素子１０１，１０２から同じ被写体情報、例えば、水平方向における中周波数帯域の信号を得ることにより、それぞれから得られた信号間で校正を行うことができる。

次にＳ９０５４では、カメラＣＰＵ１０４は、焦点検出に用いられる位相差像信号に対する評価を行う周波数帯域（以下、ＡＦ評価帯域という）を算出する。カメラＣＰＵ１０４は、被写体情報、撮像光学系の光学特性、撮像素子のサンプリング周波数および評価に用いるデジタルフィルタの影響を考慮してＡＦ評価帯域を算出する。具体的ＡＦ評価帯域の算出方法については後述する。

また、カメラＣＰＵ１０４は、記録用画像（撮像画像）の生成に用いられる撮像信号の評価帯域（以下、撮像画像評価帯域という）を算出する。カメラＣＰＵ１０４は、被写体情報、撮像光学系の光学特性、撮像素子のサンプリング周波数および撮像画像を干渉する鑑賞者の評価帯域の影響を考慮して撮像画像評価帯域を算出する。

図９（ａ）〜（ｃ）および図１０（ａ）〜（ｃ）を用いてＡＦ評価帯域および撮像画像評価帯域の算出について説明する。カメラＣＰＵ１０４は、ＡＦ評価帯域を一対の位相差像信号ごとに算出し、撮像画像評価帯域を撮像素子ごとに算出する。ＡＦ評価帯域は、焦点検出信号の特性に関する焦点検出特性情報に相当し、焦点検出信号の評価周波数帯域、コントラスト方向および色のうち少なくとも１つに応じて異なる情報である。また、第１の撮像素子１０１に対して算出される撮像画像評価帯域が第１の撮像特性情報に相当し、第２の撮像素子１０２に対して算出される撮像画像評価帯域が第２の撮像特性情報に相当する。各撮像画像評価帯域は、各撮像信号の特性に関する情報である。各撮像画像評価帯域は、各撮像素子の画素ピッチ、画素ごとに設けられた光電変換部の数、各画素における瞳分割方向およびビームスプリッタ１０３の各撮像素子に対する分光特性（後述する分光透過率および分光反射率）等に応じて異なる情報である。

図９（ａ）〜（ｃ）および図１０（ａ）〜（ｃ）はいずれも空間周波数ごとの信号の強度を示し、横軸に空間周波数を、縦軸に強度を示す。

図９（ａ）は、被写体の空間周波数特性Ｉを示している。横軸上のＦ１，Ｆ２，Ｆ３およびＦ４は評価する空間周波数を示し、Ｆ１からＦ４に向かって高周波数となる。Ｓ９０５３で得られた被写体情報における高周波数帯域はＦ４に、中周波数帯域はＦ３に、低周波数帯域はＦ２に、超低周波数帯域はＦ１にそれぞれ相当する。

被写体情報は、Ｒ，Ｇ，Ｂの色ごとおよびコントラスト方向ごとに存在するが、ここでは、水平方向におけるＧの被写体情報のみを示している。また、Ｎｑは第１の撮像素子１０１の画素ピッチに応じて決定されるナイキスト周波数である。空間周波数Ｆ１〜Ｆ４およびナイキスト周波数Ｎｑについては、後述の図９（ｂ），（ｃ）および図１０（ａ）〜（ｃ）にも同様に示されている。

被写体の空間周波数特性Ｉは、Ｓ９０５３で得た被写体情報を用いる。図９（ａ）では被写体の空間周波数特性Ｉが曲線で描かれているが、実際には離散的に空間周波数Ｆ１，Ｆ２，Ｆ３およびＦ４に対応した値を有し、それをＩ（ｎ）（１≦ｎ≦４）と表す。

図９（ｂ）は、撮像光学系の合焦状態での空間周波数特性Ｏを示す。この空間周波数特性Ｏの情報はレンズＣＰＵ５０７から取得してもよいし、カメラＣＰＵ１０４内のＲＡＭ等のメモリ（以下、カメラメモリという）に記憶しておいてもよい。図９（ｂ）では撮像光学系の空間周波数特性Ｏは曲線で描かれているが、実際には離散的に空間周波数Ｆ１，Ｆ２，Ｆ３およびＦ４に対応した値を有し、それをＯ（ｎ）（１≦ｎ≦４）と表す。

図９（ｃ）は、光学ローパスフィルタの空間周波数特性Ｌを示す。この空間周波数特性Ｌの情報は、カメラメモリに記憶されている。図９（ｃ）では光学ローパスフィルタの空間周波数特性Ｌは曲線で描かれているが、実際には離散的に空間周波数Ｆ１，Ｆ２，Ｆ３，Ｆ４に対応した値を有し、それをＬ（ｎ）（１≦ｎ≦４）と表す。本実施例において、第１および第２の撮像素子１０１，１０２間で異なる光学ローパスフィルタを用いる場合には、それら光学ローパスフィルタの空間周波数特性を別々に記憶しておくことが望ましい。

図１０（ａ）は、信号生成に関する空間周波数特性Ｍ１，Ｍ２を示す。前述したように、第１および第２の撮像素子１０１，１０２から出力信号を読み出して位相差像信号としての焦点検出信号や撮像信号を生成する際の読み出しモードには、第１の読み出しモードと第２の読み出しモードがある。全画素読み出しモードである第１の読み出しモードで信号生成を行う場合には空間周波数特性は変化しない。図１０（ａ）中の空間周波数特性Ｍ１は、第１の読み出しモードで信号生成を行う場合の空間周波数特性である。

一方、間引き読み出しモードである第２の読み出しモードで信号生成を行う場合には、空間周波数特性が変化する。具体的には、Ｘ方向での間引きの際に信号加算を行ってＳ／Ｎの改善を図るため、この信号加算によるローパス効果が発生する。図１０（ａ）中の空間周波数特性Ｍ２は、第２の読み出しモードで信号生成を行う場合の空間周波数特性である。空間周波数特性Ｍ２は、間引きの影響は加味せず、信号加算によるローパス効果を示す。

図１０（ａ）において、信号生成に関する空間周波数特性Ｍ１，Ｍ２は曲線で描かれているが、実際には離散的に空間周波数Ｆ１，Ｆ２，Ｆ３およびＦ４に対応した値を有し、それをＭ１（ｎ），Ｍ２（ｎ）（１≦ｎ≦４）と表す。

図１０（ｂ）は、撮像画像を鑑賞する際の空間周波数ごとの感度を示す空間周波数特性Ｄ１とＡＦ評価信号の処理時に用いるデジタルフィルタの空間周波数特性Ｄ２を示している。撮像画像を鑑賞する際の空間周波数ごとの感度は、鑑賞者の個人差、画像サイズ、鑑賞距離、明るさ等の鑑賞環境により影響を受ける。本実施例では、代表的な値として、鑑賞時の空間周波数ごとの感度を設定してカメラメモリに記憶している。鑑賞距離は、ユーザから撮像画像が表示されるディスプレイデバイスまたは撮像画像が印刷されたシートまでの距離を意味する。

一方、第２の読み出しモードを用いる際には、間引きの影響によって信号の周波数成分の折り返しノイズが発生する。空間周波数特性Ｄ２は、その影響を加味したデジタルフィルタの空間周波数特性である。図１０（ｂ）において、空間周波数特性Ｄ１，Ｄ２は曲線で描かれているが、実際には離散的に空間周波数Ｆ１，Ｆ２，Ｆ３およびＦ４に対応した値を有し、それをＤ１（ｎ），Ｄ２（ｎ）（１≦ｎ≦４）と表す。

以上のように種々の空間周波数特性を予め記憶しておくことにより、撮像特性情報である撮像画像評価帯域Ｗ１および焦点検出特性情報であるＡＦ評価帯域Ｗ２を、以下の式（２），（３）を用いて算出する。式（２），（３）において、ｎは１≦ｎ≦４である。

Ｗ１（ｎ）＝Ｉ（ｎ）×Ｏ（ｎ）×Ｌ（ｎ）×Ｍ１（ｎ）×Ｄ１（ｎ） （２）
Ｗ２（ｎ）＝Ｉ（ｎ）×Ｏ（ｎ）×Ｌ（ｎ）×Ｍ２（ｎ）×Ｄ２（ｎ） （３）
図１０（ｃ）は、撮像画像評価帯域Ｗ１およびＡＦ評価帯域Ｗ２を示している。式（２），（３）で表される計算を行うことにより、撮像画像の合焦状態を決定する因子に対して、空間周波数ごとに、どの程度の影響度合いを有するかを定量化することができる。同様に、焦点検出結果としてのデフォーカス量が有する誤差が、空間周波数ごとに、どの程度の影響度合いを有するかを定量化することができる。本実施例では、撮像画像評価帯域Ｗ１およびＡＦ評価帯域Ｗ２を、Ｒ，Ｇ，Ｂの色ごとおよびコントラスト方向としての水平方向と垂直方向に対応した６つずつ算出する。

図１０（ａ）〜（ｃ）では、第１の撮像素子１０１のナイキスト周波数Ｎｑに対して、各周波数特性を説明したが、第２の撮像素子１０２の周波数特性も同様に算出する。例えば、信号生成に関する空間周波数特性は、画素ピッチの違いに合わせて、第１の撮像素子１０２用の特性に対して変更する。また、撮像画像を鑑賞する際の空間周波数ごとの感度を示す空間周波数特性やＡＦ評価信号の処理時に用いるデジタルフィルタの空間周波数特性についても、第１の撮像素子１０１に対する第２の撮像素子１０２のナイキスト周波数の比に応じた修正を行う。これにより、第１の撮像素子１０１および第２の撮像素子１０２とで、図１０（ｃ）に示す撮像画像評価帯域Ｗ１およびＡＦ評価帯域Ｗ２として異なる結果が得られる。

図９（ａ）〜（ｃ）および 図１０（ａ）〜（ｃ）では４つ空間周波数Ｆ１〜Ｆ４を用いて説明したが、データを有する空間周波数の数は、多いほど撮像画像評価帯域Ｗ１およびＡＦ評価帯域Ｗ２の空間周波数特性を正確に再現することができる。このため、より高精度な補正値を算出することができる。

Ｓ９０５４での撮像画像評価帯域Ｗ１およびＡＦ評価帯域Ｗ２の算出を終えたカメラＣＰＵ１０４は、本処理を終了する。

次に、図１１から図１４を用いて、図６のＳ９０６でのＢＰ補正量の算出方法について説明する。図１１のフローチャートは、ＢＰ量算出処理を示す。Ｓ９０６１において、カメラＣＰＵ１０４は、図５のＳ１０６で行われた絞り制御において設定されたＦナンバを取得する。

次にＳ９０６２では、カメラＣＰＵ１０４は、Ｓ９０１で設定された焦点検出領域の情報を取得し、該焦点検出領域の撮像素子上での像高を算出する。

その後Ｓ９０６３では、カメラＣＰＵ１０４は、撮像光学系の収差情報を取得する。撮像光学系の収差情報は、カメラＣＰＵ１０４の要求に応じてレンズＣＰＵ５０７から通信により得られる情報であり、被写体の色ごと、コントラスト方向ごとおよび空間周波数ごとの撮像光学系の結像位置に関する情報である。被写体の色ごとの結像位置に関する情報は、主として色収差に関する情報である。被写体のコントラスト方向ごとの結像位置に関する情報は、主として非点収差に関する情報である。被写体の空間周波数ごとの結像位置に関する情報は、主として球面収差に関する情報である。

図１２（ａ），（ｂ）を用いて、撮像レンズ５００内の不図示のメモリ（以下、レンズメモリという）に格納されている撮像光学系の収差情報について具体的に説明する。図１２（ａ）は、撮像光学系の特性である空間周波数ごとのデフォーカスＭＴＦが極大値となるフォーカスレンズ５０３の位置を示している。横軸は、空間周波数を示し、Ｆ１，Ｆ２，Ｆ３およびＦ４は図９（ａ）〜（ｃ）および図１０（ａ）〜（ｃ）に示したＦ１，Ｆ２，Ｆ３およびＦ４に対応している。Ｎｑは第１の撮像素子１０２のナイキスト周波数であり、Ｎｑ２は第２の撮像素子１０２のナイキスト周波数である。縦軸は、デフォーカスＭＴＦが極大値となるフォーカスレンズ５０３の位置（以下、デフォーカスＭＴＦピーク位置という）を示す。

図１２（ａ）は、色がＧでコントラスト方向が水平方向である場合のデフォーカスＭＴＦピーク位置ＭＴＦ＿ＧＨと、色がＧでコントラスト方向が垂直方向である場合のデフォーカスＭＴＦピーク位置ＭＴＦ＿ＧＶを示している。赤と青に対応したデフォーカスＭＴＦピーク位置を含めると、レンズメモリには合計６つの異なる条件でのデフォーカスＭＴＦピーク位置の情報が格納されている。

ＭＴＦ＿ＧＨは、４つの空間周波数Ｆ１，Ｆ２，Ｆ３およびＦ４に対するデフォーカスＭＴＦピーク位置ＰＧＨ１，ＰＧＨ２，ＰＧＨ３，ＰＧＨ４を有する。ＭＴＦ＿ＧＶも、４つの空間周波数Ｆ１，Ｆ２，Ｆ３およびＦ４に対するデフォーカスＭＴＦピーク位置ＰＧＶ１，ＰＧＶ２，ＰＧＶ３，ＰＧＶ４を有する。これらは、ＲおよびＢについても同様である。

以下の説明では、空間周波数Ｆ１，Ｆ２，Ｆ３およびＦ４をＦ（ｎ）（１≦ｎ≦４）と表し、色がＧ，Ｒ，Ｂでコントラスト方向が水平方向である場合の撮像光学系の収差情報をそれぞれ、ＭＴＦ＿ＧＨ（ｎ），ＭＴＦ＿ＲＨ（ｎ），ＭＴＦ＿ＢＨ（ｎ）と表す。また、色がＧ，Ｒ，Ｂでコントラスト方向が垂直方向である場合の撮像光学系の収差情報をそれぞれ、ＭＴＦ＿ＧＶ（ｎ），ＭＴＦ＿ＲＶ（ｎ），ＭＴＦ＿ＢＶ（ｎ）と表す。レンズメモリには、撮像光学系の収差情報として、ズーム状態（焦点距離）、焦点調節状態（フォーカスレンズ５０３の位置）、Ｆナンバおよび焦点検出領域の像高によって情報が格納されている。例えば、ズーム状態と焦点調節状態とＦナンバを８つのゾーンに分割し、分割ゾーンごとに３分割した像高のそれぞれに対する収差情報が格納されている。ただし、これ以外の収差情報の格納方法を採用してもよい。

Ｓ９０６３では、カメラＣＰＵ１０４は、事前に得たＦナンバおよび焦点検出領域の像高の情報を、レンズＣＰＵ５０７に送信する。レンズＣＰＵ５０７は、レンズメモリからこれらＦナンバおよび焦点検出領域の像高と現在のズーム状態および焦点調節状態に対応する収差情報を選択し、カメラＣＰＵ１０４に送信する。

次にＳ９０６４では、カメラＣＰＵ１０４は、ビームスプリッタ１０３であるハーフミラー（光学素子）の光学情報を用いて撮像光学系の収差情報を加工する。図１２（ｂ）を用いて、この収差情報の加工について説明する。

撮像光学系を透過してハーフミラーで反射された光束（第２の分光状態の光束）が到達する第２の撮像素子１０２については、ハーフミラーが歪等を持たず、反射によって新たに収差が発生しない場合には、撮像光学系の収差情報を加工することなく用いればよい。しかし、撮像光学系を透過してハーフミラーも透過して第１の撮像素子１０１に到達する光束（第１の分光状態の光束）には、ハーフミラーの材質に応じた屈折率や分散によって、ハーフミラーへの入射角度や波長に応じて異なる屈折が発生する。収差情報は、デフォーカスＭＴＦの極大値と対応するフォーカスレンズ５０３の位置であるデフォーカスＭＴＦピーク位置の情報を有するため、光束がハーフミラーを透過することでデフォーカスＭＴＦピーク位置がオフセットする。このオフセット量は、色（波長）、射出瞳距離および像高で決まるハーフミラーへの光束の入射角度から算出することができる。

図１２（ｂ）では、オフセット前のＭＴＦ＿ＧＨ（破線で示す）に対して、ハーフミラーを透過することによりオフセットした収差情報であるＭＴＦ＿ＧＨ２を示している。図示はしないが、他の収差情報も同様にオフセット量を算出することで、ＭＴＦ＿ＧＶ２、ＭＴＦ＿ＲＨ２、ＭＴＦ＿ＲＶ２、ＭＴＦ＿ＢＨ２およびＭＴＦ＿ＢＶ２を算出することができる。

次にＳ９０６５では、カメラＣＰＵ１０４は、Ｓ９０５４で算出した撮像評価帯域Ｗ１とＡＦ評価帯域Ｗ２の情報を、カメラメモリから取得する。撮像評価帯域Ｗ１としては、第１の撮像素子１０１により取得された撮像画像に対応するＷ１＿ａ（ｎ）と、第２の撮像素子１０２により取得された撮像画像に対応するＷ１＿ｂ（ｎ）とを取得する。ＡＦ評価帯域Ｗ２としては、Ａ像およびＢ像信号に対してＷ２＿ａ（ｎ）を、Ｃ像およびＤ像信号に対してＷ２＿ｂ（ｎ）を、Ｅ像およびＦ像信号に対してＷ２＿ｃ（ｎ）をそれぞれ取得する。これらの評価帯域（係数）の情報はそれぞれ、３つの色（ＲＧＢ）×２つのコントラスト方向（水平および垂直方向）の計６つずつ取得される。例えば、Ｗ２＿ａ（ｎ）として、Ｗ２＿ａ＿ＲＨ（ｎ）、Ｗ２＿ａ＿ＲＶ（ｎ）、Ｗ２＿ａ＿ＧＨ（ｎ）、Ｗ２＿ａ＿ＧＶ（ｎ）、Ｗ２＿ａ＿ＢＨ（ｎ）およびＷ２＿ａ＿ＢＶ（ｎ）の６つが取得される。

さらにこれらの６つの係数がそれぞれ４つの空間周波数に対応した４つの係数を含むことで、計２４の係数が取得される。これらの２４の係数は、色、空間周波数およびコントラスト方向の組み合わせごとの情報量の大小関係を示す。本実施例では、これら２４の係数を、その総和が１となるように規格化して、被写体情報に対する重み付け用の重みとして用いる。

次にＳ９０６６では、カメラＣＰＵ１０４は、ハーフミラーの分光透過率に応じた分光分布に関する情報（第１の分光分布情報）およびハーフミラーの分光反射率に基づく分光分布に関する情報（第２の分光分布情報）を取得する。分光分布に関する情報とは、分光分布自体を示す情報、または分光分布自体ではないが、分光分布に対応する情報を意味する。図１３および図１４を用いて、ハーフミラーの分光透過率および分光反射率の角度依存性について説明する。

図１３は、ハーフミラーの分光透過率を光線の入射角度ごとに示している。横軸に波長を、縦軸に透過率を示している。分光反射率は、１００％から分光透過率を差し引いた値となる。誘電多層膜によりハーフミラーを構成した場合、光線の入射角度および波長によって透過率が変化する。図１３には、入射角が３０度、４５度、６０度の場合の分光透過率を示している。カメラメモリには、撮像素子のカラーフィルタの主波長に対応したＲＧＢの３つの色の分光透過率として、入射角度３０度、４５度および６０度のそれぞれの分光透過率が記憶されている。

図１４は、射出瞳距離と像高によってハーフミラー（ビームスプリッタ１０３）への入射角度が変化することを示す。本実施例のように撮像レンズ５００が交換可能であったりズームレンズであったりする場合には、交換や焦点距離に応じて射出瞳距離が変化する。図１４には、互いに異なる射出瞳距離の例として、ＬＰＯ１とＬＰＯ２を示しており、さらに撮像光学系囲の射出瞳の中心を通って第１の撮像素子１０１上の像高ＩＨ１，ＩＨ２に到達する光線を示している。

射出瞳距離ＬＰＯ１，ＬＰＯ２に対応する射出瞳のそれぞれから像高ＩＨ１に到達する光線を見れば分かるように、それらの光線は互いにハーフミラーに対する入射角度が異なる。また、射出瞳距離ＬＰＯ１に対応する射出瞳から像高ＩＨ１，ＩＨ２のそれぞれに到達する光線を見れば分かるように、それらの光線は互いにハーフミラーに対する入射角度が異なる。Ｓ９０６６では、カメラＣＰＵ１０４は、射出瞳距離とＢＰ補正量の演算を行う像高とに基づいて、ハーフミラーに対する光線の入射角度を計算する。その後、カメラＣＰＵ１０４は、得られた入射角度から各波長における反射率および透過率を補間演算等により算出する。

そして、カメラＣＰＵ１０４は、分光分布の情報として、Ｒ，ＧおよびＢの反射率（％）をそれぞれＲｒ，Ｇｒ，Ｂｒとし、透過率（％）をＲｔ，Ｇｔ，Ｂｔとして取得する。上述したように、Ｒｔ＝１００％−Ｒｒの関係にあるため、ＲｔとＲｒのうちいずれか一方を算出すればよい。

図１４では射出瞳の中心を通る光線を例に説明したが、実際の光束は虹彩絞り５０５やレンズ枠等により決定される射出瞳上の開口部を通り、ハーフミラーへの入射角度に幅を持つ。このため、虹彩絞り５０５の開口部の大きさに対応するＦナンバや、レンズ枠等によるケラレ状態を示すビネッティング情報を用いて入射角度を計算してもよい。

Ｓ９０６７では、カメラＣＰＵ１０４は、ハーフミラーの分光透過率または分光反射率とＡＦ評価帯域Ｗ２と撮像光学系の収差情報とを用いて、焦点検出信号により想定される焦点位置を算出する。ハーフミラーを透過した光束を受光する第１の撮像素子１０１から得られたＡ像およびＢ像信号間の相関演算（以下、第１の相関演算という）は水平方向でのみ行われる。カメラＣＰＵ１０４は、焦点検出信号により想定される焦点位置P_AF1を以下の式（４）を用いて算出する。

式（４）を用いた計算により、撮像光学系の収差情報を、被写体の分光分布およびハーフミラーの分光透過率に基づいて重み付け加算することにより、第１の相関演算を用いた焦点位置を算出することができる。P_AF1は、撮像光学系の収差情報において、焦点検出信号を構成する色の分布（分光特性）および空間周波数の分布（空間周波数特性）から想定されるデフォーカスＭＴＦピーク位置に相当する。

また、ハーフミラーで反射した光束を受光する第２の撮像素子１０２から得られたＣ像およびＤ像信号間の相関演算（以下、第２の相関演算という）は水平方向でのみ行われる。カメラＣＰＵ１０４は、焦点検出信号により想定される焦点位置P_AF2を以下の式（５）を用いて算出する。すなわち、撮像光学系の収差情報を、被写体の分光分布およびハーフミラーの分光反射率に基づいて重み付け加算することにより、第２の相関演算を用いた焦点位置を算出することができる。

さらに、第２の撮像素子１０２から得られたＥ像およびＦ像信号間の相関演算（以下、第３の相関演算という）は垂直方向でのみ行われる。カメラＣＰＵ１０４は、焦点検出信号で想定される焦点位置P_AF3を以下の式（６）を用いて算出する。すなわち、撮像光学系の収差情報を、被写体の分光分布およびハーフミラーの分光反射率に基づいて重み付け加算することにより、第３の相関演算を用いた焦点位置を算出することができる。

式（６）においては、垂直方向のコントラスト信号を用いて焦点位置の算出を行うため、撮像光学系の収差情報やＡＦ評価帯域の情報は垂直方向のものを用いる。

次にＳ９０６８では、カメラＣＰＵ１０４は、ハーフミラーの分光透過率と撮像評価帯域と撮像光学系の収差情報とを用いて、撮像信号を想定した場合の焦点位置を算出する。

第１の撮像素子１０１を用いて得られる静止画像（以下、第１の撮像画像という）は、ハーフミラーを透過した光束により形成される被写体像の光電変換により得られる。また、焦点調節状態の評価は、水平および垂直方向のコントラストも評価することで行われるこのため、第１の撮像画像における焦点調節状態の評価で想定される焦点位置P_IMG1を、以下の式（７）を用いて算出する。

P_IMG1は、撮像光学系の収差情報において、第１の撮像画像で評価する色の分布、空間周波数の分布およびコントラスト方向の分布から想定されるデフォーカスＭＴＦピーク位置に相当する。

また、第２の撮像素子１０１を用いて得られる動画像（以下、第２の撮像画像という）は、ハーフミラーで反射した光束により形成される被写体像の光電変換により得られる。また、焦点調節状態の評価は、水平および垂直方向のコントラストも評価することで行われる。このため、第２の撮像画像における焦点調節状態の評価で想定される焦点位置P_IMG2を、以下の式（８）を用いて算出する。

以上のように、Ｓ９０６７およびＳ９０６８では、カメラＣＰＵ１０４は、焦点検出信号や撮像信号の特性（色、空間周波数およびコントラスト方向）と撮像光学系の収差情報とを用いて、想定されるデフォーカスＭＴＦピーク位置を算出する。

次に、Ｓ９０６９では、カメラＣＰＵ１０４は、ＢＰ補正量を算出する。ＢＰ補正量は、どの焦点検出結果としてのデフォーカス量をどの撮像画像の焦点調節に用いるかによって異なる。第１のデフーカス量を第１の撮像画像の焦点調節に用いる場合のＢＰ補正量をＢＰ１とし、第２の撮像画像の焦点調節に用いる場合のＢＰ補正量をＢＰ２とすると、カメラＣＰＵ１０４はこれらを以下の式（９），（１０）を用いて算出する。
ＢＰ１＝Ｐ＿ＩＭＧ１−Ｐ＿ＡＦ１ （９）
ＢＰ２＝Ｐ＿ＩＭＧ２−Ｐ＿ＡＦ１ （１０）
また、第２のデフォーカス量を第１の撮像画像の焦点調節に用いる場合のＢＰ補正量をＢＰ３とし、第２の撮像画像の焦点調節に用いる場合のＢＰ補正量をＢＰ４とすると、カメラＣＰＵ１０４はこれらを以下の式（１１），（１２）を用いて算出する。
ＢＰ３＝Ｐ＿ＩＭＧ１−Ｐ＿ＡＦ２ （１１）
ＢＰ４＝Ｐ＿ＩＭＧ２−Ｐ＿ＡＦ２ （１２）
さらに、第３のデフォーカス量を第１の撮像画像の焦点調節に用いる場合のＢＰ補正量をＢＰ５とし、第２の撮像画像の焦点調節に用いる場合のＢＰ補正量をＢＰ６とすると、カメラＣＰＵ１０４はこれらを以下の式（１３），（１４）を用いて算出する。
ＢＰ５＝Ｐ＿ＩＭＧ１−Ｐ＿ＡＦ３ （１３）
ＢＰ６＝Ｐ＿ＩＭＧ２−Ｐ＿ＡＦ３ （１４）
カメラＣＰＵ１０４は、Ｓ９０６９で算出したＢＰ補正量ＢＰ１〜ＢＰ６を、被写体情報に応じて切り替えて用いる。例えば、被写体が垂直方向にコントラストを有し、第３の相関演算で得られる焦点検出結果（第３のデフォーカス量）の信頼性が高い場合は、第１の撮像素子１０１用のＢＰ補正量（第１の焦点調節補正量）としてＢＰ５を用いて焦点検出結果を補正する。そして、補正後の焦点検出結果を用いてフォーカスレンズ５０３の移動量を算出する。また、同じ場合に、第２の撮像素子１０２用のＢＰ補正量（第２の焦点調節補正量）としてＢＰ６を用いて焦点検出結果を補正し、補正後の焦点検出結果を用いて第２の撮像素子１０２の移動量を算出する。第２の撮像素子１０２の移動量は、撮像光学系の収差情報、第１の撮像素子情報および第２の撮像素子情報のうち少なくとも１つの変更に伴って変更される。

カメラＣＰＵ１０４は、第１の撮像素子１０１用のＢＰ補正量と第２の撮像素子１０２用のＢＰ補正量に対して、第１の分光状態と第２の分光状態を以下のような組み合わせに設定する。

例えば、ＢＰ１とＢＰ２については、第１の分光状態を、ハーフミラーを透過して第１の撮像素子１０１に到達する光束の焦点検出時の分光状態と、ハーフミラーを透過して第１の撮像素子１０１に到達する光束の撮像時の分光状態との組み合わせとする。また、第２の分光状態を、ハーフミラーで反射して第２の撮像素子１０２に到達する光束の焦点検出時の分光状態と、ハーフミラーで反射して第２の撮像素子１０２に到達する光束の撮像時の分光状態の組み合わせとする。ただし、第１の分光状態と第２の分光状態は、上述した組み合わせに限らず、ＢＰ１とＢＰ４等に対する組み合わせであってもよい。

以上のように、本実施例では、第１および第２の撮像素子１０１，１０２のそれぞれから取得される焦点検出信号の特性に応じて、想定される焦点位置（Ｐ＿ＡＦ１，Ｐ＿ＡＦ２，Ｐ＿ＡＦ３）を算出する。また、第１および第２の撮像素子１０１，１０２のそれぞれから取得される撮像信号の特性に応じて、想定される焦点位置（Ｐ＿ＩＭＧ１,Ｐ＿ＩＭＧ２）を算出する。そして、これら想定される焦点位置を用いてＢＰ補正量を算出することにより、信頼性の高い焦点検出結果を採用しながら、撮像画像の特性に応じた焦点調節制御を行うことができる。

本実施例では、静止画撮像用のＢＰ補正量と動画撮像用のＢＰ補正量として異なる値が算出されることに備えて、第２の撮像素子１０２を光軸方向に移動可能に構成した。すなわち、フォーカスレンズ５０３の移動と第２の撮像素子１０２の移動とにより焦点調節を行うように構成した。しかし、第２の撮像素子１０２は必ずしも移動できなくてもよい。この場合は、例えば、静止画撮像用のＢＰ補正量（第１の焦点調節補正量）と動画撮像用のＢＰ補正量（第２の焦点調節補正量）の平均値（第３の焦点調節補正量）を用いてフォーカスレンズ５０３を移動させて焦点調節を行えばよい。これにより、焦点調節精度は低下するが、第２の撮像素子１０２を移動させる機構が不要となる。

また、第２の撮像素子１０２を移動させない場合に、ユーザまたはカメラ本体１００の設定により、第１および第２の撮像素子１０１，１０２から得られる撮像画像の記録優先度を求め、その記録優先度に応じてＢＰ補正量（第３の焦点調節補正量）を設定してもよい。例えば、第１の撮像素子１０１により得られる静止画が優先度が高い場合は、第１の撮像素子１０１に対するＢＰ補正量と第２の撮像素子１０２に対するＢＰ補正量を４：１で重み付けしたＢＰ補正量を算出（設定）して焦点調節制御を行ってもよい。

また、上述したように、ＢＰ補正量の大小は撮像光学系の収差情報により決定される。このため、該収差情報から収差量の大小を判定し、収差量が小さい場合にはＢＰ補正量（第１または第２の焦点調節補正量）の算出を省略してもよい。

次に、図１５を用いて、カメラＣＰＵ１０４がＳ９０５１およびＳ９０５２で行う第１および第２の撮像素子１０１，１０２を用いた被写体情報の抽出タイミングについて説明する。図１５は、第１および第２の撮像素子１０１，１０２の垂直同期信号Ｖ１，Ｖ２，Ｖ３，Ｖ４，・・・が同期している例を示している。第１の撮像素子１０１は、Ｅａ１，Ｒａ１，Ｅａ２，Ｒａ２，・・・で示すように、垂直同期タイミングＶ１，Ｖ２，・・・を境として電荷蓄積と読み出しとを繰り返す。第２の撮像素子１０２は、Ｅｂ１，Ｒｂ１，Ｅｂ２，Ｒｂ２，・・・で示すように、垂直同期タイミングＶ１，Ｖ２，・・・を境として電荷蓄積と読み出しとを繰り返す。

第２の撮像素子１０２は、動画撮像用であるため、静止画撮像用の第１の撮像素子１０１よりも電荷蓄積時間が長く設定されている。ただし、第２の撮像素子１０２は第１の撮像素子１０１よりも画素数が少ないため、出力信号の読み出し時間は短い。第１の撮像素子１０１は、被写体情報抽出手段として機能しているため、手振れや被写体振れの影響を低減するために短い電荷蓄積時間で駆動される。

第１および第２の撮像素子１０１，１０２からの出力信号の読み出しを終えると、カメラＣＰＵ１０４は、取得した出力信号を用いて被写体情報の検出Ｄ１，Ｄ２，Ｄ３，・・・を行う。そして、被写体情報の検出を終えると、カメラＣＰＵ１０４は、得られた被写体情報を用いてＢＰ補正量の算出Ｃ１，Ｃ２，Ｃ３，・・・を行う。

このような処理を行うことにより、おおよそ同じタイミングでの被写体情報を第１および第２の撮像素子１０１，１０２を通して得られるため、タイムラグによる被写体情報の変化の影響を受けにくく、信頼性の高い被写体情報が得られる。

第１の撮像素子１０１における被写体情報の抽出領域を狭めることによって、第１の撮像素子１０１の駆動レート（フレームレート）を２倍等に上げて、より多くの情報を得てもよい。その際に、半分のデータは、第２の撮像素子１０２から得られる情報と同期がとれないが、第１の撮像素子１０１から得られる情報から連続性を判定する等により、より信頼性の高い被写体情報を抽出することができる。また、第２の撮像素子１０２の駆動レートが高い場合には、第１の撮像素子１０１の駆動を間引いて被写体情報の抽出間隔を長くしてもよい。これにより、得られる被写体情報は減るが、消費電力を低減することができる。

以上説明したように、本実施例では、ハーフミラーの分光透過率および分光反射率を用いた重み付け演算によって焦点位置を算出する。これにより、ハーフミラーの反射側と透過側で分光状態が異なることによる焦点位置の差を考慮した焦点検出および焦点調節制御を行うことができる。

なお、本実施例では、第１の分光分布情報から第１の焦点調節補正量を算出し、かつ第２の分光分布情報から第２の焦点調節補正量を算出する場合について説明した。しかし、第１の分光分布情報と第２の分光分布情報とが互いに近い場合は、第１および第２の焦点調節補正量のうち一方を算出するようにしてもよい。

次に、本発明の実施例２のカメラについて説明する。実施例１では、第１の分光状態をハーフミラーの透過側の焦点検出時の分光状態と撮像時の分光状態との組み合わせとし、第２の分光状態を反射側の焦点検出時の分光状態と撮像時の分光状態との組み合わせとして、第１および第２の焦点調節補正量を算出した。

これに対して、本実施例では、第１の分光状態をハーフミラーを透過したときの焦点検出時の分光状態とハーフミラーが光路から退避した撮像時の分光状態との組み合わせとする。また、第２の分光状態をハーフミラーが退避した焦点検出時の分光状態と撮像時の分光状態との組み合わせとする。

図１６は、本実施例のカメラ本体１５００および撮像レンズ５００の構成を示す。図１６において実施例１（図１）と共通する構成要素には実施例１と同符号を付している。本実施例のカメラ本体１５００は、実施例１における第２の撮像素子１０２とディスプレイデバイス１０８を有さず、ペンタプリズム１５０１を有する。ペンタプリズム１５０１は、ハーフミラー１０３により反射された光束を接眼レンズ１０９に導く。ペンタプリズム１５０１と接眼レンズ１０９とにより光学ファインダが構成される。また、実施例１では撮像レンズ５００からの光路内に固定されたビームスプリッタ１０３としてのハーフミラーが設けられているが、本実施例では該光路に対して進退（挿抜）可能な光学素子としてのハーフミラー１５０２が設けられている。

一般的な撮像装置はハーフミラー１５０２によりＡＦ専用センサおよびファインダ内表示器１０７に光束を導くが、本実施例はＡＦ専用センサを有さない。このため、本実施例では、被写体像をファインダ内表示器１０７を通して観察しながら、第１の撮像素子１０１にてハーフミラー１５０２を透過した光束を用いて焦点検出を行う。

図１７のフローチャートは、本実施例における撮像処理を示している。カメラＣＰＵ１０４は、コンピュータプログラムである撮像制御プログラムに従って本処理を実行する。実施例１（図５）のステップと同じステップについては実施例１と同符号を付している。

Ｓ１０１の後のＳ１６０１では、カメラＣＰＵ１０４は、設定されている撮像モードがファインダ撮像モードかライブビュー撮像モードかを判定する。カメラＣＰＵ１０４は、ファインダ撮像モードが設定されている場合はＳ１６０２に進み、ライブビュー撮像モードが設定されている場合Ｓ１６０４に進む。

ファインダ撮像モードでのカメラＣＰＵ１０４の動作について説明する。Ｓ１６０２では、カメラＣＰＵ１０４は、撮像レンズ５００からの光束をペンタプリズム１５０１に導くためにハーフミラー１５０２を光路内に配置する（ミラーダウンする）。

続いてＳ１０７では、カメラＣＰＵ１０４は、ミラーダウンしたまま、ＡＦ処理を行う。ＡＦ処理については後述する。

次にＳ１６０３では、カメラＣＰＵ１０４は、図２０に示すように、ハーフミラー１５０２を光路外に退避させ、撮像レンズ５００からの光束をハーフミラー１５０２を透過させることなく第１の撮像素子１０１に導く。

続いてＳ１１１では、カメラＣＰＵ１０４は、静止画撮像を行う。ハーフミラー１５０２を光路外に退避させて静止画撮像を行うことで、取得される静止画の画質がハーフミラー１５０２による撮像光学系の収差の拡大によって低下したり、光量が低下したりすることが防止される。

ライブビュー撮像モードでのカメラＣＰＵ１０４の動作について説明する。Ｓ１６０４において、カメラＣＰＵ１０４は、ハーフミラー１５０２を光路外に退避させる（ミラーアップさせる）。撮像レンズ５００からの光束を、ハーフミラー１５０２を透過させずに第１の撮像素子１０１に導くことで、良好なライビュー画像を取得することができる。

続いてＳ１０７では、カメラＣＰＵ１０４は、ミラーアップしたままＡＦ処理を行う。そして、Ｓ１１１に進んで静止画撮像を行う。

図１８のフローチャートを用いて焦点検出処理およびこれを含むＡＦ処理について説明する。実施例１（図６）のステップと同じステップについては実施例１と同符号を付している。

本実施のカメラ本体１５００は、第２の撮像素子１０２を有さないため、実施例１で説明した被写体情報抽出処理を行わない。また、カメラ本体１５００は、撮像素子駆動部１１４を有さないため、図６のＳ９０９でのフォーカスレンズ５０３および第２の撮像素子１０２の駆動を、Ｓ１６０１でのフォーカスレンズ５０３の駆動としている。その他の処理は、実施例１と同様である。

図１９のフローチャートは、本実施例におけるＢＰ量算出処理を示す。実施例１（図１１）のステップと同じステップについては実施例１と同符号を付している。実施例１ではビームスプリッタ（ハーフミラー）１０３の反射側と透過側とで分光状態が異なるために、Ｓ９０６６においてカメラＣＰＵ１０４はハーフミラー１５０２の分光透過率に基づく分光分布の情報を取得する。

一方、本実施例では、ファインダ撮像モードにおいてハーフミラー１５０２を透過した光束の分光状態（第１の分光状態）と、ライブビュー撮像モードにおいて退避したハーフミラー１５０２を透過していない光束の分光状態（第２の分光状態）とが異なる。このため、Ｓ１８０１では、カメラＣＰＵ１０４は、ハーフミラー１５０２を透過した光束の分光分布に関する情報（第１の分光分布情報：以下、透過分光分布情報という）を取得し、これを用いてＢＰ補正量（第１の焦点調節補正量）を算出する。具体的には、カメラＣＰＵ１０４は、ファインダ撮像モードにおいて、ハーフミラーを透過した光束の焦点検出時の分光状態とハーフミラーが退避した撮像時の分光状態との組み合わせに応じてＢＰ補正量を算出する。

Ｓ９０６７では、カメラＣＰＵ１０４は、Ｓ１８０１で取得した透過分光分布情報を用いて、焦点検出信号を想定した場合の焦点位置を算出する。

そしてＳ９０６８では、カメラＣＰＵ１０４は、ハーフミラー１５０２を退避させたときの分光状態にはハーフミラー１５０２による変化が生じないため、透過分光分布情報を用いずに、撮像信号を想定した場合の焦点位置を算出する。

これに対して、ライブビュー撮像モードでは、カメラＣＰＵ１０４は、ハーフミラー１５０２が退避した焦点検出時の分光状態と撮像時の分光状態との組み合わせに応じてＢＰ補正量を算出する。ライブビュー撮像モードでは、ＡＦおよび撮像のそれぞれをハーフミラー１５０２が退避した分光状態で行う。このため、Ｓ９０６７およびＳ９０６８においてカメラＣＰＵ１０４は、透過分光分布情報を用いずに（言い換えれば、透過分光分布情報とは異なる第２の分光分布情報を用いて）、焦点検出信号を想定した場合の焦点位置および撮像信号を想定した焦点位置を算出する。上記以外の処理は、実施例１と共通である。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１００ カメラ本体
１０１ 第１の撮像素子
１０２ 第２の撮像素子
１０４ カメラＣＰＵ
５００ 撮像レンズ
５０３ フォーカスレンズ（第３レンズ群）
５０７ レンズＣＰＵ

Claims (9)

1. 撮像光学系からの光束により形成される被写体像を撮像する撮像素子と、
   前記撮像素子に対して、第１の分光状態の光束と前記第１の分光状態とは異なる第２の分光状態の光束とを入射させることが可能な光学素子と、
   前記撮像素子からの信号を用いて位相差検出方式の焦点検出を行い、該焦点検出の結果を用いて焦点調節制御を行う制御手段とを有し、
   前記制御手段は、
   前記焦点検出の結果と、前記第１の分光状態での前記光束の分光分布に関する第１の分光分布情報と、前記第２の分光状態での前記光束の分光分布に関する第２の分光分布情報とを用いて前記焦点調節制御を行うことを特徴とする撮像装置。
2. 前記第１の分光分布情報および前記第２の分光分布情報はそれぞれ、前記光学素子に対する撮像光学系からの光束の入射角度に応じた情報であることを特徴とする請求項１に記載の撮像装置。
3. 前記第１の分光分布情報および前記第２の分光分布情報はそれぞれ、焦点検出時における前記の分光分布に関する情報と撮像時における前記分光分布に関する情報とを含むことを特徴とする請求項１または２に記載の撮像装置。
4. 前記制御手段は、
   前記第１の分光分布情報を用いて第１の焦点調節補正量を取得するとともに、前記第２の分光分布情報を用いて第２の焦点調節補正量を取得し、
   前記焦点検出の結果と、前記第１の焦点調節補正量と、前記第２の焦点調節補正量とを用いて前記焦点調節制御を行うことを特徴とする請求項１から３のいずれか一項に記載の撮像装置。
5. 前記光学素子は、前記撮像光学系からの光束を前記第１の分光状態にある第１の光束と前記第２の分光状態にある第２の光束に分割し、
   前記撮像素子として、前記第１の光束により形成される被写体像を撮像する第１の撮像素子と、前記第２の光束により形成される被写体像を撮像する第２の撮像素子とを有し、
   前記第１および第２の撮像素子のうち少なくとも一方からの信号を用いた前記焦点検出の結果と、前記第１の分光分布情報と、前記第２の分光分布情報とを用いて、前記第１および第２の撮像素子に対する合焦状態を得るための前記焦点調節制御を行うことを特徴とする請求項１から４のいずれか一項に記載の撮像装置。
6. 前記制御手段は、前記撮像光学系に含まれるフォーカス素子を移動させて前記第１の撮像素子に対する合焦状態を得るための前記焦点調節制御を行い、前記第２の撮像素子を移動させて該第２の撮像素子に対する合焦状態を得るための前記焦点調節制御を行うことを特徴とする請求項５に記載の撮像装置。
7. 前記光学素子は、前記撮像光学系からの光路内と光路外に配置することが可能であり、前記光路内に配置されたときに前記第１の分光状態の光束を前記撮像素子に入射させ、前記光路外に配置されたときに前記第２の分光状態の光束を前記撮像素子に入射させることを特徴とする請求項１から４のいずれか一項に記載の撮像装置。
8. 撮像光学系からの光束により形成される被写体像を撮像する撮像素子と、前記撮像素子に対して、第１の分光状態の光束と前記第１の分光状態とは異なる第２の分光状態の光束とを入射させることが可能な光学素子とを有し、前記撮像素子からの信号を用いて位相差検出方式の焦点検出を行い、該焦点検出の結果を用いて焦点調節制御を行う撮像装置の焦点調節制御方法であって、
   前記第１の分光状態での前記光束の分光分布に関する第１の分光分布情報を取得するステップと、
   前記第２の分光状態での前記光束の分光分布に関する第２の分光分布情報を取得するステップと、
   前記焦点検出の結果と、前記第１の分光分布情報と、前記第２の分光分布情報とを用いて前記焦点調節制御を行うステップとを有することを特徴とする焦点調節制御方法。
9. 撮像装置のコンピュータに、請求項８に記載の焦点調節制御方法に対応する処理を実行させるコンピュータプログラムであることを特徴とする焦点調節制御プログラム。