(第1の実施の形態)
図1は、本発明の第1の実施の形態に係るカメラシステムの構成を模式的に示す断面図である。なお図1では、本発明に特に関係する各部を中心に図示し、カメラシステム1を構成する他の各部については図示を省略している。以下、本発明に特に関係する各部を中心に説明し、他の各部については説明を省略する。
カメラシステム1は、いわゆる一眼レフレックス方式のデジタルカメラである。カメラシステム1は、交換レンズ100とカメラボディ200とから構成される。ユーザは、カメラボディ200に適合する(カメラボディ200に装着可能な)複数の種類の交換レンズ100からいずれか1つを選択してカメラボディ200に装着し、撮影を行うことができる。図1には、複数の種類の交換レンズ100のうちの一つを例示している。
カメラボディ200と交換レンズ100とは、例えばバヨネット式のレンズマウント機構を有している。交換レンズ100のカメラボディ200への装着は、交換レンズ100のマウント部をカメラボディ200のマウント部に嵌め込むことにより行われる。
交換レンズ100は、結像光学系110と、レンズCPU120と、絞り130とを備える。結像光学系110は、レンズ111およびフォーカシングレンズ112から構成される。結像光学系110は、後述する撮像素子210の撮像面に被写体像を結像させる。結像光学系110の射出瞳位置は、交換レンズ100の種類により異なる。
カメラボディ200は、撮像素子210と、ボディCPU220と、焦点調節部230と、ROM240と、表示装置250とを備える。撮像素子210は、例えばCCDやCMOS等の撮像素子である。撮像素子210は、結像光学系110を通過した被写体光を受光して、撮像信号や焦点検出信号を出力する。ボディCPU220は、不図示のマイクロプロセッサおよびその周辺回路から構成される。ボディCPU220は、不揮発性の記憶媒体であるROM240に予め記憶されている制御プログラムを読み込んで実行することにより、カメラボディ200の各部の制御と、交換レンズ100とのデータ通信を行う。焦点調節部230は、不図示のアクチュエータを備え、ボディCPU220の制御に基づいてフォーカシングレンズ112を光軸方向に駆動することにより、結像光学系110の焦点調節を行う。表示装置250は、例えば液晶ディスプレイ等の表示装置であり、ライブビュー画像や種々の設定画面等を表示する。
ボディCPU220はソフトウェア形態により、第1焦点検出部221と第2焦点検出部222とを備える。これらの各部は、ボディCPU220がROM240に格納されている所定の制御プログラムを実行することにより、ソフトウェア的に実現される。
第1焦点検出部221は、後述する撮像兼焦点検出画素から出力された焦点検出信号に基づき、結像光学系110の焦点調節状態を検出する。第2焦点検出部222は、後述する焦点検出画素から出力された焦点検出信号に基づき、結像光学系110の焦点調節状態を検出する。
(撮像素子210の説明)
図2(a)は、撮像素子210の撮像面20を模式的に示す平面図である。なお、図2(a)では、説明の便宜上、撮像面20の上下の辺に平行な方向(紙面左右方向)をX軸、撮像面20の左右の辺に平行な方向(紙面上下方向)をY軸、撮像面20の前後方向すなわち結像光学系110の光軸方向をZ軸とする座標系を設定する。これ以降の図面についても、これと同一の座標系を設定する。
図2(a)には、撮像面20に重畳して、撮像面20を左右方向(X軸方向)に二等分する垂直線OXと、撮像面20を上下方向(Y軸方向)に二等分する水平線OYとを図示している。垂直線OXと水平線OYとの交点は、結像光学系110の光軸と略一致する。図2(a)に図示した撮像面20の全体のうち、撮像面20の中央近傍(垂直線OXと水平線OYとの交点近傍)の領域20aを拡大した模式図を図2(b)に示す。
図2(b)に示すように、撮像面20には、多数の画素30が二次元状に正方配列されている。画素30には、撮像と焦点検出の両方に利用される撮像兼焦点検出画素301と、焦点検出にのみ利用される焦点検出画素302と、の2種類の画素が含まれるが、図2(b)では両者を特に区別せずに図示している。以下、まず撮像兼焦点検出画素301について、特に撮像面20の中央(垂直線OXと水平線OYとの交点)に位置する撮像兼焦点検出画素301aに注目して説明する。
図3(a)は、図2(b)に図示した画素30のうち、撮像面20の中央(垂直線OXと水平線OYとの交点)に位置する撮像兼焦点検出画素301aを拡大した平面図であり、図3(b)はその撮像兼焦点検出画素301aの断面図である。撮像兼焦点検出画素301aは、マイクロレンズ31と、カラーフィルタ32と、一対の光電変換部34L、34Rとを有する。一対の光電変換部34L、34Rは、円をY軸方向に沿って分割した略半円の形状を有している。すなわち一対の光電変換部34L、34Rは、X軸方向(焦点検出方向)に沿って配列されている。一対の光電変換部34L、34RのX軸方向の幅は、最大でW1である。
マイクロレンズ31は、撮像兼焦点検出画素301aへの入射光を一対の光電変換部34L、34Rに集光する。この入射光は、カラーフィルタ32を介して一対の光電変換部34L、34Rに入射する。カラーフィルタ32は、画素ごとに赤、青、緑のいずれかの光を透過し、他の光を透過しないように形成される。撮像兼焦点検出画素301aのカラーフィルタ32は、いわゆるベイヤ配列を成すように構成される。カラーフィルタ32と一対の光電変換部34L、34Rとの間には配線層33が設けられている。配線層33は、一対の光電変換部34L、34Rへの入射光を遮らないよう、画素と画素との間の部分に配置される。
図3(b)に図示した破線41は、マイクロレンズ31の光軸を表している(以下、光軸41と呼ぶ)。また、図3(b)に図示した破線42は、光電変換部34Lと光電変換部34Rとの分割位置中央を表している(以下、分割線42と呼ぶ)。光電変換部34Lと光電変換部34Rは、分割線42に対して対称な形状を有すると共に、分割線42に対して対称に配置される。
一対の光電変換部34L、34Rは、例えばフォトダイオード等であり、入射光を光電変換した光電変換信号を出力する。撮像兼焦点検出画素301aは、光電変換部34Lにより出力された光電変換信号と、光電変換部34Rにより出力された光電変換信号とを個別に出力する。これら一対の光電変換信号を加算した信号は、一対の光電変換部34L、34Rの外形と略一致する単一の光電変換部が出力する撮像信号と略同一の信号である。つまり撮像兼焦点検出画素301aは、撮像信号を出力することができる。
一方、光電変換部34Lにより出力された光電変換信号と、光電変換部34Rにより出力された光電変換信号は、結像光学系110の射出瞳の一対の領域を通過した一対の光束に対応する。従って、X軸方向(所定の焦点検出方向であり、第1方向とも称する)に沿って一列に配列された多数の撮像兼焦点検出画素301aの光電変換部34Rが出力した光電変換信号から成る信号と、それら多数の撮像兼焦点検出画素301aの光電変換部34Lが出力した光電変換信号から成る信号と、の位相差を検出することで、結像光学系110の焦点評価値(デフォーカス量)を演算することができる。つまり、撮像兼焦点検出画素301aは、周知の位相差方式の焦点検出演算を行うことが可能な焦点検出信号を出力することもできる。
以上のように、撮像兼焦点検出画素301aが有する一対の光電変換部34L、34Rは、撮像信号としても、瞳分割方式の焦点検出信号としても利用される光電変換信号を出力する。なお、一対の光電変換信号を加算して撮像信号とする工程や、一対の光電変換信号を焦点検出信号とする工程は、撮像兼焦点検出画素301aが実行してもよいし、撮像素子210内に設けられた専用の回路が実行してもよいし、撮像素子210の外部に設けられた専用の回路が実行してもよいし、ボディCPU220が実行してもよい。
次に、撮像兼焦点検出画素301aよりも、紙面右方向(+X方向)に4画素分だけ離れた別の撮像兼焦点検出画素301b(図2(b)参照)に注目して説明する。図3(c)は、撮像兼焦点検出画素301bの断面図である。撮像兼焦点検出画素301bも撮像兼焦点検出画素301aと同様に、マイクロレンズ31と、カラーフィルタ32と、一対の光電変換部34L、34Rとを有する。ただし、図3(b)と図3(c)とを比較して明らかなとおり、撮像兼焦点検出画素301aは、マイクロレンズ31の光軸41の位置と、一対の光電変換部34L、34Rの分割位置中央を表す分割線42の位置がX軸方向について略一致しているのに対し、撮像兼焦点検出画素301bは、光軸41と分割線42とがX軸方向について距離40だけ離れている。
このように、撮像面20の中央から離れた位置にある撮像兼焦点検出画素301bにおいては、マイクロレンズ31の光軸41の位置と、一対の光電変換部34L、34Rの分割線42とが離れており、その距離40は、撮像面20の中央からの距離が大きいほど大きくなる。結像光学系110を通過した光束は、図3(c)の紙面左上方向から紙面右下方向に向かって撮像兼焦点検出画素301bに入射することになるので、集光性を高めるため、マイクロレンズ31が入射光の角度に応じた距離40だけずらして配置される。なお、図3(b)、(c)ではX軸方向のずれについてのみ説明したが、Y軸方向についても同様に、マイクロレンズ31の位置と一対の光電変換部34L、34Rの位置とが異なるように配置される。
次に、焦点検出画素302について説明する。撮像素子210は、上述した撮像兼焦点検出画素とは別に、第1焦点検出画素302NL、302NR、第2焦点検出画素302SL、302SR、第3焦点検出画素302LL、302LR、第4焦点検出画素302SNL、302SNR、第5焦点検出画素302LNL、302LNR、という多種類の焦点検出画素を有している。これらの焦点検出画素が配置されている場所については後に詳述するものとし、以下では、まずこれらの焦点検出画素の構造について説明する。
図4(a)は、第1焦点検出画素302NRの断面図である。第1焦点検出画素302NRは、マイクロレンズ31と、光電変換部34と、遮光部材35とを有する。前述の撮像兼焦点検出画素301bと第1焦点検出画素302NRとの差は、カラーフィルタ32を有していないこと、一対の光電変換部34L、34Rの代わりに、分割されていない1つの光電変換部34を有していること、および、遮光部材35を有していることである。
遮光部材35は、入射光を遮光する薄膜(遮光膜)である。遮光部材35の所定位置(第1位置と称する)には、開口部36NRが設けられている。光電変換部34には、開口部36NRを通過した光束のみが入射し、他の光束は遮光部材35により遮光されて光電変換部34に入射しない。開口部36NRのX軸方向(焦点検出方向)の幅はW2であり、これは図3に図示した光電変換部34Lや光電変換部34RのX軸方向の幅W1よりも小さい。
図4(b)は、第1焦点検出画素302NLの断面図である。第1焦点検出画素302NLは第1焦点検出画素302NRとほぼ同一の構成を有しており、遮光部材35に開口部36NRの代わりに開口部36NLを設けている点が、第1焦点検出画素302NRとの差異である。開口部36NLは、開口部36NRと同一の大きさ且つ同一の形状を有しているが、遮光部材35上の位置が開口部36NRと異なる。
開口部36NR、36NLは、一点鎖線44Nを中心として、その左右に位置している。つまり、一点鎖線44Nは、開口部36NR、36NLの分割中心を定める直線である。以下の説明では、一点鎖線44Nを分割線44Nと呼ぶ。第1焦点検出画素302NRは、分割線44Nの右側に形成された被写体の光像に対応する受光信号を出力し、第1焦点検出画素302NLは、分割線44Nの左側に形成された被写体の光像に対応する受光信号を出力する。換言すると、第1焦点検出画素302NR、302NLは、瞳分割された一対の光束をそれぞれ受光して、一対の焦点検出信号を出力する。
焦点検出方向(X軸方向)における開口部36NR、36NLの幅は、図3(a)~(c)で説明した光電変換部34R、34Lの焦点検出方向(X軸方向)における幅よりも小さい。つまり、第1焦点検出画素302NR、302NLの光電変換部34には、撮像兼焦点検出画素301の光電変換部34R、34Lよりも制限された光束が入射する。従って、特にデフォーカス量が大きい場合、すなわち焦点調節の対象とする被写体部分からピントが大きく外れている場合、第1焦点検出画素302NR、302NLから出力される焦点検出信号は、撮像兼焦点検出画素301から出力される焦点検出信号に比べて、コントラストが強くなる。そのため、撮像兼焦点検出画素301から出力される焦点検出信号では位相差が検出しにくいような場合であっても、第1焦点検出画素302NR、302NLから出力される焦点検出信号により位相差の検出を行うことが可能である。
なお、以下の説明において、開口部36NR、36NLの焦点検出方向における幅が光電変換部34R、34Lの焦点検出方向(X軸方向)における幅よりも小さいことを指して、「光電変換部34の焦点検出方向(X軸方向)における幅は、光電変換部34R、34Lの焦点検出方向(X軸方向)における幅よりも小さい」と言うことがある。つまり、「光電変換部34の焦点検出方向(X軸方向)における幅」とは、光電変換部34の実際の幅ではなく、光電変換部34に対する入射光の入射範囲の幅を指しているので、「光電変換部34の焦点検出方向(X軸方向)における幅が、光電変換部34R、34Lの焦点検出方向(X軸方向)における幅よりも小さい」とは、光電変換部34を実際に小さな幅になるように形成した場合や、光電変換部34に入射する光の入射範囲が小さな幅になるように遮光部材35等を設けた場合を含んでいる。
分割線44Nは、光電変換部34を紙面左右方向(X軸方向)に二等分する分割線42と略一致する。図4(a)、(b)には、結像光学系110の射出瞳の主光線のうち、マイクロレンズ31の頂点を通る主光線43Nを図示している。主光線43Nは、マイクロレンズ31の光軸41に対して角度θNを成す。分割線44Nの位置は、第1焦点検出画素302NR、302NLが想定する主光線43Nの位置に対応している。
図5(a)は、第2焦点検出画素302SRの断面図であり、図5(b)は、第2焦点検出画素302SLの断面図である。第2焦点検出画素302SR、302SLは、それぞれ図4(a)、(b)に示した第1焦点検出画素302NR、302NLとほぼ同一の構成を有しており、遮光部材35に開口部36NR、36NLの代わりに開口部36SR、36SLを設けている点が、第1焦点検出画素302NR、302NLとの差異である。
開口部36SR、36SLは、それぞれ開口部36NR、36NLと、略同一の大きさ、略同一の形状を有する。開口部36SR、36SLは、二点鎖線44Sを中心として、その左右に位置している。つまり、二点鎖線44Sは、開口部36SR、36SLの分割中心を定める直線である。以下の説明では、二点鎖線44Sを分割線44Sと呼ぶ。
分割線44Sは、図4(a)、(b)に示した分割線44Nよりも相対的に右側に位置している。従って、分割線44Sは、光電変換部34を紙面左右方向(X軸方向)に二等分する分割線42から右方向に所定距離だけ離れた位置に存在する。
図5(a)、(b)には、結像光学系110の射出瞳の主光線のうち、マイクロレンズ31の頂上を通る主光線43Sを図示している。主光線43Sは、マイクロレンズ31の光軸41に対して角度θSを成す。角度θSは、図4(a)、(b)に図示した角度θNよりも大きい。つまり、結像光学系110の射出瞳が相対的に近い位置にあり、第1焦点検出画素302NR、302NLの開口部36NR、36NLに被写体光が入射しない場合であっても、開口部36SR、36SLには被写体光が入射する。分割線44Sの位置は、第2焦点検出画素302SR、302SLが想定する主光線43Sの位置に対応している。このように、開口部36NRが第1位置に配置されているのに対し、開口部36SRは、第1位置とは異なる第2位置に配置されている。
図6(a)は、第3焦点検出画素302LRの断面図であり、図6(b)は、第3焦点検出画素302LLの断面図である。第3焦点検出画素302LR、302LLは、それぞれ図4(a)、(b)に示した第1焦点検出画素302NR、302NLとほぼ同一の構成を有しており、遮光部材35に開口部36NR、36NLの代わりに開口部36LR、36LLを設けている点が、第1焦点検出画素302NR、302NLとの差異である。
開口部36LR、36LLは、それぞれ開口部36NR、36NLと、略同一の大きさ、略同一の形状を有する。開口部36LR、36LLは、二点鎖線44Lを中心として、その左右に位置している。つまり、二点鎖線44Lは、開口部36LR、36LLの分割中心を定める直線である。以下の説明では、二点鎖線44Lを分割線44Lと呼ぶ。
分割線44Lは、図4(a)、(b)に示した分割線44Nよりも相対的に左側に位置している。従って、分割線44Lは、光電変換部34を紙面左右方向(X軸方向)に二等分する分割線42から左方向に所定距離だけ離れた位置に存在する。
図6(a)、(b)には、結像光学系110の射出瞳の主光線のうち、マイクロレンズ31の頂点を通る主光線43Sを図示している。主光線43Lは、マイクロレンズ31の光軸41に対して角度θLを成す。角度θLは、図4(a)、(b)に図示した角度θNよりも小さい。つまり、結像光学系110の射出瞳が相対的に遠い位置にあり、第1焦点検出画素302NR、302NLの開口部36NR、36NLに被写体光が入射しない場合であっても、開口部36LR、36LLには被写体光が入射する。分割線44Lの位置は、第3焦点検出画素302LR、302LLが想定する主光線43Lの位置に対応している。
焦点検出画素には更に、第4焦点検出画素302SNL、302SNR(共に不図示)と、第5焦点検出画素302LNL、302LNR(共に不図示)とが存在する。第4焦点検出画素302SNL、302SNRは、それぞれ第1焦点検出画素302NL、302NRに対応し、遮光部材35に設けられた開口部の分割中心が、第1焦点検出画素302NL、302NRにおける分割線44Nと、第3焦点検出画素302LL、302LRにおける分割線44Lとの間に存在する。つまり、結像光学系110の射出瞳が、第1焦点検出画素302NL、302NRが想定している位置よりも遠く、且つ第3焦点検出画素302LL、302LRが想定している位置よりも近い位置にある場合に、焦点検出信号を好適に出力することができる。第5焦点検出画素302LNL、302LNRは、それぞれ第1焦点検出画素302NL、302NRに対応し、遮光部材35に設けられた開口部の分割中心が、第1焦点検出画素302NL、302NRにおける分割線44Nと、第2焦点検出画素302SL、302SRにおける分割線44Sとの間に存在する。つまり、結像光学系110の射出瞳が、第1焦点検出画素302NL、302NRが想定している位置よりも近く、且つ第2焦点検出画素302SL、302SRが想定している位置よりも遠い位置にある場合に、焦点検出信号を好適に出力することができる。
以上のように、撮像素子210は、5種類の焦点検出画素(第1焦点検出画素302NL、302NR、第2焦点検出画素302SL、302SR、第3焦点検出画素302LL、302LR、第4焦点検出画素302SNL、302SNR、第5焦点検出画素302LNL、302LNR)を有しており、それら5種類の焦点検出画素は、想定する射出瞳位置がそれぞれ異なっている。つまり、それぞれ異なる結像光学系110に対応している。射出瞳の位置は、例えば交換レンズ100を異なる種類のものに交換したり、焦点距離が可変ないわゆるズームレンズにおいてズーム位置を変化させたりした場合に変化するが、本実施形態のカメラシステム1であれば、射出瞳がどのような位置にあっても、いずれかの焦点検出画素から確実に焦点検出信号を得ることができる。
次に、以上で説明した多種類の焦点検出画素の配置について説明する。図7は、撮像素子210の撮像面20(つまり撮影画面)を模式的に示す平面図である。いま、撮像面20を左右方向に5等分した5つの領域を考える。個々の領域は、それぞれ長辺が垂直線OXに平行な長方形の外形を有する。それら5つの領域のうち、撮像面20の中心を含む領域を第1領域60aと定義する。また、第1領域60aに隣接する2つの領域を第2領域60bと定義する。更に、撮像面20の左右端に隣接する残り2つの領域を第3領域60cと定義する。本実施形態では、焦点検出画素を左右方向(X軸方向)に一列に配列した焦点検出画素列61を、第1領域60a、第2領域60b、第3領域60c内に複数設けている。
第2領域60bは、第1領域60aよりも、結像光学系110の光軸からの紙面左右方向(X軸方向)に沿った距離が長い。すなわち、第2領域60bは、第1領域60aよりも、像高が高い領域である。第3領域60cは、第1領域60aおよび第2領域60bよりも、結像光学系110の光軸からの紙面左右方向(X軸方向)に沿った距離が長い。すなわち、第3領域60cは、第1領域60aおよび第2領域60bよりも、像高が高い領域である。
第1領域60a内の一部を拡大した図を図8に示す。なお、図8において、「R」、「G」、「B」という文字は、それぞれ赤、緑、青のカラーフィルタ32を有する撮像兼焦点検出画素301を表し、「NL」、「NR」という文字は、それぞれ第1焦点検出画素302NL、302NRを表す。
図8に示すように、第1領域60a内の焦点検出画素列61Nには、第1焦点検出画素302NL、302NRが、左右方向(X軸方向)に沿って、一定間隔dごとに交互に配列されている。例えば、左から右に向かって、第1焦点検出画素302NL、複数の撮像兼焦点検出画素301a、第1焦点検出画素302NR、複数の撮像兼焦点検出画素301a、第1焦点検出画素302NL、…のように画素30が配列される。つまり、第1領域60a内において、撮像兼焦点検出画素301の一部が、第1焦点検出画素302NL、302NRに置き換えられている。
図7に示すように、第2領域60bには、焦点検出画素列61が、第1領域60aよりも多く設けられている。第2領域60b内の一部を拡大した図を図9に示す。なお図9では、第2焦点検出画素302SL、302SR、第3焦点検出画素302LL、302LRを、それぞれ「SL」、「SR」、「LL」、「LR」という文字で表現している。第2領域60b内には、焦点検出画素列61Nと、焦点検出画素列61Sと、焦点検出画素列61Lと、の3種類の焦点検出画素列61が、それぞれ複数設けられている。
焦点検出画素列61Nには、第1焦点検出画素302NL、302NRが、左右方向(X軸方向)に沿って一定間隔dごとに交互に配列されている。焦点検出画素列61Sには、第2焦点検出画素302SL、302SRが、左右方向(X軸方向)に沿って一定間隔dごとに交互に配列されている。焦点検出画素列61Lには、第3焦点検出画素302LL、302LRが、左右方向(X軸方向)に沿って一定間隔dごとに交互に配列されている。つまり、第2領域60b内において、撮像兼焦点検出画素301の一部が、第1焦点検出画素302NL、302NR、第2焦点検出画素302SL、302SR、第3焦点検出画素302LL、302LRに置き換えられている。
図7に示すように、第3領域60cには、焦点検出画素列61が、第2領域60bよりも更に多く設けられている。第3領域60c内の一部を拡大した図を図10に示す。なお図10では、第4焦点検出画素302SNL、302SNR、第5焦点検出画素302LNL、302LNRを、それぞれ「SNL」、「SNR」、「LNL」、「LNR」という文字で表現している。第3領域60c内には、焦点検出画素列61Nと、焦点検出画素列61Sと、焦点検出画素列61Lと、焦点検出画素列61SNと、焦点検出画素列61LNと、の計5種類の焦点検出画素列61が、それぞれ複数設けられている。
焦点検出画素列61SNには、第4焦点検出画素302SNL、302SNRが、左右方向(X軸方向)に沿って一定間隔dごとに交互に配列されている。焦点検出画素列61LNには、第5焦点検出画素302LNL、302LNRが、左右方向(X軸方向)に沿って一定間隔dごとに交互に配列されている。つまり、第3領域60c内において、撮像兼焦点検出画素301の一部が、第1焦点検出画素302NL、302NR、第2焦点検出画素302SL、302SR、第3焦点検出画素302LL、302LR、第4焦点検出画素302SNL、302SNR、第5焦点検出画素302LNL、302LNRに置き換えられている。
次に、第1焦点検出部221および第2焦点検出部222による焦点検出処理について説明する。焦点検出処理の開始時点で、撮影画面には予め1つの焦点検出エリアが設定されている。焦点検出エリアは、例えばユーザが不図示のボタン等の操作部材により手動で設定してもよいし、顔認識等の周知の主要被写体認識処理によってボディCPU220が自動的に設定してもよい。
焦点検出処理において、まず第2焦点検出部222が、焦点検出エリアにおいて、焦点検出画素302から出力される焦点検出信号に基づく焦点検出演算を行う。この焦点検出演算は、第1焦点検出部221が行う焦点検出演算に比べて、大デフォーカス、すなわちピントが大きく外れている状態の検出に適している(詳細は後述する)。そこで、以下の説明では、第2焦点検出部222が行う焦点検出演算を、大デフォーカス用の焦点検出演算と称する。
第2焦点検出部222によって所定量以上のデフォーカス量が検出された場合、すなわち大デフォーカスが検出された場合、焦点調節部230は、その検出結果に基づきフォーカシングレンズ112を駆動する。他方、所定量未満のデフォーカス量が検出された場合、すなわち結像光学系110のピントがある程度合っている場合には、第1焦点検出部221が、焦点検出エリアにおいて、撮像兼焦点検出画素301から出力される焦点検出信号に基づく焦点検出演算を行う。そして、焦点調節部230は、その検出結果に基づきフォーカシングレンズ112を駆動する。ここで第1焦点検出部221が行う焦点検出演算は、第2焦点検出部222が行う焦点検出演算に比べて、大デフォーカスでないときの焦点検出に適している(詳細は後述する)。そこで、以下の説明では、第1焦点検出部221が行う焦点検出演算を、小デフォーカス用の焦点検出演算と称する。
以下、第2焦点検出部222が行う、大デフォーカス用の焦点検出演算について説明する。第2焦点検出部222は、まず焦点検出エリア近傍から結像光学系110の射出瞳の位置に応じた焦点検出画素列61を選択する。例えば焦点検出エリアが撮影画面の中央近傍で、その近傍に焦点検出画素列61Nのみがある場合は、必然的にその焦点検出画素列61Nが選択される。
一方、焦点検出エリアが撮影画面の中央から離れた位置にあり、その近傍に焦点検出画素列61L、61N、61Sの3つが存在する場合には、結像光学系110の射出瞳の位置に応じてその中から1つの焦点検出画素列61を1つ選択する。具体的には、結像光学系110の射出瞳が相対的に遠い位置にある(所定距離以上遠い位置にある)場合には、焦点検出画素列61Lを選択する。逆に、結像光学系110の射出瞳が相対的に近い位置にある(所定距離以内の近い位置にある)場合には、焦点検出画素列61Sを選択する。どちらでもない(中間的な位置にある)場合には、焦点検出画素列61Nを選択する。
次に第2焦点検出部222は、選択した焦点検出画素列61内の焦点検出画素から焦点検出信号を取得する。例えば焦点検出画素列61Nが選択されたとすると、その焦点検出画素列61N内には、第1焦点検出画素302NL、302NRが一列に配列されている。第2焦点検出部222は、多数の第1焦点検出画素302NLの出力(光電変換部34の受光出力)を並べた出力信号と、多数の第1焦点検出画素302NRの出力(光電変換部34の受光出力)を並べた出力信号と、の一対の信号を、一対の焦点検出信号とする。そして、相関演算を行ってこの一対の焦点検出信号の位相差を算出し、デフォーカス量を演算する。このような演算は周知であるので説明を省略する。
第2焦点検出部222が行う焦点検出演算が、大デフォーカス時の焦点検出に適しているのは、焦点検出画素302の光電変換部34が、遮光部材35によって一部を除き遮光されていることによる。撮像兼焦点検出画素301から得られる焦点検出信号は、結像光学系110のピントが大きく外れている場合(すなわちデフォーカス量が非常に大きい場合)には、コントラストが明確でない、なだらかな信号となる。このような信号は相関演算により位相差を正確に検出することが困難である。
これに対して、焦点検出画素302の光電変換部34は、遮光部材35によって入射光が制限されており、結像光学系110を通過した光束が入射する範囲の焦点検出方向(X軸方向)における幅は、撮像兼焦点検出画素301が有する光電変換部34L、34Rの同方向における幅よりも小さい。
一般に、結像光学系110の絞り130を小絞りにした場合には、被写界深度が深くなり、ぼけ量の小さい被写体像が得られるが、焦点検出画素302もそれと同様の効果が得られる。つまり、結像光学系110のピントが大きく外れている場合(すなわちデフォーカス量が非常に大きい場合)であっても、焦点検出画素302から得られる焦点検出信号は、撮像兼焦点検出画素301から得られる焦点検出信号に比べて、コントラストの高い(より急峻な、本来の被写体像をより正確に表す)信号となる。このような信号であれば、撮像兼焦点検出画素301から得られる焦点検出信号に比べて、相関演算による位相差検出を行いやすい。従って、ピントが大きく外れている場合であっても、撮像兼焦点検出画素301に比べて正確な焦点検出演算を行うことができる。
以上のように、第2焦点検出部222は、結像光学系110の射出瞳の位置に応じて適切な焦点検出画素列61を選択するので、射出瞳からの光束が蹴られてしまい焦点検出に支障を来すことがなくなる。なお、第1領域60aでは、結像光学系110の射出瞳が遠い場合であっても、第2領域60bや第3領域60cに比べて、X軸方向における射出瞳からの光束の入射角はそれほど大きくならないので、焦点検出画素列61Nであっても射出瞳からの光束は蹴られることがなく、焦点検出画素列61Nだけで十分に対応可能である。従って、第1領域60aには、焦点検出画素列61Nのみを配置している。第2領域60bに配置されている焦点検出画素の種類が第3領域60cより少ないのも同様の理由による。
次に、第1焦点検出部221が行う、小デフォーカス用の焦点検出演算について説明する。第1焦点検出部221は、まず焦点検出エリア近傍の撮像兼焦点検出画素301から焦点検出信号を取得する。例えば、焦点検出エリア近傍に横一列に並んだ多数の撮像兼焦点検出画素301を選択する。そして、選択したそれらの撮像兼焦点検出画素301の光電変換部34Lの受光出力を並べた出力信号と、それらの撮像兼焦点検出画素301の光電変換部34Rの受光出力を並べた出力信号と、の一対の信号を、一対の焦点検出信号とする。第1焦点検出部221は、相関演算を行ってこの一対の焦点検出信号の位相差を算出し、デフォーカス量を演算する。このような演算は周知であるので説明を省略する。
撮像兼焦点検出画素301の光電変換部34L、34Rは、焦点検出画素302の光電変換部34のように、入射光の光量が制限されていない。従って、光電変換される光量は、焦点検出画素302に比べて大きくなる。すなわち、焦点検出信号の信号量は焦点検出画素302に比べて大きくなる。従って、デフォーカス量がある程度小さい場合には、第2焦点検出部222が焦点検出演算により得られるデフォーカス量は、第1焦点検出部221が焦点検出演算により得られるデフォーカス量と比べて精度がよい。従って、本実施形態では、小デフォーカス時には、第1焦点検出部221による焦点検出の結果に基づき焦点調節を行っている。
図11は、ボディCPU220が実行する制御処理のフローチャートである。ボディCPU220は、カメラボディ200が電源オンされると、ROM240からこの制御処理を含む制御プログラムを読み込んで実行を開始する。
まずステップS10で、ボディCPU220は、撮像素子210の周期動作、すなわち、ライブビュー画像を作成するための所定時間(例えば60分の1秒)ごとの撮像信号の読み出しを開始する。ステップS20でボディCPU220は、所定の自動焦点調節操作(例えばレリーズスイッチの半押し操作)が為されたか否かを判定する。自動焦点調節操作が為されていなかった場合、ボディCPU220は、処理をステップS30に進める。
ステップS30でボディCPU220は、撮像素子210の撮像兼焦点検出画素から、ライブビュー画像を作成するための撮像信号を読み出す。ここで読み出される撮像信号は、ライブビュー画像を作成するための信号であり、すべての撮像兼焦点検出画素から信号を読み出す必要はない。例えば3画素おきに読み出す間引き読み出しを行う。ステップS40でボディCPU220は、表示装置250に表示されているライブビュー画像を更新する。つまり、ステップS30で読み出した撮像信号により、ライブビュー画像を作成して表示装置250に表示する。その後、ボディCPU220は処理をステップS20に進める。
他方、ステップS20において、自動焦点調節操作が為されていない場合、ボディCPU220は処理をステップS50に進める。ステップS50でボディCPU220は、後述する自動焦点調節(AF)処理を実行する。ステップS60でボディCPU220は、所定のレリーズ操作(例えばレリーズスイッチの全押し操作)が為されたか否かを判定する。レリーズ操作が為されていなかった場合、ボディCPU220は、処理をステップS70に進める。
ステップS70でボディCPU220は、撮像素子210の撮像兼焦点検出画素から、ライブビュー画像を作成するための撮像信号を読み出す。ステップS80でボディCPU220は、表示装置250に表示されているライブビュー画像を更新する。つまり、ステップS70で読み出した撮像信号により、ライブビュー画像を作成して表示装置250に表示する。その後、ボディCPU220は処理をステップS20に進める。
他方、ステップS60においてレリーズ操作が為されていた場合、ボディCPU220は、処理をステップS90に進める。ステップS90でボディCPU220は、撮像素子210の撮像兼焦点検出画素301から撮像信号を読み出す。ここで読み出される撮像信号は、記録画像データ(本画像データ)の信号である。記録画像データはできるだけ高画質であることが望ましいので、すべての撮像兼焦点検出画素301から信号が読み出される。ステップS100でボディCPU220は、焦点検出画素302の補間を行う。つまり、焦点検出画素302が存在する位置からは撮像信号が得られないので、その位置から本来であれば(その位置に撮像兼焦点検出画素301があれば)得られるはずの撮像信号を、周囲の撮像兼焦点検出画素301から得た撮像信号に基づき擬似的に生成する。
ステップS110でボディCPU220は、記録画像データを作成して不図示の記憶媒体(例えばメモリカード等)に記憶する。ステップS120でボディCPU220は、所定の電源オフ操作(例えば電源スイッチの押下操作)が為されたか否かを判定する。電源オフ操作が為されていなかった場合、ボディCPU220は処理をステップS20に進める。他方、電源オフ操作が為された場合、ボディCPU220は図11の処理を終了する。
図12は、図11のステップS30から呼び出されるAF処理のフローチャートである。まずステップS200で第2焦点検出部222は、焦点検出エリア近傍の焦点検出画素列から、現在の結像光学系110の情報(例えば射出瞳位置など)に基づき、焦点検出画素列を1つ選択する。例えば、焦点検出エリアが第3領域60cに位置しており、結像光学系110の射出瞳がある程度遠い場合には、焦点検出画素列61Lを選択する。なお、現在の結像光学系110の情報は、レンズCPU120とボディCPU220とのデータ通信により、ボディCPU220がレンズCPU120から受信すればよい。
ステップS210で第2焦点検出部222は、ステップS200で選択した焦点検出画素列に含まれる焦点検出画素302から、焦点検出信号を読み出す。ステップS220で第2焦点検出部222は、ステップS210で読み出した焦点検出信号に基づく焦点検出演算、すなわち大デフォーカス用の焦点検出演算を行う。
ステップS230で第2焦点検出部222は、ステップS220で行った大デフォーカス用の焦点検出演算によって所定量以上のデフォーカス量、すなわち大デフォーカスが検出されたか否かを判定する。所定量以上のデフォーカス量が検出されていた場合、第2焦点検出部222は処理をステップS240に進める。ステップS240で焦点調節部230は、大デフォーカス用の焦点検出演算により得られたデフォーカス量に基づき、フォーカシングレンズ112を駆動する。その後、第2焦点検出部222は処理をステップS200に進める。
他方、ステップS230で、所定量以上のデフォーカス量が検出されなかった場合(検出されたデフォーカス量が所定量未満であった場合や、デフォーカス量を検出できなかった場合等)、第2焦点検出部222は処理をステップS250に進める。ステップS250で第1焦点検出部221は、撮像兼焦点検出画素301から受光信号(受光出力)を読み出す。前述の通り、ここで読み出される信号は、撮像信号として扱うこともでき、且つ焦点検出信号として扱うこともできる信号である。
ステップS260でボディCPU220は、表示装置250に表示されているライブビュー画像を更新する。つまり、ステップS250で読み出した信号を撮像信号として扱い、ライブビュー画像を作成して表示装置250に表示する。ステップS270で第1焦点検出部221は、焦点検出エリア近傍から、焦点検出方向(X軸方向)に並んだ撮像兼焦点検出画素301から成る画素列を1つ選択する。ステップS280で第1焦点検出部221は、ステップS250で読み出した信号のうち、ステップS270で選択した画素列に対応する信号を焦点検出信号として、その焦点検出信号に基づく焦点検出演算、すなわち小デフォーカス用の焦点検出演算を行う。
ステップS290でボディCPU220は、ステップS280で行った小デフォーカス用の焦点検出演算が成功したか否かを判定する。例えば被写体像のコントラストが低い等の理由により位相差検出を行えず、焦点検出に失敗した場合、ボディCPU220は処理をステップS300に進める。ステップS300でボディCPU220は、ステップS220で行った直近の大デフォーカス用の焦点検出演算が成功していたか否かを判定する。直近の大デフォーカス用の焦点検出演算によってデフォーカス量の算出に成功していた場合、ボディCPU220は処理をステップS310に進める。
ステップS310で焦点調節部230は、大デフォーカス用の焦点検出演算により得られたデフォーカス量に基づき、フォーカシングレンズ112を駆動する。その後、ボディCPU220は処理をステップS200に進める。
ステップS300において、直近の大デフォーカス用の焦点検出演算がデフォーカス量の算出に失敗していた場合、ボディCPU220は処理をステップS320に進める。ステップS320で焦点調節部230は、フォーカシングレンズを一定範囲にかけて動かす、いわゆる探索駆動(スキャン駆動)を行う。その後、ボディCPU220は処理をステップS200に進める。
ステップS290において、ステップS280で行った小デフォーカス用の焦点検出演算に成功していた場合、ボディCPU220は処理をステップS330に進める。ステップS330でボディCPU220は、結像光学系110が合焦状態であるか、すなわち、ステップS280で検出されたデフォーカス量が十分に小さいか(所定のしきい値より小さいか)否かを判定する。合焦状態でなかった場合、すなわちデフォーカス量が所定のしきい値以上であった場合、ボディCPU220は処理をステップS340に進める。ステップS340で焦点調節部230は、小デフォーカス用の焦点検出演算により得られたデフォーカス量に基づき、フォーカシングレンズ112を駆動する。その後、ボディCPU220は処理をステップS250に進める。なお、ここでステップS200ではなくステップS250に処理を進めるのは、すでにある程度ピントが合っている(大デフォーカス状態でない)ことが明らかであるためである。ステップS330で合焦状態であった場合、すなわちデフォーカス量が所定のしきい値より小さかった場合、ボディCPU220はAF処理を終了する。以上のように、本実施形態のAF処理では、まず大デフォーカス用の焦点検出演算を行い、大デフォーカス状態が検出された場合には、失敗する可能性の高い小デフォーカス用の焦点検出演算を行わずに、大デフォーカス用の焦点検出演算の結果に基づくレンズ駆動を行う。
上述した第1の実施の形態によるカメラシステムによれば、次の作用効果が得られる。(1)撮像素子210には、所定範囲に入射光が入射される複数の撮像兼焦点検出画素301と、撮像兼焦点検出画素301よりも小さい範囲に入射光が入射される複数種類の焦点検出画素302とが配置される。撮像素子210は、1種類の焦点検出画素302が配置される第1領域60aと、第1領域60aより像高が高く第1領域60aよりも多い種類の焦点検出画素302が配置される第2領域60bとを有する。このようにしたので、大デフォーカス状態であっても小デフォーカス状態であっても、適切に焦点検出を行うことができる。
(2)複数種類の焦点検出画素302は、開口の所定方向の幅が撮像兼焦点検出画素301よりも小さい。このようにしたので、大デフォーカス状態であっても小デフォーカス状態であっても、適切に焦点検出を行うことができる。
(3)第1領域60aには、第1の射出瞳位置に対応する第1焦点検出画素302NR、302NLが配置され、第2領域60bには、第1焦点検出画素302NR、302NLと、第1の射出瞳位置とは異なる第2の射出瞳位置に対応する第2焦点検出画素302SR、302SLが配置される。このようにしたので、例えば交換レンズ100を別の種類のものに交換した等の原因で射出瞳の位置が変化した場合であっても、適切に焦点検出を行うことができる。
(4)結像光学系110の光軸(撮像面20の中心)から第1領域60aまでのX軸方向に関する距離は、同方向に関する結像光学系110の光軸(撮像面20の中心)から第2領域60bまでの距離よりも短い。このようにしたので、被写体光が蹴られる可能性が低い位置には最低限の焦点検出画素302のみを配置することができ、撮影画像データの画質が向上する。
(5)撮像素子210は、所定範囲に入射光が入射される撮像兼焦点検出画素301と、撮像兼焦点検出画素301よりも小さい範囲に入射光が入射され第1の射出瞳位置に対応する第1焦点検出画素302NR、NLと、撮像兼焦点検出画素301よりも小さい範囲に入射光が入射され第1の射出瞳位置とは異なる第2の射出瞳位置に対応する第2焦点検出画素302SR、SLと、を有する。撮像素子210は、第1焦点検出画素302NR、NLが配置される第1領域60aと、第1領域60aよりも像高が高く第1焦点検出画素302NR、NLおよび第2焦点検出画素302SR、SLが配置される第2領域60bと、を有する。このようにしたので、単一の焦点検出画素302に2つの光電変換部34を設ける場合に比べて、撮像素子210の製造が容易になる。
(6)撮像素子210は、一対の射出瞳の一方からの光を受光する第1焦点検出画素302NRおよび第2焦点検出画素302SRと、一対の射出瞳の他方からの光を受光する第1焦点検出画素302NLおよび第2焦点検出画素302SLと、を有する。このようにしたので、光電変換部34を個別に変形させる必要がなく、撮像素子210の製造コストが低減される。
(7)撮像素子210は、撮像兼焦点検出画素301よりも小さい範囲に入射光が入射される第3焦点検出画素LR、LLと、第2領域60bよりも像高が高く第1焦点検出画素302NR、NL、第2焦点検出画素302SR、SL、および第3焦点検出画素302LR、LLが配置される第3領域60cと、を更に有する。このようにしたので、射出瞳位置に応じて、よりきめ細やかな焦点検出を行うことができる。
(8)複数種類の焦点検出画素302は、それぞれがX軸方向に沿って複数個配置される。このようにしたので、位相差検出方式の焦点検出を行うことができる。
(9)第1焦点検出部221は、撮像兼焦点検出画素301から出力された焦点検出信号に基づき焦点検出を行う。第2焦点検出部222は、結像光学系110の射出瞳が第1位置にある場合には第1焦点検出画素302NR、302NLから出力された焦点検出信号(光電変換信号)に基づき焦点検出を行い、結像光学系110の射出瞳が第2位置にある場合には第2焦点検出画素302SR、302SLから出力された焦点検出信号に基づき焦点検出を行う。このようにしたので、小デフォーカス状態であるか大デフォーカス状態であるか、結像光学系110の射出瞳が第1位置にあるか第2位置にあるかによらず、常に適切な焦点検出を行うことができる。
(10)焦点調節部230は、第2焦点検出部222による焦点検出の結果が所定量以上のデフォーカスを表していた場合にはその焦点検出の結果に基づき結像光学系110の焦点調節を行い、第2焦点検出部222による焦点検出の結果が所定量以上のデフォーカスを表していなかった場合には第1焦点検出部221による焦点検出の結果に基づき結像光学系110の焦点調節を行う。このようにしたので、大デフォーカス状態のときには第1焦点検出部221を動作させる必要がなく、ボディCPU220の処理負荷が軽減し消費電力を削減することができる。
(第2の実施の形態)
第2の実施の形態に係るカメラシステムは、第1の実施の形態に係るカメラシステムと同一の構成を有しているが、ボディCPU220が実行するAF処理の内容が、第1の実施の形態と異なっている。以下、第2の実施の形態におけるAF処理について説明する。
図13は、本実施形態において図11のステップS50から呼び出されるAF処理のフローチャートである。まずステップS400で第1焦点検出部221は、撮像兼焦点検出画素301から受光信号(受光出力)を読み出す。前述の通り、ここで読み出される信号は、撮像信号として扱うこともでき、且つ焦点検出信号として扱うこともできる信号である。
ステップS410でボディCPU220は、表示装置250に表示されているライブビュー画像を更新する。つまり、ステップS400で読み出した信号を撮像信号として扱い、ライブビュー画像を作成して表示装置250に表示する。
ステップS415で第1焦点検出部221は、焦点検出エリア近傍から、焦点検出方向(X軸方向)に並んだ撮像兼焦点検出画素301から成る画素列を1つ選択する。ステップS420で第1焦点検出部221は、ステップS400で読み出した信号のうち、ステップS415で選択した画素列に対応する信号を焦点検出信号として、その焦点検出信号に基づく焦点検出演算、すなわち小デフォーカス用の焦点検出演算を行う。
ステップS430でボディCPU220は、ステップS420で行った小デフォーカス用の焦点検出演算が成功したか否かを判定する。例えば結像光学系110のピントが大きく外れている、すなわち大デフォーカス状態である等の理由により位相差検出を行えず、焦点検出に失敗した場合、ボディCPU220は処理をステップS440に進める。
ステップS440で第2焦点検出部222は、焦点検出エリア近傍の焦点検出画素列から、現在の結像光学系110の情報(例えば射出瞳位置など)に基づき、焦点検出画素列を1つ選択する。ステップS450で第2焦点検出部222は、ステップS440で選択した焦点検出画素列に含まれる焦点検出画素302から、焦点検出信号を読み出す。ステップS460で第2焦点検出部222は、ステップS450で読み出した焦点検出信号に基づく焦点検出演算、すなわち大デフォーカス用の焦点検出演算を行う。
ステップS470でボディCPU220は、ステップS460で行った大デフォーカス用の焦点検出演算が成功したか否かを判定する。焦点検出に失敗した場合、ボディCPU220は処理をステップS490に進める。ステップS490で焦点調節部230は、フォーカシングレンズを一定範囲にかけて動かす、いわゆる探索駆動(スキャン駆動)を行う。その後、ボディCPU220は処理をステップS400に進める。
他方、ステップS470において、大デフォーカス用の焦点検出演算によるデフォーカス量の算出に成功していた場合、ボディCPU220は処理をステップS480に進める。ステップS480で焦点調節部230は、大デフォーカス用の焦点検出演算により得られたデフォーカス量に基づき、フォーカシングレンズ112を駆動する。その後、ボディCPU220は処理をステップS400に進める。
ステップS430において、小デフォーカス用の焦点検出演算によるデフォーカス量の算出に成功していた場合、ボディCPU220は処理をステップS500に進める。ステップS500でボディCPU220は、結像光学系110が合焦状態であるか、すなわち、ステップS420で検出されたデフォーカス量が十分に小さいか(所定のしきい値より小さいか)否かを判定する。合焦状態でなかった場合、すなわちデフォーカス量が所定のしきい値以上であった場合、ボディCPU220は処理をステップS510に進める。ステップS510で焦点調節部230は、小デフォーカス用の焦点検出演算により得られたデフォーカス量に基づき、フォーカシングレンズ112を駆動する。その後、ボディCPU220は処理をステップS400に進める。他方、ステップS500で合焦状態であった場合、すなわちデフォーカス量が所定のしきい値より小さかった場合、ボディCPU220は図13に示す処理を終了する。以上のように、本実施形態のAF処理では、まず小デフォーカス用の焦点検出演算を行い、これに失敗した場合にのみ大デフォーカス用の焦点検出演算を行う。
上述した第2の実施の形態によるカメラシステムによれば、次の作用効果が得られる。(1)焦点調節部230は、第1焦点検出部221による焦点検出が成功した場合にはその焦点検出の結果に基づき結像光学系110の焦点調節を行い、第1焦点検出部221による焦点検出が失敗した場合には第2焦点検出部222による焦点検出の結果に基づき結像光学系110の焦点調節を行う。このようにしたので、第2焦点検出部222による焦点検出は大デフォーカス時にのみ行われるようになり、ボディCPU220の処理負荷が軽減し消費電力を削減することができる。
(第3の実施の形態)
第3の実施の形態に係るカメラシステムは、第1の実施の形態に係るカメラシステムと同一の構成を有しているが、撮像素子210の代わりに、それとは異なる構造の撮像素子210aを有している点で、第1の実施の形態と異なっている。以下、第3の実施の形態における撮像素子210aについて説明する。
図14は、第3の実施の形態に係る撮像素子210aの構造を模式的に示す斜視図である。撮像素子210aは、マイクロレンズアレイ211と光電変換アレイ212とを有する。マイクロレンズアレイ211は、二次元状に正方配列された複数のマイクロレンズ31を有する。光電変換アレイ212は、二次元状に正方配列された複数の光電変換部34を有する。なお、複数のマイクロレンズ31の配列は正方配列でなくてもよい。
マイクロレンズアレイ211は、光電変換アレイ212の受光面からマイクロレンズ31の焦点距離fだけ離れた位置に配置される。換言すると、マイクロレンズアレイ211および光電変換アレイ212は、マイクロレンズ31の焦点位置と光電変換アレイ212の受光面とが一致するように配置される。
本実施の形態において、1つのマイクロレンズ31の径は、1つの光電変換部34の幅よりも大きい。つまり、1つのマイクロレンズ31により、複数の光電変換部34が被覆される。1つのマイクロレンズ31を通過した被写体光は、そのマイクロレンズ31に対応する複数の光電変換部34に入射する。図14に例示するように、1つのマイクロレンズ31を通過する光が入射する範囲215には、複数の光電変換部34が含まれる。
撮像素子210aは、複数の画素30を有する。画素30には、撮像と焦点検出の両方に利用される撮像兼焦点検出画素301と、焦点検出にのみ利用される焦点検出画素302と、の2種類の画素が含まれる。以下、これら2種類の画素について説明する。
図15は、撮像兼焦点検出画素301および焦点検出画素302を模式的に示す断面図である。なお図15では、撮像素子210aの撮像面の中央部分の断面を模式的に図示している。第1の実施の形態において、1つの画素30は、1つのマイクロレンズ31を有していた。これに対して、本実施の形態では、複数の画素30が1つのマイクロレンズ31を共有する。換言すると、本実施の形態では、ある画素30が有するマイクロレンズ31と、他の画素30が有するマイクロレンズ31が、同一のマイクロレンズ31である場合がある。
撮像兼焦点検出画素301は、マイクロレンズ31と、カラーフィルタ32と、光電変換部34とを有する。マイクロレンズ31に入射した入射光は、カラーフィルタ32を介して光電変換部34に入射する。カラーフィルタ32は、画素ごとに赤、青、緑のいずれかの光を透過し、他の光を透過しないように形成される。撮像兼焦点検出画素301のカラーフィルタ32は、いわゆるベイヤ配列を成すように構成される。撮像兼焦点検出画素301は、光電変換部34により出力された光電変換信号を出力する。
なお、本実施の形態に係る撮像兼焦点検出画素301は、図3(c)に示した第1の実施の形態に係る撮像兼焦点検出画素301と同様に、撮像面の中央から離れたものは、マイクロレンズ31の光軸41の位置と、光電変換部34の中央とが離れており、その距離は、撮像面の中央からの距離が大きいほど大きくなる。この点については、第1の実施の形態と同様であるので図示および説明を省略する。
焦点検出画素302は、マイクロレンズ31が複数の画素30間で共有されることを除き、第1の実施の形態と同様である。すなわち焦点検出画素302は、マイクロレンズ31と、カラーフィルタ32と、光電変換部34と、遮光部材35とを有する。マイクロレンズ31に入射した入射光は、カラーフィルタ32を介し、遮光部材35に遮られなかった一部が光電変換部34に入射する。
本実施の形態においても、第1の実施の形態と同様に、焦点検出画素302には、第1焦点検出画素302NL、302NR、第2焦点検出画素302SL、302SR、第3焦点検出画素302LL、302LR、第4焦点検出画素302SNL、302SNR、第5焦点検出画素302LNL、302LNR、という多種類の焦点検出画素が含まれる。第1の実施の形態において、これらの焦点検出画素には、開口部の幅が異なるという差異があったが、本実施の形態では開口部の幅はいずれも同一である。
図16は、撮像素子210aの第1領域60a(図7)内の一部を拡大した平面図である。なお、図16において、「R」、「G」、「B」という文字は、それぞれ赤、緑、青のカラーフィルタ32を有する撮像画素303を表し、「NL」、「NR」という文字は、それぞれ第1焦点検出画素302NL、302NRを表す。
第1の実施の形態において、第1領域60a内の焦点検出画素列61Nには、第1焦点検出画素302NL、302NRが、左右方向(X軸方向)に沿って、一定間隔dごとに交互に配列されていた。本実施の形態では、焦点検出画素列61Nの代わりに、焦点検出画素302を含むマイクロレンズ31を左右方向(X軸方向)に一列に配列したマイクロレンズ列610Nを考える。第1領域60a内のマイクロレンズ列610Nに含まれるマイクロレンズ31には、一定間隔(図16では1つおき)ごとに、第1焦点検出画素302NL、302NRが交互に配列される。
例えば、図16の左端のマイクロレンズ31aを有する6×6の計36個の画素30には、第1焦点検出画素302NLが1つ含まれる。その右隣のマイクロレンズ31bを有する6×6の計36個の画素30には、焦点検出画素302が含まれない。更に1つ右隣のマイクロレンズ31cを有する6×6の計36個の画素30には、第1焦点検出画素302NRが1つ含まれる。
一対の第1焦点検出画素302NL、302NRは、個々のマイクロレンズ31内において、想定される射出瞳位置からの主光線に対して点対称に配置される。例えば、図16に示すマイクロレンズ列610Nにおいて、想定される射出瞳位置からの主光線の位置を丸印LPで示す。各々のマイクロレンズ31に注目したとき、第1焦点検出画素302NLと第1焦点検出画素302NRは、この丸印LPに対して点対称となるように配置されている。具体的には、第1焦点検出画素302NLは、丸印LPのすぐ右下に配置されており、第1焦点検出画素302NRは、丸印LPのすぐ左上に配置されている。
図17は、撮像素子210aの第2領域60b(図7)内の一部を拡大した平面図である。なお図17では、第2焦点検出画素302SL、302SR、第3焦点検出画素302LL、302LRを、それぞれ「SL」、「SR」、「LL」、「LR」という文字で表現している。第2領域60b内には、マイクロレンズ列610Lと、マイクロレンズ列610Nと、マイクロレンズ列610Sと、の3種類のマイクロレンズ列61が、それぞれ複数設けられている。
マイクロレンズ列610Nに含まれるマイクロレンズ31には、一定間隔(図17では1つおき)ごとに、第1焦点検出画素302NL、302NRが交互に配列される。マイクロレンズ列610Sに含まれるマイクロレンズ31には、一定間隔(図17では1つおき)ごとに、第2焦点検出画素302SL、302SRが交互に配列される。マイクロレンズ列610Lに含まれるマイクロレンズ31には、一定間隔(図17では1つおき)ごとに、第3焦点検出画素302LL、302LRが交互に配列される。
一対の第2焦点検出画素302SL、302SRおよび一対の第3焦点検出画素302LL、302LRは、個々のマイクロレンズ31内において、想定される射出瞳位置からの主光線に対して点対称に配置される。例えば、図17に示すマイクロレンズ列610Sにおいて、想定される射出瞳位置からの主光線の位置を丸印LPで示す。各々のマイクロレンズ31に注目したとき、第2焦点検出画素302SLと第2焦点検出画素302SRは、この丸印LPに対して点対称となるように配置されている。具体的には、第2焦点検出画素302SLは、丸印LPのすぐ右下に配置されており、第2焦点検出画素302SRは、丸印LPのすぐ左上に配置されている。第3焦点検出画素302LL、302LRについても同様である。
第1焦点検出画素302NL、302NRは、マイクロレンズ31の光軸近傍に配置される。これに対して、第2焦点検出画素302SL、302SRは、マイクロレンズ31の光軸から紙面右方向に一定距離だけ離れた位置に配置される。同様に、第3焦点検出画素302LL、302LRは、マイクロレンズ31の光軸から紙面左方向(第2焦点検出画素302SL、302SRとは逆の方向)に一定距離だけ離れた位置に配置される。
このように、本実施の形態では、想定される瞳位置に応じて、焦点検出画素302の配置される位置が異なっている。すなわち、焦点検出画素302が、想定される瞳位置に応じた位置に配置される。例えば第1焦点検出画素302NL、302NRが想定する射出瞳位置からの光は、マイクロレンズ31の中央付近にスポットが結像されるので、第1焦点検出画素302NL、302NRはマイクロレンズ31の中央付近に配置される。一方、短い瞳位置を想定する第2焦点検出画素302SL、302SRは、マイクロレンズ31の光軸に対して撮像素子210aの光軸に近い側、すなわち図16の左側にスポットが結像するため、第2焦点検出画素302SL、302SRはマイクロレンズ31の光軸の右側に配置される。第3焦点検出画素302LL、302LRはその逆であり、マイクロレンズ31の光軸の左側に配置される。
図18は、撮像素子210aの第3領域60c(図7)内の一部を拡大した平面図である。なお図18では、第4焦点検出画素302SNL、302SNR、第5焦点検出画素302LNL、302LNRを、それぞれ「SNL」、「SNR」、「LNL」、「LNR」という文字で表現している。第3領域60c内には、マイクロレンズ列610Sと、マイクロレンズ列610SNと、マイクロレンズ列610Nと、マイクロレンズ列610LNと、マイクロレンズ列610Lと、の5種類のマイクロレンズ列610が、それぞれ複数設けられている。
マイクロレンズ列610Nに含まれるマイクロレンズ31には、一定間隔(図18では1つおき)ごとに、第1焦点検出画素302NL、302NRが交互に配列される。マイクロレンズ列610Sに含まれるマイクロレンズ31には、一定間隔(図18では1つおき)ごとに、第2焦点検出画素302SL、302SRが交互に配列される。マイクロレンズ列610Lに含まれるマイクロレンズ31には、一定間隔(図18では1つおき)ごとに、第3焦点検出画素302LL、302LRが交互に配列される。マイクロレンズ列610SNに含まれるマイクロレンズ31には、一定間隔(図18では1つおき)ごとに、第4焦点検出画素302SNL、302SNRが交互に配列される。マイクロレンズ列610LNに含まれるマイクロレンズ31には、一定間隔(図18では1つおき)ごとに、第5焦点検出画素302LNL、302LNRが交互に配列される。
一対の第4焦点検出画素302SNL、302SNRおよび一対の第5焦点検出画素302LNL、302LNRは、個々のマイクロレンズ31内において、想定される射出瞳位置からの主光線に対して点対称に配置される。例えば、図18に示すマイクロレンズ列610SNにおいて、想定される射出瞳位置からの主光線の位置を丸印LPで示す。各々のマイクロレンズ31に注目したとき、第4焦点検出画素302SNLと第4焦点検出画素302SNRは、この丸印LPに対して点対称となるように配置されている。具体的には、第4焦点検出画素302SNLは、丸印LPのすぐ右下に配置されており、第4焦点検出画素302SNRは、丸印LPのすぐ左上に配置されている。第5焦点検出画素302LNL、302LNRについても同様である。
第4焦点検出画素302SNL、302SNRは、マイクロレンズ31の光軸から紙面右方向に一定距離だけ離れた位置に配置される。マイクロレンズ31の光軸からの距離は、第2焦点検出画素302SL、302SRに比べて短い。同様に、第5焦点検出画素302LNL、302LNRは、マイクロレンズ31の光軸から紙面左方向(第4焦点検出画素302SNL、302SNRとは逆の方向)に一定距離だけ離れた位置に配置される。マイクロレンズ31の光軸からの距離は、第3焦点検出画素302LL、302LRに比べて短い。
以上のように構成された撮像素子210aを用いると、撮像兼焦点検出画素301により出力された撮像信号から、光軸方向の所定範囲内における任意像面の画像(いわゆるリフォーカス画像)を合成する、いわゆるリフォーカス機能を実現することができる。以下、リフォーカス機能について説明する。
図19は、合成対象の像面S上の光点Pからの光束と撮像素子210aとを模式的に示した断面図である。図19において、合成対象の像面S上に設けた光点Pを考える。この光点Pから撮像素子12に向かう光の広がり角θは、結像光学系110の瞳の大きさ(すなわち結像光学系110の絞り値)により規定される。マイクロレンズ31の絞り値は結像光学系110の絞り値と同じかそれより小さくなるように構成されている。従って、この光点Pから出射し、あるマイクロレンズ31に入射した光束は、そのマイクロレンズ31により被覆されている領域の外には広がらない。
ここで、図19に示すように、光点Pからの光束が5つのマイクロレンズ31(1)~31(5)に入射するとすれば、これらのマイクロレンズ31(1)~31(5)に入射した光束300(1)~300(5)の受光面上における入射光量(光電変換部34(1)~34(5)の光電変換出力)を積算することにより、光点Pからの瞳に制限された全入射光量が得られる。すなわち、合成対象の像面S上の光点P(合成対象の画素)の光量が得られることになる。
ボディCPU220は、指定された像面S上に複数の光点Pを設定し、各光点Pについて、その光点Pからの光束が入射するマイクロレンズ31を特定する。ボディCPU220は、特定した各マイクロレンズ31について、光点Pからの光束がどの光電変換部34に入射するかを特定する。ボディCPU220は、特定した光電変換部34の光電変換出力を積算することにより、光点Pの画素値を算出する。なお、特定した光電変換部34が、焦点検出画素302の光電変換部34であった場合には、その光電変換部34からの光電変換出力の代わりに、その周囲の光電変換部34による光電変換出力に基づく補間演算を行って得られた光電変換出力を用いることが望ましい。
以上の処理によって、合成対象として指定された像面Sの画像が合成される。ボディCPU220は、1回の撮像によって撮像素子210aから出力される撮像信号に対して、複数の異なる像面の画像を合成することができる。すなわち、1回の撮像結果から複数像面の画像を得ることができる。
ところで、以上の処理により一定の解像度を保ったまま好適に合成可能な像面の位置には、一定の制約がある。例えば、マイクロレンズ31の頂点近傍の像面を合成すると、他の位置の像面を合成した場合に比べて、解像度が低下することが知られている。このように、合成可能な像面位置には制約がある。そこで、ボディCPU220は、撮像範囲に含まれる主要被写体を周知の被写体認識技術等により認識し、それらの主要被写体が好適に合成可能な範囲(以下、単に合成可能範囲と称する)に含まれるように、フォーカシングレンズ112を駆動する。本実施の形態における焦点調節とは、このように、主要被写体が合成可能範囲に含まれるようにフォーカシングレンズ112の位置を調節することを指す。
次に、第1焦点検出部221が行う、小デフォーカス用の焦点検出演算について説明する。第1焦点検出部221は、まず焦点検出エリア近傍の撮像兼焦点検出画素301から焦点検出信号を取得する。例えば、焦点検出エリア近傍に横一列に並んだ多数のマイクロレンズ31を選択する。そして、選択したそれらのマイクロレンズ31の各々について、マイクロレンズ31の左半分に配置された撮像兼焦点検出画素301の光電変換部34の受光出力を加算した信号と、マイクロレンズ31の右半分に配置された撮像兼焦点検出画素301の光電変換部34の受光出力を加算した信号とを生成する。これら一対の信号は、第1の実施の形態における光電変換部34L、34Rの受光出力と同様に、一対の焦点検出信号として扱うことができる。第1焦点検出部221は、相関演算を行ってこの一対の焦点検出信号の位相差を算出し、デフォーカス量を演算する。このような演算は周知であるので説明を省略する。
以上の説明では、マイクロレンズ31の左右半分に配置された撮像兼焦点検出画素301の光電変換部34の受光出力を加算していたが、加算に用いる光電変換部34の数を減らすことで、あたかも入射光の光量を制限したかのような焦点検出信号を得ることができる。加算に用いる光電変換部34の数を減らせば減らすほど、大デフォーカスへの対応が良くなるが、その一方で焦点検出信号の信号量は小さくなり、精度は悪くなる。従って、例えば小デフォーカス時には、多くの光電変換部34からの受光出力を加算することが望ましい。一方、2つの(一対の)光電変換部34からの受光出力だけを用いた一対の焦点検出信号を生成することで、大デフォーカスにも対応することができる。
更に大デフォーカスである場合、2つの(一対の)光電変換部34からの受光出力だけを用いた一対の焦点検出信号であっても、焦点検出を行えない可能性がある。そのような場合、本実施の形態では、第2焦点検出部222が行う、大デフォーカス用の焦点検出演算の結果を用いて焦点調節がなされる。
次に、第2焦点検出部222が行う、大デフォーカス用の焦点検出演算について説明する。第2焦点検出部222は、まず焦点検出エリア近傍から結像光学系110の射出瞳の位置に応じたマイクロレンズ列610を選択する。例えば焦点検出エリアが撮影画面の中央近傍で、その近傍にマイクロレンズ列610Nのみがある場合は、必然的にそのマイクロレンズ列610Nが選択される。
一方、焦点検出エリアが撮影画面の中央から離れた位置にあり、その近傍にマイクロレンズ列610S、610N、610Lの3つが存在する場合には、結像光学系110の射出瞳の位置に応じてその中から1つのマイクロレンズ列610を1つ選択する。具体的には、結像光学系110の射出瞳が相対的に遠い位置にある(所定距離以上遠い位置にある)場合には、マイクロレンズ列610Lを選択する。逆に、結像光学系110の射出瞳が相対的に近い位置にある(所定距離以内の近い位置にある)場合には、マイクロレンズ列610Sを選択する。どちらでもない(中間的な位置にある)場合には、マイクロレンズ列610Nを選択する。
次に第2焦点検出部222は、選択したマイクロレンズ列610内の焦点検出画素302から焦点検出信号を取得する。例えばマイクロレンズ列610Nが選択されたとすると、そのマイクロレンズ列610N内には、第1焦点検出画素302NL、302NRが一列に配列されている。第2焦点検出部222は、多数の第1焦点検出画素302NLの出力(光電変換部34の受光出力)を並べた出力信号と、多数の第1焦点検出画素302NRの出力(光電変換部34の受光出力)を並べた出力信号と、の一対の信号を、一対の焦点検出信号とする。そして、相関演算を行ってこの一対の焦点検出信号の位相差を算出し、デフォーカス量を演算する。このような演算は周知であるので説明を省略する。
ここで得られる一対の焦点検出信号は、遮光部材35により開口が制限されているので、前述した2つの(一対の)光電変換部34からの受光出力だけを用いた一対の焦点検出信号よりも更に大デフォーカスに対応可能な焦点検出信号である。
上述した第3の実施の形態によるカメラシステムによれば、次の作用効果が得られる。(1)あるマイクロレンズ31を通過した光が入射する焦点検出画素302および複数の撮像兼焦点検出画素301と、別のマイクロレンズ31を通過した光が入射する焦点検出画素302および複数の撮像兼焦点検出画素301とを設けた。このようにしたので、いわゆるリフォーカスカメラにおいても、大デフォーカス状態であっても小デフォーカス状態であっても適切な焦点検出が可能になる。
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
(変形例1)
上述した実施形態では、焦点検出画素302に所定幅の開口部を有する遮光部材35を設けていた。このように、遮光部材35を設ける代わりに、光電変換部34の幅を実際に小さくしてもよい。
図20(a)に、開口部36NRを有する遮光部材35の代わりに、開口部36NRの位置および大きさに合わせて形成された光電変換部34NRを有する第1焦点検出画素302NR’を例示する。
また、第1焦点検出画素302NRおよび第1焦点検出画素302NLを、一対の光電変換部を有する単一の画素としてもよい。つまり、1つの画素について、開口部36NRに相当する位置に、開口部36NRに相当するサイズの光電変換部34を設けると共に、開口部36NLに相当する位置に、開口部36NLに相当するサイズの別の光電変換部34を設け、上述した実施形態における第1焦点検出画素302NR、NLを置き換えてもよい。第2~第5焦点検出画素についても同様である。
あるいは、1つの画素について、撮像兼焦点検出画素301と同様の一対の光電変換部34L、34Rを設けると共に、遮光部材35に開口部36NL、NRを両方設けることもできる。第2~第5焦点検出画素についても同様である。
(変形例3)
焦点検出画素302に遮光部材35を設けた場合、光電変換部34に入射しなかった光束(遮光部材35に入射した光束)が、隣接する撮像兼焦点検出画素301に漏れ込む可能性がある。このような迷光を防止するため、遮光部材35の表面に反射防止膜を設けてもよい。図20(b)に、遮光部材35の表面に反射防止膜37を設けた第1焦点検出画素302NR’’を例示する。
(変形例4)
焦点検出画素302の種類数、配置数、配列は上述した実施形態と異なっていてもよい。同様に、第1領域60a、第2領域60b、第3領域60cとして例示した、焦点検出画素302が配置される領域の種類数、配置数、形状、配置パターンは上述した実施形態と異なっていてもよい。
図21(a)に、第1領域60a、第2領域60b、第3領域60cを円弧状に配置した例を示す。また、図21(b)には、第1領域60a、第2領域60b、第3領域60cを同心円状に配置した例を示す。このように、焦点検出画素302が配置される領域の形状および配置パターンは種々のものが考えられる。
(変形例5)
撮像兼焦点検出画素301が有する一対の光電変換部34R、34Lの形状は、図3(a)に図示したものと異なっていてもよい。例えば、図22(a)に図示するように、矩形であってもよい。また、焦点検出方向は、X軸方向に限定されず、例えばY軸方向でもよい。この場合、例えば図22(b)に図示するように、Y軸方向に分割された一対の光電変換部34T、34Bを設ければよい。
更に、X軸方向とY軸方向の両方を焦点検出方向とすることもできる。例えば図22(c)に図示するように、4つの光電変換部34a、34b、34c、34dを設ける。このとき、紙面左側に配置された2つの光電変換部34a、34cの受光信号を加算すれば、図22(a)に図示した光電変換部34Lの受光信号に相当する信号が得られる。また、紙面上側に配置された2つの光電変換部34a、34bの受光信号を加算すれば、図22(b)に図示した光電変換部34Tの受光信号に相当する信号が得られる。従って、図22(c)に図示するように撮像兼焦点検出画素301を構成すると共に、4つの光電変換部34a、34b、34c、34dのX軸方向およびY軸方向の幅を小さくした光電変換部を有する焦点検出画素302を設ければ、X軸方向とY軸方向の両方が焦点検出方向となる。
本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。