本発明の一実施の形態における焦点検出装置を含む撮像装置として、レンズ交換式のデジタルカメラを例に挙げて説明する。図1は本実施の形態のデジタルカメラ201の構成を示す横断面図である。本実施の形態のデジタルカメラ201は、交換レンズ202とカメラボディ203とから構成され、交換レンズ202がマウント部204を介してカメラボディ203に装着される。カメラボディ203にはマウント部204を介して種々の撮影光学系を有する交換レンズ202が装着可能である。
交換レンズ202は、レンズ209、ズーミングレンズ208、フォーカシングレンズ210、絞り211、レンズ制御装置206などを有する。レンズ制御装置206は、不図示のマイクロコンピューター、メモリ、レンズ駆動制御回路などから構成される。レンズ制御装置206は、フォーカシングレンズ210の焦点調節および絞り211の開口径調節のための駆動制御、ならびにズーミングレンズ208、フォーカシングレンズ210および絞り211の状態検出などを行う。レンズ制御装置206は、後述するボディ制御装置214との通信によりレンズ情報の送信とカメラ情報(デフォーカス量や絞り値など)の受信とを行う。絞り211は、光量およびボケ量調整のために光軸中心に開口径が可変な開口を形成する。
カメラボディ203は、撮像素子212、ボディ制御装置214、液晶表示素子駆動回路215、液晶表示素子216、接眼レンズ217、メモリカード219、AD変換装置221などを有している。撮像素子212には、撮像画素が行と列とで規定される二次元状配列にしたがって配置されるとともに、焦点検出位置に対応した部分に焦点検出画素が配置されている。この撮像素子212については詳細を後述する。
ボディ制御装置214は、マイクロコンピューター、メモリ、ボディ駆動制御回路などから構成される。ボディ制御装置214は、撮像素子212の露光制御と、撮像素子212からの画素信号の読み出しと、焦点検出画素の画素信号に基づく焦点検出演算および交換レンズ202の焦点調節とを繰り返し行うとともに、画像信号の処理、表示および記録、ならびにカメラの動作制御などを行う。また、ボディ制御装置214は、電気接点213を介してレンズ制御装置206と通信を行い、レンズ情報の受信とカメラ情報の送信とを行う。
液晶表示素子216は電子ビューファインダー(EVF:Electronic View Finder)として機能する。液晶表示素子駆動回路215は撮像素子212から読み出された画像信号に基づきスルー画像を液晶表示素子216に表示し、撮影者は接眼レンズ217を介してスルー画像を観察することができる。メモリカード219は、撮像素子212により撮像された画像信号に基づいて生成される画像データを記憶する画像ストレージである。
AD変換装置221は、撮像素子212から出力される画素信号をAD変換してボディ制御装置214に送る。撮像素子212がAD変換装置221を内蔵する構成であってもよい。
交換レンズ202を通過した光束により、撮像素子212の撮像面上に被写体像が形成される。この被写体像は撮像素子212により光電変換され、撮像画素および焦点検出画素の画素信号がボディ制御装置214へ送られる。
ボディ制御装置214は、撮像素子212の焦点検出画素からの画素信号(焦点検出信号)に基づいてデフォーカス量を算出し、このデフォーカス量をレンズ制御装置206へ送る。また、ボディ制御装置214は、撮像素子212の撮像画素の画素信号(撮像信号)を処理して画像データを生成し、メモリカード219に格納するとともに、撮像素子212から読み出されたスルー画像信号を液晶表示素子駆動回路215へ送り、スルー画像を液晶表示素子216に表示させる。さらに、ボディ制御装置214は、レンズ制御装置206へ絞り制御情報を送って絞り211の開口制御を行う。
レンズ制御装置206は、フォーカシング状態、ズーミング状態、絞り設定状態、絞り開放F値などに応じてレンズ情報を更新する。具体的には、ズーミングレンズ208とフォーカシングレンズ210の位置と絞り211の絞り値とを検出し、これらのレンズ位置と絞り値とに応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからレンズ位置と絞り値とに応じたレンズ情報を選択する。
レンズ制御装置206は、受信したデフォーカス量に基づいてレンズ駆動量を算出し、レンズ駆動量に応じてフォーカシングレンズ210を合焦位置へ駆動する。また、レンズ制御装置206は受信した絞り値に応じて絞り211を駆動する。
図2は、撮影画面上における焦点検出位置を示す図であり、後述する撮像素子212上の焦点検出画素列による焦点検出の際に撮影画面上で像をサンプリングする領域(焦点検出エリア、焦点検出位置)の一例を示す。この例では、矩形の撮影画面100上の中央(光軸上)に焦点検出エリア101が配置される。長方形で示す焦点検出エリア101の長手方向(水平方向)に、焦点検出画素が直線的に配列される。
図3は撮像素子212の詳細な構成を示す正面図であり、図2において水平方向に配置された焦点検出エリア101の近傍を拡大した画素配列の詳細を示す。撮像素子212には撮像画素310が二次元正方格子状に稠密に配列される。撮像画素310は赤画素(R)、緑画素(G)、青画素(B)からなり、ベイヤー配列の配置規則によって配置されている。図3においては撮像画素310と同一の画素サイズを有する水平方向焦点検出用の焦点検出画素315、316が交互に、本来緑画素と青画素とが連続的に配置されるべき水平方向の直線上に連続して配列される。
撮像画素310ならびに焦点検出画素315および316の各々のマイクロレンズの形状は、元々画素サイズより大きな円形のマイクロレンズから画素サイズに対応した正方形の形状で切り出した形状をしている。
撮像画素310は、図3に示すように矩形のマイクロレンズ10、後述の遮光マスクで受光領域を正方形に制限された光電変換部11、および後述の色フィルタから構成される。色フィルタは赤(R)、緑(G)、青(B)の3種類からなり、それぞれの色に対応する分光感度特性を有している。
焦点検出画素315、316には全ての色に対して焦点検出を行うために全ての可視光を透過する白色フィルタが設けられている。その白色フィルタは、緑画素、赤画素および青画素の分光感度特性を加算したような分光感度特性を有し、高い感度を示す光波長領域は緑画素、赤画素および青画素の各々において各色フィルタが高い感度を示す光波長領域を包括している。
焦点検出画素315は、図3に示すように矩形のマイクロレンズ10と後述の遮光マスクとで受光領域を正方形の左半分(正方形を垂直線で2等分した場合の左半分)に制限された光電変換部15、および後述の白色フィルタとから構成される。
また、焦点検出画素316は、図3に示すように矩形のマイクロレンズ10と後述の遮光マスクとで受光領域を正方形の右半分(正方形を垂直線で2等分した場合の右半分)に制限された光電変換部16、および後述の白色フィルタとから構成される。
焦点検出画素315と焦点検出画素316とをマイクロレンズ10を重ね合わせて表示すると、遮光マスクで受光領域を正方形の半分に制限された光電変換部15と16とが水平方向に並んでいる。
また、上述した正方形の半分に制限された受光領域の部分に正方形を半分にした残りの部分を加えると、撮像画素310の受光領域と同じサイズの正方形となる。
図4は水平方向に配列した撮像画素配列の断面をとった場合の撮像画素310の断面図である。撮像画素310では撮像用の光電変換部11の上に近接して遮光マスク30が形成され、遮光マスク30の開口部30aを通過した光を光電変換部11は受光する。遮光マスク30の上には平坦化層31が形成され、その上に色フィルタ38が形成される。色フィルタ38の上には平坦化層32が形成され、その上にマイクロレンズ10が形成される。マイクロレンズ10により開口部30aの形状が前方に投影される。光電変換部11は半導体回路基板29上に形成される。
図5は水平方向に配列された焦点検出画素315、316からなる焦点検出画素配列の断面をとった場合の焦点検出画素315、316の断面図である。焦点検出画素315、316では焦点検出用の光電変換部15、16の上に近接して遮光マスク30が形成され、遮光マスク30の開口部30b、30cを通過した光を光線変換部15、16は受光する。遮光マスク30の上には平坦化層31が形成され、その上に白色フィルタ35が形成される。白色フィルタ35の上には平坦化層32が形成され、その上にマイクロレンズ10が形成される。マイクロレンズ10により開口部30b、30cの形状が前方に投影される。光電変換部15、16は半導体回路基板29上に形成される。
図6は、図4に示す画素構造を有する撮像画素310が受光する撮影光束の様子を説明するための図であって、水平方向に配列した撮像画素配列の断面をとっている。撮像素子上に配列された全ての撮像画素の光電変換部11は光電変換部11に近接して配置された遮光マスク開口30aを通過した光束を受光する。遮光マスク開口30aの形状は各撮像画素のマイクロレンズ10によりマイクロレンズ10から測距瞳距離dだけ離間した撮影光学系の射出瞳90上の全撮像画素共通な領域97に投影される。
従って各撮像画素の光電変換部11は、領域97と各撮像画素のマイクロレンズ10を通過する撮影光束71を受光し、領域97を通過して各撮像画素のマイクロレンズ10へ向う撮影光束71によって各マイクロレンズ10上に形成される像の強度に対応した信号を出力する。
図7は、図5に示す画素構造を有する焦点検出画素315、316が受光する焦点検出光束の様子を図6と比較して説明するための図であって、水平方向に配列した焦点検出画素配列の断面をとっている。
撮像素子上に配列された全ての焦点検出画素の光電変換部15、16は光電変換部15、16に近接して配置された遮光マスク開口30b、30cを通過した光束を受光する。遮光マスク開口30bの形状は各焦点検出画素315のマイクロレンズ10によりマイクロレンズ10から測距瞳距離dだけ離間した射出瞳90上の焦点検出画素315に全てに共通した領域95に投影される。同じく遮光マスク開口30cの形状は各焦点検出画素316のマイクロレンズ10によりマイクロレンズ10から測距瞳距離dだけ離間した射出瞳90上の焦点検出画素316に全てに共通した領域96に投影される。射出瞳90上の相異なる一対の領域95、96を測距瞳と呼ぶ。
従って各焦点検出画素315の光電変換部15は、測距瞳95と各焦点検出画素315のマイクロレンズ10とを通過する光束75を受光し、その光束75によって各マイクロレンズ10上に形成される像の強度に対応した信号を出力する。また各焦点検出画素316の光電変換部16は、測距瞳96と各焦点検出画素316のマイクロレンズ10とを通過する光束76を受光し、その光束76によって各マイクロレンズ10上に形成される像の強度に対応した信号を出力する。
図6に示すように、図7に示した一対の焦点検出画素315および316が受光する光束75、76が通過する射出瞳90上の光軸91を挟んで位置する測距瞳95と96とを統合した領域は、撮像画素310が受光する光束71が通過する射出瞳90上の領域97と一致し、射出瞳90上において一対の光束75、76は光束71に対して相補的な関係になっている。
上述の説明においては、遮光マスクにより光電変換部の受光領域が規制されているが、光電変換部自身の形状を遮光マスクの開口形状とすることも可能である。その場合は遮光マスクを排してもよい。
要は光電変換部と測距瞳とはマイクロレンズにより光学的に共役な関係となっていることが重要である。
また測距瞳の位置(測距瞳距離)は、一般に撮影光学系の射出瞳距離と略同一になるように設定される。複数の交換レンズが装着される場合には、複数の交換レンズの平均的な射出瞳距離に測距瞳距離を設定する。
上述した一対の焦点検出画素315、316を交互にかつ直線状に多数配置し、各焦点検出画素の光電変換部の出力を測距瞳95および測距瞳96に対応した一対の出力グループにまとめる。これにより、測距瞳95および測距瞳96をそれぞれ通過する一対の光束が水平方向の焦点検出画素配列上に形成する一対の像の強度分布に関する情報(一対の像信号列)が得られる。この情報(一対の像信号列)に対して後述する像ズレ検出演算処理(相関演算処理、位相差検出処理)を施すことによって、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量(位相差)が検出される。さらに、像ズレ量に、一対の測距瞳の重心間隔と測距瞳距離との比例関係に応じた変換係数を用いての変換演算を行うことによって、焦点検出位置における予定結像面と瞳分割型位相差検出方式で検出される結像面との偏差、すなわちデフォーカス量が算出される。
図7に示す測距瞳95、96(一対の光束の分布)の特性について、図8を用いて詳細に説明する。図8(a)は射出瞳90上における測距瞳95、96の様子を、撮像素子側から見た場合の正面図である。図7において一対の焦点検出画素315および316が受光する光束75、76は、射出瞳90上において一律には分布しておらず、実際には図8(a)に等高線で示すような分布を持っている。図8(a)の等高線で示す測距瞳95、96の分布を測距瞳95、96の重心位置を結ぶ方向の断面、すなわち射出瞳の中心(光軸)を通る水平方向断面で見ると、図8(b)に示すような分布関数(分布形状)となる。図8(a)において×印は測距瞳95、96の重心位置を示す。
このように測距瞳95、96が分布特性を持つ理由は、焦点検出画素315、316を構成するマイクロレンズ10のサイズが10ミクロン以下となり可視光の波長に近づいた場合には回折が生ずるためである。すなわち図5に示す焦点検出画素の構造において、マイクロレンズ10により開口部30b、30cと射出瞳90とが光学的に共役関係となっているが、射出瞳90上にマイクロレンズ10により投影される開口部30b、30cの形状は回折によりボケを生じるからである。
また回折によるボケは略等方性であるので、分布の重心位置自体は回折の有無によって大きくは変化しない。図8に示すようにx軸の方向を定めると、測距瞳95の分布のピーク位置は光軸(x=0)に対しプラス側に位置し、測距瞳96の分布のピーク位置は光軸(x=0)に対しマイナス側に位置する。また測距瞳95、96の分布関数の形状はそれぞれ分布重心位置g15、g16を中心として回折ボケによる裾野を左右対称に引いた形状となっており、分布重心位置g15、g16を一致させた場合に測距瞳95、96の分布関数の形状は略一致している。
図9は射出瞳90上において、開口径が最大の絞り開口92により図8に示す測距瞳95、96に制限が加えられた場合の図である。光軸から離れた周辺部分の測距瞳95、96の分布は絞り開口92により遮光される。このように測距瞳95、96の分布の周辺部が制限された場合には、分布関数が図9(b)に示すような形状となる。即ち測距瞳95の分布関数は光軸(x=0)に対しプラス側にある裾野部分が切られて急激に立上がり、光軸(x=0)に対しマイナス側にある回折による裾野部分は残る。また測距瞳96の分布関数は光軸(x=0)に対しマイナス側にある裾野部分が切られて急激に立上がり、光軸(x=0)に対しプラス側にある回折による裾野部分は残る。図9(a)において×印は測距瞳95、96の分布重心位置g25、g26を示す。
図9(b)に示すように測距瞳95、96の分布関数の形状はそれぞれの分布重心位置g25、g26に対し非対称となる。分布重心位置g25、g26を一致させた場合にそれぞれの測距瞳95、96の分布関数の形状は互いに相違するとともに、一致させた分布重心位置に対して互いに略線対称の関係になる。
図10は射出瞳90上において、最大開口径の絞り開口92より開口径が小さい絞り開口93により図8に示す測距瞳95、96に制限が加えられた場合の図である。光軸から離れた周辺部分の測距瞳95、96の分布は絞り開口93により遮光される。このように測距瞳95、96の分布が制限された場合には、分布関数が図9(b)より光軸近傍に制限され、図10(b)に示すような形状となる。即ち測距瞳95の分布関数は光軸(x=0)に対しプラス側にある裾野部分が切られて急激に立上がり、光軸(x=0)に対しマイナス側にある回折による裾野部分も絞り開口93により制限されるがその影響はプラス側よりも少なく回折による裾引き形状が残る。また測距瞳96の分布関数は光軸(x=0)に対しマイナス側にある裾野部分が切られて急激に立上がり、光軸(x=0)に対しプラス側にある回折による裾野部分も絞り開口93により制限されるがその影響はマイナス側よりも少なく回折による裾引き形状が残る。
図10(b)に示すように測距瞳95、96の分布関数の形状はそれぞれの分布重心位置g35、g36に対し非対称となる。分布重心位置g35、g36を一致させた場合にそれぞれの測距瞳95、96の分布関数の形状は互いに相違するとともに、一致させた分布重心位置に対して互いに略線対称の関係になる。
以上絞り開口が存在する場合の測距瞳95、96の分布形状の特徴についてまとめると、以下のようになる。
(i)測距瞳95、96の分布は、互いに分布形状が相違するとともに、それぞれの分布重心位置は光軸(x=0)に対して反対側に位置する。
(ii)測距瞳95、96の分布形状は、それぞれの分布重心位置に対して非対称な形状となる。
(iii)測距瞳95、96の分布形状のそれぞれの分布重心位置に対して光軸から離れた側(例えば図9(b)、図10(b)の95R、96L)は急峻なカーブに立上がるとともに、分布形状のピークに近づくにつれて緩やかになるので、カーブ部分の形状は全体的に略凸形状となる。
(iv)測距瞳95、96の分布形状のピークに対して光軸に近い側(例えば図9(b)、図10(b)の95L、96R)は比較的ゆるやかなカーブの裾野を引いて減少するので、カーブ部分の全体的に略凹形状となる。
(v)測距瞳95、96の分布形状はそれぞれの分布の重心位置を一致させた場合に、一致させた重心位置に対して略線対称な形状(一方の分布を一致させた重心位置に対して反転すると略一致する形状)となる。
上述した測距瞳95、96の分布形状の特性については実験評価によって確認を行なっている。
本発明は、上述した測距瞳95、96の分布形状の特性を利用することにより、従来の焦点検出方法において焦点検出不能となるような大デフォーカス時においても、デフォーカス方向の検出を可能とするものである。
図11は、一実施の形態のデジタルスチルカメラ(撮像装置)201の撮像動作を示すフローチャートである。
ボディ駆動制御装置214は、ステップS100でデジタルスチルカメラ201の電源がオンされると、ステップS110以降の撮像動作を開始する。
ステップS110において禁止フラグをOFFとする。禁止フラグとは、後述するデフォーカス方向の検出および該検出結果に基づく走査駆動の許可および禁止を制御するためのフラグである。電源ON直後あるいは撮影直後には禁止フラグOFF(デフォーカス方向の検出および該検出結果に基づく走査駆動の許可状態にセット)される。
ステップS120において全画素のデータを読み出し、撮像画素のデータを電子ビューファインダーに表示させる。
ステップS130では焦点検出画素のデータに基づいて後述する像ズレ検出演算処理(相関演算処理、位相差検出処理)を行い、デフォーカス量を算出する。
ステップS140では禁止フラグOFFかつステップS130で焦点検出不能であった場合にはステップS150に進み、それ以外はステップS150をスキップし、ステップS160に進む。
ステップS150では焦点検出画素のデータに基づいて後述するデフォーカス方向の検出処理を行ない、デフォーカス方向を検出する。
ステップS160ではレリーズボタン(不図示)が半押し(レリーズボタンが操作状態)であるか否かをチェックする。レリーズボタンは撮影(シャッターレリーズ)を指示するための操作部材であり、通常は非操作状態に保持されており、ユーザーの操作により半押し状態を経て全押し状態へと遷移され、半押しから全押しへの遷移により撮影(シャッターレリーズ)が指示される。また半押し状態においては焦点検出結果に基づいた光学系の自動焦点調節動作が行なわれる。
ステップS160でレリーズボタンが半押しでない場合は、ステップS290を経て、ステップS110〜ステップS160の処理を繰り返す。
ステップS160でレリーズボタンが半押しされている場合は、ステップS170に進み、禁止フラグがOFFかつステップS130の結果が焦点検出不能であったかチェックする。
ステップS170での判定が否定された場合、即ち禁止フラグがON又はステップS130の結果が焦点検出可能であった場合には、ステップS210に進み、ステップS130の結果が焦点検出不能であったかチェックする。
一方ステップS170での判定が肯定された場合、即ち禁止フラグがOFFかつステップS130の結果が焦点検出不能であった場合には、ステップS180に進み、ステップS150の結果がデフォーカス方向検出可能であったかチェックする。
ステップS180でデフォーカス方向検出可能であった場合は、ステップS190に進み、走査駆動開始Z1の処理を行なう。すなわち、焦点検出可能な物体像をサーチするために交換レンズ202のフォーカシングレンズ210をその駆動範囲内(最至近撮影距離〜無限遠撮影距離)でスキャン駆動する際に、その初動駆動方向を検出されたデフォーカス方向に設定してレンズ駆動制御装置206に指示を与える。その後ステップS280を経て、ステップS120に戻る。
ステップS180でデフォーカス方向検出不能であった場合は、ステップS200に進み、走査駆動開始Z2の処理を行なう。すなわち、焦点検出可能な物体像をサーチするために交換レンズ202のフォーカシングレンズ210をその駆動範囲内(最至近撮影距離〜無限遠撮影距離)でスキャン駆動する際に、その初動駆動方向を予め定められた方向(最至近撮影距離方向あるいは無限遠撮影距離方向)に設定してレンズ駆動制御装置206に指示を与える。その後ステップS280を経て、ステップS120に戻る。
ステップS280では禁止フラグをONにセットし、一旦走査駆動が開始された後はデフォーカス方向検出を禁止するとともに、デフォーカス方向検出結果に応じた走査駆動がリセットされないようにしている。
なお走査駆動はレンズ駆動制御装置206により制御され、走査駆動中に焦点検出可能にならない場合には、交換レンズ202のフォーカシングレンズ210の駆動範囲(最至近撮影距離〜無限遠撮影距離)を全て走査した後に自動的に停止する。
ステップS210ではステップS130で焦点検出不能であったかチェックし、焦点検出不能であった場合は上述したステップS280を経てステップS120に戻り、上記の処理を繰り返す。
ステップS210で焦点検出可能であった場合は、ステップS220で合焦近傍か否か、すなわち算出されたデフォーカス量の絶対値が所定値以内であるか否かを調べる。合焦近傍でないと判定された場合はステップS230へ進む。ステップS230では、デフォーカス量をレンズ駆動制御装置206へ送信し、交換レンズ202のフォーカシングレンズ210の合焦位置への駆動を開始させ、ステップS280を経てステップS120に戻り、上述した動作を繰り返す。
ステップS210で合焦近傍であると判定された場合はステップS240へ進み、レリーズボタン(不図示)の操作によりシャッターレリーズ(全押し)がなされたか否かを判別する。シャッターレリーズ(全押し)がなされていないと判定された場合はステップS280を経てステップS120に戻り、上述した動作を繰り返す。
一方、ステップS240でシャッターレリーズ(全押し)がなされたと判定された場合はステップS250へ進み、レンズ駆動制御装置206へ絞り調整命令を送信し、交換レンズ202の絞り値を制御F値(撮影者または自動により設定されたF値)にする。絞り制御が終了した時点で、撮像素子212に撮像動作を行わせ、撮像素子212の撮像画素310および全ての焦点検出画素315、316から画像データを読み出す。
ステップS260において、各焦点検出画素315、316の位置の画像データを各焦点検出画素315、316のデータ及び各焦点検出画素315、316の周囲の撮像画素310のデータに基づいて補間する。続くステップS270では、撮像画素310のデータおよび焦点検出画素位置の補間された画像データを画像情報としてメモリカード219に記憶し、ステップS290を経てステップS110へ戻り、上述した動作を繰り返す。
ステップS290ではレンズ駆動制御装置206にレンズ駆動中であった場合はレンズ駆動を停止するように指示を出す。
図11のステップS130におけるデフォーカス量を検出するための像ズレ検出演算処理(相関演算処理、位相差検出処理)の詳細について以下説明する。
焦点検出画素315、316が検出する一対の像は、測距瞳95、96がレンズの絞り開口による口径蝕を受け光量バランスが崩れている可能性があるので、光量バランスに対して像ズレ検出精度を維持できるタイプの相関演算を施す。焦点検出画素315の配列から読み出されたデータ列A1n(A11,・・・,A1M:Mはデータ数)、および焦点検出画素316の配列から読み出されたデータ列A2n(A21,・・・,A2M)からなる一対のデータ列A1n、A2nに対し、例えば特開2007−333720号公報に開示された公知の相関演算式である下記(1)式を用い、相関量C(k)を演算する。
C(k)=Σ|A1n×A2n+1+k−A2n+k×A1n+1| ・・・(1)
(1)式において、Σ演算はnについて累積される。nのとる範囲は、像ずらし量kに応じてA1n、A1n+1、A2n+k、A2n+1+kのデータが存在する範囲に限定される。ずらし量kは整数であり、データ列のデータ間隔を単位とした相対的シフト量である。(1)式の演算結果は、図12に示すように、一対のデータの相関が高いシフト量(図12ではk=kj=2)において相関量C(k)が極小になる。すなわち、相関量C(k)が小さいほど相関度が高い。
次に、(2)式から(5)式の3点内挿の手法を用いて連続的な相関量に対する極小値C(G)を与えるシフト量Xを求める。
G=kj+D/SLOP ・・・(2)
C(G)=C(kj)−|D| ・・・(3)
D={C(kj−1)−C(kj+1)}/2 ・・・(4)
SLOP=MAX{C(kj+1)−C(kj),C(kj−1)−C(kj)} ・・・(5)
(2)式で算出されたずらし量Gの信頼性があるかどうかは次のようにして判定される。一対のデータの相関度が低い場合は、内挿された相関量の極小値C(G)の値が大きくなる。したがって、C(G)が所定のしきい値以上の場合は、算出されたずらし量の信頼性が低いと判定し、算出されたずらし量Gをキャンセルする。あるいは、C(G)をデータのコントラストで規格化するために、コントラストに比例した値となるSLOPでC(G)を除した値が所定値以上の場合は、算出されたずらし量の信頼性が低いと判定し、算出されたずらし量Gをキャンセルする。あるいはまた、コントラストに比例した値となるSLOPが所定値以下の場合は、被写体が低コントラストであり、算出されたずらし量の信頼性が低いと判定し、算出されたずらし量Gをキャンセルする。
また一対のデータの相関度が低く、シフト範囲kmin〜kmaxの間で相関量C(k)の落ち込みがない場合は、極小値C(G)を求めることができず、このような場合は焦点検出不能と判定する。
シフト量Gが算出されるとともに、シフト量Gの信頼性があると判定された場合は、(6)式によりシフト量Gを像ズレ量Sfに換算する。(6)式において、検出ピッチPYは、同一種類の焦点検出画素によるサンプリングピッチ、すなわち撮像画素のピッチの2倍となる。
Sf=PY×G ・・・(6)
さらに像ズレ量Sfに所定の変換係数Kdを乗じてデフォーカス量Dfへ変換する。
Df=Kd×Sf ・・・(7)
(7)式において変換係数Kdは一対の測距瞳95、96の重心間隔と測距瞳距離との比例関係に応じた変換係数であり、光学系の絞りF値に応じて変化する。
図11のステップS150におけるデフォーカス方向を検出するための処理の詳細について説明する前に、瞳分割位相差検出方式におけるデフォーカス像の特性について説明する。
図13は、予定焦点面80の光軸上において合焦像が形成される場合であって、レンズのデフォーカス方向が無限方向の場合(合焦撮影距離より近距離側にレンズがセットされている場合)、およびデフォーカス方向が至近方向の場合(合焦撮影距離より遠距離側にレンズがセットされている場合)に、レンズが合焦したときの測距瞳95、96と予定焦点面80(撮像素子が配置された面)との相対的な位置関係を、測距瞳95、96を固定して模式的に示した図である。
測距瞳95、96は射出瞳90において絞り開口94により制限を受けている。また物体像が予定焦点面80の光軸91上に結像される場合において測距瞳95、96の分布重心位置を通る光線をそれぞれ85、86で示す。
レンズ駆動の際は実際には予定焦点面80の位置が固定され測距瞳95、96の位置が移動するのであるが、図の簡便化のため測距瞳95、96の位置を固定し予定焦点面80の位置が移動するものとして図示している。また実際にはデフォーカス量(図13の予定焦点面の合焦位置からの移動距離)は測距瞳距離に比較して数十分の1程度であるが、図13においては分かりやすくするために誇張して図示している。
レンズが合焦した場合(レンズにより形成される像面が予定焦点面80と一致した場合)における予定焦点面80の位置がF0である。またデフォーカス方向が無限方向の場合の予定焦点面80の位置がF1、F2であり、F2のほうがF1より大きなデフォーカス量である。デフォーカス方向が無限方向の場合とは、レンズにより形成される像面が予定焦点面80と射出瞳90との間にある場合と定義される。合焦させるためには、レンズを予定焦点面80に近づく方向に移動させる必要がある。またデフォーカス方向が至近方向の場合の予定焦点面80の位置がF3、F4であり、F4のほうがF3より大きなデフォーカス量である。デフォーカス方向が至近方向とは、レンズにより形成される像面が予定焦点面80に対して射出瞳90の方向と反対側の方向にある場合と定義される。合焦させるためには、レンズを予定焦点面80から遠ざかる方向に移動させる必要がある。
以上のような設定において、光線85、86は位置F0の予定焦点面80の光軸上の位置(P0=Q0)において交差する。デフォーカス方向が無限方向の場合、即ち予定焦点面80の位置F1、F2においては、光線85は光軸91に対する測距瞳95の分布重心位置の方向と光軸91に対して反対方向の位置P1、P2において予定焦点面80と交差する。それとともに、光線86は光軸91に対する測距瞳96の分布重心位置の方向と光軸91に対して反対方向の位置Q1、Q2において予定焦点面80と交差する。
また予定焦点面80の位置F1、F2における光線85、86が予定焦点面80と交差する位置の間隔(P1とQ1の間隔、P2とQ2の間隔)はデフォーカス量が大きくなるほど広がる。
デフォーカス方向が至近方向の場合、即ち予定焦点面80の位置F3、F4においては、光線85は光軸91に対する測距瞳95の分布重心位置の方向と光軸91に対して同じ方向の位置P3、P4において予定焦点面80と交差する。それとともに、光線86は光軸91に対する測距瞳96の分布重心位置の方向と光軸91に対して同じ方向の位置Q3、Q4において予定焦点面80と交差する。
また予定焦点面80の位置F3、F4における光線85、86が予定焦点面80と交差する位置の間隔(P3とQ3の間隔、P4とQ4の間隔)はデフォーカス量が大きくなるほど広がる。
以上のようにデフォーカス方向が反転すると、光線85、86が予定焦点面80と交差する位置の関係(PnとQnの位置関係)が反転することになる。
図14は図13に対応した図であって、合焦時に点像が予定焦点面80の光軸91上に形成される場合において、射出瞳90において絞り開口94により制限を受けた測距瞳95、96を通る光束が予定焦点面80の位置F4、F3、F0、F1、F2に形成する点像の点像分布150,160,151,161,152,162,153,163,154,164の形状を示した図である。図14において破線が測距瞳95を通る光束による点像分布、実線が測距瞳96を通る光束による点像分布を示している。
図14(c)は位置F0(合焦位置)における予定焦点面80上の点像分布であり、測距瞳95を通る光束による点像分布150、測距瞳96を通る光束による点像分布160は両者ともδ関数的に光軸上の1点(x=0=P0=Q0)に集中する。
図14(a)、(b)は位置F4、位置F3(デフォーカス方向が至近方向)の場合における予定焦点面80上の点像分布である。測距瞳95を通る光束による点像分布153、154の分布重心位置P3、P4(P4>P3)は光軸(x=0)に対しプラス方向にずれる。それとともに、点像分布153、154の形状は分布重心位置P3、P4より右側(x軸において値が大きくなる側)の減衰部において略凸状となり、分布重心位置P3、P4より左側(x軸において値が小さくなる側)の減衰部において略凹状となる。これはデフォーカス時の予定焦点面80と射出瞳面90との間の距離が、合焦時の予定焦点面80と射出瞳90との間の距離より短い(デフォーカス方向が至近方向)場合には、予定焦点面80上の測距瞳95を通る光束による点像分布の形状は図9、図10で示した測距瞳95の分布形状を略縮小した形状となるためである。その縮小倍率は略デフォーカス量の大きさに応じて変化するので、点像分布153より点像分布154のほうがx軸上での分布範囲の広がりが大きくなる。
一方図14(a)、(b)において、測距瞳96を通る光束による点像分布163、164の分布重心位置Q3、Q4(Q4<Q3)は光軸(x=0)に対しマイナス方向にずれる。それとともに、点像分布163、164の形状は分布重心位置Q3、Q4より右側(x軸において値が大きくなる側)の減衰部において略凹状となり、重心位置Q3、Q4より左側(x軸において値が小さくなる側)の減衰部において略凸状となる。これはデフォーカス時の予定焦点面80と射出瞳90との間の距離が、合焦時の予定焦点面80と射出瞳面90との間の距離より短い(デフォーカス方向が至近方向)場合には、予定焦点面80上の測距瞳96を通る光束による点像分布の形状は図9、図10で示した測距瞳96の分布形状を略縮小した形状となるためである。その縮小倍率は略デフォーカス量の大きさに応じて変化するので、点像分布163より点像分布164のほうがx軸上での分布範囲の広がりが大きくなる。
図14(d)、(e)は位置F1、位置F2(デフォーカス方向が無限方向)の場合における予定焦点面80上の点像分布である。測距瞳95を通る光束による点像分布151、152の分布重心位置P1、P2(P2<P1)は光軸(x=0)に対しマイナス方向にずれる。それとともに、点像分布151、152の形状は分布重心位置P1、P2より右側(x軸において値が大きくなる側)の減衰部において略凹状となり、分布重心位置P1、P2より左側(x軸において値が小さくなる側)の減衰部において略凸状となる。これはデフォーカス時の予定焦点面80と射出瞳面90との間の距離が、合焦時の予定焦点面80と射出瞳90との間の距離より長い(デフォーカス方向が無限方向)場合には、予定焦点面80上の測距瞳95を通る光束による点像分布の形状は図9、図10で示した測距瞳95の分布形状をx軸方向に対して反転して略縮小した形状となるためである。その縮小倍率は略デフォーカス量の大きさに応じて変化するので、点像分布151より点像分布152のほうがx軸上での分布範囲の広がりが大きくなる。
一方図14(e)、(d)において、測距瞳96を通る光束による点像分布161、162の分布重心位置Q1、Q2(Q2>Q1)は光軸(x=0)に対しプラス方向にずれる。それとともに、点像分布161、162の形状は分布重心位置Q1、Q2より右側(x軸において値が大きくなる側)の減衰部において略凸状となり、分布重心位置Q1、Q2より左側(x軸において値が小さくなる側)の減衰部において略凹状となる。これはデフォーカス時の予定焦点面80と射出瞳90との間の距離が、合焦時の予定焦点面80と射出瞳面90との間の距離より長い(デフォーカス方向が無限方向)場合には、予定焦点面80上の測距瞳96を通る光束による点像分布の形状は図9、図10で示した測距瞳96の分布形状をx軸方向に対して反転して略縮小した形状となるためである。その縮小倍率は略デフォーカス量の大きさに応じて変化するので、点像分布163より点像分布164のほうがx軸上での分布範囲の広がりが大きくなる。
以上説明したように測距瞳95、96を通る光束が形成する点像分布は以下のような特徴を持つ。
(i)デフォーカス状態において、測距瞳95、96を通過する一対の光束に応じた一対の点像分布の分布重心位置は一致しない。
(ii)デフォーカス状態において、一対の点像分布の分布重心位置を結ぶ方向における一対の点像分布の分布形状は互いに相違する。
(iii)デフォーカス状態において、一対の点像分布の分布形状は、それぞれの点像分布重心位置に対して非対称な形状となる。一対の点像分布の分布重心位置を一致させた場合に、一致させた分布重心位置に対して略線対称な形状、すなわち一方の分布を一致させた分布重心位置に対して反転すると略一致する形状となる。
(iv)デフォーカス状態において、一対の点像分布の分布形状は、測距瞳95、96を通過する一対の光束の分布形状を反映した形状になるとともに、点像分布の分布重心位置を基準として、点像分布の一方の側の減衰部と他方の側の減衰部との凸凹が逆となる。
(v)上記点像分布の重心位置を結ぶ方向における一対の点像分布の分布形状については、点像分布の分布重心位置を基準として、点像分布の一方の側の減衰部と他方の側の減衰部との凸凹が逆となる。すなわち、一対の点像分布の分布形状は非対称的な特性を有する。点像分布の一方の側の減衰部と他方の側の減衰部との凸凹は、デフォーカス方向に応じて反転する。
以上で説明したのは、測距瞳95、96を通る光束が形成する点像分布に関する特性である。測距瞳95、96を通る光束が形成する一般的な像分布においても、デフォーカス時の像分布は、合焦時の像分布に、デフォーカス時の点像分布をたたみ込んだ(コンボルーション)ものであるから、デフォーカス時の一般的な像分布も上述した点像分布の特性を継承している。
図15、図16は合焦時に矩形関数の信号波形となる像を一般的な像分布の代表として選んだ場合の、射出瞳90において絞り開口94により制限を受けた測距瞳95、96を通る光束が予定焦点面80の位置F4、F3、F0、F1、F2に形成する像の分布形状である像分布250,260,251,261,252,262,253,263,254,264を示した図である。
図15(c)は位置F0(合焦位置)における予定焦点面80上の像分布であり、測距瞳95を通る光束による像分布250は矩形関数的に光軸上の狭い領域に集中する。この時像分布250の左側減衰部250L(左エッジ)、右側減衰部250R(右エッジ)はほぼ垂直になっており、凸凹形状にはならない。
図15(a)、(b)は位置F4、位置F3(デフォーカス方向が至近方向)の場合における予定焦点面80上の像分布であり、測距瞳95を通る光束による像分布253、254の形状はデフォーカスによりボケて、エッジ部がなだらかになる。この時像分布253、254の左側減衰部253L、254L(左エッジ)の形状は、図14の点像分布153、154の分布重心位置P3、P4に対して左側の減衰形状の影響を受け、減衰部において略凹状となる。それとともに、右側減衰部253R、254R(右エッジ)の形状は、点像分布153、154の分布重心位置P3、P4に対して右側の減衰形状の影響を受け、減衰部において略凸状となる。
図15(e)、(d)は位置F1、位置F2(デフォーカス方向が無限方向)の場合における予定焦点面80上の像分布であり、測距瞳95を通る光束による像分布251、252の形状はデフォーカスによりボケて、エッジ部がなだらかになる。この時像分布251、252の左側減衰部251L、252L(左エッジ)の形状は、図14の点像分布151、152の分布重心位置P1、P2に対して左側の減衰形状の影響を受け、減衰部において略凸状となる。それとともに、右側減衰部251R、252R(右エッジ)の形状は、点像分布151、152の分布重心位置P1、P2に対して右側の減衰形状の影響を受け、減衰部において略凹状となる。
図16(c)は位置F0(合焦位置)における予定焦点面80上の像分布であり、測距瞳96を通る光束による像分布260は矩形関数的に光軸上の狭い領域に集中し、図15(c)の像分布250とほぼ一致する。この時像分布260の左側減衰部260L(左エッジ)、右側減衰部260R(右エッジ)はほぼ垂直になっており、凸凹形状にはならない。
図16(a)、(b)は位置F4、位置F3(デフォーカス方向が至近方向)の場合における予定焦点面80上の像分布であり、測距瞳96を通る光束による像分布263、264の形状はデフォーカスによりボケて、エッジ部がなだらかになる。この時像分布263、264の左側減衰部263L、264L(左エッジ)の形状は、図14の点像分布163、164の分布重心位置Q3、Q4に対して左側の減衰形状の影響を受け、減衰部において略凸状となる。それとともに、右側減衰部263R、264R(右エッジ)の形状は、点像分布163、164の分布重心位置Q3、Q4に対して右側の減衰形状の影響を受け、減衰部において略凹状となる。
図16(e)、(d)は位置F1、位置F2(デフォーカス方向が無限方向)の場合における予定焦点面80上の像分布であり、測距瞳96を通る光束による像分布261、262の形状はデフォーカスによりボケて、エッジ部がなだらかになる。この時像分布261、262の左側減衰部261L、262L(左エッジ)の形状は、図14の点像分布161、162の分布重心位置Q1、Q2に対して左側の減衰形状の影響を受け、減衰部において略凹状となる。それとともに、右側減衰部261R、262R(右エッジ)の形状は、点像分布161、162の分布重心位置Q1、Q2に対して右側の減衰形状の影響を受け、減衰部において略凸状となる。
以上説明したように測距瞳95、96を通る光束が形成する一般像の像分布においてエッジ部の凸凹形状特性は、点像分布のエッジ部の凸凹形状特性を継承する。
図15、図17は矩形波形を呈する像に対するデフォーカス特性の説明であるが、より一般的な像においても像を点像の集合とみなすことができ、デフォーカス時において同様なデフォーカス特性を示す。
上述したような測距瞳の分布形状が分布重心位置に対して非対称となる瞳分割位相差方式を採用したデフォーカス検出においては、デフォーカス時に一対の測距瞳を通る光束が形成する一対の点像の点像分布が互いに一致しない。この場合、一般的な像に対してデフォーカス量検出演算により相対的な像ずらしを行なって相関度を算出した場合においても相関度(一致度)が低下するので、焦点検出不能になる確率が増加し、結果的に大きなデフォーカス量の検出ができないという問題がある。またデフォーカス量が大きくなるとデフォーカス像の高周波成分がなくなり、低周波成分だけになるので、しばしば、像の異なる部分のボケパターンを誤って一致検出するといった、偽合焦が発生するという問題もある。
本発明はこのような状況においてもデフォーカス時のボケ像の特徴を抽出することによりデフォーカス方向を検出するものであり、例えばボケ像のエッジ部の凸凹形状がデフォーカス方向に応じて反転するといった特性を利用してデフォーカス方向を正確に検出するものである。
以上説明した瞳分割位相差検出方式のデフォーカス像の特性を踏まえ、図11のステップS150におけるボディ駆動制御装置214によるデフォーカス方向検出の処理の詳細について、図17を用いて以下説明する。
ステップS400以降のデフォーカス方向検出処理を開始する。ステップS410において焦点検出画素315の配列および焦点検出画素316の配列から読み出された一対のデータ列A1n(第1信号列)、A2n(第2信号列)を(8)式により合成して合成信号列A3n(n=1〜M)を算出する。
A3n=(A1n+A2n)/2 ・・・(8)
一対のデータ列A1n、A2nと合成信号列A3nとを連続的な波形として表わした場合の関係を図18に示す。図18は合焦時に略矩形形状となる像分布のデフォーカス状態(デフォーカス方向は至近方向)を表わしており、実線の太線が合成信号列A3nであり、破線の細線がデータ列A1n、実線の細線がデータ列A2nである。
ステップS420において、合成信号列A3nに対して最大傾斜左エッジ部MLと最大傾斜右エッジ部MRとの検出を行なう。
これは例えば図18において傾斜検出間隔(データ間隔)をSpとした場合に、全データ区間(1〜M)において、A3n+Sp−A3nが最大となる部分を最大傾斜左エッジ部MLとし、A3n−A3n+Spが最大となる部分を最大傾斜右エッジ部MRとする。なお傾斜検出間隔Spは、相関度低下によるデフォーカス量検出不能となるデフォーカス状態での点像分布形状の広がり量の数分の1程度に定められる。
ステップS430では最大傾斜左エッジ部MLにおいて、データ列A1nが形成する信号列形状の特徴(合成信号列A3nを基準とした凸凹量)を算出するために、最大傾斜左エッジ部MLの区間でデータ列A1nと合成信号列A3nとの差分を積算し、(9)式のように評価値L1を算出する。(9)式において積算Σはnについて区間MLで行なわれる。
L1=Σ(A1n−A3n) ・・・(9)
図19は図18の最大傾斜左エッジ部MLの拡大図であって、評価値L1は、最大傾斜左エッジ部MLの区間におけるデータ列A1nと合成信号列A3nとの間の斜線部の面積(符号はマイナスになる)に相当しており、このマイナス符号の面積が大きくなるほど凹量が大きいと判定される。
ステップS440では最大傾斜左エッジ部MLにおいて、データ列A2nが形成する信号列形状の特徴(合成信号列A3nを基準とした凸凹量)を算出するために、最大傾斜左エッジ部MLの区間でデータ列A2nと合成信号列A3nとの差分を積算し、(10)式のように評価値L2を算出する。(10)式において積算Σはnについて区間MLで行なわれる。
L2=Σ(A2n−A3n) ・・・(10)
図19において評価値L2は、最大傾斜左エッジ部MLの区間におけるデータ列A2nと合成信号列A3nとの間の斜線部の面積(符号はプラスになる)に相当しており、このプラス符号の面積が大きくなるほど凸量が大きいと判定される。
ステップS450では最大傾斜右エッジ部MRにおいて、データ列A1nの特徴(合成信号列A3nを基準とした凸凹量)を算出するために、最大傾斜右エッジ部MRの区間でデータ列A1nと合成信号列A3nとの差分を積算し、(11)式のように評価値R1を算出する。(11)式において積算Σはnについて区間MRで行なわれる。
R1=Σ(A1n−A3n) ・・・(11)
評価値R1は、最大傾斜右エッジ部MRの区間におけるデータ列A1nと合成信号列A3nとの間の領域の面積(符号はプラスになる)に相当しており、このプラス符号の面積が大きくなるほど凸量が大きいと判定される。
ステップS460では最大傾斜右エッジ部MRにおいて、データ列A2nの特徴(合成信号列A3nを基準とした凸凹量)を算出するために、最大傾斜右エッジ部MRの区間でデータ列A2nと合成信号列A3nとの差分を積算し、(12)式のように評価値R2を算出する。(12)式において積算Σはnについて区間MRで行なわれる。
R2=Σ(A2n−A3n) ・・・(12)
評価値R2は、最大傾斜右エッジ部MRの区間におけるデータ列A2nと合成信号列A3nとの間の領域の面積(符号はマイナスになる)に相当しており、このマイナス符号の面積が大きくなるほど凹量が大きいと判定される。
一般に図18のようなデフォーカス状態(デフォーカス方向は至近方向)においては、測距瞳95を通る光束が形成する予定焦点面に形成する像(データ列A1nに対応)の左エッジ部が凹状になり、右エッジ部が凸状になる。一方これとは反対に測距瞳96を通る光束が形成する予定焦点面に形成する像(データ列A2nに対応)の左エッジ部が凸状になり、右エッジ部が凹状になる。
またデフォーカス方向が図18とは反対のデフォーカス状態(デフォーカス方向は無限方向)においては、測距瞳95を通る光束が形成する予定焦点面に形成する像(データ列A1nに対応)の左エッジ部が凸状になり、右エッジ部が凹状になる。一方これとは反対に測距瞳96を通る光束が形成する予定焦点面に形成する像(データ列A2nに対応)の左エッジ部が凹状になり、右エッジ部が凸状になる。
このようにデフォーカス状態に応じて像の左エッジ部、右エッジ部の形状特徴が変化することは、一般的な像に対する実験評価においても成立することが確認されている。
即ち一般的な像を含めたデフォーカス像に対しては、デフォーカス方向が至近方向の場合、評価値L1、R2がマイナス符号(凹状)となるとともに、評価値R1、L2がプラス符号(凸状)となる。
またデフォーカス方向が無限方向の場合、評価値L1、R2がプラス符号(凸状)となるとともに、評価値R1、L2がマイナス符号(凹状)となる。
従って4つの評価値L1、L2、R1、R2を用いて表1のようにしてデフォーカス方向を検出する。即ちL1+R2とR1+L2との大小関係を判定し、L1+R2<R1+L2の場合にはデフォーカス方向が至近方向であると判定する。反対にL1+R2>R1+L2の場合にはデフォーカス方向が無限方向であると判定する。またL1+R2とR1+L2との差の絶対値が所定閾値Th1以下の場合は、デフォーカス方向判定結果の信頼性が低くなるので、このような場合はデフォーカス方向が検出不能であると判定する。
ステップ470〜ステップS510では、ステップS430〜ステップS460で算出された4つの評価値L1、L2、R1、R2を用いて、表1に基づいてデフォーカス方向の検出を行なう。
ステップS470では、L1+R2とR1+L2との差の絶対値が所定閾値Th1以上であるかチェックする。L1+R2とR1+L2との差の絶対値が所定閾値Th1以上でない場合は、ステップS480でデフォーカス方向検出不能とし、ステップS520でリターンする。
ステップS470でL1+R2とR1+L2との差の絶対値が所定閾値Th1以上である場合は、ステップS490でL1+R2がR1+L2よりも小さいかチェックする。L1+R2がR1+L2よりも小さい場合にはステップS500でデフォーカス方向を至近方向とし、ステップS520でリターンする。
ステップS490でL1+R2がR1+L2よりも大きい場合には、ステップS510でデフォーカス方向を無限方向とし、ステップS520でリターンする。
上述したデフォーカス方向の検出に用いる評価値L1、L2、R1、R2は図19(a)のように合成像信号列A3nを基準とした差分値の積算として算出されているが、評価値L1、L2、R1、R2の算出はこれに限定されることはなく、デフォーカス時のボケ像の特徴を抽出することによりデフォーカス方向を検出するものであればよい。
例えば上述した(9)〜(12)式による評価値算出演算において、合成像信号列A3nの代わりにエッジ部の両端において合成像信号列A3nと一致する直線と合致する信号列を使用してもよい。エッジ部の両端において合成像信号列A3nと一致する直線とは、図19(a)において、区間MLの左端における合成像信号A3nと、区間MLの右端における合成像信号A3n+Spとを結んだ直線である。
また例えば予定焦点面80の光軸から離れた高い像高の領域では、測距瞳95、96の口径蝕アンバランスによるシェーディングが発生し、一対のデータ列A1n(第1信号列)、A2n(第2信号列)の信号レベルが一致しなくなる場合がある。そのような場合には評価値L1、L2、R1、R2を、合成像信号列A3nを基準とするのではなく、自分自身の信号列を基準とした差分値の積算として算出するほうがよい。
図19(b)はそのような方法で評価値L1、L2を算出する場合の説明図である。
図19(b)において最大傾斜左エッジ部MLにおけるデータ列A1nの特徴を算出するために、最大傾斜左エッジ部MLの区間でデータ列A1nとデータ列A1nの区間MLの両端(データA1nおよびデータA1n+Sp)を結んだ直線との差分を積算し、評価値L1を算出する。
また最大傾斜左エッジ部MLにおけるデータ列A2nの特徴を算出するために、最大傾斜左エッジ部MLの区間でデータ列A2nとデータ列A2nの区間MLの両端(データA2nおよびデータA2n+Sp)を結んだ直線との差分を積算し、評価値L2を算出する。
また図19(a)、(b)のようなデータ間の差分の積算による評価値の算出ではなく、デフォーカス時のボケ像の特徴を別の観点から抽出することも可能である。一例としてエッジ部が凸状であるか凹状であるかは、最大傾斜エッジ部の区間において区間幅の数分の1〜数十分の1のデータ間隔で再度最大傾斜エッジ部の位置を検出することにより検出することも可能である。
図19(a)において、上述のようにして最大傾斜左エッジ部の区間MLにおけるデータ列A1nとデータ列A2nとについて再度最大傾斜左エッジ部の位置(エッジ部の中心位置のx座標)を検出した場合の位置をそれぞれPL1、PL2とすれば、デフォーカス方向が至近方向の場合、PL1>PL2(位置PL1が位置PL2より右側に位置する)となる。同じようにして最大傾斜右エッジ部の区間MRにおけるデータ列A1nとデータ列A2nとについて再度最大傾斜右エッジ部の位置(エッジ部の中心位置のx座標)を検出した場合の位置をそれぞれPR1、PR2とすれば、デフォーカス方向が至近方向の場合、PR1>PR2(位置PR1が位置PR2より右側に位置する)となる。またデフォーカス方向が無限方向の場合は、上記位置関係は逆転して、最大傾斜左エッジ部の区間MLにおいてPL1<PL2、最大傾斜右エッジ部の区間MRにおいてPR1<PR2となる。したがって、位置PL1、PL2、PR1、PR2をデフォーカス方向検出の際の評価値として採用することもできる。
デジタルスチルカメラ201が有する本実施の形態における焦点検出装置は、撮像素子212と、ボディ制御装置214とを含む。撮像素子212は、物体像を予定焦点面80に形成する撮影光学系の射出瞳90上の相異なる領域95および96を通過する光束75および76が形成する第1像および第2像を光電変換し、一対の像に対応した一対のデータ列A1n(第1信号列)およびA2n(第2信号列)を生成する。ボディ制御装置214は、ステップS150において、データ列A1nが形成する信号列形状とデータ列A2nが形成する信号列形状との凸凹に関する相違に基づいて予定焦点面80に対する物体像の合焦像が形成される像面のデフォーカス方向を検出する。
従来の瞳分割位相差検出方式の焦点検出においては、測距瞳95、96の瞳分布形状の非対称性によって生じる一対のデフォーカス像の相関度の低下によりデフォーカス量が大きくなると焦点検出不能に陥り易くなる。上述したように本発明の実施形態では、そのような場合においても確実にデフォーカス方向を検出することが可能になる。検出したデフォーカス方向に応じてレンズを合焦方向へと駆動することにより、従来検出不能時に合焦方向と反対方向にレンズを駆動してしまった場合に生じる合焦時間のロスをなくすことができ、迅速な合焦動作を達成することが可能になる。
上述したように、焦点検出不能であるときは、デフォーカス量が大きい場合があり、デフォーカス量が大きいときは、像ズレ検出を行なうべき一対の像から高周波成分が失われ低周波成分が支配的になる場合がある。このような場合には、像の異なる部分に対する類似性が高まることが知られている。このような一対の像を相対的にずらしながら相関度に基づく像ズレ検出を行なうと、実際には像の異なる部分が一致したと誤検出してしまい、誤ったデフォーカス情報(デフォーカス方向)に基づき合焦方向と反対方向にレンズを駆動してしまう場合があった。本発明においてはそのような場合においても正しいデフォーカス方向を検出することができるので、迅速かつ正確な合焦動作を達成することが可能になる。
また大デフォーカス量を検出するためには例えば(1)式において像ずらし量kの範囲を大きくする必要があり、演算量および演算時間が膨大になることにより合焦動作の迅速性が損なわれるという問題もある。従来の瞳分割位相差検出方式の焦点検出においては、デフォーカス量が検出されるまで像ずらし量kの範囲を広げて焦点検出演算を行うが、本発明によれば、像ずらし量kの範囲を広げる程度にデフォーカス量が大きい状態であれば、デフォーカス方向を検出して焦点調節を行えばよい。こうした焦点調節によって合焦位置付近の狭い像ずらし量kの範囲に到達したら、従来の瞳分割位相差検出方式の焦点検出によってデフォーカス量を検出することとしてもよい。本発明におけるデフォーカス方向を検出するための演算(例えば(9)式〜(12)式)は像ずらし量kに依存していない演算なので、相対的に少ない演算量および演算時間でデフォーヵス方向を検出することが可能になり、合焦動作の迅速性が損なわれることがない。
例えば相関演算式(1)における像ずらし量kの範囲を狭めるとともに、該範囲でデフォーカス量が検出不能な場合には、上述のデフォーカス方向検出を行なうことにより、焦点検出演算時間の短縮を図ることも可能である。
<1つの焦点検出画素に一対の受光領域を備える>
図3に示す撮像素子212の部分拡大図では、各画素に1つの光電変換部を有する一対の焦点検出画素315、316を備える例を示したが、ひとつの焦点検出画素内に一対の光電変換部を備えるようにしてもよい。図20は図3に対応した撮像素子212の部分拡大図であり、焦点検出画素312は一対の光電変換部を備える。
図20に示す焦点検出画素312は、図3に示す焦点検出画素315および316のペアに相当した機能を果たす。焦点検出画素312は、マイクロレンズ10と一対の光電変換部13、14から構成される。焦点検出画素312には白色フィルタが配置されており、その分光特性は光電変換を行うフォトダイオードの分光感度と、赤外カットフィルタ(不図示)の分光特性とを総合した分光特性となる。つまり緑画素、赤画素および青画素の分光特性を加算したような分光特性となり、その感度の光波長領域は緑画素、赤画素および青画素の感度の光波長領域を包括している。
図21は図20に示した焦点検出画素312の断面図であって、光電変換部13、14の上に近接して遮光マスク30が形成され、遮光マスク30の開口部30dを通過した光を光線変換部13、14は受光する。遮光マスク30の上には平坦化層31が形成され、その上に白色フィルタ34が形成される。白色フィルタ34の上には平坦化層32が形成され、その上にマイクロレンズ10が形成される。マイクロレンズ10により開口部30dに制限された光電変換部13、14の形状が前方に投影されて、一対の測距瞳を形成する。光電変換部13、14は半導体回路基板29上に形成される。
図22は、図21に示す画素構造を有する焦点検出画素312が受光する焦点検出光束の様子を図7と比較して説明するための図であって、水平方向に配列した焦点検出画素配列の断面をとっている。図22において、射出瞳90は、交換レンズ202の予定結像面に配置されたマイクロレンズ10から前方に測距瞳距離dの位置に設定されている。図22には他に、交換レンズの光軸91、マイクロレンズ10、光電変換部13、14、焦点検出画素312、焦点検出光束73、74が示されている。
測距瞳95は、開口部30dにより制限された光電変換部13がマイクロレンズ10により投影されたものである。同様に、測距瞳96は、開口部30dにより制限された光電変換部14がマイクロレンズ10により投影されたものである。測距瞳95、96は光軸91を挟んで水平方向に並ぶ。
図22では、撮影光軸91近傍の焦点検出エリア101における隣接する5つの焦点検出画素312を模式的に例示しているが、各焦点検出画素312の光電変換部はそれぞれ対応した測距瞳95、96から各マイクロレンズに到来する光束を受光するように構成されている。
以上のような構成により、光電変換部13は測距瞳95を通過し、焦点検出画素312のマイクロレンズ10に向かう光束73によりマイクロレンズ10上に形成される像の強度に対応した信号を出力する。また、光電変換部14は測距瞳96を通過し、焦点検出画素312のマイクロレンズ10に向う光束74によりマイクロレンズ10上に形成される像の強度に対応した信号を出力する。
<再結像光学系>
上述した実施の形態では、マイクロレンズを用いた瞳分割位相差検出方式による焦点検出動作を例にとって説明したが、本発明はこのような方式の焦点検出に限定されず、周知の再結像瞳分割位相差検出方式の焦点検出にも適用可能である。
再結像瞳分割位相差検出方式においては、1次像面上に形成される被写体像を一対のセパレータレンズを用い、一対の測距瞳を通過する一対の焦点検出光束が形成する一対の被写体像として一対のイメージセンサ上に再結像し、該一対のイメージセンサの出力に基づき、上記一対の被写体像の像ズレ量を検出している。
図23は、図20に示す撮影画面100の中央に焦点検出エリア101を有する再結像瞳分割型位相差検出方式の焦点検出装置の構成例を示す。図23を用いて、再結像瞳分割方式の焦点検出動作を説明する。図23には、交換レンズの光軸191、コンデンサレンズ110、絞りマスク121、絞り開口115、116、再結像レンズ25、26、焦点検出専用のイメージセンサ(CCD)117が示されている。
また、図23には、焦点検出光束175、176、交換レンズの予定結像面の前方へ測距瞳距離d1の位置に設定された射出瞳190も示されている。ここで、測距瞳距離d1は、コンデンサレンズ110の焦点距離、およびコンデンサレンズ110と絞り開口115、116との間の距離などに応じて決まる。測距瞳195は、コンデンサレンズ110により投影された絞り開口115の領域である。同様に、測距瞳196は、コンデンサレンズ110により投影された絞り開口116の領域である。コンデンサレンズ110、絞りマスク121、絞り開口115、116、再結像レンズ25、26およびイメージセンサ117が、図2における撮影画面100の中央の焦点検出エリア101で焦点検出を行う再結像方式の瞳分割方位相差検出の焦点検出ユニット207を構成する。
コンデンサレンズ110は、交換レンズの予定結像面近傍に配置される。イメージセンサ117は、コンデンサレンズ110の背後に配置される。予定結像面近傍に結像された1次像をイメージセンサ117上に再結像する一対の再結像レンズ25、26は、コンデンサレンズ110とイメージセンサ117との間に配置される。絞りマスク121は、一対の再結像レンズ25、26の近傍(図23では前面)に配置された一対の絞り開口115、116を有する。
イメージセンサ117は、複数の光電変換部が直線に沿って密に配置されたラインセンサであり、光電変換部の配置方向は一対の測距瞳195および196による瞳分割方向と一致させる。一対の測距瞳195および196による瞳分割方向は、一対の絞り開口115および116の並び方向と一致する。イメージセンサ117上に再結像された一対の像の強度分布に対応した情報がイメージセンサ117から出力され、この情報に対して上述した像ズレ検出演算処理(相関処理、位相差検出処理)を施すことによって、いわゆる瞳分割型位相差検出方式(再結像方式)による一対の像の像ズレ量の検出が行われる。さらに、像ズレ量に所定の変換係数を乗ずることによって、予定結像面に対する現在の結像面の偏差(デフォーカス量)が算出される。
再結像瞳分割型位相差検出方式の焦点検出装置においては、図7に示すようなマイクロレンズ10を用いた瞳分割型位相差検出方式の焦点検出装置に比べると、一対の測距瞳195および196の分布形状に非対称性が生じる程度は小さい。しかし、以下に説明するように、一対の測距瞳195および196の分布形状に非対称性が生じる場合がある。
図24は絞りマスク121の絞り開口115、116の開口形状を示した正面図であり、絞り開口115、116の開口は互いに開口の円周部が光軸中心の円周に沿って形成された対向する扇形として形成される。これは光学系の絞り開口径が小さくなった場合において、焦点検出光束の絞り開口による口径蝕が生ずることは許容して焦点検出光束を確保するためである。換言すると、絞り開口115、116を形成する扇形の中心角が光軸近傍まで張り出した形状となっているため、射出瞳が光軸近傍の小さな領域になった場合であっても、絞り開口115、116によってケラれない焦点検出光束を確保することができる。その際、一対の測距瞳195および196の分布形状に非対称性が生じる場合がある。
コンデンサレンズ110は、絞りマスク121の絞り開口115、116の開口形状を、測距瞳距離d5に位置する射出瞳190上に一対の測距瞳195、196として投影している。すなわち、イメージセンサ117上に再結像される一対の像は、射出瞳190上の一対の測距瞳195、196を通過する焦点検出用光束175、176によって形成される。
以上のような構成においても、測距瞳195、196の瞳分布形状の非対称性によって生じる一対のデフォーカス像の相関度の低下によりデフォーカス量が大きくなると焦点検出不能に陥り易くなる。しかし、上述したように本発明を適用することにより、そのような場合においても確実にデフォーカス方向を検出することが可能になるという効果を得ることが出来る。
上述した焦点検出装置においては、一対のボケ像のエッジ部の凸凹形状の相違に基づいてデフォーカス方向を検出する。しかし、一対のボケ像のエッジ部以外の部分の形状に関する、デフォーカス方向に応じた相違に基づいてデフォーカス方向を検出することとしてもよい。
上述した焦点検出装置においては、本発明によりデフォーカス方向を検出した後に、従来の瞳分割位相差検出方式の焦点検出を行うことによって焦点調節可能とした。しかし、本発明によりデフォーカス方向を検出した後に、マニュアル操作やコントラスト方式等の他の焦点検出を行うことによって焦点調節可能としてもよい。
なお、焦点検出装置が適用される撮像装置としては、上述したようなカメラボディ203に交換レンズ202が装着される構成のデジタルカメラ201に限定されない。例えばレンズ一体型のデジタルカメラあるいはビデオカメラにも本発明を適用することができる。さらには、携帯電話などに内蔵される小型カメラモジュール、監視カメラやロボット用の視覚認識装置、車載カメラなどにも適用することができる。