JP2010091848A - 焦点検出装置および撮像装置 - Google Patents

Abstract

【課題】欠陥焦点検出画素を含む撮像素子による焦点検出を可能にする。
【解決手段】撮像画素と焦点検出画素とが二次元状に配列された撮像素子であって、複数の焦点検出画素の配列により結像光学系を通過する一対の光束が形成する一対の像に対応した一対の像信号を生成する撮像素子に対して、複数の焦点検出画素の中に欠陥焦点検出画素Ａ0xがある場合に、欠陥焦点検出画素Ａ0xの周囲の画素の出力信号に基づいて欠陥焦点検出画素Ａ0xの出力信号を補間により演算するとともに、焦点検出画素の出力信号と補間手段により演算された欠陥焦点検出画素Ａ0xの出力信号とにより生成される一対の像信号に基づいて、一対の像の相対的なズレ量を検出し、検出された一対の像のズレ量に基づいて結像光学系の焦点調節状態を演算する。
【選択図】図１４

Description

本発明は、光学系を通過する一対の光束が形成する一対の像に対応した一対の像信号を複数個の焦点検出画素の配列により生成するとともに、一対の像信号のズレ量に基づいて光学系の焦点調節状態を検出する焦点検出装置および撮像装置に関する。

光学系を通過する一対の光束が形成する一対の像に対応した一対の像信号を生成する複数個の焦点検出画素の配列を撮像画素中に混在させたイメージセンサーを備え、撮像画素の出力により画像信号を生成するとともに、焦点検出画素が生成する一対の像信号のズレ量に基づいて、光学系の焦点調節状態を検出する焦点検出機能を備えた撮像装置が知られている（例えば、特許文献１参照）。
特開２００７−１８９３１２号公報

しかしながら、上述した従来の撮像装置では、複数の焦点検出画素の一部に出力が異常となる欠陥焦点検出画素を含んだまま像ズレ検出を行った場合、焦点検出精度が悪化し、間違った焦点検出結果を出したり、焦点検出が不能になるという問題がある。このような問題を防止するために、個別検査により欠陥焦点検出画素を含まないイメージセンサーを選別して撮像装置に組み込む対策を施すと、イメージセンサーの歩留まりが低下し、撮像装置のコストが増加するという問題が生じる。

(１) 請求項１の発明は、撮像画素と焦点検出画素とが二次元状に配列された撮像素子であって、複数の焦点検出画素の配列により結像光学系を通過する一対の光束が形成する一対の像に対応した一対の像信号を生成する撮像素子と、複数の焦点検出画素の中に欠陥焦点検出画素がある場合に、欠陥焦点検出画素の周囲の画素の出力信号に基づいて欠陥焦点検出画素の出力信号を補間により演算する補間手段と、焦点検出画素の出力信号と補間手段により演算された欠陥焦点検出画素の出力信号とにより生成される一対の像信号に基づいて、一対の像の相対的なズレ量を検出する検出手段と、検出手段により検出された一対の像のズレ量に基づいて、結像光学系の焦点調節状態を演算する演算手段とを備える。
(２) 請求項２の発明は、請求項１に記載の焦点検出装置において、補間手段は、欠陥焦点検出画素の周囲の撮像画素の出力信号に基づいて欠陥焦点検出画素の出力信号を補間により演算する。
(３) 請求項３の発明は、請求項１に記載の焦点検出装置において、補間手段は、欠陥焦点検出画素の周囲の焦点検出画素の出力信号に基づいて欠陥焦点検出画素の出力信号を補間により演算する。
(４) 請求項４の発明は、請求項１に記載の焦点検出装置において、補間手段は、欠陥焦点検出画素の周囲の撮像画素と焦点検出画素の出力信号に基づいて欠陥焦点検出画素の出力信号を補間により演算する。
(５) 請求項５の発明は、請求項２または請求項４に記載の焦点検出装置において、撮像画素には複数種類の色フィルターが設けられており、補間手段は、色フィルターが設けられていない欠陥焦点検出画素の出力信号を、それぞれの色フィルターが設けられた撮像画素の出力信号の線形和として演算する。
(６) 請求項６の発明は、請求項３または請求項４に記載の焦点検出装置において、焦点検出画素は、一対の像信号の内の一方の像信号を出力する第１焦点検出画素と他方の像信号を出力する第２焦点検出画素とからなり、補間手段は、欠陥焦点検出画素の周囲に配置された第１焦点検出画素と第２焦点検出画素の内、欠陥焦点検出画素と同一種類の第１焦点検出画素または第２焦点検出画素の出力信号に基づいて欠陥焦点検出画素の出力信号を補間により演算する。
(７) 請求項７の発明は、請求項１〜６のいずれか一項に記載の焦点検出装置において、欠陥焦点検出画素の位置情報を記憶する記憶手段を備え、補間手段は、記憶手段に記憶された欠陥焦点検出画素の位置情報に基づいて、欠陥焦点検出画素の出力信号を補間により演算する。
(８) 請求項８の発明は、焦点検出画素が平面上に配列された焦点検出用撮像素子であって、複数の焦点検出画素の配列により結像光学系を通過する一対の光束が形成する一対の像に対応した一対の像信号を生成する焦点検出用撮像素子と、複数の焦点検出画素の中に欠陥焦点検出画素がある場合に、欠陥焦点検出画素の周囲の焦点検出画素の出力信号に基づいて欠陥焦点検出画素の出力信号を補間により演算する補間手段と、焦点検出画素の出力信号と補間手段により演算された欠陥焦点検出画素の出力信号とにより生成される一対の像信号に基づいて、一対の像の相対的なズレ量を検出する検出手段と、検出手段により検出された一対の像のズレ量に基づいて、結像光学系の焦点調節状態を演算する演算手段とを備える。
(９) 請求項９の発明は、請求項１〜８のいずれか一項に記載の焦点検出装置を備える撮像装置である。

本発明によれば、欠陥焦点検出画素を含んだ撮像素子を使用しても正常に焦点検出を行うことが可能になるとともに、撮像素子の歩留まりの低下を防ぐことができる。

一実施の形態の焦点検出装置および撮像装置として、レンズ交換式デジタルスチルカメラを例に上げて説明する。図１は一実施の形態のカメラの構成を示すカメラの横断面図である。一実施の形態のデジタルスチルカメラ２０１は交換レンズ２０２とカメラボディ２０３から構成され、交換レンズ２０２がマウント部２０４を介してカメラボディ２０３に装着される。カメラボディ２０３にはマウント部２０４を介して種々の撮影光学系を有する交換レンズ２０２が装着可能である。

交換レンズ２０２はレンズ２０９、ズーミング用レンズ２０８、フォーカシング用レンズ２１０、絞り２１１、レンズ駆動制御装置２０６などを備えている。レンズ駆動制御装置２０６は不図示のマイクロコンピューター、メモリ、駆動制御回路などから構成され、フォーカシング用レンズ２１０の焦点調節と絞り２１１の開口径調節のための駆動制御や、ズーミング用レンズ２０８、フォーカシング用レンズ２１０および絞り２１１の状態検出などを行う他、後述するボディ駆動制御装置２１４との通信によりレンズ情報の送信とカメラ情報の受信を行う。絞り２１１は、光量およびボケ量調整のために光軸中心に開口径が可変な開口を形成する。

カメラボディ２０３は撮像素子２１２、ボディ駆動制御装置２１４、液晶表示素子駆動回路２１５、液晶表示素子２１６、接眼レンズ２１７、メモリカード２１９などを備えている。撮像素子２１２には、撮像画素が二次元状に配置されるとともに、焦点検出位置に対応した部分に焦点検出画素が組み込まれている。また撮像素子２１２には不揮発性メモリ(詳細後述)が内蔵されており、撮像素子２１２がカメラボディ２０３に組み込まれる前に個別検査が行われ、欠陥画素の有無、欠陥画素の位置情報などの撮像素子個別の情報が該メモリに書き込まれて記憶される。この撮像素子２１２については詳細を後述する。

ボディ駆動制御装置２１４はマイクロコンピューター、メモリ、駆動制御回路などから構成され、撮像素子２１２の駆動制御と画像信号および焦点検出信号の読み出しと、焦点検出信号に基づく焦点検出演算と交換レンズ２０２の焦点調節を繰り返し行うとともに、画像信号の処理と記録、カメラの動作制御などを行う。また、ボディ駆動制御装置２１４は電気接点２１３を介してレンズ駆動制御装置２０６と通信を行い、レンズ情報の受信とカメラ情報(デフォーカス量や絞り値など)の送信を行う。

液晶表示素子２１６は電気的なビューファインダー(ＥＶＦ：Electronic View Finder)として機能する。液晶表示素子駆動回路２１５は撮像素子２１２によるスルー画像を液晶表示素子２１６に表示し、撮影者は接眼レンズ２１７を介してスルー画像を観察することができる。メモリカード２１９は、撮像素子２１２により撮像された画像を記憶する画像ストレージである。

交換レンズ２０２を通過した光束により、撮像素子２１２の受光面上に被写体像が形成される。この被写体像は撮像素子２１２により光電変換され、画像信号と焦点検出信号がボディ駆動制御装置２１４へ送られる。

ボディ駆動制御装置２１４は、撮像素子２１２の焦点検出画素からの焦点検出信号に基づいてデフォーカス量を算出し、このデフォーカス量をレンズ駆動制御装置２０６へ送る。また、ボディ駆動制御装置２１４は、撮像素子２１２からの画像信号を処理して画像を生成し、メモリカード２１９に格納するとともに、撮像素子２１２からのスルー画像信号を液晶表示素子駆動回路２１５へ送り、スルー画像を液晶表示素子２１６に表示させる。さらに、ボディ駆動制御装置２１４は、レンズ駆動制御装置２０６へ絞り制御情報を送って絞り２１１の開口制御を行う。

レンズ駆動制御装置２０６は、フォーカシング状態、ズーミング状態、絞り設定状態、絞り開放Ｆ値などに応じてレンズ情報を更新する。具体的には、ズーミング用レンズ２０８とフォーカシング用レンズ２１０の位置と絞り２１１の絞り値を検出し、これらのレンズ位置と絞り値に応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからレンズ位置と絞り値に応じたレンズ情報を選択する。

レンズ駆動制御装置２０６は、受信したデフォーカス量に基づいてレンズ駆動量を算出し、レンズ駆動量に応じてフォーカシング用レンズ２１０を合焦位置へ駆動する。また、レンズ駆動制御装置２０６は受信した絞り値に応じて絞り２１１を駆動する。

図２は、交換レンズ２０２の撮影画面上における焦点検出位置を示す図であり、後述する撮像素子２１２上の焦点検出画素列が焦点検出の際に撮影画面上で像をサンプリングする領域(焦点検出エリア、焦点検出位置)の一例を示す。この例では、矩形の撮影画面１００上の中央および上下の３箇所に焦点検出エリア１０１〜１０３が配置される。長方形で示す焦点検出エリアの長手方向に、焦点検出画素が直線的に配列される。

図３は撮像素子２１２の詳細な構成を示す正面図であり、撮像素子２１２上の焦点検出エリア１０１の近傍を拡大して示す。撮像素子２１２には撮像画素３１０が二次元正方格子状に稠密に配列されるとともに、焦点検出エリア１０１に対応する位置には焦点検出用の焦点検出画素３１３、３１４が垂直方向の直線上に隣接して交互に配列される。なお、図示を省略するが、焦点検出エリア１０２、１０３の近傍の構成も図３に示す構成と同様である。

撮像画素３１０は、図４に示すようにマイクロレンズ１０、光電変換部１１、および色フィルター（不図示）から構成される。色フィルターは赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３種類からなり、それぞれの分光感度は図６に示す特性になっている。撮像素子２１２には、各色フィルターを備えた撮像画素３１０がベイヤー配列されている。

焦点検出画素３１３は、図５(ａ)に示すようにマイクロレンズ１０と光電変換部１３とから構成され、光電変換部１３の形状は半円形である。また、焦点検出画素３１４は、図５(ｂ)に示すようにマイクロレンズ１０と光電変換部１４とから構成され、光電変換部１４の形状は半円形である。焦点検出画素３１３と焦点検出画素３１４は、図２および図３に示すように焦点検出エリア１０１〜１０３において垂直方向に交互に配置され、この配列において焦点検出画素３１３の光電変換部１３はマイクロレンズ１０の上半分の位置に配置され、焦点検出用画素３１４の光電変換部１４はマイクロレンズ１０の下半分の位置に配置される。

焦点検出画素３１３、３１４には光量をかせぐために色フィルターが設けられておらず、その分光特性は光電変換を行うフォトダイオードの分光感度と、赤外カットフィルター（不図示）の分光特性とを総合した分光特性（図７参照）となる。つまり、図６に示す緑画素、赤画素および青画素の分光特性を加算したような分光特性となり、その感度の光波長領域は緑画素、赤画素および青画素の感度の光波長領域を包括している。

焦点検出用の焦点検出画素３１３、３１４は、撮像画素３１０のＢとＧが配置されるべき列に配置されている。焦点検出用の焦点検出画素３１３、３１４が、撮像画素３１０のＢとＧが配置されるべき列に配置されているのは、焦点検出画素の位置における撮像用の画像信号を求めるための補間処理において補間誤差が生じた場合に、人間の視覚特性上、赤画素の補間誤差に比較して青画素の補間誤差が目立たないためである。

撮像画素３１０の光電変換部１１は、マイクロレンズ１０によって最も明るい交換レンズの射出瞳径（例えばＦ１．０）を通過する光束をすべて受光するような形状に設計される。また、焦点検出画素３１３、３１４の光電変換部１３、１４は、マイクロレンズ１０によって交換レンズの射出瞳の所定の領域（例えばＦ２．８）を通過する光束をすべて受光するような形状に設計される。

図８は撮像画素３１０の断面図である。撮像画素３１０では撮像用の光電変換部１１の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１１の形状が前方に投影される。光電変換部１１は半導体回路基板２９上に形成される。なお、不図示の色フィルターはマイクロレンズ１０と光電変換部１１の中間に配置される。

図９(ａ)は焦点検出画素３１３の断面図である。画面中央の焦点検出エリア１０１に配置された焦点検出画素３１３において、光電変換部１３の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１３の形状が前方に投影される。光電変換部１３は半導体回路基板２９上に形成されるとともに、その上にマイクロレンズ１０が半導体イメージセンサーの製造工程により一体的かつ固定的に形成される。なお、画面上下の焦点検出エリア１０２、１０３に配置された焦点検出画素３１３の断面構造についても、図９(ａ)に示す断面構造と同様である。

図９(ｂ)は焦点検出画素３１４の断面図である。画面中央の焦点検出エリア１０１に配置された焦点検出画素３１４において、光電変換部１４の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１４の形状が前方に投影される。光電変換部１４は半導体回路基板２９上に形成されるとともに、その上にマイクロレンズ１０が半導体イメージセンサーの製造工程により一体的かつ固定的に形成される。なお、画面上下の焦点検出エリア１０２、１０３に配置された焦点検出画素３１４の断面構造についても、図９(ｂ)に示す断面構造と同様である。

図１０は、マイクロレンズを用いた瞳分割型位相差検出方式の焦点検出光学系の構成を示す。なお、焦点検出画素の部分は拡大して示す。図において、９０は、交換レンズ２０２（図１参照）の予定結像面に配置されたマイクロレンズから前方ｄの距離に設定された射出瞳である。この距離ｄは、マイクロレンズの曲率、屈折率、マイクロレンズと光電変換部との間の距離などに応じて決まる距離であって、この明細書では測距瞳距離と呼ぶ。９１は交換レンズの光軸、１０ａ〜１０ｄはマイクロレンズ、１３ａ、１３ｂ、１４ａ、１４ｂは光電変換部、３１３ａ、３１３ｂ、３１４ａ、３１４ｂは焦点検出画素、７３，７４、８３，８４は焦点検出光束である。

また、９３は、マイクロレンズ１０ａ、１０ｃにより投影された光電変換部１３ａ、１３ｂの領域であり、この明細書では測距瞳と呼ぶ。図１０では、説明を解りやすくするために楕円形の領域で示しているが、実際には光電変換部の形状が拡大投影された形状になる。同様に、９４は、マイクロレンズ１０ｂ、１０ｄにより投影された光電変換部１４ａ、１４ｂの領域であり、この明細書では測距瞳と呼ぶ。図１０では、説明を解りやすくするために楕円形の領域で示しているが、実際には光電変換部の形状が拡大投影された形状になる。

図１０では、撮影光軸に隣接する４つの焦点検出画素３１３ａ、３１３ｂ、３１４ａ、３１４ｂを模式的に例示しているが、焦点検出エリア１０１のその他の焦点検出画素においても、また画面周辺部の焦点検出エリア１０２、１０３の焦点検出画素においても、光電変換部はそれぞれ対応した測距瞳９３、９４から各マイクロレンズに到来する光束を受光するように構成されている。焦点検出画素の配列方向は一対の測距瞳の並び方向、すなわち一対の光電変換部の並び方向と一致させる。

マイクロレンズ１０ａ〜１０ｄは交換レンズ２０２(図１参照)の予定結像面近傍に配置されており、マイクロレンズ１０ａ〜１０ｄによりその背後に配置された光電変換部１３ａ、１３ｂ、１４ａ、１４ｂの形状がマイクロレンズ１０ａ〜１０ｃから測距瞳距離ｄだけ離間した射出瞳９０上に投影され、その投影形状は測距瞳９３，９４を形成する。すなわち、投影距離ｄにある射出瞳９０上で各焦点検出画素の光電変換部の投影形状(測距瞳９３，９４)が一致するように、各焦点検出画素におけるマイクロレンズと光電変換部の相対的位置関係が定められ、それにより各焦点検出画素における光電変換部の投影方向が決定されている。

光電変換部１３ａは測距瞳９３を通過し、マイクロレンズ１０ａに向う光束７３によりマイクロレンズ１０ａ上に形成される像の強度に対応した信号を出力する。同様に、光電変換部１３ｂは測距瞳９３を通過し、マイクロレンズ１０ｃに向う光束８３によりマイクロレンズ１０ｃ上に形成される像の強度に対応した信号を出力する。また、光電変換部１４ａは測距瞳９４を通過し、マイクロレンズ１０ｂに向う光束７４によりマイクロレンズ１０ｂ上に形成される像の強度に対応した信号を出力する。同様に、光電変換部１４ｂは測距瞳９４を通過し、マイクロレンズ１０ｄに向う光束８４によりマイクロレンズ１０ｄ上に形成される像の強度に対応した信号を出力する。

上述した２種類の焦点検出画素を直線状に多数配置し、各画素の光電変換部の出力を測距瞳９３および測距瞳９４に対応した出力グループにまとめることによって、測距瞳９３と測距瞳９４をそれぞれ通過する焦点検出用光束が画素列上に形成する一対の像の強度分布に関する情報が得られる。この情報に対して後述する像ズレ検出演算処理(相関演算処理、位相差検出処理)を施すことによって、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量が検出される。さらに、像ズレ量に一対の測距瞳の重心間隔に応じた変換演算を行うことによって、予定結像面に対する現在の結像面(予定結像面上のマイクロレンズアレイの位置に対応した焦点検出位置における結像面)の偏差(デフォーカス量)が算出される。

図１１は撮像素子２１２の回路構成の概念を示す図である。撮像素子２１２はＣＭＯＳイメージセンサーとして構成される。図１１では、説明を解りやすくするために、撮像素子２１２の回路構成を水平方向８画素、垂直方向４画素のレイアウトに簡略化して説明する。垂直方向において２列目と６列目に焦点検出画素(図中に○印で示す)が配列され、撮像画素(図中に□印で示す)がそれ以外の列に配列される。

ラインメモリ３２０は、１列分の画素の画素信号をサンプルホールドして一時的に保持するバッファーであり、信号線５０１に出力されている同一列の画素信号を水平走査回路３０１が発する制御信号ΦＳに基づいて同時にサンプルホールドする。なお、ラインメモリ３２０に保持される画素信号は、制御信号ΦＨ１〜ΦＨ８の立ち上がりに同期してリセットされる。

撮像画素および焦点検出画素からの画素信号の出力は、水平走査回路３０１が発する制御信号(ΦＨ１〜ΦＨ８)により列ごとに独立に制御される。制御信号(ΦＨ１〜ΦＨ８)により選択された列の画素の画素信号は、信号線５０１へ出力される。ラインメモリ３２０に保持された画素信号は、垂直走査回路３０２が発する制御信号(ΦＶ１〜ΦＶ４)により順次出力回路３３０へ転送され、出力回路３３０において予め設定された増幅度で増幅されて外部へ出力される。撮像画素および焦点検出画素は、画素信号がサンプルホールドされた後、リセット回路３０３が発する制御信号(ΦＲ１〜ΦＲ８)によりリセットされ、次回の画素信号のための電荷蓄積を開始する。

欠陥画素メモリ３０４は、欠陥画素(欠陥撮像画素および欠陥焦点検出画素)の位置情報を記憶するＥＥＰＲＯＭなどの不揮発性メモリである。製造段階の検査で欠陥画素が発見されると、その欠陥画素の位置情報が欠陥画素メモリ３０４へ書き込まれ、記憶される。なお、この一実施の形態では撮像素子２１２の半導体基板上に欠陥画素メモリ３０４を半導体製造プロセスで付加する例を示すが、撮像素子２１２は通常防塵ケースの中に封入されて撮像素子ユニット(不図示)としてカメラに設置されるので、その撮像素子ユニット内にメモリを設置して欠陥画素のデータを記憶するようにしてもよい。あるいは、カメラに装備される各種データを記憶するメモリに欠陥画素のデータを記憶するようにしてもよい。

図１２は、一実施の形態のデジタルスチルカメラ（撮像装置）の撮像動作を示すフローチャートである。ボディ駆動制御装置２１４は、ステップ１００でカメラの電源がオンされると、ステップ１１０以降の撮像動作を開始する。ステップ１１０において撮像画素のデータを間引き読み出しし、電子ビューファインダーに表示させる。続くステップ１２０では焦点検出画素列から一対の像に対応した一対の像データを読み出す。なお、焦点検出エリアは、撮影者が焦点検出エリア選択部材（不図示）を用いて焦点検出エリア１０１〜１０３の内のいずれかを予め選択しているものとする。

ステップ１２５では撮像素子２１２に内蔵された欠陥画素メモリ３０４(図１１参照)から欠陥焦点検出画素情報を読み出し、選択された焦点検出エリアに欠陥焦点検出画素が存在する場合には、欠陥焦点検出画素の位置情報に応じて、欠陥焦点検出画素が正常であった場合の出力データを補間演算(詳細後述)により推定する。

ステップ１３０では読み出された一対の像データ(正常な焦点検出画素の出力データとステップ１２５で補間により推定された欠陥焦点検出画素の出力データ)に基づいて後述する像ズレ検出演算処理(相関演算処理)を行い、像ズレ量を演算してデフォーカス量に変換する。ステップ１４０で合焦近傍か否か、すなわち算出されたデフォーカス量の絶対値が所定値以内であるか否かを調べる。合焦近傍でないと判定された場合はステップ１５０へ進み、デフォーカス量をレンズ駆動制御装置２０６へ送信し、交換レンズ２０２のフォーカシングレンズ２１０を合焦位置に駆動させる。その後、ステップ１１０へ戻って上述した動作を繰り返す。

なお、焦点検出不能な場合もこのステップに分岐し、レンズ駆動制御装置２０６へスキャン駆動命令を送信し、交換レンズ２０２のフォーカシングレンズ２１０を無限から至近までの間でスキャン駆動させる。その後、ステップ１１０へ戻って上述した動作を繰り返す。

ステップ１４０で合焦近傍であると判定された場合はステップ１６０へ進み、シャッターボタン(不図示)の操作によりシャッターレリーズがなされたか否かを判別する。シャッターレリーズがなされていないと判定された場合はステップ１１０へ戻り、上述した動作を繰り返す。一方、シャッターレリーズがなされたと判定された場合はステップ１７０へ進み、レンズ駆動制御装置２０６へ絞り調整命令を送信し、交換レンズ２０２の絞り値を制御Ｆ値（撮影者または自動により設定されたＦ値）にする。絞り制御が終了した時点で、撮像素子２１２に撮像動作を行わせ、撮像素子２１２の撮像画素３１０および全ての焦点検出画素３１３，３１４から画像データを読み出す。

ステップ１８０において、焦点検出画素列の各画素位置の画素データを焦点検出画素の周囲の撮像画素のデータに基づいて画素補間する。続くステップ１９０では、撮像画素のデータおよび補間されたデータからなる画像データをメモリーカード２１９に記憶し、ステップ１１０へ戻って上述した動作を繰り返す。

図１２のステップ１３０における像ズレ検出演算処理(相関演算処理)の詳細について説明する。焦点検出画素が検出する一対の像は、測距瞳がレンズの絞り開口によりけられて光量バランスが崩れている可能性があるので、光量バランスに対して像ズレ検出精度を維持できるタイプの相関演算を施す。焦点検出画素列から読み出された一対のデータ列(Ａ１１〜Ａ１Ｍ、Ａ２１〜Ａ２Ｍ：Ｍはデータ数)に対し(１)式に示す相関演算を行い、相関量Ｃ(k)を演算する。
Ｃ(k)＝Σ｜Ａ１n・Ａ２n+1+k−Ａ２n+k・Ａ１n+1｜ ・・・(１)
(１)式において、Σ演算はｎについて累積される。ｎのとる範囲は、像ずらし量ｋに応じてＡ１n、Ａ１n+1、Ａ２n+k、Ａ２n+1+kのデータが存在する範囲に限定される。像ずらし量ｋは整数であり、データ列のデータ間隔を単位とした相対的シフト量である。

(１)式の演算結果は、図１３(ａ)に示すように、一対のデータの相関が高いシフト量(図１３(ａ)ではｋ＝ｋj＝２)において相関量Ｃ(k)が極小(小さいほど相関度が高い)になる。次の(２)式〜(５)式による３点内挿の手法を用いて連続的な相関量に対する極小値Ｃ(k)を与えるシフト量ｘを求める。
ｘ＝ｋj＋Ｄ／ＳＬＯＰ ・・・(２)，
Ｃ(ｘ)＝ Ｃ(ｋj)−｜Ｄ｜ ・・・(３)，
Ｄ＝｛Ｃ(ｋj-１)−Ｃ(ｋj+１)｝／２ ・・・(４)，
ＳＬＯＰ＝ＭＡＸ｛Ｃ(ｋj+１)−Ｃ(ｋj)，Ｃ(ｋj-１)−Ｃ(ｋj)｝・・・(５)

(２)式で算出されたずらし量ｘの信頼性があるかどうかは、次のようにして判定する。図１３(ｂ)に示すように、一対のデータの相関度が低い場合は、内挿された相関量の極小値Ｃ(ｘ)の値が大きくなる。したがって、Ｃ(ｘ)が所定のしきい値以上の場合は、算出されたずらし量の信頼性が低いと判定し、算出されたずらし量ｘをキャンセルする。あるいは、Ｃ(ｘ)をデータのコントラストで規格化するために、コントラストに比例した値となるＳＬＯＰでＣ(ｘ)を除した値が所定値以上の場合は、算出されたずらし量の信頼性が低いと判定し、算出されたずらし量ｘをキャンセルする。あるいはまた、コントラストに比例した値となるＳＬＯＰが所定値以下の場合は、被写体が低コントラストであり、算出されたずらし量の信頼性が低いと判定し、算出されたずらし量ｘをキャンセルする。図１３(ｃ)に示すように、一対のデータの相関度が低く、シフト範囲ｋmin〜ｋmaxの間で相関量Ｃ(k)の落ち込みがない場合は、極小値Ｃ(ｘ)を求めることができず、このような場合は焦点検出不能と判定する。

相関演算式としては上記(１)式に限定されず、測距瞳がレンズの絞り開口によりけられて光量バランスが崩れている場合でも、光量バランスに対して像ズレ検出精度を維持できるタイプの相関演算式であればどのような演算式でもよい。

算出されたずらし量ｘの信頼性があると判定された場合は、(６)式により像ズ レ量ｓｈｆｔに換算される。
ｓｈｆｔ＝ＰＹ・ｘ ・・・(６)
(６)式において、ＰＹは検出ピッチである。(６)式で算出された像ズレ量に所定の変換係数ｋを乗じてデフォーカス量ｄｅｆへ変換する。
ｄｅｆ＝ｋ・ｓｈｆｔ ・・・(７)

次に、図１２のステップ１２５における欠陥焦点検出画素の出力データの補間演算処理を説明する。図１４および図１５は、図３に示す撮像素子２１２の部分的な拡大図である。これらの図において、各画素に付記したＲ、Ｇ、Ｂは各撮像画素の分光特性を示しており、Ａ0＊(＊＝０，１，２，・・)は焦点検出画素３１３を、Ａ1＊(＊＝０，１，２，・・)は焦点検出画素３１４をそれぞれ示す。

《欠陥焦点検出画素の補間演算例１》
図１４は、欠陥焦点検出画素が焦点検出画素３１３であった場合に、欠陥焦点検出画素を中心として縦５画素、横５画素分の画素配置を示したものである。求めるべき欠陥焦点検出画素の補間データＡ0xは、下記(８)式に示すように、欠陥焦点検出画素を挟む位置にある正常な焦点検出画素のデータから推定した欠陥焦点検出画素の推定値Ａ0avと、欠陥焦点検出画素の周囲の正常な撮像画素のデータから推定した欠陥焦点検出画素の推定値Ａ0wとを平均することにより求められる。
Ａ0x＝（Ａ0av＋Ａ0w）／２ ・・・(８)
(８)式において、右辺第１項のＡ0avは、下記(９)式に示すように欠陥焦点検出画素と同じ種類の焦点検出画素であって、欠陥焦点検出画素を挟む位置にある正常な焦点検出画素のデータの平均データである。
Ａ0av＝（Ａ00＋Ａ01）／２ ・・・(９)

また、(８)式において、右辺第２項のＡ0wは、焦点検出画素のデータと撮像画素のデータの等価関係に基づいて導出される欠陥焦点検出画素のデータの推定値である。すなわち、撮像画素と焦点検出画素は図６および図７に示すような分光特性を有しており、焦点検出画素の出力は近似的に撮像画素の出力の線型和として表される。一般的に、焦点検出画素３１３と３１４のデータの和を焦点検出画素のデータＡとすると、焦点検出画素のデータＡと撮像画素のデータＲ、Ｇ、Ｂの和との間には、近似的に次の(１０)式が成立する。
Ａ＝Ｋr・Ｒ＋Ｋg・Ｇ＋Ｋb・Ｂ ・・・(１０)
(１０)式において、Ｋr、Ｋg、Ｋbは所定の係数であり、これらは実際に測定して決定される。

(１０)式のＡ、Ｒ、Ｇ、Ｂを欠陥焦点検出画素の近傍周囲の焦点検出画素および撮像画素のデータから局所的に推定すると、次の(１１)式が得られる。
Ａ＝Ａ0w＋（Ａ10＋Ａ11）／２，
Ｒ＝（Ｒ00＋Ｒ01＋Ｒ10＋Ｒ11）／４，
Ｇ＝（Ｇ00＋Ｇ01）／２，
Ｂ＝（Ｂ00＋Ｂ01）／２ ・・・(１１)

(１１)式を(１０)式に代入して整理すると、推定値Ａ0ｗは次の(１２)式で得られる。
Ａ0w＝Ｋr・(Ｒ00＋Ｒ01＋Ｒ10＋Ｒ11)／４＋Ｋg・(Ｇ00＋Ｇ01)／２＋Ｋb・(Ｂ00＋Ｂ01)／２−(Ａ10＋Ａ11)／２ ・・・(１２)

補間演算例１では、欠陥焦点検出画素の補間データＡ0xを、欠陥焦点検出画素を挟む位置にある正常な焦点検出画素のデータから推定した欠陥焦点検出画素の推定値Ａ0avと、欠陥焦点検出画素の周囲の正常な撮像画素のデータから推定した欠陥焦点検出画素の推定値Ａ0wとの平均として求める例を示した。この演算方法によれば欠陥焦点検出画素の補間データＡ0xを正確に推定することができる。なお、２つの推定値Ａ0av、Ａ0wを重み付け平均してもよい（Ａ0x＝Ｋ1・Ａ0av＋Ｋ2・Ａ0w、Ｋ1,Ｋ2は重み）。また、推定精度がわずかに低くなるが、欠陥焦点検出画素の補間データＡ0xを、欠陥焦点検出画素を挟む位置にある正常な焦点検出画素のデータから推定した欠陥焦点検出画素の推定値Ａ0avとしてもよい(Ａ0x＝Ａ0av)。あるいは、欠陥焦点検出画素の補間データＡ0xを、欠陥焦点検出画素の周囲の正常な撮像画素のデータから推定した欠陥焦点検出画素の推定値Ａ0wとしてもよい(Ａ0x＝Ａ0w)。

《欠陥焦点検出画素の補間演算例２》
図１５は、欠陥焦点検出画素が焦点検出画素３１４であった場合に、欠陥焦点検出画素を中心として縦５画素、横５画素分の画素配置を示したものである。求めるべき欠陥焦点検出画素の補間データＡ1xは、下記(１３)式に示すように、欠陥焦点検出画素を挟む位置にある正常焦点検出画素のデータから推定した欠陥焦点検出画素の推定値Ａ1avと、欠陥焦点検出画素の周囲の正常な撮像画素のデータから推定した欠陥焦点検出画素の推定値Ａ1wとを平均することにより求めることができる。
Ａ1x＝（Ａ1av＋Ａ1w）／２ ・・・(１３)
(１３)式において、右辺第１項のＡ1avは、下記(１４)式に示すように欠陥焦点検出画素と同じ種類の焦点検出画素であって、欠陥焦点検出画素を挟む位置にある正常な焦点検出画素のデータの平均データである。
Ａ1av＝（Ａ10＋Ａ11）／２ ・・・(１４)

また、(１３)式において、右辺第２項のＡ1wは、焦点検出画素のデータと撮像画素のデータの等価関係に基づいて導出される欠陥焦点検出画素のデータの推定値である。上述したように、焦点検出画素の出力は近似的に撮像画素の出力の線型和として表されるので、焦点検出画素３１３と３１４のデータの和を焦点検出画素のデータＡとすると、焦点検出画素のデータＡと撮像画素のデータＲ、Ｇ、Ｂの和との間には、近似的に上記(１０)式が成立する。(１０)式において、Ｒ、Ｇ、Ｂを欠陥焦点検出画素の近傍周囲の焦点検出画素および撮像画素のデータから局所的に推定すると、次の(１５)式が得られる。
Ａ＝Ａ1w＋（Ａ00＋Ａ01）／２，
Ｒ＝（Ｒ00＋Ｒ01）／２，
Ｇ＝（Ｇ00＋Ｇ01＋Ｇ10＋Ｇ11）／４，
Ｂ＝（Ｂ00＋Ｂ01＋Ｂ10＋Ｂ11）／４ ・・・(１５)

(１５)式を(１０)式に代入して整理すると、推定値Ａ1ｗは次の(１６)式で得られる。
Ａ1w＝Ｋr・(Ｒ00＋Ｒ01)／２＋Ｋg・(Ｇ00＋Ｇ01＋Ｇ10＋Ｇ11)／４＋Ｋb・(Ｂ00＋Ｂ01＋Ｂ10＋Ｂ11)／２−(Ａ00＋Ａ01)／２ ・・・(１６)

補間演算例２では、欠陥焦点検出画素の補間データＡ1xを、欠陥焦点検出画素を挟む位置にある正常な焦点検出画素のデータから推定した欠陥焦点検出画素の推定値Ａ1avと、欠陥焦点検出画素の周囲の正常な撮像画素のデータから推定した欠陥焦点検出画素の推定値Ａ1wとの平均として求める例を示した。この演算方法によれば欠陥焦点検出画素の補間データＡ1xを正確に推定することができる。なお、２つの推定値Ａ1av、Ａ1wを重み付け平均してもよい（Ａ1x＝Ｋ1・Ａ1av＋Ｋ2・Ａ1w、Ｋ1,Ｋ2は重み）。また、推定精度がわずかに低くなるが、欠陥焦点検出画素の補間データＡ1xを、欠陥焦点検出画素を挟む位置にある正常な焦点検出画素のデータから推定した欠陥焦点検出画素の推定値Ａ1avとしてもよい(Ａ1x＝Ａ1av)。あるいは、欠陥焦点検出画素の補間データＡ1xを、欠陥焦点検出画素の周囲の正常な撮像画素のデータから推定した欠陥焦点検出画素の推定値Ａ1wとしてもよい(Ａ1x＝Ａ1w)。

《発明の他の実施の形態》
撮像素子における焦点検出エリアの配置は図２に限定されることはなく、対角線方向や、その他の位置に水平方向および垂直方向に焦点検出エリアを配置することも可能である。

図３に示す一実施の形態の撮像素子２１２では、焦点検出画素３１３、３１４が一つの画素内に一つの光電変換部を備えた例を示したが、一つの画素内に一対の光電変換部を備えてもよい。図１６は、図３に示す撮像素子２１２に対応した変形例の撮像素子２１２Ａの部分拡大図であり、焦点検出画素３１１はひとつの画素内に一対の光電変換部を備えている。図に示す焦点検出画素３１１は、図３に示す焦点検出画素３１３と焦点検出画素３１４のペアに相当した機能を果たす。

焦点検出画素３１１は、図１７に示すようにマイクロレンズ１０と一対の光電変換部１３，１４から構成される。焦点検出画素３１１には光量をかせぐために色フィルターは配置されておらず、その分光特性は光電変換を行うフォトダイオードの分光感度と、赤外カットフィルター(不図示)の分光特性とを総合した分光特性(図７参照)となる。つまり、図６に示す緑画素、赤画素および青画素の分光特性を加算したような分光特性となり、その感度の光波長領域は緑画素、赤画素および青画素の感度の光波長領域を包括している。

図１８は、図１６に示す撮像素子２１２Ａの焦点検出画素による瞳分割方式の焦点検出動作を説明するための図である。図において、９０は、交換レンズの予定結像面に配置されたマイクロレンズの前方ｄの距離に設定された射出瞳である。ここで、距離ｄは、マイクロレンズの曲率、屈折率、マイクロレンズと光電変換部の間の距離などに応じて決まる距離であって、以下では測距瞳距離と呼ぶ。９１は交換レンズの光軸、５０、６０はマイクロレンズ、(５３，５４)、(６３，６４)は焦点検出画素の対の光電変換部、７３，７４、８３，８４は焦点検出用光束である。

さらに、９３はマイクロレンズ５０、６０により投影された光電変換部５３，６３の領域であり、以下では測距瞳と呼ぶ。同様に、９４はマイクロレンズ５０、６０により投影された光電変換部５４，６４の領域であり、以下では測距瞳と呼ぶ。図１８では、光軸９１上にある焦点検出画素(マイクロレンズ５０と一対の光電変換部５３、５４からなる)と、隣接する焦点検出画素(マイクロレンズ６０と一対の光電変換部６３、６４からなる)を模式的に例示しているが、撮像面上の周辺に配置された焦点検出用画素においても、一対の光電変換部はそれぞれ一対の測距瞳９３、９４から各マイクロレンズに到来する光束を受光する。焦点検出画素の配列方向は一対の測距瞳の並び方向と一致させる。

マイクロレンズ５０、６０は光学系の予定結像面近傍に配置されており、光軸９１上に配置されたマイクロレンズ５０によって、その背後に配置された一対の光電変換部５３、５４の形状がマイクロレンズ５０、６０から測距瞳距離ｄだけ離間した射出瞳９０上に投影され、その投影形状は測距瞳９３，９４を形成する。また、マイクロレンズ５０に隣接して配置されたマイクロレンズ６０によって、その背後に配置された一対の光電変換部６３、６４の形状が測距瞳距離ｄだけ離間した射出瞳９０上に投影され、その投影形状は測距瞳９３，９４を形成する。すなわち、測距瞳距離ｄにある射出瞳９０上で各焦点検出画素の光電変換部の投影形状(測距瞳９３，９４)が一致するように、各画素のマイクロレンズと光電変換部の位置関係が決定されている。

光電変換部５３は、測距瞳９３を通過してマイクロレンズ５０へ向う焦点検出光束７３によってマイクロレンズ５０上に形成される像の強度に対応した信号を出力する。また、光電変換部５４は、測距瞳９４を通過してマイクロレンズ５０へ向う焦点検出光束７４によってマイクロレンズ５０上に形成される像の強度に対応した信号を出力する。同様に、光電変換部６３は、測距瞳９３を通過してマイクロレンズ６０へ向う焦点検出光束８３によってマイクロレンズ６０上に形成される像の強度に対応した信号を出力する。また、光電変換部６４は、測距瞳９４を通過してマイクロレンズ６０へ向う焦点検出光束８４によってマイクロレンズ６０上に形成される像の強度に対応した信号を出力する。

このような焦点検出用画素を直線状に多数配置し、各画素の一対の光電変換部の出力を測距瞳９３および測距瞳９４に対応した出力グループにまとめることによって、測距瞳９３と測距瞳９４を各々通過する焦点検出光束が焦点検出画素列上に形成する一対の像の強度分布に関する情報が得られる。この情報に対して後述する像ズレ検出演算処理(相関演算処理、位相差検出処理)を施すことによって、いわゆる瞳分割方式で一対の像の像ズレ量が検出される。さらに、像ズレ量に所定の変換処理を施すことによって、予定結像面に対する現在の結像面(予定結像面上のマイクロレンズアレイの位置に対応した焦点検出位置における結像面)の偏差(デフォーカス量)が算出される。

図１６に示す撮像素子２１２Ａのように、一つのマイクロレンズに対して一対の光電変換部を有する焦点検出画素を配列した撮像素子に対する欠陥焦点検出画素の補間演算を説明する。図１９および図２０は、図１６に示す撮像素子２１２Ａの欠陥焦点検出画素付近の拡大図である。これらの図において、各画素に付記したＲ、Ｇ、Ｂは各撮像画素の分光特性を示しており、Ａ0＊(＊＝０，１，２，・・)は焦点検出画素の一対の光電変換部の内の一方の光電変換部を、Ａ1＊(＊＝０，１，２，・・)は焦点検出画素の他方の光電変換部をそれぞれ示す。

《欠陥焦点検出画素の補間演算例３》
図１９は、欠陥焦点検出画素の一対の光電変換部の内の一方の光電変換部の出力が異常で、他方の光電変換部の出力が正常な場合であって、欠陥焦点検出画素が撮像画素配列の青画素の位置にあった場合に、欠陥焦点検出画素を中心として縦５画素、横５画素分の画素配置を示したものである。求めるべき欠陥焦点検出画素の一方の光電変換部の補間データＡ0xは、下記(１７)式に示すように、欠陥焦点検出画素を挟む位置にある正常な焦点検出画素のデータから推定した欠陥焦点検出画素の推定値Ａ0avと、欠陥焦点検出画素の周囲の正常な撮像画素のデータから推定した欠陥焦点検出画素の推定値Ａ0wとを平均することにより求められる。
Ａ0x＝（Ａ0av＋Ａ0w）／２ ・・・(１７)
(１７)式において、右辺第１項のＡ0avは、下記(１８)式に示すように欠陥焦点検出画素の出力異常の光電変換部と同じ種類の光電変換部であって、欠陥焦点検出画素を挟む位置にある正常な焦点検出画素の光電変換部のデータの平均データである。
Ａ0av＝（Ａ00＋Ａ01）／２ ・・・(１８)

また、(１７)式において、右辺第２項のＡ0wは、焦点検出画素のデータと撮像画素のデータの等価関係に基づいて導出される欠陥焦点検出画素のデータの推定値である。上述したように、焦点検出画素の出力は近似的に撮像画素の出力の線型和として表されるので、焦点検出画素３１１の一対の光電変換部の出力データの和を焦点検出画素のデータＡとすると、焦点検出画素のデータＡと撮像画素のデータＲ、Ｇ、Ｂの和との間には、近似的に上記(１０)式が成立する。(１０)式において、Ｒ、Ｇ、Ｂを欠陥焦点検出画素の近傍周囲の焦点検出画素および撮像画素のデータから局所的に推定すると、次の(１９)式が得られる。
Ａ＝Ａ0w＋Ａ10，
Ｒ＝（Ｒ00＋Ｒ01＋Ｒ10＋Ｒ11）／４，
Ｇ＝（Ｇ00＋Ｇ01）／２，
Ｂ＝（Ｂ00＋Ｂ01）／２ ・・・(１９)

(１９)式を(１０)式に代入して整理すると、推定値Ａ0ｗは(２０)式で得られる。
Ａ0w＝Ｋr・(Ｒ00＋Ｒ01＋Ｒ10＋Ｒ11)／４＋Ｋg・(Ｇ00＋Ｇ01)／２＋Ｋb・(Ｂ00＋Ｂ01)／２−Ａ10 ・・・(２０)

補間演算例３では、欠陥焦点検出画素の補間データＡ0xを、欠陥焦点検出画素を挟む位置にある正常な焦点検出画素のデータから推定した欠陥焦点検出画素の推定値Ａ0avと、欠陥焦点検出画素の周囲の正常な撮像画素のデータから推定した欠陥焦点検出画素の推定値Ａ0wとの平均として求める例を示した。この演算方法によれば欠陥焦点検出画素の補間データＡ0xを正確に推定することができる。なお、２つの推定値Ａ0av、Ａ0wを重み付け平均してもよい（Ａ0x＝Ｋ1・Ａ0av＋Ｋ2・Ａ0w、Ｋ1,Ｋ2は重み）。また、推定精度がわずかに低くなるが、欠陥焦点検出画素の補間データＡ0xを、欠陥焦点検出画素を挟む位置にある正常な焦点検出画素のデータから推定した欠陥焦点検出画素の推定値Ａ0avとしてもよい(Ａ0x＝Ａ0av)。あるいは、欠陥焦点検出画素の補間データＡ0xを、欠陥焦点検出画素の周囲の正常な撮像画素のデータから推定した欠陥焦点検出画素の推定値Ａ0wとしてもよい(Ａ0x＝Ａ0w)。

《欠陥焦点検出画素の補間演算例４》
図２０は、欠陥焦点検出画素の一対の光電変換部の内の一方の光電変換部の出力が異常で、他方の光電変換部の出力が正常な場合であって、欠陥焦点検出画素が撮像画素配列の緑画素の位置にあった場合に、欠陥焦点検出画素を中心として縦５画素、横５画素分の画素配置を示したものである。求めるべき欠陥焦点検出画素の一方の補間データＡ1xは、下記(２１)式に示すように、欠陥焦点検出画素を挟む位置にある正常な焦点検出画素のデータから推定した欠陥焦点検出画素の推定値Ａ1avと、欠陥焦点検出画素の周囲の正常な撮像画素のデータから推定した欠陥焦点検出画素の推定値Ａ1wとを平均することにより求められる。
Ａ1x＝（Ａ1av＋Ａ1w）／２ ・・・(２１)
(２１)式において、右辺第１項のＡ1avは、(２２)式に示すように欠陥焦点検出画素の出力異常の光電変換部と同じ種類の光電変換部であって、欠陥焦点検出画素を挟む位置にある正常な焦点検出画素の光電変換部のデータの平均データである。
Ａ1av＝（Ａ10＋Ａ11）／２ ・・・(２２)

また、(２１)式において、右辺第２項のＡ1wは、焦点検出画素のデータと撮像画素のデータの等価関係に基づいて導出される欠陥焦点検出画素のデータの推定値である。上述したように、焦点検出画素の出力は近似的に撮像画素の出力の線型和として表されるので、焦点検出画素３１１の一対の光電変換部の出力データの和を焦点検出画素のデータＡとすると、焦点検出画素のデータＡと撮像画素のデータＲ、Ｇ、Ｂの和との間には、近似的に上記(１０)式が成立する。(１０)式において、Ｒ、Ｇ、Ｂを欠陥焦点検出画素の近傍周囲の焦点検出画素および撮像画素のデータから局所的に推定すると、次の(２３)式が得られる。
Ａ＝Ａ1w＋Ａ00，
Ｒ＝（Ｒ00＋Ｒ01）／２，
Ｇ＝（Ｇ00＋Ｇ01＋Ｇ10＋Ｇ11）／４，
Ｂ＝（Ｂ00＋Ｂ01＋Ｂ10＋Ｂ11）／４ ・・・(２３)

(２３)式を(１０)式に代入して整理すると、推定値Ａ1ｗは(２４)式で得られる。
Ａ1w＝Ｋr・(Ｒ00＋Ｒ01)／２＋Ｋg・(Ｇ00＋Ｇ01＋Ｇ10＋Ｇ11)／４＋Ｋb・(Ｂ00＋Ｂ01＋Ｂ10＋Ｂ11)／２−Ａ00 ・・・(２４)

補間演算例４では、欠陥焦点検出画素の補間データＡ1xを、欠陥焦点検出画素を挟む位置にある正常な焦点検出画素のデータから推定した欠陥焦点検出画素の推定値Ａ1avと、欠陥焦点検出画素の周囲の正常な撮像画素のデータから推定した欠陥焦点検出画素の推定値Ａ1wとの平均として求める例を示した。この演算方法によれば欠陥焦点検出画素の補間データＡ1xを正確に推定することができる。なお、２つの推定値Ａ1av、Ａ1wを重み付け平均してもよい（Ａ1x＝Ｋ1・Ａ1av＋Ｋ2・Ａ1w、Ｋ1,Ｋ2は重み）。また、推定精度がわずかに低くなるが、欠陥焦点検出画素の補間データＡ1xを、欠陥焦点検出画素を挟む位置にある正常な焦点検出画素のデータから推定した欠陥焦点検出画素の推定値Ａ1avとしてもよい(Ａ1x＝Ａ1av)。あるいは、欠陥焦点検出画素の補間データＡ1xを、欠陥焦点検出画素の周囲の正常な撮像画素のデータから推定した欠陥焦点検出画素の推定値Ａ1wとしてもよい(Ａ1x＝Ａ1w)。

図２１および図２２は、図１６に示す撮像素子２１２Ａの欠陥焦点検出画素付近の拡大図である。これらの図において、各画素に付記したＲ、Ｇ、Ｂは各撮像画素の分光特性を示しており、Ａ0＊(＊＝０，１，２，・・)は焦点検出画素の一対の光電変換部の内の一方の光電変換部を、Ａ1＊(＊＝０，１，２，・・)は焦点検出画素の他方の光電変換部をそれぞれ示す。

《欠陥焦点検出画素の補間演算例５》
図２１は、欠陥焦点検出画素の一対の光電変換部の両方の出力が異常な場合であって、欠陥焦点検出画素が撮像画素配列の青画素の位置にあった場合に、欠陥焦点検出画素を中心として縦５画素、横５画素分の画素配置を示したものである。求めるべき欠陥焦点検出画素の一対の光電変換部の補間データＡ0x、Ａ1xは、下記(２５)式に示すように、欠陥焦点検出画素を挟む位置にある正常な焦点検出画素のデータから推定した欠陥焦点検出画素の推定値Ａ0av、Ａ1avと、欠陥焦点検出画素の周囲の正常な撮像画素のデータから推定した欠陥焦点検出画素の推定値Ａ0w、Ａ1wとを平均することにより求めれれる。
Ａ0x＝（Ａ0av＋Ａ0w）／２，
Ａ1x＝（Ａ1av＋Ａ1w）／２ ・・・(２５)
(２５)式において、両式の右辺第１項のＡ0av、Ａ1avは、下記(２６)式に示すように欠陥焦点検出画素の出力異常の光電変換部と同じ種類の光電変換部であって、欠陥焦点検出画素を挟む位置にある正常な焦点検出画素の光電変換部のデータの平均データである。
Ａ0av＝（Ａ00＋Ａ01）／２，
Ａ1av＝（Ａ10＋Ａ01）／２ ・・・(２６)

また、(２５)式において、両式の右辺第２項のＡ0w、Ａ1wは、焦点検出画素のデータと撮像画素のデータの等価関係に基づいて導出される欠陥焦点検出画素のデータの推定値である。上述したように、焦点検出画素の出力は近似的に撮像画素の出力の線型和として表されるので、焦点検出画素３１１の一対の光電変換部の出力データの和を焦点検出画素のデータＡとすると、焦点検出画素のデータＡと撮像画素のデータＲ、Ｇ、Ｂの和との間には、近似的に上記(１０)式が成立する。(１０)式において、Ｒ、Ｇ、Ｂを欠陥焦点検出画素の近傍周囲の焦点検出画素および撮像画素のデータから局所的に推定すると、次の(２７)式が得られる。
Ａ＝Ａ0w＋Ａ1w＝（Ａ00＋Ａ01＋Ａ10＋Ａ11）／２，
Ａ0w／Ａ1w＝（Ａ00＋Ａ01）／（Ａ10＋Ａ11），
Ｒ＝（Ｒ00＋Ｒ01＋Ｒ10＋Ｒ11）／４，
Ｇ＝（Ｇ00＋Ｇ01）／２，
Ｂ＝（Ｂ00＋Ｂ01）／２ ・・・(２７)

(２７)式を(１０)式に代入して整理すると、推定値Ａ0ｗ、Ａ1ｗは(２８)式で得られる。
Ａ0w＝｛Ｋr・(Ｒ00＋Ｒ01＋Ｒ10＋Ｒ11)／４＋Ｋg・(Ｇ00＋Ｇ01)／２＋Ｋb・(Ｂ00＋Ｂ01)／２｝／｛１＋(Ａ10＋Ａ11)／(Ａ00＋Ａ01)｝，
Ａ1w＝｛Ｋr・(Ｒ00＋Ｒ01＋Ｒ10＋Ｒ11)／４＋Ｋg・(Ｇ00＋Ｇ01)／２＋Ｋb・(Ｂ00＋Ｂ01)／２｝／｛１＋(Ａ00＋Ａ01)／(Ａ10＋Ａ11)｝ ・・・(２８)

補間演算例５では、欠陥焦点検出画素の補間データＡ0x、Ａ1xを、欠陥焦点検出画素を挟む位置にある正常な焦点検出画素のデータから推定した欠陥焦点検出画素の推定値Ａ0av、Ａ1avと、欠陥焦点検出画素の周囲の正常な撮像画素のデータから推定した欠陥焦点検出画素の推定値Ａ0w、Ａ1wとの平均として求める例を示した。この演算方法によれば欠陥焦点検出画素の補間データＡ0x、Ａ1xを正確に推定することができる。なお、２組の推定値(Ａ0av、Ａ0w)、(Ａ1av、Ａ1w)をそれぞれ重み付け平均してもよい（Ａ0x＝Ｋ1・Ａ0av＋Ｋ2・Ａ0w、Ａ1x＝Ｋ3・Ａ1av＋Ｋ4・Ａ1w、Ｋ1,Ｋ2,Ｋ3,Ｋ4は重み）。また、推定精度がわずかに低くなるが、欠陥焦点検出画素の補間データＡ0x、Ａ1xを、欠陥焦点検出画素を挟む位置にある正常な焦点検出画素のデータから推定した欠陥焦点検出画素の推定値Ａ0av、Ａ1avとしてもよい(Ａ0x＝Ａ0av、Ａ1x＝Ａ1av)。あるいは、欠陥焦点検出画素の補間データＡ0x、Ａ1xを、欠陥焦点検出画素の周囲の正常な撮像画素のデータから推定した欠陥焦点検出画素の推定値Ａ0w、Ａ1wとしてもよい(Ａ0x＝Ａ0w、Ａ1x＝Ａ1w)。

《欠陥焦点検出画素の補間演算例６》
図２２は、欠陥焦点検出画素の一対の光電変換部の両方の出力が異常な場合であって、欠陥焦点検出画素が撮像画素配列の緑画素の位置にあった場合に、欠陥焦点検出画素を中心として縦５画素、横５画素分の画素配置を示したものである。求めるべき欠陥焦点検出画素の一対の光電変換部の補間データＡ0x、Ａ1xは、（２９）式に示すように、欠陥焦点検出画素を挟む位置にある正常な焦点検出画素のデータから推定した欠陥焦点検出画素の推定値Ａ0av、Ａ1avと、欠陥焦点検出画素の周囲の正常な撮像画素のデータから推定した欠陥焦点検出画素の推定値Ａ0w、Ａ1wとを平均することにより求められる。
Ａ0x＝（Ａ0av＋Ａ0w）／２，
Ａ1x＝（Ａ1av＋Ａ1w）／２ ・・・(２９)
(２９)式において、両式の右辺第１項のＡ0av、Ａ1avは、下記(３０)式に示すように欠陥焦点検出画素の出力異常の光電変換部と同じ種類の光電変換部であって、欠陥焦点検出画素を挟む位置にある正常な焦点検出画素の光電変換部のデータの平均データである。
Ａ0av＝（Ａ00＋Ａ01）／２，
Ａ1av＝（Ａ10＋Ａ01）／２ ・・・(３０)

また、(２９)式において、両式の右辺第２項のＡ0w、Ａ1wは、焦点検出画素のデータと撮像画素のデータの等価関係に基づいて導出される欠陥焦点検出画素のデータの推定値である。上述したように、焦点検出画素の出力は近似的に撮像画素の出力の線型和として表されるので、焦点検出画素３１１の一対の光電変換部の出力データの和を焦点検出画素のデータＡとすると、焦点検出画素のデータＡと撮像画素のデータＲ、Ｇ、Ｂの和との間には、近似的に上記(１０)式が成立する。(１０)式において、Ｒ、Ｇ、Ｂを欠陥焦点検出画素の近傍周囲の焦点検出画素および撮像画素のデータから局所的に推定すると、次の(３１)式が得られる。
Ａ＝Ａ0w＋Ａ1w＝（Ａ00＋Ａ01＋Ａ10＋Ａ11）／２，
Ａ0w／Ａ1w＝（Ａ00＋Ａ01）／（Ａ10＋Ａ11），
Ｒ＝（Ｒ00＋Ｒ01）／２，
Ｇ＝（Ｇ00＋Ｇ01＋Ｇ10＋Ｇ11）／４，
Ｂ＝（Ｂ00＋Ｂ01＋Ｂ10＋Ｂ11）／４ ・・・(３１)

(３１)式を(１０)式に代入して整理すると、推定値Ａ0ｗ、Ａ1ｗは(３２)式で得られる。
Ａ0w＝｛Ｋr・(Ｒ00＋Ｒ01)／２＋Ｋg・(Ｇ00＋Ｇ01＋Ｇ10＋Ｇ11)／４＋Ｋb・(Ｂ00＋Ｂ01＋Ｂ10＋Ｂ11)／４｝／｛１＋(Ａ10＋Ａ11)／(Ａ00＋Ａ01)｝，
Ａ1w＝｛Ｋr・(Ｒ00＋Ｒ01)／２＋Ｋg・(Ｇ00＋Ｇ01＋Ｇ10＋Ｇ11)／４＋Ｋb・(Ｂ00＋Ｂ01＋Ｂ10＋Ｂ11)／４｝／｛１＋(Ａ00＋Ａ01)／(Ａ10＋Ａ11)｝ ・・・(３２)

補間演算例６では、欠陥焦点検出画素の補間データＡ0x、Ａ1xを、欠陥焦点検出画素を挟む位置にある正常な焦点検出画素のデータから推定した欠陥焦点検出画素の推定値Ａ0av、Ａ1avと、欠陥焦点検出画素の周囲の正常な撮像画素のデータから推定した欠陥焦点検出画素の推定値Ａ0w、Ａ1wとの平均として求める例を示した。この方法によれば欠陥焦点検出画素の補間データＡ0x、Ａ1xを正確に推定することができる。なお、２組の推定値(Ａ0av、Ａ0w)、(Ａ1av、Ａ1w)をそれぞれ重み付け平均してもよい（Ａ0x＝Ｋ1・Ａ0av＋Ｋ2・Ａ0w、Ａ1x＝Ｋ3・Ａ1av＋Ｋ4・Ａ1w、Ｋ1,Ｋ2,Ｋ3,Ｋ4は重み）。また、推定精度がわずかに低くなるが、欠陥焦点検出画素の補間データＡ0x、Ａ1xを、欠陥焦点検出画素を挟む位置にある正常な焦点検出画素のデータから推定した欠陥焦点検出画素の推定値Ａ0av、Ａ1avとしてもよい(Ａ0x＝Ａ0av、Ａ1x＝Ａ1av)。あるいは、欠陥焦点検出画素の補間データＡ0x、Ａ1xを、欠陥焦点検出画素の周囲の正常な撮像画素のデータから推定した欠陥焦点検出画素の推定値Ａ0w、Ａ1wとしてもよい(Ａ0x＝Ａ0w、Ａ1x＝Ａ1w)。

以上説明した一実施の形態では、焦点検出画素が連続的にかつ１直線上に配列された場合の欠陥焦点検出画素のデータ補間について述べたが、同様な考え方を適用することによって、焦点検出画素が間引かれて配置された場合や、焦点検出画素がジグザグに配置された場合においても、欠陥焦点検出画素のデータ補間を行うことができる。

図３および図１６に示す撮像素子２１２、２１２Ａでは、撮像画素３１０がベイヤー配列の色フィルターを備えた例を示したが、色フィルターの構成や配列はこれに限定されることはなく、補色フィルター（緑：Ｇ、イエロー：Ｙｅ、マゼンタ：Ｍｇ，シアン：Ｃｙ）の配列やベイヤー配列以外の配列にも本発明を適用することができる。また、図３および図１６に示す撮像素子２１２、２１２Ａでは、焦点検出画素３１３、３１４に色フィルターを設けない例を示したが、撮像画素３１０と同色の色フィルターの内のひとつのフィルター（例えば緑フィルター）を設けるようにした場合でも、本発明を適用することができる。

また、上述した一実施の形態の図５、図１７に示す焦点検出画素３１１、３１３、３１４では、光電変換部の形状を半円形や矩形にした例を示したが、焦点検出画素の光電変換部の形状はこれらに限定されず、他の形状であってもよい。例えば焦点検出画素の光電変換部の形状を楕円や多角形にすることも可能である。

さらに、図３および図１６に示す撮像素子２１２、２１２Ａでは、撮像画素と焦点検出画素を稠密正方格子配列に配置した例を示したが、稠密六方格子配列(ハニカム状配列)としてもよい。

上述した一実施の形態では、撮像画素と焦点検出画素とが二次元状に配列された撮像素子２１２(図３参照)、２１２Ａ(図１６参照)を例に挙げて説明したが、焦点検出画素が平面上に配列された焦点検出専用素子に対しても本願発明を適用することができ、同様な効果を得ることができる。なお、この場合には図１に示す交換レンズ２０２と撮像素子２１２の間にハーフミラー等の光透過反射部材を設けるとともに、撮像素子２１２を撮像画素を二次元状に配列した撮像専用素子とし、光透過反射部材からの透過光を撮像専用素子で受光するとともに、光透過反射部材からの反射光を焦点検出専用素子で受光する構成とすればよい。

上述した一実施の形態では、マイクロレンズを用いた瞳分割方式による焦点検出動作を説明したが、本発明はこのような方式の焦点検出に限定されず、特開２００８−０１５１５７号公報に開示された偏光素子による瞳分割型位相差検出方式の焦点検出装置にも適用可能である。

なお、撮像装置としては、上述したようなカメラボディに交換レンズが装着される構成のデジタルスチルカメラやフィルムスチルカメラに限定されない。例えばレンズ一体型のデジタルスチルカメラ、フィルムスチルカメラ、あるいはビデオカメラにも本発明を適用することができる。さらには、携帯電話などに内蔵される小型カメラモジュール、監視カメラやロボット用の視覚認識装置、車載カメラなどにも適用できる。

上述した実施の形態とその変形例によれば以下のような作用効果を奏することができる。まず、一実施の形態は、撮像画素３１０と焦点検出画素３１１，３１３，３１４とが二次元状に配列された撮像素子であって、複数の焦点検出画素３１１，３１３，３１４の配列により交換レンズ２０２を通過する一対の光束が形成する一対の像に対応した一対の像信号を生成する撮像素子２１２，２１２Ａと、複数の焦点検出画素３１１，３１３，３１４の中に欠陥焦点検出画素がある場合に、欠陥焦点検出画素の周囲の画素の出力信号に基づいて欠陥焦点検出画素の出力信号を補間により演算するとともに、焦点検出画素３１１，３１３，３１４の出力信号と演算された欠陥焦点検出画素の出力信号とにより生成される一対の像信号に基づいて、一対の像の相対的なズレ量を検出し、検出された前記一対の像のズレ量に基づいて交換レンズ２０２の焦点調節状態を演算するボディ駆動制御装置２１４を備えている。このような構成を備えることにより、欠陥焦点検出画素を含んだ撮像素子を使用しても正常に焦点検出を行うことが可能になるとともに、撮像素子の歩留まりの低下を防ぐことができる、という優れた効果を得ることができる。特に、被写体像のコントラスト変化が大きい、つまり空間周波数が高いほど、欠陥焦点検出画素の存在が焦点検出精度を低下させるが、一実施の形態によれば焦点検出精度の低下を防ぐことができる。

次に、一実施の形態によれば、欠陥焦点検出画素の周囲の撮像画素の出力信号に基づいて欠陥焦点検出画素の出力信号を補間により演算するようにしたので、焦点検出画素の周辺に配置される多くの撮像画素の出力信号を利用して欠陥焦点検出画素の出力信号を補間により求めることができる。

さらに、一実施の形態によれば、欠陥焦点検出画素の周囲の撮像画素と焦点検出画素の出力信号に基づいて欠陥焦点検出画素の出力信号を補間により演算するようにしたので、欠陥焦点検出画素の出力信号を補間により正確に求めることができる。

一実施の形態によれば、色フィルターが設けられていない欠陥焦点検出画素の出力信号を、それぞれの色フィルターが設けられた撮像画素の出力信号の線形和として演算するようにしたので、焦点検出画素の周辺に配置される多くの撮像画素の出力信号を利用して欠陥焦点検出画素の出力信号を正確に補間することができる。

一実施の形態によれば、一対の像信号の内の一方の像信号を出力する第１焦点検出画素３１３と他方の像信号を出力する第２焦点検出画素３１４とを備えた撮像素子２１２(図３参照）に対し、欠陥焦点検出画素の周囲に配置された第１焦点検出画素３１３と第２焦点検出画素３１４の内、欠陥焦点検出画素と同一種類の第１焦点検出画素３１３または第２焦点検出画素３１４の出力信号に基づいて欠陥焦点検出画素の出力信号を補間により演算するようにしたので、欠陥焦点検出画素の出力信号を正確に補間することができる。

一実施の形態のカメラの構成を示すカメラの横断面図 交換レンズの撮影画面上における焦点検出位置を示す図 撮像素子の詳細な構成を示す正面図 撮像画素の構成を示す正面図 焦点検出画素の構成を示す正面図 撮像画素の分光特性を示す図 焦点検出画素の分光特性を示す図 撮像画素の構造を示す断面図 焦点検出画素の構造を示す断面図 マイクロレンズを用いた瞳分割型位相差検出方式の焦点検出光学系の構成を示す図 撮像素子の回路構成の概念を示す図 一実施の形態のデジタルスチルカメラ（撮像装置）の撮像動作を示すフローチャート 焦点検出結果の信頼性を説明する図 欠陥焦点検出画素の補間演算例１を説明するための図 欠陥焦点検出画素の補間演算例２を説明するための図 変形例の撮像素子の正面図 焦点検出画素の構成を示す正面図 マイクロレンズを用いた瞳分割型位相差検出方式の焦点検出光学系の構成を示す図 欠陥焦点検出画素の補間演算例３を説明するための図 欠陥焦点検出画素の補間演算例４を説明するための図 欠陥焦点検出画素の補間演算例５を説明するための図 欠陥焦点検出画素の補間演算例６を説明するための図

符号の説明

２０１；カメラ、２０２；交換レンズ、２１２、２１２Ａ；撮像素子、２１４；ボディ駆動制御装置、３１０；撮像画素、３１１、３１３、３１４；焦点検出画素

Claims (9)

1. 撮像画素と焦点検出画素とが二次元状に配列された撮像素子であって、複数の前記焦点検出画素の配列により結像光学系を通過する一対の光束が形成する一対の像に対応した一対の像信号を生成する撮像素子と、
   前記複数の焦点検出画素の中に欠陥焦点検出画素がある場合に、前記欠陥焦点検出画素の周囲の画素の出力信号に基づいて前記欠陥焦点検出画素の出力信号を補間により演算する補間手段と、
   前記焦点検出画素の出力信号と前記補間手段により演算された前記欠陥焦点検出画素の出力信号とにより生成される一対の像信号に基づいて、前記一対の像の相対的なズレ量を検出する検出手段と、
   前記検出手段により検出された前記一対の像のズレ量に基づいて、前記結像光学系の焦点調節状態を演算する演算手段とを備えることを特徴とする焦点検出装置。
2. 請求項１に記載の焦点検出装置において、
   前記補間手段は、前記欠陥焦点検出画素の周囲の前記撮像画素の出力信号に基づいて前記欠陥焦点検出画素の出力信号を補間により演算することを特徴とする焦点検出装置。
3. 請求項１に記載の焦点検出装置において、
   前記補間手段は、前記欠陥焦点検出画素の周囲の前記焦点検出画素の出力信号に基づいて前記欠陥焦点検出画素の出力信号を補間により演算することを特徴とする焦点検出装置。
4. 請求項１に記載の焦点検出装置において、
   前記補間手段は、前記欠陥焦点検出画素の周囲の前記撮像画素と前記焦点検出画素の出力信号に基づいて前記欠陥焦点検出画素の出力信号を補間により演算することを特徴とする焦点検出装置。
5. 請求項２または請求項４に記載の焦点検出装置において、
   前記撮像画素には複数種類の色フィルターが設けられており、
   前記補間手段は、前記色フィルターが設けられていない前記欠陥焦点検出画素の出力信号を、それぞれの前記色フィルターが設けられた前記撮像画素の出力信号の線形和として演算することを特徴とする焦点検出装置。
6. 請求項３または請求項４に記載の焦点検出装置において、
   前記焦点検出画素は、前記一対の像信号の内の一方の像信号を出力する第１焦点検出画素と他方の像信号を出力する第２焦点検出画素とからなり、
   前記補間手段は、前記欠陥焦点検出画素の周囲に配置された前記第１焦点検出画素と前記第２焦点検出画素の内、前記欠陥焦点検出画素と同一種類の前記第１焦点検出画素または前記第２焦点検出画素の出力信号に基づいて前記欠陥焦点検出画素の出力信号を補間により演算することを特徴とする焦点検出装置。
7. 請求項１〜６のいずれか一項に記載の焦点検出装置において、
   前記欠陥焦点検出画素の位置情報を記憶する記憶手段を備え、
   前記補間手段は、前記記憶手段に記憶された前記欠陥焦点検出画素の位置情報に基づいて、前記欠陥焦点検出画素の出力信号を補間により演算することを特徴とする焦点検出装置。
8. 焦点検出画素が平面上に配列された焦点検出用撮像素子であって、複数の前記焦点検出画素の配列により結像光学系を通過する一対の光束が形成する一対の像に対応した一対の像信号を生成する焦点検出用撮像素子と、
   前記複数の焦点検出画素の中に欠陥焦点検出画素がある場合に、前記欠陥焦点検出画素の周囲の焦点検出画素の出力信号に基づいて前記欠陥焦点検出画素の出力信号を補間により演算する補間手段と、
   前記焦点検出画素の出力信号と前記補間手段により演算された前記欠陥焦点検出画素の出力信号とにより生成される一対の像信号に基づいて、前記一対の像の相対的なズレ量を検出する検出手段と、
   前記検出手段により検出された前記一対の像のズレ量に基づいて、前記結像光学系の焦点調節状態を演算する演算手段とを備えることを特徴とする焦点検出装置。
9. 請求項１〜８のいずれか一項に記載の焦点検出装置を備えることを特徴とする撮像装置。

Images