JP6239820B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は撮像装置及びその制御方法に関し、特には焦点検出用画素を有する撮像素子を用いる撮像装置及びその制御方法に関する。

撮像素子を構成する画素群の一部を焦点検出用画素とし、焦点検出用画素から得られる被写体像の位相差を用いることで、個別の位相差検出センサなしに位相差検出方式の自動焦点検出（位相差ＡＦ）を実現する技術が知られている。

例えば特開２０００−２９２６８６号公報（特許文献１）では、焦点検出用画素の各々について、オンチップマイクロレンズの光軸に対して偏心した位置に一対のフォトダイオードＡ，Ｂを設けることで瞳分割機能を付与している。そして焦点検出用画素を撮像用画素群の間に所定の間隔で配置し、フォトダイオードＡ群，Ｂ群の像信号を位相差ＡＦに用いる。

特許文献１の焦点検出用画素はフォトダイオードをオンチップマイクロレンズの光軸から偏心した位置に設けるため、光軸上にフォトダイオードを設ける撮像用画素とは構造が異なる。そのため、周辺画素に与えるクロストーク量は、撮像用画素と焦点検出用画素とで異なる。

特開２００９−１２４５７３号公報（特許文献２）には、焦点検出用画素から周辺の撮像用画素へのクロストークにより発生する、焦点検出用画素近傍で画像品質の劣化を抑制する技術が開示されている。特許文献２では、周辺の焦点検出用画素位置の近似データを用いて、撮像用画素の画像データにおける焦点検出用画素からのクロストークの影響を補正する方法が提案されている。

特開２０００−２９２６８６号公報 特開２００９−１２４５７３号公報

上述した特許文献２の撮像装置では、撮像用画素から出力される画像データの補正に、周辺の焦点検出用画素の出力を用いている。しかし、周辺の焦点検出用画素が欠陥画素である場合、その出力を用いて補正すると撮像用画素データに補正誤差が発生する。欠陥の度合によっては、補正が逆に画質を悪化させる可能性がある。

本発明はこのような従来技術の課題を解決するためになされたものである。具体的には、焦点検出用画素が設けられた撮像素子を用いる撮像装置において、焦点検出用画素から隣接もしくは近隣の撮像用画素へのクロストーク量を補正する際に、焦点検出用画素が欠陥画素である場合の悪影響を低減することを目的とする。

上述の目的は、複数の第１の画素部と、第１の画素部とは構造が異なり、かつ出力信号を使って相関演算可能な複数の第２の画素部とを含む撮像素子と、第２の画素部からの出力信号を、周囲の第１の画素部の出力信号を補間して生成する補間処理を実行し、かつ第２の画素部に隣接する第１の画素部からの出力信号に対して補間処理とは異なる第２の画素部からのクロストーク成分の補正処理を実行する第１の信号処理手段とを有し、第１の信号処理手段は、撮像条件において第２の画素部が欠陥画素と判定される場合に補正処理を実行しない、ことを特徴とする撮像装置によって達成される。

本発明によれば、焦点検出用画素が設けられた撮像素子を用いる撮像装置において、焦点検出用画素から隣接もしくは近隣の撮像用画素へのクロストーク量を補正する際に、焦点検出用画素が欠陥画素である場合の悪影響を低減することができる。

本発明の実施形態に係る撮像装置の一例としてのデジタルスチルカメラの機能構成例を示す図。 本発明の実施形態に係る撮像素子の画素構成例を示す図。 本発明の実施形態に係る欠陥画素検出処理の一例を示すフローチャート。 本発明の実施形態に係る欠陥画素判定閾値を示す図。 本発明の実施形態に係る撮像素子の一部の構成例を示すブロック図。 本発明の実施形態に係る撮像素子の撮像用画素の構造例を示す平面図および断面図。 本発明の実施形態に係る撮像素子の焦点検出用画素の構造例を示す平面図および断面図。 （ａ）は、撮像用画素のみで構成された、中心がＲ画素の３行×３列の画素配置を、（ｂ）は図８（ａ）の中心画素を焦点検出用画素とした場合の画素配置をそれぞれ示す図。 本発明の実施形態に係るクロストーク補正処理の一例を示すフローチャート。 本発明の実施形態に係る、撮像条件に応じた欠陥画素判定テーブルの例を示す図。 本発明の実施形態に係るカメラの全体動作を示すフローチャート。 本発明の実施形態に係る焦点検出処理の詳細を示すフローチャート。 本発明の実施形態に係る撮影処理の詳細を示すフローチャート。 本発明の実施形態の変形例に係る中心画素を焦点検出用画素とした場合の画素配置を示す図。 本発明の実施形態の変形例に係るクロストーク補正処理の一例を示すフローチャート。

以下、添付図面を参照して、本発明の例示的な実施形態について詳細に説明する。
図１は、本発明の実施形態に係る撮像装置の一例としてのデジタルスチルカメラ１００（以下、単にカメラ１００という）の機能構成例を示す図である。

第１レンズ群１０１は撮像光学系（結像光学系）の先端に配置され、光軸に沿って前後に移動可能に保持される。シャッタ１０２は、静止画撮像時の露光時間を制御するためのシャッタとしてだけでなく、開口径を調節することで撮像時の光量調節を行なう絞りとしても機能する。シャッタ１０２の背面（撮像素子側）に配置された第２レンズ群１０３は、シャッタ１０２と一体となって光軸に沿って前後に可能であり、第１レンズ群１０１とともにズーム機能を実現する。

第３レンズ群１０５はフォーカスレンズであり、光軸に沿って前後に移動可能である。第３レンズ群１０５の位置により、撮像光学系の焦点位置が調節される。光学ローパスフィルタ１０６は、撮像素子１０７の前方に配置され、撮像画像に発生する偽色やモアレを軽減する。撮像素子１０７は２次元ＣＭＯＳイメージセンサとその周辺回路で構成される。本実施形態において、撮像素子１０７は、横方向にｍ個、縦方向にｎ個の複数の受光素子が２次元配列され、その上に、ベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された、２次元単板カラーイメージセンサである。カラーフィルタは受光素子に入射する透過光の波長を画素単位で制限する。

ズームアクチュエータ１１１は、ズーム駆動回路１２９の制御に従い、不図示のカム筒を回動して第１レンズ群１０１と第３レンズ群１０５の少なくとも一方を光軸に沿って駆動して、ズーム（変倍）機能を実現する。シャッタアクチュエータ１１２は、シャッタ駆動回路１２８の制御に従い、シャッタ１０２開口径を制御して撮像光量を調節すると共に、静止画撮像時の露光時間を制御する。

フォーカスアクチュエータ１１４は、フォーカス駆動回路１２６の制御に従い、第３レンズ群１０５を光軸に沿って駆動する。

フラッシュ１１５は、好ましくはキセノン管を用いた閃光照明装置であるが、連続発光するＬＥＤを備えた照明装置であってもよい。ＡＦ補助光出力部１１６は、所定の開口パターンを有するマスクの像を投光レンズを介して被写界に投影し、低輝度の被写体や低コントラストの被写体に対する焦点検出能力を向上させる。

ＣＰＵ１２１は、カメラ１００全体の動作を制御し、図示しない演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有する。ＣＰＵ１２１は、不図示の不揮発性記録媒体（例えばＲＯＭ）に記憶されたプログラムを実行して、カメラ１００が有する各種回路を制御し、ＡＦ、ＡＥ、画像処理、記録等、カメラ１００の機能を実現する。

フラッシュ制御回路１２２は、撮像動作に同期してフラッシュ１１５を点灯制御する。補助光駆動制御回路１２３は、焦点検出動作時にＡＦ補助光出力部１１６を点灯制御する。撮像素子駆動回路１２４は、撮像素子１０７の動作を制御するとともに、撮像素子１０７から読み出した画像信号をＡ／Ｄ変換してＣＰＵ１２１に出力する。画像処理回路１２５は、画像信号に対してγ変換、色補間、ＪＰＥＧ符号化などの画像処理を適用する。

フォーカス駆動回路１２６は、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動することにより第３レンズ群１０５を光軸に沿って移動させ、焦点調節を行なう。シャッタ駆動回路１２８は、シャッタアクチュエータ１１２を駆動してシャッタ１０２の開口径及び開閉タイミングを制御する。ズーム駆動回路１２９は、例えば操作スイッチ群１３２に含まれるズーム操作スイッチの押下によって撮像者から入力されるズーム操作に応じてズームアクチュエータ１１１を駆動する。

表示器１３１はＬＣＤ等であり、カメラ１００の撮像モードに関する情報、撮像前のプレビュー画像と撮像後の確認用画像、焦点検出時の合焦状態の情報等を表示する。操作スイッチ群１３２は、電源スイッチ、レリーズ（撮像トリガ）スイッチ、ズーム操作スイッチ、撮像モード選択スイッチ等を含む。記録媒体１３３は例えば着脱可能な半導体メモリカードであり、撮像画像を記録する。

記憶部１４１は、画像用メモリ１４２、欠陥画素情報メモリ１４３、欠陥画素検出条件テーブル１４４、欠陥画素判定テーブル１４５を有する。記憶部１４１の詳細な動作については後述する。

ＣＰＵ１２１は、撮像素子１０７に設けられた焦点検出用画素について欠陥画素をその種類とともに判別し、さらに欠陥画素の異常出力信号レベル（欠陥出力レベル）を判定する。

撮像素子１０７には数十万〜数千万の画素が配列されるが、素子を形成する物質の結晶欠陥やダストなどの影響により、画素として出力すべき信号（以下、正規の出力信号と呼ぶ）を発生しない画素が含まれる。このような画素は欠陥画素と呼ばれており、本明細書では、欠陥画素が出力する正規でない信号を異常出力信号（信号が全く出力されない状態を含む）と呼ぶ。

欠陥画素は、定常的に異常出力信号を出力する定常欠陥画素と、正規の出力信号と異常出力信号とを非定常的に出力する点滅欠陥画素に大別される。定常欠陥画素と点滅欠陥画素では、異常信号の出力特性が異なることが知られている。定常欠陥画素では、ダスト、開口むら等の感度依存性欠陥画素を除いた場合、受光部の結晶欠陥による白点欠陥が多数を占める。よって、本明細書では、白点欠陥画素を定常欠陥画素と定義する。白点欠陥画素は暗信号の増加を伴うため、異常信号出力レべルは、欠陥画素の温度および欠陥画素の電荷蓄積時間に依存した特性を有する。

一方、点滅欠陥画素は結晶欠陥が発生する箇所が定常欠陥画素と異なるため、異常出力信号レべルの特性は欠陥画素の温度および電荷蓄積時間にほとんど依存しない。

図２に、撮像素子１０７が有する画素の回路構成例を示す。画素は、光電変換部（ＰＤ）２０１、蓄積された電荷をリセットするリセットＭＯＳ２０２、電荷検出を行なうフローティングディフュージョン（ＦＤ）２０３、画素ソースフォロア２０４を有する。定常欠陥画素の多くは、ＰＤ２０１の結晶欠陥によって発生するのに対して、点滅欠陥画素は、画素ソースフォロア２０４を構成するＭＯＳトランジスタの界面準位で、電子が捕獲、放出を繰り返すことで発生すると考えられている。点滅欠陥画素の異常出力信号レベルは、異常の原因が画素ソースフォロア２０４であるため、温度や電荷蓄積時間にほとんど依存しない。

本実施形態においては、検出された欠陥画素が点滅欠陥画素と定常欠陥画素のいずれであるのかを判別する。なお、他の欠陥画素を判別可能に構成してもよい。

同図、温度検出部１４６は、撮像素子１０７の温度または撮像素子１０７近傍の温度（周辺温度）を検出する。温度検出部１４６は、例えばサーミスタである。

（欠陥画素検出処理）
次に、図３のフローチャートを用いて、本実施形態におけるカメラが行う欠陥画素検出処理の一例を説明する。
本実施形態における欠陥画素検出処理は、点滅欠陥画素の検出処理と定常欠陥画素の検出処理からなる。上述の通り、点滅欠陥画素と定常欠陥画素は、異常出力信号レベルの出力特性が、温度及び電荷蓄積時間に対して異なる依存性を有する。そこで、本実施形態では点滅欠陥画素と定常欠陥画素とで欠陥画素検出条件を異ならせている。

図３（ａ）は、点滅欠陥画素検出処理の詳細を説明するフローチャートである。
撮像者が操作スイッチ群１３２に含まれる電源ＯＮ／ＯＦＦボタンを操作して、デジタルスチルカメラ１００の電源オンを指示すると、ＣＰＵ１２１はカメラの起動処理を開始する。そして、ＣＰＵ１２１は、起動処理の一部として、図３（ａ）に示す点滅欠陥画素検出処理を実行する。

上述の通り、点滅欠陥画素の異常出力信号レベルは温度依存性がほとんどない。そのため、本実施形態では、定常欠陥画素の影響を受けにくい、デジタルスチルカメラ（特に、撮像素子１０７の近傍）の温度が低い状態にあると想定される、電源オン動作時に点滅欠陥画素を検出する。

Ｓ３０２において、欠陥画素検出用ダーク画像撮像のためにシャッタ１０２を閉じる。次に、Ｓ３０３において、点滅欠陥画素検出条件を欠陥画素検出条件テーブル１４４から取得し、取得した欠陥画素検出条件でダーク画像を撮像する。

欠陥画素検出条件テーブル１４４には、点滅欠陥画素検出のための撮像条件と、定常欠陥画素検出のための撮像条件が記憶されている。ここでは、点滅欠陥画素検出のための撮像条件に基づいて、ダーク画像を撮像する。

定常欠陥画素は、一定の温度での異常出力信号レベルを発生するのに対して、点滅欠陥画素の異常出力信号レベルは温度依存性がほとんどない。そこで、点滅欠陥画素と定常欠陥画素を区別して検出できるように、撮像素子近傍の温度が低く、かつ蓄積時間が短い条件で点滅欠陥画素を検出すればよい。本実施形態では例えば、温度が２５℃以下で蓄積時間を１／１０００秒に設定してダークＲＡＷ画像を撮像することで、点滅欠陥画素を検出する。

一方、点滅欠陥画素は、異常出力信号が非定常的に出力される特性を有する。そこで、検出期間内に複数回（本実施形態では例えば、３２回）の撮像を行い、得られた複数の撮像画像における各画素の最大出力レベルに基づくピークホールド方式で点滅欠陥画素の異常出力信号レベルを検出する。

点滅欠陥画素を検出するための撮像回数が多いほど点滅欠陥画素の検出精度は高くなるが、検出に要する総撮像時間が増加する。そのため、検出精度と総撮像時間とを考慮して撮像回数を設定することが望ましい。

ＣＰＵ１２１は、温度検出部１４６で検出された温度が撮像条件（本実施形態では２５℃以下）に合致しているかを確認する。合致している場合には、指定された蓄積時間（電子シャッタ速度：１／１０００秒）で撮像を実行するよう制御する。そして、撮像により得られたダーク画像データを画像用メモリ１４２に一時記憶する。このようなダーク画像の撮像とダーク画像データの記憶を繰り返し（本実施形態では３２回）実行する。

次に、Ｓ３０４〜Ｓ３０８の処理を実行することにより、ＣＰＵ１２１は、各焦点検出用画素について、点滅欠陥画素であるか否かを判定する。焦点検出用画素の位置は予め記憶しておくことができる。

Ｓ３０４においてＣＰＵ１２１は、欠陥画素判定の対象画素の値と、対象画素の周辺の複数の焦点検出用画素の平均値との差（絶対値）Ｄを異常出力信号レベル（ｍＶ）として求める。そして、Ｓ３０５でＣＰＵ１２１は、差Ｄが欠陥画素閾値以上であれば欠陥画素と判定する。なお、焦点検出用画素は受光部の偏心方向が互いに異なる２種類の画素（Ａ像用画素，Ｂ像用画素）から構成されるが、ここで平均値を算出する焦点検出用画素は、対象画素と同じ種類の焦点検出用画素とする。

図４（ａ）、及び図４（ｂ）は、本実施形態における点滅欠陥画素判定閾値Ｋｔｎと定常欠陥画素判定閾値Ｋｕｎの一例である。同図では判定閾値を欠陥画素の異常出力信号レベル（ｍＶ）に応じて、それぞれＫｔ１〜Ｋｔ８、Ｋｕ１〜Ｋｕ８の８段階に設定している。このように、判定閾値が複数段階に設定されている場合、最小の閾値（もっとも低い欠陥レベルに対応する閾値）を満たさなければ、正常画素と判定し、それ以外の場合は満たしている閾値に応じて欠陥画素であることと欠陥レベルが同時に判定される。

欠陥画素判定閾値Ｋｔｎ，Ｋｕｎは、所定の撮像条件を用いて撮像した結果を用いて事前に決定しておけばよい。なお、点滅欠陥画素の判定閾値Ｋｔｎは、点滅欠陥画素の異常出力レベルが温度及び電荷蓄積時間にほとんど依存しないため、異常出力レベルが温度及び電荷蓄積時間に依存する定常欠陥画素の判定閾値Ｋｕｎより値の刻みが小さくなるように設定してある。

Ｓ３０６において、ＣＰＵ１２１は欠陥画素判定結果に応じて、
（１）欠陥レベル（３ビットのＩＤ）、
（２）撮像素子に含まれる画素群において欠陥画素の位置を特定する情報（アドレス情報）、
（３）欠陥画素種類（定常欠陥画素か点滅欠陥画素か）の識別ＩＤ、
を欠陥画素情報メモリ１４３に記憶する。

Ｓ３０７において、ＣＰＵ１２１は、いずれの判定閾値も満たさない焦点検出用画素については、正常画素と判断する。正常画素については特に情報を記憶しなくても良い。

なお、実際には撮影用画素についても欠陥画素の判定処理を行うが、本発明と直接関係が無いためここでは説明を省略する。

ＣＰＵ１２１は、上述したＳ３０４〜Ｓ３０８の処理を、全焦点検出用画素について繰り返し行い、点滅欠陥画素検出を終了する。

次に、図３（ｂ）に示すフローチャートを用いて、定常欠陥画素検出処理の詳細を説明する。図３（ｂ）は、定常欠陥画素検出処理の詳細を説明するフローチャートである。
撮像者が操作スイッチ１３２に含まれる電源ＯＮ／ＯＦＦボタンを操作して、カメラ１００の電源オフを指示すると、ＣＰＵ１２１はカメラの動作終了処理を開始する。そして、ＣＰＵ１２１は、動作終了処理の一部として、図３（ｂ）に示す定常欠陥画素検出処理を実行する。

定常欠陥画素の異常出力信号レベルは、前述のとおり温度依存性があり、高温時の方が検出しやすい。そこで、カメラの電源オフ動作時の、カメラ（特に撮像素子１０７の近傍）の温度が比較的高い状態にあると想定される状態で定常欠陥画素を検出する。

以下、Ｓ３１２〜Ｓ３１８において、ＣＰＵ１２１は、点滅欠陥画素の検出処理におけるＳ３０２〜Ｓ３０８と同様にして定常欠陥画素を検出する。

ただし、Ｓ３１３におけるダーク画像撮像条件が異なり、特に撮像回数が１回でよいため、各画素について最大値を求める必要がない。これは定常欠陥画素が常に異常出力信号を出力することによる。また、Ｓ３１５での比較には、図４（ｂ）の定常欠陥画素検出判定閾値Ｋｕｎを用いる。

このようにして、温度及び電荷蓄積時間についての依存性の異なる点滅欠陥画素と定常欠陥画素のそれぞれの欠陥画素情報が、欠陥画素情報メモリ１４３に記録される。

なお、本実施形態では、カメラの電源ＯＮ時に点滅欠陥画素の検出処理を、電源ＯＦＦ時に定常欠陥画素の検出処理を行う場合を説明したが、点滅欠陥画素と定常欠陥画素の検出処理の実行タイミングは任意に設定可能である。例えばデジタルスチルカメラ出荷前の工場調整時に行っても構わないし、撮像素子１０７の温度が撮像条件に合致するかどうかを判別し、合致する場合に実行してもよい。

（撮像素子の構成）
次に、撮像素子１０７、及び撮像素子１０７を構成する撮像用画素と焦点検出用画素について説明する。
図５は、撮像素子１０７の一部の構成例を示すブロック図である。なお、図５では、読み出し動作が説明できる最低限の構成を示しており、画素リセット信号などが省略されている。光電変換部５０１は、フォトダイオード、画素アンプ、リセット用のスイッチなどで構成されている。なお、以下の説明では、撮像素子１０７にＸ方向にｍ個、Ｙ方向ｎ個の光電変換部５０１が二次元配置されているものとし、光電変換部５０１の各々を特定する場合には、PD_mnと表記する。ここでｍ＝０，１・・・，ｍ−１、ｎ＝０，１・・・，ｎ−１である。なお、図５では、図が煩雑にならないよう、一部の光電変換部５０１にのみアドレスを示している。

スイッチ５０２は、光電変換部５０１ごとに設けられ、光電変換部５０１の出力を選択する。スイッチ５０２は、垂直走査回路５０８により、一行ごとに選択される。
ラインメモリ５０３は、光電変換部５０１の出力を一時的に記憶するためのであり、垂直走査回路により選択された、一行分の光電変換部の出力を記憶するものである。通常は、コンデンサが使用される。
スイッチ５０４は、水平出力線に接続されて、水平出力線を所定の電位ＶＨＲSＴにリセットするためのスイッチであり、信号ＨＲSＴにより制御される。

ラインメモリ５０３のｍ個の出力の各々にはスイッチ５０５（Ｈ₀〜Ｈ_m-1）が設けられている。後述する水平走査回路５０６によってスイッチ５０５をＨ₀から順次走査することで、スイッチ５０５を通じてラインメモリ５０３に記憶された光電変換部５０１の出力が水平出力線に順次出力され、一行分の光電変換出力が読み出される。

水平走査回路５０６は、スイッチ５０５を順次オンにして、ラインメモリ５０３に記憶された光電変換部５０１の出力を順次、水平出力線に出力させる。信号ＰＨＳＴはデータ入力、ＰＨ１、ＰＨ２はシフトクロック入力であり、ＰＨ１＝Ｈでデータがセットされ、ＰＨ２でデータがラッチされる。水平走査回路５０６のＰＨ１、ＰＨ２にシフトクロックを入力してＰＨＳＴを順次シフトさせることにより、スイッチ５０５をＨ₀からＨ_m-1の順で順次オンすることができる。ＳＫＩＰは、水平走査回路５０６に間引き読み出しの設定を行うための制御端子入力である。ＳＫＩＰにＨレベルの信号を入力することにより、水平走査回路５０６の走査を所定間隔でスキップさせることが可能であり、それによって間引き読み出しを実現する。

垂直走査回路５０８はＶ₀からＶ_n-1を順次出力することにより、光電変換部５０１に接続されたスイッチ５０２をラインごとに選択する。垂直走査回路５０８においても、水平走査回路５０６と同様に、データ入力ＰＶＳＴ、シフトクロックＰＶ１、ＰＶ２、間引き読み設定ＳＫＩＰにより制御される。制御入力に対する動作は水平走査回路５０６と同様であるので詳細説明は省略する。

（画素の構造）
図６及び図７は、撮像用画素と焦点検出用画素の構造例を示す図である。本実施形態の撮像素子１０７は、２行×２列の４画素を１単位として、対角２画素にＧ（緑色）の分光感度を有する画素を配置し、他の２画素にＲ（赤色）とＢ（青色）の分光感度を有する画素を各１個配置した、ベイヤー配列の画素配置が採用されている。そして、このようなベイヤー配列の画素群の一部の画素を、焦点検出用画素としている。焦点検出用画素は、離散的に配置される。

図６（ａ）は２行×２列の撮像用画素の平面図である。上述の通り、ベイヤー配列では対角方向に２つのＧ画素が、他の２画素にＲとＢの画素が配置される。そしてこのような２行×２列の配列が撮像素子１０７の全体にわたって繰り返される。

図６（ｂ）は、図６（ａ）のＡ−Ａ断面と、撮影光学系からの光路を示す図である。
ＭＬは各画素の最前面に配置されたオンチップマイクロレンズ、ＣＦ_ＲはＲ（Ｒｅｄ）のカラーフィルタ、ＣＦ_ＧはＧ（Ｇｒｅｅｎ）のカラーフィルタである。ＰＤは画素の光電変換部５０１を模式的に示したもの、ＣＬはＣＭＯＳイメージセンサ内の各種信号を伝達する信号線を形成するための配線層である。ＴＬは撮影光学系を模式的に示したものである。

ここで、撮像用画素のオンチップマイクロレンズＭＬと光電変換部ＰＤは、撮影光学系ＴＬを通過した光束を可能な限り有効に取り込むように構成されている。換言すると、撮影光学系ＴＬの射出瞳ＥＰと光電変換部ＰＤは、マイクロレンズＭＬにより共役関係にあり、かつ光電変換部ＰＤの有効面積は大面積に設計される。また、図６（ｂ）ではＲ画素の入射光束について図示したが、Ｇ画素及びＢ（Ｂｌｕｅ）画素も同一の構造を有する。従って、撮像用のＲＧＢ各画素に対応した射出瞳ＥＰは大径となり、被写体からの光束を効率よく取り込んで画像信号のＳ／Ｎを向上させている。

図７（ａ）は、焦点検出用画素対を含む２行×２列の画素の平面図である。記録もしくは表示用の画像信号を得る場合、Ｇ画素で輝度情報の主成分を取得する。人間の画像認識特性は輝度情報に敏感であるため、Ｇ画素が欠損すると画質劣化が認知されやすい。一方で緑色以外の色の画素、すなわちＲ画素もしくはＢ画素は、色情報（色差情報）を取得する画素であるが、人間の画像認識特性は色情報に鈍感であるため、色情報を取得する画素は多少の欠損が生じても画質劣化に気づきにくい。そこで本実施形態においては、２行×２列の画素のうち、Ｇ画素は撮像用画素として残し、Ｒ画素とＢ画素の位置に焦点検出用画素対Ｓ_ＨＡ及びＳ_ＨＢを配置している。

図７（ｂ）は、図７（ａ）のＡ−Ａ断面（すなわち、焦点検出用画素対の断面）と、撮影光学系からの光路を示す図である。
マイクロレンズＭＬと、光電変換部ＰＤは図６（ｂ）に示した撮像用画素と同一構造である。本実施形態においては、焦点検出用画素の信号は画像信号として利用しないため、色分離用カラーフィルタの代わりに無色透明なフィルタＣＦ_Ｗ（Ｗｈｉｔｅ）が配置される。また、画素で瞳分割を行なうため、配線層ＣＬの開口部はマイクロレンズＭＬの中心線に対して一方向に偏心している。すなわち、焦点検出用画素対を構成する焦点検出用画素Ｓ_ＨＡと焦点検出用画素Ｓ_ＨＢの開口は、互いに異なる方向に偏心している。

具体的には、焦点検出用画素Ｓ_ＨＡ及の開口部ＯＰ_ＨＡは右側に偏心しているため、撮影光学系ＴＬの左側の射出瞳ＥＰ_ＨＡを通過した光束を受光する。同様に、焦点検出用画素Ｓ_ＨＢの開口部ＯＰ_ＨＢは左側に偏心しているため、撮影光学系ＴＬの右側の射出瞳ＥＰ_ＨＢを通過した光束を受光する。水平方向に規則的に配列した複数の焦点検出用画素Ｓ_ＨＡで取得した輝度波形をＡ像波形（第１の像波形）とする。また、水平方向に規則的に配列した複数の焦点検出用画素Ｓ_ＨＢで取得した輝度波形をＢ像波形（第２の像波形）とする。これらＡ像波形とＢ像波形の相対位置を検出し、像のずれ量に対して変換係数を乗じることで被写体像のピントずれ量（デフォーカス量）を算出できる。

（焦点検出用画素の影響）
ここで、撮像素子を構成する画素中に焦点検出用画素を配置することで発生する画質劣化の要因について説明する。上述したように焦点検出用画素は、オンチップマイクロレンズの光軸に対して光電変換部を偏心させているため、開口形状及び開口重心位置が撮像用画素と異なる。そのため、撮像光学系を通じて入射する光線の入射角度分布が撮像用画素と異なる。さらに、焦点検出用画素は、カラーフィルタが無色であったり設けられなかったりすることにより、分光感度特性も撮影用画素と異なる。

このような構造の差異があるため、（１）焦点検出用画素の出力、および（２）焦点検出用画素に隣接もしくは近隣する撮影用画素の出力が、焦点検出用画素を配置しない場合と異なり、画質に影響を及ぼす。焦点検出画素による影響のうち（２）に関しては、撮像用画素と焦点検出用画素との構造の差異により、隣接もしくは近隣する画素へのクロストーク量にも差異が生じることが原因である。

ここで、クロストークが発生する原因を詳細に説明する。一つには、光電変換部を形成する半導体基板内部において、入射光により光電変換部の端部や深部で発生した電子が、周辺画素の光電変換部に拡散することが考えられる。また、半導体表面に形成される遮光メタル層と半導体表面との間を反射伝播した光や、焦点検出用画素へ入射した光の一部が焦点検出用画素で反射され、センサパッケージ上のカバーガラスなどで再反射された光が周辺の撮像用画素に入射することが考えられる。

反射を要因としたクロストークの量は、入射光線の角度特性に依存し、入射光線がマイクロレンズの光軸となす角度が大きくなるにつれてクロストーク量が増加する傾向にある。また、光電変換部の端部や深部で発生した電子が周辺に拡散するクロストークの量は、入射光の分光分布特性に依存し、半導体基板に深く侵入する長波長の光が入射するほど増加する傾向がある。

従って、焦点検出用画素に隣接もしくは近隣する撮像用画素の出力を補正するには、入射光線の角度特性に影響する要因に加え、入射光の分光分布特性を考慮してクロストーク量を推定する必要がある。なお、入射光線の角度特性に影響する要因としては、例えば、撮像光学系の絞り開口（Ｆ値）、焦点検出用画素が配置されている像高、焦点検出用画素の開口の形状及び重心位置等がある。

図８（ａ）は、撮像用画素のみで構成された、中心がＲ画素の３行×３列の画素配置を、図８（ｂ）は図８（ａ）の中心画素を焦点検出用画素とした場合の画素配置をそれぞれ示している。図８（ｂ）の画素配置において、焦点検出用画素Ｓ_ＨＡの右に隣接する画素Ｇ（ｘ， ｙ）の値を補正する場合を考える。なお、画素Ｒ（ｘ−１， ｙ）が焦点検出用画素Ｓ_ＨＡに代わったことによる画素Ｇ（ｘ, ｙ）の出力変化量（補正対象量）をクロストーク補正量と呼ぶ。

図８（ｂ）の焦点検出用画素Ｓ_ＨＡの出力値をＳ_ＳＨＡとする。図８（ｂ）のα_ＳＨＡは、焦点検出用画素Ｓ_ＨＡから画素Ｇ（ｘ, ｙ）へのクロストーク量をＳ_ＳＨＡで除した値とする。同様に、図８（ａ）の撮像用画素Ｒ（ｘ−１， ｙ）の出力値をＳ_Ｒとする。α_Ｒは撮像用画素Ｒ（ｘ−１， ｙ）からＧ（ｘ, ｙ）へのクロストーク量をＳ_Ｒで除した値とする。

このような定義によれば、図８（ｂ）において、焦点検出用画素Ｓ_ＨＡから画素Ｇ（ｘ, ｙ）へのクロストーク量はＳ_ＳＨＡ×α_ＳＨＡとなる。同様に図８（ａ）において、撮像用画素Ｒ（ｘ−１, ｙ）からＧ（ｘ, ｙ）に漏れこむクロストーク量はＳ_Ｒ×α_Ｒで表わされる。そのため、撮像用画素Ｇ（ｘ, ｙ）に対するクロストーク補正量Ｓ_Ｃは次式で示すことができる。
Ｓ_Ｃ ＝ Ｓ_Ｒ×α_Ｒ−Ｓ_ＳＨＡ×α_ＳＨＡ （１）

α_Ｒ、α_ＳＨＡは、入射光線の角度特性に影響する要因および入射光の分光分布特性に応じた係数として、あらかじめ測定値や計算値からテーブル化、もしくは式化しておくことで求めることが可能である。この係数は、これらの要因の組み合わせと、画素Ｒ（ｘ−１， ｙ）やＳ_ＨＡの出力のどの程度がＧ（ｘ， ｙ）へのクロストークとなるかの割合（クロストーク率）を示す。

例えば、撮影レンズの絞り開口Ｆ値は撮影時の設定値を使用する。また、焦点検出用画素の像高、開口形状、及び開口重心位置は設計値として予め記憶しておくことができる。撮影時の焦点検出用画素への入射光の分光分布特性は焦点検出用画素の周辺の撮像用画素のＲＧＢ出力に基づいて求めることができる。

さらに式（１）において、焦点検出画素に対応する位置のＳ_Ｒは焦点検出用画素Ｓ_ＨＡの周辺の撮像用画素出力に基づいて、補間演算によって推定することが可能である。そのため、式（１）を用いることで、焦点検出用画素の出力から隣接する撮像用画素へのクロストーク量を補正することができる。

本発明は、焦点検出用画素に隣接もしくは近隣する撮像用画素のクロストーク補正量Ｓ_Ｃを補正する際、焦点検出用画素が欠陥画素である場合に、その出力に基づくクロストーク量の補正を行うことの問題を抑制するものである。焦点検出用画素Ｓ_ＨＡに隣接もしくは近隣する撮像用画素におけるクロストーク補正量の算出には、式（１）に示すように、焦点検出用画素の出力Ｓ_ＳＨＡの情報が必要である。しかし、焦点検出用画素Ｓ_ＨＡが欠陥画素である場合、正常な出力が得られないため、クロストーク補正量Ｓ_Ｃを正しく推定することが困難となる。さらに焦点検出用画素Ｓ_ＨＡの欠陥レベルが高い場合には、クロストーク補正量を補正することが却って画質に悪影響を及ぼす可能性がある。

（クロストーク補正処理）
次に、本実施形態における焦点検出用画素に隣接する撮像用画素のクロストーク量の補正処理の一例について図９のフローチャートを参照して説明する。
クロストーク補正処理はＣＰＵ１２１が主体となり実行する。Ｓ１００２においてＣＰＵ１２１は、欠陥画素情報メモリ１４３から欠陥画素情報を読み出す。Ｓ１００３においてＣＰＵ１２１は、欠陥画素情報に含まれる欠陥画素種類の識別ＩＤから、補正対象画素の欠陥画素の種類（点滅または定常欠陥画素）を判定する。

Ｓ１００４でＣＰＵ１２１は、判定された欠陥画素の種類と撮影条件に対応した欠陥画素判定テーブル１４５を参照する。そして、Ｓ１００５でＣＰＵ１２１は、注目画素の欠陥レベルが、撮影条件下で「欠陥画素」として取り扱う欠陥レベルに含まれるかどうか判定する。欠陥画素判定テーブル１４５は、補正対象画像の撮像条件に応じて、焦点検出用画素の欠陥画素（欠陥レベルの範囲）を決定するためのテーブルである。なお、撮像条件としては、温度、電荷蓄積時間（シャッタスピードまたは露光時間）、ＩＳＯ感度とするが、これらに限らず、他の撮影条件が含まれていてもよい。

図１０（ａ）〜（ｄ）に、撮影条件に応じた欠陥画素判定テーブル１４５の一例を示す。図１０（ａ）〜（ｄ）におけるＫｔ１〜Ｋｔ８およびＫｕ１〜Ｋｕ８は、図４（ａ）及び図４（ｂ）に示した点滅欠陥画素検出判定閾値Ｋｔ１〜Ｋｔ８、定常欠陥画素検出判定閾値Ｋｕ１〜Ｋｕ８に等しい。欠陥画素判定テーブル１４５における”Ｋｔ１”は、異常出力信号レベルが満足する最大の閾値（すなわち欠陥レベル）がＫｔ１の点滅欠陥画素を、撮影条件に照らして欠陥画素と判定することを意味する。従って、Ｋｔ１〜Ｋｔ８と記載されている撮像感度（ＩＳＯ感度）、温度、および電荷蓄積時間の組み合わせに含まれる撮像条件では、全ての欠陥レベルの点滅欠陥画素が欠陥画素として判定されることを意味する。Ｋｕ１〜Ｋｕ８についても同様である。

図１０（ａ）、（ｂ）は、ＩＳＯ感度１００と１６００に対応する定常欠陥画素の補正テーブルの例を、図１０（ｃ）、（ｄ）は、ＩＳＯ感度１００と１６００に対応する点滅欠陥画素の補正テーブルの例をそれぞれ示す。なお、図示しないが、欠陥画素判定テーブル１４５には、他のＩＳＯ感度に対応するテーブルも含まれている。

図１０（ａ）、（ｂ）に示す定常欠陥画素判定テーブルは、感度および温度が高いほど、また、電荷蓄積時間が長い（電子シャッタ速度が遅い）ほど、低い異常出力信号レベル（欠陥レベル）の画素まで欠陥画素と判定されるように設定されている。これは、定常欠陥画素が、感度及び温度が高いほど、また電荷蓄積時間が長いほど高レベルの異常出力信号を出力する特性を有するためである。

上述の通り、点滅欠陥画素の異常出力信号レベルは、温度や電荷蓄積時間にほとんど依存しない。そのため、図１０（ｃ）、（ｄ）に示す点滅欠陥画素判定テーブルでは、撮影条件に照らして欠陥画素と判定される異常出力信号レベル（欠陥レベル）の範囲は、温度や電荷蓄積時間に依存しない。よって、同一ＩＳＯ感度であれば、温度や電荷蓄積時間にかかわらず、欠陥画素と判断される欠陥レベルの範囲が同一な欠陥画素判定テーブルとなる。一方、ＩＳＯ感度が高くなると、点滅欠陥画素も定常欠陥画素と同様に、欠陥画素と判定される欠陥レベルの範囲が広くなる。

図９のＳ１００６でＣＰＵ１２１は、注目画素（補正対象画素）が現在の撮影条件について定常欠陥画素と判定されていれば、Ｓ１００７に移行し、定常欠陥画素と判定された焦点検出用画素の出力信号を補正する。

本実施形態でＣＰＵ１２１は、定常欠陥画素と判定された焦点検出用画素の出力信号について、欠陥レベルから推定されるオフセット量（欠陥による影響）を補正する。そして、ＣＰＵ１２１は、この補正後の信号を式（１）におけるＳ_ＳＨＡとして用いて、隣接する撮像用画素へのクロストーク量をＳ１０１３で補正する。

また、Ｓ１００６で注目画素が定常欠陥画素と判定されなかった場合、ＣＰＵ１２１は処理をＳ１００８に移行し、注目画素が点滅欠陥画素と判定されたか否か確認する。点滅欠陥画素と判定されている場合、ＣＰＵ１２１は処理をＳ１００９に進め、点滅欠陥画素の位置情報（アドレス）を記憶部１４１に記憶する。

点滅欠陥画素では定常欠陥画素と異なり、焦点検出用画素の出力信号の補正が困難である。また、定常的な異常で無いことから、焦点検出用画素が点滅欠陥画素であることによる画質への影響は非常に小さいと考えられる。このように、出力信号の補正に要する演算量に対し、期待できる効果が少ないため、本実施形態では、点滅欠陥画素と判定された焦点検出用画素については、隣接する撮像用画素へのクロストーク量の補正は行なわない。

ＣＰＵ１２１は、現在の撮影条件において欠陥画素と判定されない焦点検出用画素に対しては、その出力信号を補正することなく式（１）におけるＳ_ＳＨＡとして用いて、隣接する撮像用画素へのクロストーク量をＳ１０１３で補正する。

Ｓ１０１０でＣＰＵ１２１は、焦点検出用画素かつ欠陥画素である全ての画素に対して、撮影条件を加味した欠陥画素判定を実行したか否かを判定し、実行したと判定されればＳ１０１１に、実行されていないと判定されればＳ１００２に処理を進める。Ｓ１０１１でＣＰＵ１２１は、焦点検出用画素のアドレス情報、及びＳ１００８で点滅欠陥画素と判断された焦点検出用画素のアドレス情報を読み込む。そして、Ｓ１０１２でＣＰＵ１２１は、２つのアドレス情報から、点滅欠陥画素以外の焦点検出用画素（欠陥画素でないと判定されたか、定常欠陥画素と判定された焦点検出画素）のアドレス情報を生成する。

Ｓ１０１３〜Ｓ１０１４でＣＰＵ１２１は、Ｓ１０１２で生成されたアドレス情報に記録された焦点検出用画素に隣接した撮像用画素に対し、式（１）に従ってクロストーク量の補正を行なう。

（カメラの動作）
図１１は、本実施形態におけるカメラ１００の全体動作を示すフローチャートである。
撮影者がカメラの電源スイッチをオン操作すると、Ｓ１２０２においてＣＰＵ１２１は初期動作を実行する。初期動作には、カメラ１００内の各アクチュエータ１１１，１１２，１１４や撮像素子１０７の動作確認、記憶部１４１の内容や実行プログラムの初期化などが含まれる。

本実施形態では、電源スイッチがオンされると、カメラ１００は撮影モードで動作するものとする。従ってＳ１２０３でＣＰＵ１２１は撮像素子１０７により低解像度の動画像（ライブビュー画像）の撮影を開始し、Ｓ１２０４でライブビュー画像を表示器１３１に出力する。撮影者は表示器１３１に表示されるライブビュー画像を目視して撮影時の構図を決定する。また、ライブビュー画像に重畳して、カメラ１００の各種状態（設定されている撮影条件など）を示す表示を行っても良い。

Ｓ１２０５でＣＰＵ１２１は、予め定められた設定に従って焦点検出領域を決定し、焦点検出処理を実行する（Ｓ１３０１）。

図１２は、Ｓ１３０１における焦点検出処理の詳細を示すフローチャートである。Ｓ１３０２においてＣＰＵ１２１は、Ｓ１２０５で決定した焦点検出領域に含まれる焦点検出用画素の信号を読み出す。Ｓ１３０３でＣＰＵ１２１は同種の焦点検出用画素群から得られた一対の像信号の相関演算を行ない、相対的な位置ずれ量を計算する。Ｓ１３０４でＣＰＵ１２１は、相関演算結果の信頼性を判定する。ここで信頼性とは、一対の像信号の一致度を指し、一致度が高い場合は一般的に焦点検出結果の信頼性が高い。そこで、複数の焦点検出領域が選択されている場合は、信頼性の高い相関演算結果を優先的に使用する。

Ｓ１３０５でＣＰＵ１２１は、信頼性の高い相関演算結果に基づいて焦点ずれ量を演算して焦点検出処理を終了し、図１１のＳ１２０７に処理を進める。

図１１のＳ１２０７でＣＰＵ１２１は、図１２のＳ１３０５で計算した焦点ずれ量が予め定めた許容値以下か否かを判断する。そして焦点ずれ量が許容値より大きい場合、ＣＰＵ１２１は非合焦と判断し、Ｓ１２０８でフォーカスアクチュエータ１１４を通じてフォーカスレンズである第３レンズ群１０５を焦点ずれ量に応じて駆動する。そして、ＣＰＵ１２１は、焦点検出処理によって得られる焦点ずれ量が許容値以下になるまで、Ｓ１３０１、Ｓ１２０７、Ｓ１２０８の処理を繰り返し実行する。そしてＳ１２０７にて合焦状態に達したと判定されると、ＣＰＵ１２１はＳ１２０９にてライブビュー画像上に合焦表示を行ない、処理をＳ１２１０に進める。

Ｓ１２１０でＣＰＵ１２１は、操作スイッチ群１３２に含まれる撮影開始スイッチがオン操作されたか否かを判別し、オン操作されていなければＳ１２１０にて撮影待機状態を維持する。Ｓ１２１０で撮影開始スイッチがオン操作されるとＣＰＵ１２１はＳ１４０１で撮影処理を実行する。

図１３はＳ１４０１における撮影処理の詳細を示すフローチャートである。撮影開始スイッチが操作されると、Ｓ１４０２でＣＰＵ１２１は絞りシャッタアクチュエータ１１２を通じて絞りを兼ねるシャッタ１０２の開口径及び開閉タイミングを制御する。Ｓ１４０３でＣＰＵ１２１は、高画素静止画撮影のための画像読み出し、すなわち撮像素子１０７の全画素の読み出しを行なう。Ｓ１４０４でＣＰＵ１２１は読み出した全画素出力のうち、点滅欠陥画素以外の焦点検出用画素の隣接画素へのクロストーク量を補正するために、焦点検出用画素の出力信号のみを別に、例えば記憶部１４１に記憶する。

Ｓ１４０７でＣＰＵ１２１は、読み出した全画素の画像信号に対して欠損画素補間を行なう。すなわち、焦点検出用画素の出力は撮像のためのＲＧＢカラー情報を有しておらず、画像を得る上では欠陥画素に相当するため、周囲の撮像用画素の情報から補間により画像信号を生成する。次にＳ１００１でＣＰＵ１２１は、図９を用いて前述したように焦点検出用画素に隣接した撮像用画素へのクロストーク量の補正を行なう

つまり、ＣＰＵ１２１は、点滅欠陥画素と判断された焦点検出用画素以外の焦点検出用画素に隣接した撮像用画素に対してクロストーク量の補正を式（１）を用いて行なう。クロストーク率α_Ｒ、α_ＳＨＡは、補正対象画像の撮像条件から、クロストーク率テーブルもしくは式を用いて決定する。焦点検出用画素の画像信号、全画素の画像信号、及びクロストーク率を用いて、式（１）から補正する。

Ｓ１４０６でＣＰＵ１２１は、画像のγ補正、エッジ強調等の画像処理を行い、Ｓ１４０７において、記録媒体１３３に撮影画像を記録する。Ｓ１４０８では、表示器１３１に撮影済み画像を表示し、撮影処理を終了する。
Ｓ１４０１の撮影処理が終了すると、ＣＰＵ１２１は一連の動作を終了する。

以上説明した実施形態は代表的な例にすぎず、本発明の実施に際しては、発明の範囲内で実施形態に対して種々の変形や変更が可能である。

《変形例１》
上述の実施形態では、撮影条件に応じた判定基準により定常欠陥画素と判断された画素に対しては、出力信号を欠陥レベルに応じて補正してから、隣接する撮像画素へのクロストーク量を補正している。

しかしながら、定常欠陥画素の出力信号を欠陥レベルに応じて補正する処理も、必ずしも容易ではない。そのため、定常欠陥画素と判定された焦点検出用画素についてはクロストーク補正を行わないようにしても、異常な出力信号を用いてクロストーク量の補正を行っていた従来技術と比較すれば画質への影響を抑制する効果が得られる。そのため、クロストーク量の補正を行う装置の能力や負荷状況によっては、定常欠陥画素と判定された焦点検出用画素についてもクロストーク量の補正を行なわないようにしてもよい。

なお、クロストーク量の補正を行なわない焦点検出用画素に隣接する撮像用画素については、周辺の同色の撮像用画素の出力データから補間処理を施すようにしてもよい。例えば、補間対象画素と同色かつ焦点検出画素に隣接していない周辺の撮像用画素の出力データの平均値から補間対象画素の出力データを生成する。このようにすることで、焦点検出用画素の周辺における画質劣化を低減することが可能である。

《変形例２》
上述の実施形態では、式（１）において、焦点検出画素Ｓ_ＨＡに対応する位置の推定出力Ｓ_Ｒは焦点検出用画素に隣接または近接する周辺の撮像用画素出力に基づいて、補間演算によって推定している。そして、焦点検出用画素に対応する位置の推定出力Ｓ_Ｒを算出する際に使用する撮像用画素に欠陥画素が含まれる場合がある。欠陥画素である撮像用画素の出力を除外して補間演算することができる場合、上述の実施形態のように、焦点検出用画素が欠陥画素か否かを判定するだけで、効果を得ることができる。

しかし、クロストーク量の補正を行う装置の能力や負荷状況によって、補間演算に使用する撮像用画素が限定されている場合もある。この場合、焦点検出用画素が欠陥画素か否か判定するのと同様に、補間演算に使用する撮像用画素についても欠陥画素か否か判定し、焦点検出画素もしくは周辺の撮像用画素のいずれかに欠陥画素がある場合は、クロストーク補正を実行しないようにする必要がある。

以下では一例として、図１４に示すように、焦点検出画素Ｓ_ＨＡに対応する位置の推定出力Ｓ_Ｒを、焦点検出用画素と同色で、焦点検出用画素の左右に隣接する画素Ｓ_ＲＬ、Ｓ_ＲＲの平均値として補間演算する場合について説明する。この場合、焦点検出画素Ｓ_ＨＡに対応する位置の推定出力Ｓ_Ｒを求めるための補間演算式は以下の式（２）で表される。
Ｓ_Ｒ＝（Ｓ_ＲＬ＋Ｓ_ＲＲ）／２ （２）

（欠陥画素検出処理）
焦点検出画素の欠陥画素検出処理については、上述の実施形態において、図３を用いて説明している。本変形例においては、焦点検出画素と同色の左右隣接画素Ｓ_ＲＬ、Ｓ_ＲＲについても欠陥画素検出処理を行う。処理については、焦点検出画素に対する欠陥画素検出処理と同じである為、ここでは説明を省略する。

（クロストーク補正処理）
本変形例における焦点検出用画素に隣接する撮像用画素のクロストーク量の補正処理の一例について図１５のフローチャートを参照して説明する。
クロストーク補正処理はＣＰＵ１２１が主体となり実行する。Ｓ１５０２においてＣＰＵ１２１は、欠陥画素情報メモリ１４３から欠陥画素情報を読み出す。Ｓ１５０３においてＣＰＵ１２１は、欠陥画素情報に含まれる欠陥画素種類の識別ＩＤから、補正対象画素の欠陥画素の種類（点滅または定常欠陥画素）を判定する。

Ｓ１５０４でＣＰＵ１２１は、判定された欠陥画素の種類と撮影条件に対応した欠陥画素判定テーブル１４５を参照する。そして、Ｓ１５０５でＣＰＵ１２１は、注目画素の欠陥レベルが、撮影条件下で「欠陥画素」として取り扱う欠陥レベルに含まれるかどうか判定する。欠陥画素判定テーブル１４５は、補正対象画像の撮像条件に応じて、焦点検出用画素の欠陥画素（欠陥レベルの範囲）を決定するためのテーブルである。

Ｓ１５０６では、注目画素が欠陥画素か否かの判定を行う。Ｓ１５０６で今回の撮影条件において欠陥画素と判定された場合Ｓ１５０７以降に進み、欠陥画素でないと判定された場合にはＳ１５１３に進む。Ｓ１５０７〜Ｓ１５０９でＣＰＵ１２１は、欠陥画素と判定された注目画素が、焦点検出用画素もしくはその補間に用いる画素であるか否かの判定を行う。

Ｓ１５０７でＣＰＵ１２１は注目画素が焦点検出用画素か否かの判定を行い、焦点検出画素と判定された場合、続くＳ１５１０で焦点検出画素の位置情報（アドレス）を記憶部１４１に記憶する。Ｓ１５０８、Ｓ１５０９でＣＰＵ１２１は、注目画素が焦点検出用画素の補間に用いる画素か否かの判定を行う。ここでは式（２）に基づき、ＣＰＵ１２１は注目画素が、焦点検出用画素と同色かつ焦点検出用画素の左右に隣接する撮像用画素か否かの判定を行う。ベイヤ配列の場合、同色画素は左右方向に１画素おきに配置されるため、Ｓ１５０８およびＳ１５０９では焦点検出用画素の２画素左または右の画素かどうかを判定している。

焦点検出用画素の補間に用いる撮像用画素と判定された場合、Ｓ１５１１、Ｓ１５１２でＣＰＵ１２１は、式（１）内で同様に参照される焦点検出画素の位置情報（アドレス）を記憶部１４１に記憶する。続くＳ１５１３でＣＰＵ１２１は、全欠陥画素情報に対して、欠陥画素判定が実行したか否かの判定を行い、実行していない場合はＳ１５０２に進み、次の欠陥画素情報を読み込み、欠陥判定を行う。

Ｓ１５１３で、全欠陥画素情報に対して欠陥画素判定を実行したと判定された場合、ＣＰＵ１２１は、Ｓ１５１４に進み、記憶部１４１に記憶されている位置情報（アドレス）のマージを行う。Ｓ１５１０、Ｓ１５１１、Ｓ１５１２では、それぞれの判定で同じ焦点検出画素の位置情報（アドレス）が記憶されている場合があり、同じ位置情報が記憶されている場合、ＣＰＵ１２１はそれらを一つに統合するマージを実行する。

次に、Ｓ１５１５に進むと、ＣＰＵ１２１は、焦点検出用画素のアドレス情報、及びＳ１５１４で出力される記憶部１４１に記憶されている位置情報（アドレス）を読み込む。そして、ＣＰＵ１２１は、２つのアドレス情報から、欠陥画素以外の焦点検出用画素（自身が欠陥画素でなく、かつ補間に用いる撮像用画素にも欠陥画素が含まれない焦点検出用画素）のアドレス情報を生成する。

Ｓ１５１７〜Ｓ１５１８でＣＰＵ１２１は、Ｓ１５１６で生成されたアドレス情報に記録された焦点検出用画素に隣接した撮像用画素に対し、式（１）、式（２）に従ってクロストーク量の補正を行なう。
このようにすることで、クロストーク補正を行なう際に参照される撮像用画素が欠陥画素である場合においても、焦点検出用画素の周辺における画質劣化を低減することが可能である。

本実施形態によれば、焦点検出用画素を有する撮像素子を用いる撮像装置において、焦点検出用画素が欠陥画素である場合に、近隣の撮影用画素に対するクロストーク量の補正を行うか否かを、補正する画像の撮影条件と欠陥レベルに応じて決定する。そのため、焦点検出用画素の異常出力レベルに基づくクロストーク量の補正による焦点検出用画素周辺の画質劣化を抑制することができる。

なお、上述の実施形態では、焦点検出用画素の出力を用いた補正処理の一例としてクロストーク補正処理を説明したが、異常出力に基づいて補正処理を行うことによる問題は、クロストーク補正処理に限って発生する訳ではない。そして、上述の構成は他の補正処理を行う場合にも適用可能である。従って、本発明の適用範囲をクロストーク補正処理に限定して解すべきではない。

また、上述の実施形態では、ＣＰＵ１２１がソフトウェア的に処理を実行する構成について説明した。しかし、その少なくとも一部をハードウェア（ＡＳＩＣ、プログラマブルロジックなど）によって実行しても良い。

Claims (15)

1. 複数の第１の画素部と、前記第１の画素部とは構造が異なり、かつ出力信号を使って相関演算可能な複数の第２の画素部とを含む撮像素子と、
   前記第２の画素部からの出力信号を、周囲の前記第１の画素部の出力信号を補間して生成する補間処理を実行し、かつ前記第２の画素部に隣接する前記第１の画素部からの出力信号に対して前記補間処理とは異なる前記第２の画素部からのクロストーク成分の補正処理を実行する第１の信号処理手段とを有し、
   前記第１の信号処理手段は、
   撮像条件において第２の画素部が欠陥画素と判定される場合に前記補正処理を実行しない、
   ことを特徴とする撮像装置。
2. 前記複数の第２の画素部の各々について、出力信号に基づいて欠陥画素か否かおよび欠陥画素の種類を判定するための情報を記憶したメモリをさらに有することを特徴とする請求項１記載の撮像装置。
3. 前記第１の信号処理手段は、
   撮像条件において第２の画素部が第１の種類の欠陥画素と判定されるならば、該第２の画素部に隣接する複数の第１の画素部からの出力信号に対して、該第２の画素部の出力信号を用いて補正処理を実行し、
   前記撮像条件において該第２の画素部が第２の種類の欠陥画素と判定されるならば、該第２の画素部に隣接する複数の第１の画素部からの出力信号に対して前記補正処理を実行しない、
   ように、前記補正処理の実行有無を切り替えることを特徴とする請求項２記載の撮像装置。
4. 前記第２の画素部の各々は、前記撮像条件および前記メモリに記憶された前記情報に基づいて、第１の種類の欠陥画素か、第２の種類の欠陥画素かを判定されることを特徴とする請求項３に記載の撮像装置。
5. 前記第２の種類の欠陥画素が点滅欠陥画素であることを特徴とする請求項３または４に記載の撮像装置。
6. 前記第１の種類の欠陥画素が定常欠陥画素であることを特徴とする請求項３から５のいずれか１項に記載の撮像装置。
7. 前記撮像条件は、前記撮像素子の電荷蓄積時間または、前記撮像素子もしくはその近傍の温度を含むことを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
8. 前記第２の画素部は規則的に配置されていることを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
9. さらに、前記第２の画素部を遮光する配線層を有することを特徴とする請求項１から８のいずれか１項に記載の撮像装置。
10. 前記第１の信号処理手段によって前記補正処理が行われた信号、または前記第１の信号処理手段により前記補正処理が行われていない信号に対して画像処理を実行し、記録する第２の信号処理手段をさらに有することを特徴とする請求項１から９のいずれか１項に記載の撮像装置。
11. 前記第１の信号処理手段は、前記補間処理に用いる前記第１の画素部が欠陥画素と判定される場合には前記補正処理を実行しないことを特徴とする
    請求項１から１０のいずれか１項に記載の撮像装置。
12. 前記第１の画素部にはカラーフィルタが設けられ、前記第２の画素部には無色のフィルタが設けられることを特徴とする請求項１から１１のいずれか１項に記載の撮像装置。
13. 前記クロストーク成分の量が前記撮像素子に入射する光線の角度に依存することを特徴とする請求項１から１２のいずれか１項に記載の撮像装置。
14. 前記補正処理は、前記第２の画素部の像高、開口の形状、および重心位置の１つ以上に基づくことを特徴とする請求項１から１３のいずれか１項に記載の撮像装置。
15. 複数の第１の画素部と、前記第１の画素部とは構造が異なり、かつ出力信号を使って相関演算可能な複数の第２の画素部とを含む撮像素子とを有する撮像装置の制御方法であって、
    前記第２の画素部からの出力信号を、周囲の前記第１の画素部の出力信号を補間して生成する補間処理を実行する工程と、
    前記第２の画素部に隣接する前記第１の画素部からの出力信号に対して前記補間処理とは異なる前記第２の画素部からのクロストーク成分の補正処理を、該第２の画素部が撮影条件において欠陥画素と判定されるか否かに応じて実行する工程であって、該第２の画素部が欠陥画素と判定される場合に前記補正処理を実行しない工程と、
    を有することを特徴とする撮像装置の制御方法。

Images