JP5278123B2 - 撮像装置 - Google Patents

Description

本発明は、撮像画素と焦点検出画素を混載する撮像素子を備えた撮像装置に関する。

撮像画素と焦点検出画素を混載する撮像素子を備えた撮像装置が知られている（例えば、特許文献１参照）。このような撮像装置においては撮像画像の画質劣化を防止するために、焦点検出画素位置の画像出力を焦点検出画素の出力に基づいて補間している。

特開２０００−３０５０１０号公報

しかしながら、上述した従来の撮像装置においては、１つの焦点検出画素の中に一対の光電変換部を収容し、一対の光電変換部を分離するために必ず有限幅の光感度を持たない分離帯が必要となる。そのため、焦点検出画素の出力に基づく補間によると、撮像画素の光電変換部の出力と比べ、画像品質の劣化が発生しうる。特に撮影光学系の絞り開口径が小さくなった場合には、光電変換部に入射する受光光束の領域が狭まるため、上記分離帯の影響が大きくなり、画素補間精度がさらに悪化する。

請求項１に記載の発明による撮像装置は、所定の色配列規則に基づいた分光感度を有する複数種類の撮像画素と複数種類の焦点検出画素とが２次元的に配列され、複数種類の焦点検出画素は、複数種類の撮像画素が受光する撮影光束に対して互いに相補的な焦点検出光束を受光する相補的な２種類の焦点検出画素を含み、該相補的な２種類の焦点検出画素が交互に直線状に配置される撮像素子と、相補的な２種類の焦点検出画素の出力に基づき撮像素子上に形成された像の焦点状態を検出する焦点検出手段と、相補的な２種類の焦点検出画素のうちの一方の焦点検出画素位置のうち、１つの焦点検出画素位置における撮像信号を、該１つの焦点検出画素位置における焦点検出信号と、相補的な２種類の焦点検出画素のうちの他方の焦点検出画素位置のうち、該１つの焦点検出画素位置を挟む２つの焦点検出画素位置における焦点検出信号とに基づく演算値により補間する補間手段とを備えることを特徴とする。

本発明によれば、撮像画素と焦点検出画素を混載する撮像素子を備えた撮像装置において画素補間精度を向上させることができる。

第１の実施の形態のデジタルスチルカメラの構成を示す横断面図である。 交換レンズの撮影画面上における焦点検出位置を示す図である。 撮像素子の詳細な構成を示す正面図である。 撮像画素と焦点検出画素のマイクロレンズの形状を示す図である。 撮像画素の正面図である。 焦点検出画素の正面図である。 緑画素、赤画素および青画素の分光特性を示す図である。 撮像画素の断面図である。 焦点検出画素の断面図である。 撮像画素が受光する撮影光束の様子を説明するための図である。 焦点検出画素が受光する撮影光束の様子を説明するための図である。 デジタルスチルカメラの撮像動作を示すフローチャートである。 一対のデータのシフト量ｋに対する相関量Ｃ（ｋ）の関係を示す図である。 撮像素子上に右上がり斜め４５度方向に焦点検出画素を配置した４画素×４画素の領域を示した図である。 第２の実施形態の撮像素子の詳細な構成を示す正面図である。 第２の実施形態の撮像素子上に右上がり斜め４５度方向に焦点検出画素を配置した８画素×８画素の領域を示した図である。 第３の実施形態の撮像素子の詳細な構成を示す正面図である。 第３の実施形態の撮像素子上に右上がり斜め４５度方向に焦点検出画素を配置した８画素×８画素の領域を示した図である。 第４の実施形態の撮像素子の詳細な構成を示す正面図である。 焦点検出画素の正面図である。 第５の実施形態の撮像素子の詳細な構成を示す正面図である。 第６の実施形態の撮像素子の詳細な構成を示す正面図である。 第７の実施形態の撮像素子の詳細な構成を示す正面図である。 焦点検出画素の正面図である。 焦点検出画素および撮像画素の正面図である。 焦点検出画素および撮像画素の正面図である。

−−−第１の実施の形態−−−
第１の実施の形態の撮像素子および撮像装置として、レンズ交換式のデジタルスチルカメラを例に挙げて説明する。図１は第１の実施の形態のデジタルスチルカメラの構成を示す横断面図である。第１の実施の形態のデジタルスチルカメラ２０１は交換レンズ２０２とカメラボディ２０３から構成され、交換レンズ２０２がマウント部２０４を介してカメラボディ２０３に装着される。カメラボディ２０３にはマウント部２０４を介して種々の撮影光学系を有する交換レンズ２０２が装着可能である。

交換レンズ２０２はレンズ２０９、ズーミング用レンズ２０８、フォーカシング用レンズ２１０、絞り２１１、レンズ駆動制御装置２０６などを備えている。レンズ駆動制御装置２０６は不図示のマイクロコンピューター、メモリ、駆動制御回路などから構成され、フォーカシング用レンズ２１０の焦点調節と絞り２１１の開口径調節のための駆動制御や、ズーミング用レンズ２０８、フォーカシング用レンズ２１０および絞り２１１の状態検出などを行う他、後述するボディ駆動制御装置２１４との通信によりレンズ情報の送信とカメラ情報の受信を行う。絞り２１１は、光量およびボケ量調整のために光軸中心に開口径が可変な開口を形成する。

カメラボディ２０３は撮像素子２１２、ボディ駆動制御装置２１４、液晶表示素子駆動回路２１５、液晶表示素子２１６、接眼レンズ２１７、メモリカード２１９などを備えている。撮像素子２１２には、撮像画素が二次元状に配置されるとともに、焦点検出位置（焦点検出エリア）に対応した部分に焦点検出画素が組み込まれている。この撮像素子２１２については詳細を後述する。

ボディ駆動制御装置２１４はマイクロコンピューター、メモリ、駆動制御回路などから構成され、撮像素子２１２の駆動制御と画像信号および焦点検出信号の読み出しと、焦点検出信号に基づく焦点検出演算と交換レンズ２０２の焦点調節を繰り返し行うとともに、画像信号の処理と記録、カメラの動作制御などを行う。また、ボディ駆動制御装置２１４は電気接点２１３を介してレンズ駆動制御装置２０６と通信を行い、レンズ情報の受信とカメラ情報（デフォーカス量や絞り値など）の送信を行う。

液晶表示素子２１６は電気的なビューファインダー（ＥＶＦ：Electronic View Finder）として機能する。液晶表示素子駆動回路２１５は撮像素子２１２によるスルー画像を液晶表示素子２１６に表示し、撮影者は接眼レンズ２１７を介してスルー画像を観察することができる。メモリカード２１９は、撮像素子２１２により撮像された画像を記憶する画像ストレージである。

交換レンズ２０２を通過した光束により、撮像素子２１２の受光面上に被写体像が形成される。この被写体像は撮像素子２１２により光電変換され、画像信号と焦点検出信号がボディ駆動制御装置２１４へ送られる。

ボディ駆動制御装置２１４は、撮像素子２１２の焦点検出画素からの焦点検出信号に基づいてデフォーカス量を算出し、このデフォーカス量をレンズ駆動制御装置２０６へ送る。また、ボディ駆動制御装置２１４は、撮像素子２１２からの画像信号を処理して画像を生成し、メモリカード２１９に格納するとともに、撮像素子２１２からのスルー画像信号を液晶表示素子駆動回路２１５へ送り、スルー画像を液晶表示素子２１６に表示させる。さらに、ボディ駆動制御装置２１４は、レンズ駆動制御装置２０６へ絞り制御情報を送って絞り２１１の開口制御を行う。

レンズ駆動制御装置２０６は、フォーカシング状態、ズーミング状態、絞り設定状態、絞り開放Ｆ値などに応じてレンズ情報を更新する。具体的には、ズーミング用レンズ２０８とフォーカシング用レンズ２１０の位置と絞り２１１の絞り値を検出し、これらのレンズ位置と絞り値に応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからレンズ位置と絞り値に応じたレンズ情報を選択する。

レンズ駆動制御装置２０６は、受信したデフォーカス量に基づいてレンズ駆動量を算出し、レンズ駆動量に応じてフォーカシング用レンズ２１０を合焦位置へ駆動する。また、レンズ駆動制御装置２０６は受信した絞り値に応じて絞り２１１を駆動する。

図２は、交換レンズ２０２の撮影画面上における焦点検出位置を示す図であり、後述する撮像素子２１２上の焦点検出画素列が焦点検出の際に撮影画面上で像をサンプリングする領域（焦点検出エリア、焦点検出位置）の一例を示す。この例では、矩形の撮影画面１００上の中央および左右の３箇所に焦点検出エリア１０１〜１０３が配置される。長方形で示す焦点検出エリアの長手方向に、焦点検出画素が右上がり斜め４５度方向に直線的に配列される。

図３は撮像素子２１２の詳細な構成を示す正面図であり、撮像素子２１２上の焦点検出エリア１０１の近傍を拡大して示す。撮像素子２１２には撮像画素３１０が二次元正方格子状に稠密に配列される。撮像画素３１０は赤画素（Ｒ）、緑画素（Ｇ）、青画素（Ｂ）からなり、ベイヤー配列の配置規則によって配置されている。焦点検出エリア１０１に対応する位置には撮像画素と同一の画素サイズを有し、緑画素と同じ分光感度を備えた焦点検出用の焦点検出画素３１３と３１４が、交互に本来緑画素が連続的に配置されるべき斜め右上がり４５度方向の直線上に連続して配列される。

図４は撮像画素と焦点検出画素のマイクロレンズ１０の形状を示す図であって、元々画素サイズより大きな円形のマイクロレンズ９から画素サイズに対応した正方形の形状で切り出した形状をしており、マイクロレンズ１０の光軸を通る対角線の方向の断面とマイクロレンズ１０の光軸を通る水平線の方向の断面とはそれぞれ図４に（ａ）、（ｂ）で示す形状になっている。なお、図示を省略するが、焦点検出エリア１０２、１０３の近傍の構成も図３に示す構成と同様である。

撮像画素３１０は、図５に示すように矩形のマイクロレンズ１０、後述の遮光マスクで受光領域を正方形に制限された光電変換部１１、および色フィルター（不図示）から構成される。色フィルターは赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３種類からなり、それぞれの分光感度は図７に示す特性になっている。撮像素子２１２には、各色フィルターを備えた撮像画素３１０がベイヤー配列されている。

焦点検出画素３１３は、正面図を図６(ａ)に示すように矩形のマイクロレンズ１０と後述の遮光マスクで受光領域を正方形の半分（正方形を左上がり４５度方向の対角線で２等分した場合の右上半分）に制限された光電変換部１３、および色フィルター（不図示。分光感度は図７のＧ）とから構成される。

また、焦点検出画素３１４は、正面図を図６(ｂ)に示すように矩形のマイクロレンズ１０と後述の遮光マスクで受光領域を正方形の半分（正方形を左上がり４５度方向の対角線で２等分した場合の左下半分）に制限された光電変換部１４、および色フィルター（不図示。分光感度は図７のＧ）とから構成される。焦点検出画素３１３の正面図と焦点検出画素３１４の正面図とをマイクロレンズ１０を基準に重ね合わせて表示すると、遮光マスクで受光領域を制限された光電変換部１３と１４が右上がり斜め４５度方向に並んでいる。また図６（ａ）、（ｂ）において正方形を半分にした残りの部分（破線）と受光領域を加えると、撮像画素の受光領域と同じサイズの正方形となる。

図８は右上がり斜め４５度方向の直線で撮像画素配列の断面をとった場合の撮像画素３１０の断面図である。撮像画素３１０では撮像用の光電変換部１１の上に近接して遮光マスク３０が形成され、遮光マスク３０の開口部３０ａを通過した光を光線変換部１１は受光する。遮光マスク３０の上には平坦化層３１が形成され、その上に色フィルター３８が形成される。色フィルター３８の上には平坦化層３２が形成され、その上にマイクロレンズ１０が形成される。マイクロレンズ１０により開口部３０ａの形状が前方に投影される。光電変換部１１は半導体回路基板２９上に形成される。

図９は右上がり斜め４５度方向の直線で焦点検出画素配列の断面をとった場合の焦点検出画素３１３、３１４の断面図である。焦点検出画素３１３、３１４では焦点検出用の光電変換部１３，１４の上に近接して遮光マスク３０が形成され、遮光マスク３０の開口部３０ｂ、３０ｃを通過した光を光線変換部１３，１４は受光する。遮光マスク３０の上には平坦化層３１が形成され、その上に色フィルター３４が形成される。色フィルター３４の上には平坦化層３２が形成され、その上にマイクロレンズ１０が形成される。マイクロレンズ１０により開口部３０ｂ、３０ｃの形状が前方に投影される。光電変換部１３，１４は半導体回路基板２９上に形成される。

図１０は、図３、図８に示す撮像画素３１０が受光する撮影光束の様子を説明するための図であって、右上がり斜め４５度方向の直線で撮像画素配列の断面をとっている。撮像素子上に配列された全ての撮像画素の光電変換部１１は光電変換部１１に近接して配置された前記遮光マスク開口３０ａを通過した光束を受光する。遮光マスク開口３０ａの形状は各撮像画素のマイクロレンズ１０によりマイクロレンズ１０から測距瞳距離ｄだけ離間した射出瞳９０上の全撮像画素共通な領域９５に投影される。従って各撮像画素の光電変換部１１は、領域９５と各撮像画素のマイクロレンズ１０を通過する光束７１を受光し、領域９５を通過して各撮像画素のマイクロレンズ１０へ向う光束７１によって各マイクロレンズ１０上に形成される像の強度に対応した信号を出力する。

図１１は、図３、図９に示す焦点検出画素３１３，３１４が受光する撮影光束の様子を図１０と比較して説明するための図であって、右上がり斜め４５度方向の直線で焦点検出画素配列の断面をとっている。撮像素子上に配列された全ての焦点検出画素の光電変換部１３，１４は光電変換部１３，１４に近接して配置された前記遮光マスク開口３０ｂ、３０ｃを通過した光束を受光する。遮光マスク開口３０ｂの形状は各焦点検出画素３１３のマイクロレンズ１０によりマイクロレンズ１０から測距瞳距離ｄだけ離間した射出瞳９０上の焦点検出画素３１３に全てに共通した領域９３に投影される。同じく遮光マスク開口３０ｃの形状は各焦点検出画素３１４のマイクロレンズ１０によりマイクロレンズ１０から測距瞳距離ｄだけ離間した射出瞳９０上の焦点検出画素３１４に全てに共通した領域９４に投影される。一対の領域９３，９４を測距瞳と呼ぶ。

従って各焦点検出画素３１３の光電変換部１３は、領域９３と各撮像画素のマイクロレンズ１０を通過する光束７３を受光し、領域９３を通過して各撮像画素のマイクロレンズ１０へ向う光束７３によって各マイクロレンズ１０上に形成される像の強度に対応した信号を出力する。また各焦点検出画素３１４の光電変換部１４は、領域９４と各撮像画素のマイクロレンズ１０を通過する光束７４を受光し、領域９４を通過して各撮像画素のマイクロレンズ１０へ向う光束７４によって各マイクロレンズ１０上に形成される像の強度に対応した信号を出力する。

一対の焦点検出画素３１３，３１４が受光する光束７３，７４が通過する射出瞳９０上の領域９３と９４を統合した領域は、撮像画素３１０が受光する光束７１が通過する射出瞳９０上の領域９５と一致し、射出瞳９０上において光束７３，７４は光束７１に対して相補的な関係になっている。ある焦点検出画素の位置に仮想的な撮像画素があると仮定した場合には、該仮想的な撮像画素が受光する光束７１に対してその焦点検出画素が受光する光束７３（または光束７４）とその焦点検出画素に隣接する焦点検出画素が受光する光束７４（または光束７３）は相補的な関係となる。

すなわち、撮像画素と焦点検出画素の構成を同一にするとともに、撮像画素の光電変換部の受光領域に対して、一対の焦点検出画素の光電変換部の受光領域を相補的にすることにより、隣接した一対の焦点検出画素の出力を加算した出力と仮想的な撮像画素の出力とは対等な関係となり、隣接した一対の焦点検出画素の出力を加算することで仮想的な撮像画素の出力を高精度に再現することができることになる。

図１１において、一対の焦点検出画素３１３，３１４が受光する光束７３，７４が通過する射出瞳９０上の領域９３と９４とは必ずしも隣接していなくても良い。光電変換部１３，１４は、上述した場合と比して小さい場合がこれに該当する。光電変換部１３，１４が、従来技術にあるような分離帯の制約を受けた有限幅よりも広ければ、上述した仮想的な撮像画素の出力の精度が従来よりも向上する。

上述した一対の焦点検出画素を交互にかつ直線状に多数配置し、各焦点検出画素の光電変換部の出力を測距瞳９３および測距瞳９４に対応した一対の出力グループにまとめることによって、測距瞳９３と測距瞳９４をそれぞれ通過する一対の光束が焦点検出画素配列上に形成する一対の像の強度分布に関する情報が得られる。この情報に対して後述する像ズレ検出演算処理（相関演算処理、位相差検出処理）を施すことによって、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量が検出される。さらに、像ズレ量に一対の測距瞳の重心間隔と測距瞳距離の比例関係に応じた変換演算を行うことによって、予定結像面（マイクロレンズアレイの位置）に対する現在の結像面（撮影画面１００上で定められる焦点検出位置における実際の結像面）の偏差（デフォーカス量）が算出される。

図１２は、一実施の形態のデジタルスチルカメラ（撮像装置）の撮像動作を示すフローチャートである。ボディ駆動制御装置２１４は、ステップＳ１００でカメラの電源がオンされると、ステップＳ１１０以降の撮像動作を開始する。ステップＳ１１０において撮像画素のデータを間引き読み出しし、電子ビューファインダーに表示させる。続くステップＳ１２０では焦点検出画素配列から一対の像に対応した一対の像データを読み出す。なお、焦点検出エリアは、撮影者が焦点検出エリア選択部材（不図示）を用いて焦点検出エリア１０１〜１０３の内のいずれかを予め選択しているものとする。

ステップＳ１３０では読み出された一対の像データに基づいて後述する像ズレ検出演算処理（相関演算処理）を行い、像ズレ量を演算してデフォーカス量に変換する。ステップＳ１４０で合焦近傍か否か、すなわち算出されたデフォーカス量の絶対値が所定値以内であるか否かを調べる。合焦近傍でないと判定された場合はステップＳ１５０へ進み、デフォーカス量をレンズ駆動制御装置２０６へ送信し、交換レンズ２０２のフォーカシングレンズ２１０を合焦位置に駆動させる。その後、ステップＳ１１０へ戻って上述した動作を繰り返す。

なお、焦点検出不能な場合もこのステップに分岐し、レンズ駆動制御装置２０６へスキャン駆動命令を送信し、交換レンズ２０２のフォーカシングレンズ２１０を無限から至近までの間でスキャン駆動させる。その後、ステップＳ１１０へ戻って上述した動作を繰り返す。

ステップＳ１４０で合焦近傍であると判定された場合はステップＳ１６０へ進み、シャッターボタン（不図示）の操作によりシャッターレリーズがなされたか否かを判別する。シャッターレリーズがなされていないと判定された場合はステップＳ１１０へ戻り、上述した動作を繰り返す。一方、シャッターレリーズがなされたと判定された場合はステップＳ１７０へ進み、レンズ駆動制御装置２０６へ絞り調整命令を送信し、交換レンズ２０２の絞り値を制御Ｆ値（撮影者または自動により設定されたＦ値）にする。絞り制御が終了した時点で、撮像素子２１２に撮像動作を行わせ、撮像素子２１２の撮像画素３１０および全ての焦点検出画素３１３，３１４から画像データを読み出す。

ステップＳ１８０において、焦点検出画素列の各画素位置の画素データを焦点検出画素の周囲の撮像画素のデータと焦点検出画素のデータに基づいて画素補間する。なおこの補間処理については後述する。続くステップＳ１９０では、撮像画素のデータおよび補間されたデータからなる画像データをメモリカード２１９に記憶し、ステップＳ１１０へ戻って上述した動作を繰り返す。

図１２のステップＳ１３０における像ズレ検出演算処理（相関演算処理）の詳細について以下説明する。焦点検出画素が検出する一対の像は、測距瞳がレンズの絞り開口によりけられて光量バランスが崩れている可能性があるので、光量バランスに対して像ズレ検出精度を維持できるタイプの相関演算を施す。焦点検出画素列から読み出された一対のデータ列（Ａ１_１〜Ａ１_Ｍ、Ａ２_１〜Ａ２_Ｍ：Ｍはデータ数）に対し、特開２００７−３３３７２０号公報に開示されている相関演算の式（１）を行い、相関量Ｃ（ｋ）を演算する。
Ｃ（ｋ）＝Σ｜Ａ１_ｎ・Ａ２_{ｎ＋１＋ｋ}−Ａ２_ｎ＋ｋ・Ａ１_ｎ＋１｜ （１）

式（１）において、Σ演算はｎについて累積されるが、ｎのとる範囲は、像ずらし量ｋに応じてＡ１_ｎ、Ａ１_ｎ＋１、Ａ２_ｎ＋ｋ、Ａ２_{ｎ＋１＋ｋ}のデータが存在する範囲に限定される。像ずらし量ｋは整数であり、データ列のデータ間隔を単位とした相対的シフト量である。

式（１）の演算結果は、図１３（ａ）に示すように、一対のデータの相関が高いシフト量（図１３（ａ）ではｋ＝ｋ_ｊ＝２）において相関量Ｃ（ｋ）が極小（小さいほど相関度が高い）になる。式（２）〜（５）による３点内挿の手法を用いて連続的な相関量に対する極小値Ｃ（ｘ）を与えるシフト量ｘを求める。
ｘ＝ｋ_ｊ＋Ｄ／ＳＬＯＰ （２）
Ｃ（ｘ）＝ Ｃ（ｋ_ｊ）−｜Ｄ｜ （３）
Ｄ＝｛Ｃ（ｋ_ｊ−１）−Ｃ（ｋ_ｊ＋１）｝／２ （４）
ＳＬＯＰ＝ＭＡＸ｛Ｃ（ｋ_ｊ＋１）−Ｃ（ｋ_ｊ），Ｃ（ｋ_ｊ−１）−Ｃ（ｋ_ｊ）｝ （５）

式（２）で算出されたシフト量ｘの信頼性があるかどうかは、以下のようにして判定される。図１３（ｂ）に示すように、一対のデータの相関度が低い場合は、内挿された相関量の極小値Ｃ（ｘ）の値が大きくなる。したがって、Ｃ（ｘ）が所定の閾値以上の場合は算出されたシフト量の信頼性が低いと判定し、算出されたシフト量ｘをキャンセルする。あるいは、Ｃ（ｘ）をデータのコントラストで規格化するために、コントラストに比例した値となるＳＬＯＰでＣ（ｘ）を除した値が所定値以上の場合は、算出されたシフト量の信頼性が低いと判定し、算出されたシフト量ｘをキャンセルする。あるいはまた、コントラストに比例した値となるＳＬＯＰが所定値以下の場合は、被写体が低コントラストであり、算出されたシフト量の信頼性が低いと判定し、算出されたシフト量ｘをキャンセルする。

図１３（ｃ）に示すように、一対のデータの相関度が低く、シフト範囲ｋ_ｍｉｎ〜ｋ_ｍａｘの間で相関量Ｃ（ｋ）の落ち込みがない場合は、極小値Ｃ（ｘ）を求めることができず、このような場合は焦点検出不能と判定する。

算出されたシフト量ｘの信頼性があると判定された場合は、式（６）により像ズレ量ｓｈｆｔに換算される。式（６）において、ＰＹは焦点検出画素の右上がり斜め４５度方向の画素ピッチの２倍（検出ピッチ）である。
ｓｈｆｔ＝ＰＹ・ｘ （６）

式（６）で算出された像ズレ量に所定の変換係数Ｋ_ｄを乗じてデフォーカス量ｄｅｆへ変換する。なお変換係数Ｋ_ｄは測距瞳距離ｄを一対の測距瞳９３，９４の重心間隔で除算した値である。
ｄｅｆ＝Ｋ_ｄ・ｓｈｆｔ （７）

図１２のステップＳ１８０における画素補間処理の詳細について以下説明する。図１４は撮像素子２１２上に右上がり斜め４５度方向に焦点検出画素を配置した４画素×４画素の領域を示した図であって、各焦点検出画素の出力を図のようにＡ４１、Ａ３２、Ａ２３、Ａ１４で示している。

前述したように一対の焦点検出画素が受光する一対の光束は、撮像画素が受光する光束に対して相補的な関係にあるので、焦点検出画素位置にある仮想的な撮像画素の出力は、その位置にある焦点検出画素の出力とそれと一対となる隣接した焦点検出画素の出力を加算することにより得られるが、隣接する同等な焦点検出画素が２つあるので、この２つの焦点検出画素の出力を平均して隣接する焦点検出画素の出力とする。

図１４において出力Ａ２３を生成する焦点検出画素の位置に仮想的に緑画素が配置されているとした場合の出力をＧ２３とすれば、以下のようにして求められる。
Ｇ２３＝Ａ２３＋（Ａ１４＋Ａ３２）／２ （８）

同じく出力Ａ３２を生成する焦点検出画素の位置に仮想的に緑画素が配置されているとした場合の出力をＧ３２とすれば、以下のようにして求められる。
Ｇ３２＝Ａ３２＋（Ａ２３＋Ａ４１）／２ （９）

上記実施形態のように複数色の撮像画素が所定の色配列規則に従って２次元的に配列されている撮像素子において、焦点検出画素が撮像画素と同一の光学的構成かつ撮像画素と同一の分光感度を備え、さらに撮像画素と同色の焦点検出画素は同色の撮像画素が配置される色配列規則に従って配列されるとともに、一対の焦点検出画素が受光する光束は撮像画素が受光する光束に対して相補的になっているため、一対の焦点検出画素の出力を加算するのみで高精度の画素補間性能が得られ、従来のように画素補間のために焦点検出画素の周囲に存在する撮像画素の出力を用いた複雑な画素補間演算を行う必要がなくなる。

特に、撮影光学系の絞り開口径が小さくなり、従来技術によれば分離帯の影響が大きくなるような場合においても、画素補間の精度を維持することができるという利点がある。また撮像画素と同じ構造かつ同じ分光感度を備えた焦点検出画素を撮像画素と同じ色配列規則に従って配置しているので、焦点検出画素用の遮光マスクの変更を除いて撮像素子の製造上において特別な工程が不要となる。さらに、焦点検出画素は撮像画素と同様に１つの画素に１つの光電変換部を備えた構成となっているので、撮像画素のみで構成される撮像素子と同一の回路構成、信号線の配線を適用でき、撮像素子の製造上において特別な工程が不要となる。

−−−他の実施の形態−−−
第１の実施形態の撮像素子においては、緑の分光感度を備えた一対の焦点検出画素３１３、３１４をベイヤー配列された撮像画素配列の緑画素の位置に右上がり斜め４５度方向に配列しているが、これ以外のパターンで焦点検出画素を配列するようにしても構わない。

図１５は第２の実施形態の撮像素子２１２の詳細な構成を示す正面図であり、撮像素子２１２上の焦点検出エリアの近傍を拡大して示す。撮像素子２１２には撮像画素３１０が二次元正方格子状に稠密に配列される。焦点検出エリアに対応する位置には撮像画素と同一の画素サイズを有し、緑画素と同じ分光感度を備えた焦点検出用の焦点検出画素３１３と３１４が、交互に本来緑画素が連続的に配置されるべき斜め右上がり４５度方向の直線上に連続して配列されるとともに、赤画素と同じ分光感度を備えた焦点検出用の焦点検出画素４１３と４１４のペアと、青画素と同じ分光感度を備えた焦点検出用の焦点検出画素５１３と５１４のペアが、図に示すように緑の分光感度を備えた焦点検出画素３１３と３１４の配列に隣接して本来赤画素および青画素が配置されるべき斜め右上がり４５度方向の直線上に連続して配列される。

図１６は第２の実施形態の撮像素子２１２上の８画素×８画素の領域を示した図であって、赤色の分光感度を有する焦点検出画素の出力をＡ８１、Ａ６３、Ａ４５、Ａ２７で示し、青色の分光感度を有する焦点検出画素の出力をＡ７２、Ａ５４、Ａ３６、Ａ１８で示している。出力Ａ６３、Ａ４５を生成する焦点検出画素の位置に仮想的に赤画素が配置されているとした場合の出力をＲ６３、Ｒ４５とすれば、以下のようにして求められる。
Ｒ６３＝Ａ６３＋（Ａ８１＋Ａ４５）／２ （１０）
Ｒ４５＝Ａ４５＋（Ａ６３＋Ａ２７）／２ （１１）

同じく出力Ａ５４、Ａ３６を生成する焦点検出画素の位置に仮想的に青画素が配置されているとした場合の出力をＢ５４、Ｂ３６とすれば、以下のようにして求められる。
Ｂ５４＝Ａ５４＋（Ａ７２＋Ａ３６）／２ （１２）
Ｂ３６＝Ａ３６＋（Ａ５４＋Ａ１８）／２ （１３）

第２の実施形態においては複数色の焦点検出画素を用いて焦点検出を行うので、１色の焦点検出画素を用いて焦点検出を行う場合と比較して、焦点検出性能向上する。例えば緑の分光感度を有する焦点検出画素のみで焦点検出を行った場合には、緑色の変化がない像（赤と青のストライプなど）に対しては焦点検出不能となるが、本実施形態のように赤、緑、青の分光感度を有する３種類の焦点検出画素を備えていれば、どのような色の組み合わせの像に対しても焦点検出が可能となる。また焦点検出画素が白色の分光感度を備えている場合には、輝度の変化がない像に対しては焦点検出不能となるが、本実施形態のように赤、緑、青の分光感度を有する３種類の焦点検出画素を備えていれば、輝度の変化がなくても色の変化があれば焦点検出が可能となる。

また従来のように画素補間のために焦点検出画素の周囲に存在する撮像画素の出力を用いた複雑な画素補間演算を行わなくても高精度な画素補間が可能になるので、複数の焦点検出画素配列（上記実施形態においては焦点検出画素３１３，３１４からなる配列と焦点検出画素４１３，４１４および焦点検出画素５１３，５１４からなる配列）を密接して配置でき、複数の焦点検出画素配列間の位置的な差を最小にできるので、同一像に対して焦点検出を行うことを保証することができる。

図１７は第３の実施形態の撮像素子２１２の詳細な構成を示す正面図であり、図１５で示す撮像素子における焦点検出画素の配列の変形である。図１５と異なる点は、赤画素と同じ分光感度を備えた焦点検出用の焦点検出画素４１３と４１４のペアが独立して、緑の分光感度を備えた焦点検出画素３１３と３１４の配列に隣接（上側）して本来赤画素および青画素が配置されるべき斜め右上がり４５度方向の直線上に連続して配列されるとともに、青画素と同じ分光感度を備えた焦点検出用の焦点検出画素５１３と５１４のペアが独立して、緑の分光感度を備えた焦点検出画素３１３と３１４の配列に隣接（下側）して本来赤画素および青画素が配置されるべき斜め右上がり４５度方向の直線上に連続して配列される点である。

図１８は第３の実施形態の８画素×８画素の領域を示した図であって、赤色の分光感度を有する焦点検出画素の出力をＡ７１、Ａ６２、Ａ５３、Ａ４４、Ａ３５、Ａ２６、Ａ１７で示し、青色の分光感度を有する焦点検出画素の出力をＡ８２、Ａ７３、Ａ６４、Ａ５５、Ａ４６、Ａ３７、Ａ２８で示している。出力Ａ５３、Ａ５５を生成する焦点検出画素の位置に仮想的に赤画素が配置されているとした場合の出力をＲ５３、Ｒ５５とすれば、以下のようにして求められる。
Ｒ５３＝Ａ５３＋（Ａ６２＋Ａ４４）／２ （１４）
Ｒ５５＝（２＊Ａ４４＋Ａ３５＋Ａ５３＋Ｒ７５＋Ｒ５７）／４ （１５）

同じく出力Ａ６４、Ａ４４を生成する焦点検出画素の位置に仮想的に青画素が配置されているとした場合の出力をＢ６４、Ｂ４４とすれば、以下のようにして求められる。
Ｂ６４＝Ａ６４＋（Ａ７３＋Ａ５５）／２ （１６）
Ｂ４４＝（２＊Ａ５５＋Ａ４６＋Ａ６４＋Ｂ４２＋Ｂ２４）／４ （１７）

第３の実施形態においては、焦点検出画素の色配列が撮像画素の色配列と一部異なってしまうが、赤色の分光感度を有する焦点検出画素配列および赤色の分光感度を有する焦点検出画素配列による像のサンプリングピッチが緑色の分光感度を有する焦点検出画素配列による像のサンプリングピッチと同じとなって短縮されるので、赤色、青色の像に対しても高精度な焦点検出を行うことができる。

図１９は第４の実施形態の撮像素子２１２の詳細な構成を示す正面図であって、焦点検出画素配列の近傍を拡大して示す。撮像素子２１２には撮像画素３１０が二次元正方格子状に稠密に配列される。撮像画素の色配列規則はＲＧＢ順次ストライプ配列となっており、赤、緑、青の撮像画素がこの順に列方向に配列している。撮像画素と同一の画素サイズを備えた緑画素と同じ分光感度を備えた焦点検出用の焦点検出画素３２３と３２４、赤画素と同じ分光感度を備えた焦点検出用の焦点検出画素４２３と４２４、青画素と同じ分光感度を備えた焦点検出用の焦点検出画素５２３と５２４が、緑、赤、青の撮像画素が配列されるべき列に直線上に連続して交互に配列される。

焦点検出画素３２３は、正面図を図２０(ａ)に示すように矩形のマイクロレンズ１０と後述の遮光マスクで受光領域を正方形の半分（正方形を水平線で２等分した場合の上半分）に制限された光電変換部２３、および色フィルター（不図示、分光感度は図７のＧ）とから構成される。また、焦点検出画素３２４は、正面図を図２０(ｂ)に示すように矩形のマイクロレンズ１０と後述の遮光マスクで受光領域を正方形の半分（正方形を水平線で２等分した場合の下半分）に制限された光電変換部２４、および色フィルター（不図示、分光感度は図７のＧ）とから構成される。焦点検出画素３２３の正面図と焦点検出画素３２４の正面図とをマイクロレンズ１０を基準に重ね合わせて表示すると、遮光マスクで受光領域を制限された光電変換部２３と２４が垂直方向に並んでいる。また図２０（ａ）、（ｂ）において正方形を半分にした残りの部分（破線）と受光領域を加えると、撮像画素の受光領域と同じサイズの正方形となる。焦点検出画素４３３、４３４、焦点検出画素５３３、５３４も色フィルターの分光感度が異なるだけで同様な構成になっている。第４の実施形態においては、各色の焦点検出画素が最も密に配列されるので、緑色、赤色、青色の像に対して高精度な焦点検出を行うことができる。

図２１は第５の実施形態の撮像素子２１２の詳細な構成を示す正面図であって、焦点検出画素配列の近傍を拡大して示す。撮像素子２１２には撮像画素３１０が二次元正方格子状に稠密に配列される。撮像画素の色配列規則はＧストライプＲＢ市松配列となっている。撮像画素と同一の画素サイズを備えた緑画素と同じ分光感度を備えた焦点検出用の焦点検出画素３２３と３２４、赤画素と同じ分光感度を備えた焦点検出用の焦点検出画素４２３と４２４、青画素と同じ分光感度を備えた焦点検出用の焦点検出画素５２３と５２４が、緑、赤、青の撮像画素の配列されるべき位置に直線上に連続して一対のペアとなって交互に配列される。

図２２は第６の実施形態の撮像素子２１２の詳細な構成を示す正面図であり、焦点検出画素配列の近傍を拡大して示す。撮像素子２１２には撮像画素３１０がベイヤー配列で二次元正方格子状に稠密に配列される。撮像画素と同一の画素サイズを有し、緑画素と同じ分光感度を備えた焦点検出用の焦点検出画素３３３と３３４が、水平方向の隣接する２行の本来緑画素が配置されるべき位置に１画素おきかつ交互かつ直線上に配列される。同様に赤画素と同じ分光感度を備えた焦点検出用の焦点検出画素４３３と４３４が、水平方向の行の本来赤画素が配置されるべき位置に１画素おきかつ交互かつ直線上に配列される。同様に青画素と同じ分光感度を備えた焦点検出用の焦点検出画素５３３と５３４が、水平方向の行の本来青画素が配置されるべき位置に１画素おきかつ交互かつ直線上に配列される。焦点検出画素３３３、３３４、焦点検出画素４３３、４３４、焦点検出画素５３３、５３４の構成は基本的に図２１の構成を９０度回転した構成になっている。第６の実施形態においては、３色の焦点検出画素が近接して同一方向に配列されるので、緑色、赤色、青色の像に対して同一の性能で焦点検出を行うことができる。

図２３は第７の実施形態の撮像素子２１２の詳細な構成を示す正面図であり、焦点検出画素配列の近傍を拡大して示す。撮像素子２１２には撮像画素３１０がベイヤー配列で二次元正方格子状に稠密に配列される。緑画素と同じ分光感度を備えた焦点検出用の焦点検出画素３１３と３１４が、交互に本来緑画素が連続的に配置されるべき斜め右上がり４５度方向の直線上に連続して配列される。撮像画素と同一の画素サイズを有し、赤画素と同じ分光感度を備えた焦点検出用の焦点検出画素４３３と４３４が、水平方向の行の本来赤画素が配置されるべき位置に１画素おきかつ交互かつ直線上に配列される。撮像画素と同一の画素サイズを有し、青画素と同じ分光感度を備えた焦点検出用の焦点検出画素４３３と４３４が、垂直方向の列の本来青画素が配置されるべき位置に１画素おきかつ交互かつ直線上に配列される。上記実施形態においては、３色の焦点検出画素が近接して異なる方向に配列されるので、緑色、赤色、青色の像に対して焦点検出を行うことができるとともに、同一の焦点検出エリアにおいて垂直方向、水平方向、斜め方向の３つの方向で焦点検出を行うことができるので、像パターンの方向性によらず確実に焦点検出を行うことができる。

図１９、図２０に示す第４の実施形態においては、焦点検出画素３２３、３２４の光電変換部の受光領域２３、２４は、撮像画素の受光領域を水平線で２等分した領域となっているが、必ずしも正確に２等分する必要はなく、図２４（ａ）、（ｂ）に示すように２等分線が上下に少しずれていても構わない。これは式（１）に示す相関演算が２つのデータ列のゲイン差を吸収できる演算となっているからである。図２４（ａ）、（ｂ）に示すような受光領域２３、２４で焦点検出画素３２３、３２４の光電変換部が受光する光束は互いに相補的であり、これに基づく相関演算は、たとえば、撮像素子２１２の中心から離れた位置に配列された焦点検出画素３２３、３２４において、有効である。

また撮像画素３１０の光電変換部の受光領域は必ずしも正方形である必要はない。例えば撮像画素３１０の光電変換部の受光領域の形状が図２５（ｃ）に示すように縦長の矩形である場合にも本発明を適用することはできる。このような場合に、例えば焦点検出画素３２３、３２４の光電変換部の受光領域２３、２４は、図２５（ａ）、（ｂ）に示すように撮像画素の受光領域１１を水平線で２等分した矩形領域とすることができる。

また例えば撮像画素３１０の光電変換部の受光領域の形状が図２６（ｃ）に示すように円形である場合には、焦点検出画素３３３、３３４の光電変換部の受光領域３３、３４は、図２６（ａ）、（ｂ）に示すように撮像画素の受光領域１１を垂直線で２等分した半円領域とすることができる。撮像画素３１０の光電変換部の受光領域の形状を円形とした場合には、その方向に分割した場合でも焦点検出画素の光電変換部の受光領域の形状は同じ半円形状となるので、受光領域の形状の相違に起因する焦点検出性能の相違がないという利点がある。

上述した実施形態における撮像素子では、焦点検出画素が撮像画素と同一の光学的構成かつ撮像画素と同一の分光感度を備え、画素補間のために焦点検出画素の周囲に存在する同色かつ相補的な複数の焦点検出画素の出力を用いた。しかし、予め特定される色成分比によって補正することとするならば、画素補間のために異なる分光感度を有する複数の焦点検出画素の出力を用いても、本発明を適用することができる。

上述した実施形態における撮像素子では撮像画素がベイヤー配列の色フィルターを備えた例を示したが、色フィルターの構成や配列はこれに限定されることはなく、補色フィルター（緑：Ｇ、イエロー：Ｙｅ、マゼンタ：Ｍｇ，シアン：Ｃｙ）の配列やベイヤー配列以外の配列にも本発明を適用することができる。

上述した実施形態においては撮像素子としてＣＣＤイメージセンサやＣＭＯＳイメージセンサなどを適用することができる。

上述した実施形態においては撮像素子と光学系の間に光学要素を何も配置していないが、適宜必要な光学要素を挿入することが可能である。例えば赤外カットフィルタや光学的ローパスフィルタやハーフミラーなどを設置してもよい。

なお、撮像装置としては、上述したようなカメラボディに交換レンズが装着される構成のデジタルスチルカメラやフィルムスチルカメラに限定されない。例えばレンズ一体型のデジタルスチルカメラ、フィルムスチルカメラ、あるいはビデオカメラにも本発明を適用することができる。さらには、携帯電話などに内蔵される小型カメラモジュール、監視カメラやロボット用の視覚認識装置、車載カメラなどにも適用できる。

１０、１９ マイクロレンズ、１１、１３、１４、１５、２３、２４、３３、３４ 光電変換部、２９ 半導体回路基板、３０、３１、３２ 平坦化層、３３、３４ 色フィルター、３５ インナーレンズ、３６ 上層レンズ、４０ 遮光マスク、４３、４４ 開口部、５０、５９、６０ マイクロレンズ、５１、５３、５４、６３、６４ 光電変換部、７１ 撮影光束、７３、７４、８３、８４ 焦点検出用光束、９０ 射出瞳、９１ 交換レンズの光軸、９２ 測距瞳に略外接する領域、９３、９４ 測距瞳、１００ 撮影画面、１０１〜１０３、焦点検出エリア、１１０ 撮像面、１１１ 焦点検出画素、１１２ マイクロレンズ、１１３、１１４ 光電変換部、１２０ 測距瞳面、１２３、１２４ 測距瞳、１３３、１３４ 測距瞳分布、１３５ 重畳部、２０１ デジタルスチルカメラ、２０２ 交換レンズ、２０３ カメラボディ、２０４ マウント部、２０６ レンズ駆動制御装置、２０８ ズーミング用レンズ、２０９ レンズ、２１０ フォーカシング用レンズ、２１１ 絞り、２１２ 撮像素子、２１３ 電気接点、２１４ ボディ駆動制御装置、２１５ 液晶表示素子駆動回路、２１６ 液晶表示素子、２１７ 接眼レンズ、２１９ メモリカード、３１０ 撮像画素、３１１、３１１ａ、３１１ｂ、３１３、３１４、３２３、３２４、３３３、３３４、４１３、４１４、４２３、４２４、４３３、４３４、５１３、５１４、５２３、５２４、５３３、５３４ 焦点検出画素

Claims (9)

1. 所定の色配列規則に基づいた分光感度を有する複数種類の撮像画素と複数種類の焦点検出画素とが２次元的に配列され、前記複数種類の焦点検出画素は、前記複数種類の撮像画素が受光する撮影光束に対して互いに相補的な焦点検出光束を受光する対をなした２種類の焦点検出画素を含み、該対をなした２種類の焦点検出画素が交互に直線状に配置される撮像素子と、
   前記対をなした２種類の焦点検出画素の出力に基づき撮像素子上に形成された像の焦点状態を検出する焦点検出手段と、
   前記対をなした２種類の焦点検出画素のうちの一方の焦点検出画素位置のうち、１つの焦点検出画素位置における撮像信号を、該１つの焦点検出画素位置における焦点検出信号と、前記対をなした２種類の焦点検出画素のうちの他方の焦点検出画素位置のうち、該１つの焦点検出画素位置を挟む２つの焦点検出画素位置における焦点検出信号とに基づく演算値により補間する補間手段とを備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記演算値は、該１つの焦点検出画素位置における焦点検出信号と、該２つの焦点検出画素位置における焦点検出信号との加算平均であることを特徴とする撮像装置。
3. 請求項１または２に記載の撮像装置において、
   前記複数種類の撮像画素の各々は、前記撮影光束を受光して前記撮像信号を出力する撮像用光電変換部と撮像用マイクロレンズと撮像用色フィルターとを有し、
   前記複数種類の焦点検出画素の各々は、前記焦点検出光束を受光して前記焦点検出信号を出力する焦点検出用光電変換部と焦点検出用マイクロレンズと焦点検出用色フィルターとを有し、
   前記焦点検出用マイクロレンズと前記撮像用マイクロレンズとは同一であり、
   前記焦点検出用色フィルターと前記撮像用色フィルターとは同一であることを特徴とする撮像装置。
4. 請求項３に記載の撮像装置において、
   前記焦点検出用光電変換部は遮光部材の開口を通過した前記焦点検出用光束を受光し、
   前記対をなした２種類の焦点検出画素のうちの一方の焦点検出画素および他方の焦点検出画素の各々に対応する前記開口の形状及び大きさは、前記焦点検出用光電変換部の受光面に関して互いに相補的であることを特徴とする撮像装置。
5. 請求項１または２に記載の撮像装置において、
   前記複数種類の焦点検出画素は、前記複数種類の撮像画素が有する相異なる分光感度と実質的に同一の分光感度を有することを特徴とする撮像装置。
6. 請求項５に記載の撮像装置において、
   前記複数種類の焦点検出画素は、前記複数種類の焦点検出画素の各々が有する分光感度に応じた配列方向に沿って前記撮像素子上に配置されることを特徴とする撮像装置。
7. 請求項１または２に記載の撮像装置において、
   前記所定の色配列は赤色、緑色、および青色のベイヤー配列であることを特徴とする撮像装置。
8. 請求項７に記載の撮像装置において、
   前記複数種類の焦点検出画素のうちの一部の焦点検出画素は、緑に対応する分光感度を有し、前記ベイヤー配列における単位正方格子の底辺に対して斜め４５度の直線方向に配置されることを特徴とする撮像装置。
9. 請求項８に記載の撮像装置において、
   前記複数種類の焦点検出画素のうちの残部の焦点検出画素の各々は、赤または青に対応する分光感度を有し、前記ベイヤー配列と異なる配列に従って配置されることを特徴とする撮像装置。
   
   

Images