JPWO2018168551A1 - 撮像素子及び撮像装置 - Google Patents

Abstract

水平方向及び垂直方向に二次元的に複数の位相差検出用画素と撮像用の複数の通常画素が配置された撮像素子であって、位相差検出用画素は、瞳分割用の開口部を有し、水平方向に対する開口部の位置が互いに異なる第１の位相差画素ＺＡと第２の位相差画素ＺＢとからなり、かつ第１の位相差画素ＺＡと第２の位相差画素ＺＡとは互いに開口部が向き合って隣接配置され、複数の通常画素にはベイヤ配列で、ＲＧＢのカラーフィルタが配置され、通常画素のみが水平方向に配置された通常画素行と、第１の位相差画素ＺＡ及び第２の位相差画素ＺＢと１つの通常画素とが周期的に水平方向に配置された位相差画素行と、を有している。

Description

本発明は撮像素子及び撮像装置に係り、特に位相差検出用画素を有する撮像素子及び撮像装置に関する。

昨今、オートフォーカス(ＡＦ：Autofocus)の高速化のために、撮像素子に位相差検出用画素として、瞳分割用の開口部の位置が互いに異なる第１の位相差画素と第２の位相差画素とを配置し、第１の位相差画素と第２の位相差画素から得られる２つの画像信号の位相差に基づいて位相差ＡＦを行う技術が普及している（特許文献１）。

特許文献１に記載の撮像素子は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタの色配列がベイヤ配列であり、水平方向にＧフィルタを有する画素（Ｇ画素）とＢフィルタを有する画素（Ｂ画素）とが交互に配列されているベイヤ配列の特定のＧＢ行に、Ｇ画素とＢ画素の代わりに第１の位相差画素と第２の位相差画素とを配置している。

特許文献２に記載の撮像素子は、特許文献１に記載の撮像素子と同様に、カラーフィルタの色配列がベイヤ配列であり、第１の位相差画素と第２の位相差画素との位相差検出画素ペアが正方格子状の中の離散的及び周期的位置に設けられ、正方格子状の各画素のうち水平及び垂直方向に２ｎ＋１（ｎ＝１，２，…）個の間隔に第１の位相差画素が設けられ、第１の位相差画素に対して２画素離れた同色のカラーフィルタを持つ画素にペアとなる第２の位相差画素が設けられている。

特許文献２に記載の撮像素子は、位相差検出画素ペアとして、Ｒ画素の位相差検出画素ペア、Ｇ画素の位相差検出画素ペア、及びＢ画素の位相差検出画素ペアが、正方格子状の中の離散的及び周期的位置に設けられているため、第１の位相差画素からなる第１の画像と第２の位相差画素からなる第２の画像とは、被写体の距離に応じた視差をもつ画像となる。即ち、特許文献２に記載の撮像素子は、通常の平面画像の撮像と立体画像（第１の位相差画素のみの画像と第２の位相差画素のみの画像の２枚の画像）の撮像を可能にしている。

特開２０１３−１３００６号公報 国際公開第２０１２／１６９３１８号

特許文献１に記載の撮像素子は、位相差検出用画素（第１、第２の位相差画素）が高密度に配置されているため、ＡＦ性能は良好であるが、位相差検出用画素の補正精度が低くなるという問題がある。

位相差検出用画素の補正は、注目する位相差検出用画素の周辺に存在する複数の通常画素（位相差検出用画素以外の画素）の加重平均値でもって補間する「平均値補間」によって行われるが、特許文献１に記載の撮像素子は、位相差検出用画素が撮像素子の水平方向（横方向）に高密度に配置されているため、被写体が横線だった場合の平均値補間(位相差検出用画素に近接する水平方向の通常画素の平均値を用いた補正)が困難であり、精度の高い平均値補間を行うことができないという問題がある。

一方、特許文献２に記載の撮像素子は、立体画像の撮像を可能にするために、それぞれＲ画素の位相差検出用画素ペア、Ｇ画素の位相差検出用画素ペア、及びＢ画素の位相差検出用画素ペアを正方格子状の中の離散的及び周期的位置に設ける必要があり、そのため、同色のカラーフィルタが配置されたペアの位相差検出用画素は、２画素離れている。

尚、特許文献２には、同色のカラーフィルタが配置されたペアの位相差検出用画素を、位相差ＡＦに使用する記載がない。また、Ｒ画素の位相差検出用画素ペア、Ｇ画素の位相差検出用画素ペア、及びＢ画素の位相差検出用画素ペアは、被写体までの距離に応じて水平方向（左右方向）に視差をもつが、同色のカラーフィルタが配置されたペアの位相差検出用画素は、垂直方向に２画素離れているため、精度の高い位相差ＡＦを行うことができない。

本発明はこのような事情に鑑みてなされたもので、位相差検出用画素の補正精度が高く、かつＡＦ性能が良好であり、更に低電力及び高速処理に適した撮像素子及び撮像装置を提供することを目的とする。

上記目的を達成するために一の態様に係る発明は、第１の方向及び第１の方向と直交する第２の方向に二次元的に複数の位相差検出用画素と撮像用の複数の通常画素が配置された撮像素子であって、位相差検出用画素は、瞳分割用の開口部を有し、第１の方向に対する開口部の位置が互いに異なる第１の位相差画素と第２の位相差画素とからなり、かつ第１の位相差画素と第２の位相差画素とは互いに開口部が向き合って隣接配置され、複数の通常画素には第１の周期的色配列で、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと第１の色以外の２色以上の各色にそれぞれ対応する複数の第２のフィルタとが配置され、通常画素のみが第１の方向に配置された通常画素行と、第１の位相差画素及び第２の位相差画素と通常画素とが周期的に第１の方向に配置された位相差画素行と、を有し、位相差画素行に隣接する少なくとも２行には通常画素行のみが配置され、位相差画素行において、通常画素が配置されている位置から第２の方向に延在する通常画素のみを抽出すると、抽出される通常画素には第１の周期的色配列でカラーフィルタが配置されている。

本発明の一の態様によれば、位相差画素行には、位相差検出用画素（第１の位相差画素及び第２の位相差画素）と通常画素とが周期的に配置され、かつ位相差画素行に隣接する少なくとも２行には通常画素行のみが配置されているため、位相差検出用画素の画素位置の画素値を周辺の画素の画素値の補間により生成する場合、位相差画素行に隣接する少なくとも２行の通常画素行の通常画素の画素値と、位相差画素行上の通常画素の画素値とを利用することができ、位相差検出用画素の補正（補間）を精度よく行うことが可能である。また、位相差画素行において、通常画素が配置されている位置から第２の方向に延在する通常画素のみを抽出すると、抽出される通常画素には第１の周期的色配列でカラーフィルタが配置されるため、第１の周期的色配列を有する通常画素からなる画像を取得することができ、低電力及び高速処理に適する。更に、一対の第１の位相差画素と第２の位相差画素とは互いに開口部が向き合って隣接配置されているため、一対の第１の位相差画素と第２の位相差画素との間隔は最小となっている。これにより、位相差の空間サンプリング周波数を最大にすることができ、空間周波数の高い被写体に対する位相差ＡＦを、一対の第１の位相差画素と第２の位相差画素とが通常画素を挟んで離れて配置されているものに比べて良好に（精度よく）行うことが可能である。

本発明の他の態様に係る撮像装置は、第１の方向及び第１の方向と直交する第２の方向に二次元的に複数の位相差検出用画素と撮像用の複数の通常画素が配置された撮像素子であって、位相差検出用画素は、瞳分割用の開口部を有し、第１の方向に対する開口部の位置が互いに異なる第１の位相差画素と第２の位相差画素とからなり、かつ第１の位相差画素と第２の位相差画素とは互いに開口部が向き合って隣接配置され、複数の通常画素には第１の周期的色配列で、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと第１の色以外の２色以上の各色にそれぞれ対応する複数の第２のフィルタとが配置され、通常画素のみが第１の方向に配置された通常画素行と、第１の位相差画素及び第２の位相差画素と通常画素とが周期的に第１の方向に配置された位相差画素行と、を有し、位相差画素行に隣接する少なくとも２行には通常画素行のみが配置され、位相差画素行において、通常画素が配置されている位置から第２の方向に延在する通常画素のみを抽出すると、抽出される通常画素には第１の周期的色配列でカラーフィルタが配置されている撮像素子と、撮像素子の受光面に被写体像を結像させる撮像光学系と、撮像素子の位相差画素行の第１の位相差画素から取得した第１の画素値と第２の位相差画素から取得した第２の画素値との位相差を検出する位相差検出部と、位相差検出部により検出された位相差に基づいて撮像光学系を制御するオートフォーカス制御部と、を備える。

本発明の他の態様によれば、撮像素子の位相差画素行の第１の位相差画素から取得した第１の画素値と第２の位相差画素から取得した第２の画素値との位相差に基づいて撮像光学系を制御し、被写体像を撮像素子の受光面に結像させる（位相差ＡＦを行う）ことができる。特に、撮像素子の第１の位相差画素と第２の位相差画素とは互いに開口部が向き合って隣接配置され、一対の第１の位相差画素と第２の位相差画素との間隔は最小となっているため、位相差の空間サンプリング周波数を最大にすることができ、空間周波数の高い被写体に対する位相差ＡＦを、一対の第１の位相差画素と第２の位相差画素とが通常画素を挟んで離れて配置されているものに比べて精度よく行うことができる。

本発明の更に他の態様に係る撮像装置において、第１の画像を生成する第１のモードと第２の画像を生成する第２のモードとを切り替えるモード切替部と、モード切替部により第１のモードに切り替えられると、位相差画素行の第１の位相差画素及び第２の位相差画素の画素位置の画素値を、少なくとも位相差画素行の通常画素の画素値と位相差画素行に隣接する少なくとも２行の通常画素行の通常画素の画素値とに基づいて生成し、第１の位相差画素及び第２の位相差画素の画素位置の画素値を含む第１の画像を生成する第１の画像生成部と、モード切替部により第２のモードに切り替えられると、位相差画素行において通常画素が配置されている位置から第２の方向に延在する通常画素のみを抽出し、抽出した複数の通常画素の画素値から構成される第２の画像を生成する第２の画像生成部と、を備えることが好ましい。

本発明の更に他の態様によれば、第１のモードに切り替えられると、位相差画素行の第１の位相差画素及び第２の位相差画素の画素位置の画素値を、少なくとも位相差画素行の通常画素の画素値と位相差画素行に隣接する少なくとも２行の通常画素行の通常画素の画素値とに基づいて生成し、第１の位相差画素及び第２の位相差画素の画素位置の画素値を含む第１の画像（高解像度の第１の画像）を生成することができ、第２のモードに切り替えられると、位相差画素行において通常画素が配置されている位置から第２の方向に延在する通常画素を抽出し、抽出した複数の通常画素の画素値から構成される第２の画像（低解像の第２の画像）を生成することができる。ここで、第２の画像は、通常画素のみから構成され、かつ第１の周期的色配列でカラーフィルタが配置されているため、位相差検出用画素の補正が不要であり、かつ第１の画像と第２の画像の後段の画像処理の共通化を図ることができ、低電力及び高速処理に適する。

本発明の更に他の態様に係る撮像装置において、第１の画像生成部は、第１の位相差画素及び第２の位相差画素を注目画素とすると、注目画素の画素位置の周辺の画素の画素値を使用して注目画素の画素位置の画素値を生成することが好ましい。

本発明の更に他の態様に係る撮像装置において、第１の位相差画素及び第２の位相差画素を注目画素とし、注目画素の画素位置における画素値を生成する際に、注目画素の画素位置の周辺の画素の信号勾配が最小になる信号勾配方向を算出する信号勾配算出部を備え、第１の画像生成部は、信号勾配算出部により検出された信号勾配方向であって、注目画素の画素位置を基準にした信号勾配方向に存在する、注目画素の画素位置の色と同じ色の複数の画素を検出し、検出した複数の画素の画素値を補間して注目画素の画素位置の画素値を生成することが好ましい。

本発明の更に他の態様によれば、第１の位相差画素又は第２の位相差画素（補正対象の注目画素）の画素位置の周辺の画素の信号勾配方向に対応して注目画素の補間に使用する画素を選択するため、位相差画素の補正精度を高くすることができる。

本発明の更に他の態様に係る撮像装置において、信号勾配算出部は、信号勾配方向として、第１の方向、第２の方向、第１の方向と第２の方向との間の第３の方向及び第４の方向の４方向のうちの１つの方向を検出することが好ましい。

本発明の更に他の態様に係る撮像装置において、信号勾配算出部は、信号勾配方向として、第１の方向、第２の方向、第１の方向と第２の方向との間の第３の方向及び第４の方向の４方向と、４方向の中間の４方向との８方向のうちの１つの方向を検出することが好ましい。４方向よりも細かく信号勾配方向を検出することで、位相差画素の補正精度をより高くすることができる。

本発明の更に他の態様に係る撮像装置において、第１の画像生成部は、信号勾配算出部により信号勾配方向が検出されない場合、注目画素の画素位置に最も近い同じ色の画素の画素値、又は注目画素の画素位置を基準にした補間範囲内の複数の同じ色の画素の画素値に基づいて注目画素の画素位置の画素値を生成することが好ましい。

本発明の更に他の態様に係る撮像装置において、第１の位相差画素及び第２の位相差画素には、それぞれ第１のフィルタが配置され、又は第１のフィルタの透過波長域よりも広い波長域の光が入射し、開口部が向き合って隣接配置された第１の位相差画素の画素値と第２の位相差画素の画素値とを加算し、第１の位相差画素と第２の位相差画素との間の画素位置における加算画素値を生成する画素値加算部を有し、第１の画像生成部は、画素値加算部により加算された加算画素値を周辺の画素のうちの１つの画素の画素値として使用することが好ましい。

開口部が向き合って隣接配置された一対の第１の位相差画素の画素値と第２の位相差画素の画素値とを加算すると、一対の第１の位相差画素と第２の位相差画素との間に、あたかも通常画素が存在するかのように振る舞う。第１の画像生成部は、位相差画素を補正する際に、加算画素値を周辺の画素のうちの１つの画素の画素値として使用するため、位相差検出用画素の補正精度を向上させることができる。

本発明の更に他の態様に係る撮像装置において、第１の位相差画素又は第２の位相差画素を注目画素とし、注目画素の画素位置に対して設定されるゲイン補間情報を取得するゲイン補間情報取得部を備え、第１の画像生成部は、注目画素の画素値とゲイン補間情報取得部により取得したゲイン補間情報とに基づいて注目画素の画素位置における画素値をゲイン補間により生成することが好ましい。第１の位相差画素及び第２の位相差画素は、周辺の通常画素に入射する光量の約半分が入射するため、通常画素よりも感度が低下する。「ゲイン補間」は、位相差検出用画素の感度低下分を補填するように位相差検出用画素の画素値に所定のゲイン補間情報を掛けることで、通常画素と信号レベルを合わせる補間方法である。位相差検出用画素を補正する場合、撮影シーン等によっては注目画素の周辺の画素を使用する平均値補間よりもゲイン補間の方が適切な場合があり、この場合には「ゲイン補間」を行う。

本発明の更に他の態様に係る撮像素子において、第１の周期的色配列は、ベイヤ配列であり、位相差画素行は、一対の第１の位相差画素及び第２の位相差画素と１つの通常画素の３画素を１周期として周期的に配列されることが好ましい。第１の周期的色配列がベイヤ配列の場合、撮像素子の各行の画素を１／３間引き読み出しすることで、ちょうど通常画素のみを取り出すことができ、間引き読み出しを実行するモードの場合、位相差画素の補正処理を不要にでき、低電力及び高速処理が可能になる。

本発明の更に他の態様に係る撮像素子において、第１のフィルタは、緑色の波長帯域の光を透過させるＧフィルタであり、複数の第２のフィルタは、赤色の波長帯域の光を透過させるＲフィルタ及び青色の波長帯域の光を透過させるＢフィルタであり、第１の周期的色配列は、第１の方向及び第２の方向に隣接して配置される４×４画素の基本配列パターンを有し、基本配列パターンは、Ｇフィルタを有する２×２画素とＲフィルタを有する２×２画素とが第１の方向に隣接し、Ｂフィルタを有する２×２画素とＧフィルタを有する２×２画素とが第１の方向に隣接して配列され、位相差画素行は、一対の第１の位相差画素及び第２の位相差画素と１つの通常画素の３画素を１周期として周期的に配列されることが好ましい。

即ち、第１の周期的色配列は、ベイヤ配列に限らず、４×４画素の基本配列パターンを有する上記の色配列のものでもよく、この場合も位相差画素行において、一対の第１の位相差画素及び第２の位相差画素と１つの通常画素の３画素を１周期として周期的に配列することにより、撮像素子の各行の画素を１／３間引き読み出しすると、ちょうど通常画素のみを取り出すことができ、間引き読み出しを実行するモードの場合、位相差検出用画素の補正処理を不要にでき、低電力及び高速処理が可能になる。

本発明によれば、位相差検出用画素（第１の位相差画素及び第２の位相差画素）と通常画素とが周期的に第１の方向に配置された位相差画素行において、第１の位相差画素と第２の位相差画素とは互いに開口部が向き合って隣接配置されているため、位相差検出用画素の画素位置の画素値を周辺の画素の画素値の補間により生成する場合、位相差画素行に隣接する少なくとも２行の通常画素行の通常画素の画素値と、位相差画素行上の通常画素の画素値とを利用することができ、位相差検出用画素を精度よく補正することができる。また、位相差画素行において、通常画素が配置されている位置から第２の方向に延在する通常画素のみを抽出すると、抽出される通常画素には第１の周期的色配列でカラーフィルタが配置されるため、第１の周期的色配列を有する通常画素のみからなる画像を取得することができ、低電力及び高速処理に適する。更に、第１の位相差画素と第２の位相差画素とは互いに開口部が向き合って隣接配置されているため、一対の第１の位相差画素と第２の位相差画素とを挟んで離れて配置されているものに比べて位相差ＡＦを良好に行うことが可能である。

図１は撮像装置の一例を示す斜視図である。 図２は図１に示した撮像装置の背面図である。 図３は図１に示した撮像装置の内部構成の一例を示すブロック図である。 図４は撮像素子のカラーフィルタ配列及び位相差検出用画素の配置の第１の実施形態を示す図である。 図５は一対の第１の位相差画素ＺＡ及び第２の位相差画素ＺＢを模式的に示した平面図である。 図６は第１の位相差画素ＺＡ及び第２の位相差画素ＺＢの構成を示す要部拡大図である。 図７は図３に示した画像処理部２４における補間処理部の実施形態を示すブロック図である。 図８は第１の実施形態の撮像素子における位相差検出用画素に対する平均値補間を説明するための図である。 図９は第１の実施形態の撮像素子における位相差検出用画素に対する平均値補間を説明するための他の図である。 図１０は撮像素子のカラーフィルタ配列及び位相差検出用画素の配置の第２の実施形態を示す図である。 図１１は第２の実施形態の撮像素子における位相差検出用画素に対する平均値補間を説明するための図である。 図１２は第２の実施形態の撮像素子における位相差検出用画素に対する平均値補間を説明するための他の図である。 図１３は撮像装置の一実施形態であるスマートフォンの外観を示す図である。 図１４は図１３に示したスマートフォン１００の内部構成を示すブロック図である。

以下、添付図面に従って本発明に係る撮像素子及び撮像装置の好ましい実施形態について詳説する。

［撮像装置］
図１及び図２は、それぞれ撮像装置の一例（デジタルカメラ）を示す斜視図及び背面図である。この撮像装置１０は、レンズを通った光を撮像素子で受け、デジタル信号に変換して静止画又は動画の画像データとして記録メディアに記録するデジタルカメラである。

図１に示すように撮像装置１０は、その正面に撮影レンズ１２、ストロボ１等が配設され、上面にはシャッタボタン２、電源／モードスイッチ３、モードダイヤル４等が配設されている。一方、図２に示すように、カメラ背面には、液晶モニタ（ＬＣＤ：Liquid Crystal Display)３０、ズームボタン５、十字ボタン６、ＭＥＮＵ／ＯＫボタン７、再生ボタン８、ＢＡＣＫボタン９等が配設されている。

撮影レンズ１２は、沈胴式のズームレンズで構成されており、電源／モードスイッチ３によってカメラの作動モードを撮影モードに設定することにより、カメラ本体から繰り出される。ストロボ１は、主要被写体にストロボ光を照射するものである。

シャッタボタン２は、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成され、撮影準備指示部として機能するとともに、画像の記録指示部として機能する。

撮像装置１０は、撮影モードとして静止画撮影モードが選択され、シャッタボタン２が「半押し」されると、ＡＦ（Autofocus）／ＡＥ（Auto Exposure)制御を行う撮影準備動作を行い、シャッタボタン２が「全押し」されると、静止画の撮像及び記録を行う。

また、撮像装置１０は、撮影モードとして動画撮影モードが選択され、シャッタボタン２が「全押し」されると、動画の録画を開始し、シャッタボタン２が再度「全押し」されると、録画を停止して待機状態になる。

電源／モードスイッチ３は、撮像装置１０の電源をＯＮ／ＯＦＦする電源スイッチとしての機能と、撮像装置１０のモードを設定するモードスイッチとしての機能とを併せ持っており、「ＯＦＦ位置」と「再生位置」と「撮影位置」との間をスライド自在に配設されている。撮像装置１０は、電源／モードスイッチ３をスライドさせて、「再生位置」又は「撮影位置」に合わせることにより、電源がＯＮになり、「ＯＦＦ位置」に合わせることにより、電源がＯＦＦになる。そして、電源／モードスイッチ３をスライドさせて、「再生位置」に合わせることにより、「再生モード」に設定され、「撮影位置」に合わせることにより、「撮影モード」に設定される。

モードダイヤル４は、撮像装置１０の撮影モードを設定するモード切替部として機能し、このモードダイヤル４の設定位置により、撮像装置１０の撮影モードが様々なモードに設定される。例えば、静止画撮影を行う「静止画撮影モード」（第１のモード）、動画撮影を行う「動画撮影モード」（第２のモード）等である。

液晶モニタ３０は、撮影モード時のライブビュー画像の表示、再生モード時の静止画又は動画の表示を行うとともに、メニュー画面の表示等を行うことでグラフィカルユーザーインターフェースの一部として機能する。

ズームボタン５は、ズームを指示するズーム指示手段として機能し、望遠側へのズームを指示するテレボタン５Ｔと、広角側へのズームを指示するワイドボタン５Ｗとからなる。撮像装置１０は、撮影モード時に、このテレボタン５Ｔとワイドボタン５Ｗとが操作されることにより、撮影レンズ１２の焦点距離が変化する。また、再生モード時に、このテレボタン５Ｔとワイドボタン５Ｗとが操作されることにより、再生中の画像が拡大、縮小する。

十字ボタン６は、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。

ＭＥＮＵ／ＯＫボタン７は、液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作ボタンである。

再生ボタン８は、撮影記録した静止画又は動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。

ＢＡＣＫボタン９は、入力操作のキャンセルや一つ前の操作状態に戻すことを指示するボタンとして機能する。

尚、本実施形態に係る撮像装置１０において、ボタン／スイッチ類に対して固有の部材を設けるのではなく、タッチパネルを設けこれを操作することでそれらボタン／スイッチ類の機能を実現するようにしてもよい。

［撮像装置の内部構成］
図３は撮像装置１０の内部構成の実施形態を示すブロック図である。この撮像装置１０は、撮像した画像をメモリカード５４に記録するもので、装置全体の動作は、中央処理装置（ＣＰＵ：Central Processing Unit）４０によって統括制御される。

撮像装置１０には、シャッタボタン２、電源／モードスイッチ３、モードダイヤル４、テレボタン５Ｔ、ワイドボタン５Ｗ、十字ボタン６、ＭＥＮＵ／ＯＫボタン７、再生ボタン８、ＢＡＣＫボタン９等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて撮像装置１０の各回路を制御し、例えば、撮像素子の駆動制御、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、及び液晶モニタ３０の表示制御などを行う。

電源／モードスイッチ３により撮像装置１０の電源がＯＮされると、図示しない電源部から各ブロックへ給電され、撮像装置１０の駆動が開始される。

撮影レンズ１２、絞り１４、メカシャッタ（機械的シャッタ）１５等を通過した光束は、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）型のカラーイメージセンサである撮像素子１６に結像される。尚、撮像素子１６は、ＣＭＯＳ型に限らず、ＸＹアドレス型、又はＣＣＤ（Charge Coupled Device）型のカラーイメージセンサでもよい。

撮像素子１６は、多数の受光素子（フォトダイオード）が２次元配列されており、各フォトダイオードの受光面に結像された被写体像は、その入射光量に応じた量の信号電圧（又は電荷）に変換され、撮像素子１６内のＡ／Ｄ（Analog/Digital）変換器を介してデジタル信号に変換されて出力される。

＜撮像素子の第１の実施形態＞
撮像素子１６は、第１の方向（水平方向）及び第１の方向と直交する第２の方向（垂直方向）に二次元的に配列された光電変換素子（フォトダイオード）で構成される複数の画素上に、以下に例示する第１の周期的色配列でカラーフィルタが配設されている。また、撮像素子１６は、複数の位相差検出用画素と撮像用の複数の通常画素（位相差検出用画素以外の画素）が配置されている。

位相差検出用画素は、図５に示すように瞳分割用の開口部を有し、水平方向に対する開口部の位置が互いに異なる第１の位相差画素ＺＡと第２の位相差画素ＺＢとからなり、一対の第１の位相差画素ＺＡと第２の位相差画素ＺＢとは互いに開口部が向き合って隣接配置されている。尚、第１の位相差画素ＺＡ及び第２の位相差画素ＺＢの構造の詳細については後述する。

図４は、撮像素子１６のカラーフィルタ配列及び位相差検出用画素の配置の第１の実施形態を示す図である。

図４に示すように撮像素子１６の複数の通常画素には、第１の色（緑色）に対応する第１のフィルタ、緑色以外の２色以上の各色（赤色及び青色）にそれぞれ対応する複数の第２のフィルタのうちのいずれかのカラーフィルタが、第１の周期的色配列で配置されている。第１の実施形態の撮像素子１６のカラーフィルタの第１の周期的色配列は、一般的なベイヤ配列である。尚、第１のフィルタは、緑色の波長帯域の光を透過させるＧフィルタであり、複数の第２のフィルタは、赤色の波長帯域の光を透過させるＲフィルタと、青色の波長帯域の光を透過させるＢフィルタである。

ベイヤ配列を有する撮像素子１６において、通常画素のみが水平方向（行方向）に配置された通常画素行は、Ｒフィルタを有する画素（Ｒ画素）とＧフィルタを有する画素（Ｇ画素）とが行方向に交互に配置されたＲＧ行と、Ｇ画素とＢフィルタを有する画素（Ｂ画素）とが行方向に交互に配置されたＧＢ行とがある。また、ＲＧ行とＧＢ行とは、垂直方向（列方向）に交互に配置されている。

また、本例の第１の位相差画素ＺＡ及び第２の位相差画素ＺＢには、それぞれＧフィルタが配置されている。尚、第１の位相差画素ＺＡ及び第２の位相差画素ＺＢには、例えば、Ｇフィルタを配置せずに、Ｇフィルタの透過波長域よりも広い波長域の光が入射できるようにしてもよい。

撮像素子１６の第１の位相差画素ＺＡ及び第２の位相差画素ＺＢと通常画素とが周期的に行方向に配置された位相差画素行は、複数行置きのＧＢ行に設けられており、位相差画素行に隣接する少なくとも２行には通常画素行のみが配置される。

また、本例の位相差画素行は、一対の第１の位相差画素ＺＡ及び第２の位相差画素ＺＢと１つの通常画素の３画素を１周期として周期的に配列されている。したがって、位相差画素行には、Ｇ画素とＢ画素とが行方向に２画素（一対の第１の位相差画素ＺＡ及び第２の位相差画素ＺＢ）置きに交互に配置されている。

尚、本例の位相差画素行は、ベイヤ配列のＧＢ行に設けられているが、これに限らず、ＲＧ行に設けるようにしてもよい。

上記構成の撮像素子１６において、図４に示すように位相差画素行の通常画素（Ｇ画素又はＢ画素）が配置されている位置（図４の★印（black star marks）で示した位置）から第２の方向（列方向）に延在する通常画素のみを抽出すると、抽出される複数の通常画素の各画素のカラーフィルタの色配列は、ベイヤ配列になる。

また、動画を構成する１フレームの画像（フレーム画像）は、フル画素の静止画に比べて画像サイズが小さく、動画撮影モードでは、撮像素子１６は間引き駆動され、これにより低電力及び高速処理を可能にしている。

いま、図４に示すように撮像素子１６から一定の行間隔（図４の●印（black circle marks）で示した行）で画像信号を間引き読み出した場合でも、間引き読み出した画像信号に対応する画像において、位相差画素行の通常画素が配置されている位置から列方向に延在する通常画素のみを抽出すると、抽出される複数の通常画素は、各画素のカラーフィルタの色配列がベイヤ配列になる。

即ち、撮像素子１６から間引き読み出しする行に、位相差画素行が含まれていても、動画を構成するフレーム画像に第１の位相差画素ＺＡ及び第２の位相差画素ＺＢが含まれないようにすることができる。また、位相差画素行の読み出しにより、動画撮影中に位相差画素行に含まれる第１の位相差画素ＺＡ及び第２の位相差画素ＺＢに基づく位相差ＡＦを行うことができる。

図５は、一対の第１の位相差画素ＺＡ及び第２の位相差画素ＺＢを模式的に示した平面図である。

図５に示すように第１の位相差画素ＺＡは、画素の右半分に開口部を有し、第２の位相差画素ＺＢは、画素の左半分に開口部を有している。即ち、一対の第１の位相差画素ＺＡと第２の位相差画素ＺＢとは、互いに開口部が向き合っている。

したがって、一対の第１の位相差画素ＺＡの画像信号（画素値）と第２の位相差画素ＺＢの画像信号（画素値）とを加算すると、加算した画素値（加算画素値）は、同じ画素位置における通常画素の画素値とほぼ等しくなり、また、加算した画素（加算画素）は、一対の第１の位相差画素ＺＡと第２の位相差画素ＺＢとの中間に存在するものとして扱うことができる。

ところで、通常画素と位相差検出用画素とで画素特性が異なることから、位相差検出用画素を適切に補正した上で、フル画素の静止画を生成する必要がある。

位相差画素の補正は、注目する位相差検出用画素（第１の位相差画素ＺＡ又は第２の位相差画素ＺＢ）の周辺に存在する複数の通常画素の画素値の加重平均値でもって補間する「平均値補間」によって行われる。

一対の第１の位相差画素ＺＡと第２の位相差画素ＺＢとの加算画素の画素値（本例では、通常画素のＧ画素の画素値に相当）は、第１の位相差画素ＺＡ又は第２の位相差画素ＺＢの注目画素の画素位置におけるＧ画素の画素値を、平均値補間により補間演算する場合に利用することができる。尚、位相差画素の補正の詳細については後述する。

図６は第１の位相差画素ＺＡ及び第２の位相差画素ＺＢの構成を示す要部拡大図である。

図６に示すように第１の位相差画素ＺＡのフォトダイオードＰＤの前面側（マイクロレンズＬ側）には、遮光部材１６Ａが配設され、一方、第２の位相差画素ＺＢのフォトダイオードＰＤの前面側には、遮光部材１６Ｂが配設される。マイクロレンズＬ及び遮光部材１６Ａ、１６Ｂは瞳分割機能を有し、図６上で、遮光部材１６Ａは、フォトダイオードＰＤの受光面の左半分を遮光する。そのため、第１の位相差画素ＺＡには、撮影レンズ１２の射出瞳を通過する光束のうちの光軸の左側を通過する光束のみが受光される。また、本例では、カラーフィルタＣＦとして、ＧフィルタがマイクロレンズＬの下方に配置されている。

遮光部材１６Ｂは、第２の位相差画素ＺＢのフォトダイオードＰＤの受光面の右半分を遮光する。そのため、第２の位相差画素ＺＢには、撮影レンズ１２の射出瞳を通過する光束のうちの光軸の右側を通過する光束のみが受光される。このように、瞳分割機能を有するマイクロレンズＬ及び遮光部材１６Ａ、１６Ｂにより、射出瞳を通過する光束が左右に分割され、それぞれ第１の位相差画素ＺＡ及び第２の位相差画素ＺＢに入射する。

図３に戻って、動画又は静止画の撮影時に撮像素子１６から読み出された画像信号（画像データ）は、画像入力コントローラ２２を介してメモリ（ＳＤＲＡＭ(Synchronous Dynamic Random Access Memory)）４８に一時的に記憶され、あるいはＡＦ処理部４２、ＡＥ検出部４４等に取り込まれる。

ＣＰＵ４０は、操作部３８での操作に基づいて撮像装置１０の各部を統括制御するが、ライブビュー画像の撮影（表示）、及び動画の撮影（記録）中には、常時ＡＦ動作及びＡＥ動作を行う。

位相差検出部として機能するＡＦ処理部４２は、位相差ＡＦ処理を行う部分であり、画像入力コントローラ２２を介して取得される第１の位相差画素ＺＡ、第２の位相差画素ＺＢの各出力信号を使用して位相差を検出する。尚、ＡＦ処理部４２による位相差検出の詳細については後述する。

ＣＰＵ４０は、ＡＦ処理部４２から位相差を示す位相差データが入力されると、位相差データに基づいて位相差ＡＦを行う焦点調節部として機能する。即ち、ＣＰＵ４０は、位相差データに基づいて撮影レンズ１２によるピント位置と撮像素子１６の結像面とのずれ量（デフォーカス量）を算出し、算出したデフォーカス量がゼロになるようにレンズ駆動部３６を介して撮影レンズ１２内のフォーカスレンズを移動させる。尚、デフォーカス量の算出は、ＡＦ処理部４２で行ってもよい。

ＡＥ検出部４４は、画像入力コントローラ２２を介して取得される画像データ（例えば、画面全体のＧ画素の画素値）を積算し、又は画面中央部と周辺部とで異なる重みづけをした画像データ（Ｇ画素の画素値）を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ検出部４４から入力される積算値より被写体の明るさ（撮影Ｅｖ値（exposure value））を算出する。撮影モードが静止画撮影モードの場合には、シャッタボタン２の第１段階の押下（半押し）があると、ＣＰＵ４０は、前述のＡＦ制御を再度行い、シャッタボタン２の全押しがあると、被写体の明るさ（撮影Ｅｖ値）を算出し、算出した撮影Ｅｖ値に基づいて絞り１４のＦ値及びメカシャッタ１５による露光時間（シャッタ速度）をプログラム線図にしたがって決定し、静止画の撮影（露出制御）を行う。

一方、撮影モードが動画撮影モードの場合には、シャッタボタン２の全押しがあると、ＣＰＵ４０は、動画の撮影及び記録（録画）を開始させる。尚、動画撮影時には、メカシャッタ１５を開放し、撮像素子１６から画像データを連続的に読み出し（例えば、フレームレートとして３０フレーム／秒、６０フレーム／秒）、連続的に位相差ＡＦを行うとともに、被写体の明るさを算出し、シャッタ駆動部３３によりシャッタ速度（ローリングシャッタによる電荷蓄積時間）及び／又は絞り駆動部３４による絞り１４を制御する。

ＣＰＵ４０は、ズームボタン５からのズーム指令に応じてレンズ駆動部３６を介してズームレンズを光軸方向に進退動作させ、焦点距離を変更させる。

また、４７は、カメラ制御プログラム、撮像素子１６の欠陥情報、画像処理等に使用する各種のパラメータやテーブルが記憶されているＲＯＭ（Read Only Memory）、又はＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）である。本例では、このＲＯＭ４７に、撮像素子１６の位相差画素行（第１の位相差画素ＺＡ、第２の位相差画素ＺＢの画素位置を含む）、通常画素行に関する情報、後述するゲイン補間情報、及びレベル調整係数等が記憶されている。

第１の画像生成部及び第２の画像生成部として機能する画像処理部２４は、動画又は静止画の撮影時に画像入力コントローラ２２を介して取得され、メモリ４８に一時的に記憶された未処理の画像データ（ＲＡＷデータ）を読み出す。画像処理部２４は、読み出したＲＡＷデータに対してオフセット処理、画素補間処理（位相差検出用画素、傷画素等の補間処理）、ホワイトバランス補正、感度補正を含むゲインコントロール処理、ガンマ補正処理、同時化処理（「デモザイク処理」ともいう）、輝度及び色差信号生成処理、輪郭強調処理、及び色補正等を行う。

画像処理部２４により処理された画像データであって、ライブビュー画像として処理された画像データは、ＶＲＡＭ（Video RAM Random access memory）５０に入力される。

ＶＲＡＭ５０には、それぞれが１コマ分の画像を表す画像データを記録するＡ領域とＢ領域とが含まれている。ＶＲＡＭ５０において１コマ分の画像を表す画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ５０のＡ領域及びＢ領域のうち、画像データが書き換えられている方の領域以外の領域から、書き込まれている画像データが読み出される。

ＶＲＡＭ５０から読み出された画像データは、ビデオエンコーダ２８においてエンコーディングされ、カメラ背面に設けられている液晶モニタ３０に出力される。これにより、被写体像を示すライブビュー画像が液晶モニタ３０に表示される。

画像処理部２４により処理された画像データであって、記録用の静止画又は動画として処理された画像データ（輝度データ(Ｙ)及び色差データ(Ｃｂ),(Ｃｒ)）は、再びメモリ４８に記憶される。

圧縮伸張処理部２６は、静止画又は動画の記録時に、画像処理部２４により処理され、メモリ４８に格納された輝度データ(Ｙ)及び色差データ(Ｃｂ),(Ｃｒ)に対して圧縮処理を施す。静止画の場合には、例えばJPEG(Joint Photographic coding Experts Group)形式で圧縮し、動画の場合には、例えばH.264形式で圧縮する。圧縮伸張処理部２６により圧縮された圧縮画像データは、メディアコントローラ５２を介してメモリカード５４に記録される。

また、圧縮伸張処理部２６は、再生モード時にメディアコントローラ５２を介してメモリカード５４から得た圧縮画像データに対して伸張処理を施す。メディアコントローラ５２は、メモリカード５４に対する圧縮画像データの記録及び読み出しなどを行う。

［位相差ＡＦ］
オートフォーカス制御部として機能するＣＰＵ４０は、位相差ＡＦを行う場合、撮像素子１６の少なくともＡＦ領域内の位相差画素行の画像データを読み出す読出し指令をセンサ駆動部３２に出力し、撮像素子１６から対応する画像データを読み出す。

動画（ライブビュー画像を含む）の撮影及び表示時には、ＣＰＵ４０は、撮像素子１６から画像データを間引き読み出しするための間引き率を取得する。この間引き率は、予め設定された固定値でもよいし、複数の間引き率からユーザにより選択できるようにしてもよい。例えば、動画の画像サイズの選択、あるいはフレームレートの選択に連動して最適な間引き率を設定することができる。尚、間引き読み出しする行には、位相差画素行が含まれるようにする。

ＣＰＵ４０は、間引き率に応じた間引きパターン（抽出パターン）を示す読出し指令をセンサ駆動部３２に出力し、撮像素子１６から画像データを間引き読み出しする。

ＡＦ処理部４２は、読み出された位相差画素行からＡＦ領域内の位相差検出用画素（第１の位相差画素ＺＡ及び第２の位相差画素ＺＢ）の出力データを抽出し、第１の位相差画素ＺＡの出力データ（第１の画素値）と第２の位相差画素ＺＢの出力データ（第２の画素値）との位相差を検出する。例えば、一対の第１の位相差画素ＺＡの第１の画素値と第２の位相差画素ＺＢの第２の画素値との相関が最大になるとき（一対の位相差画素の各画素値の差分絶対値の積算値が最小になるとき）の第１の画素値と第２の画素値との間の左右方向のシフト量から位相差を求める。

そして、求めたシフト量を、一対の第１の位相差画素ＺＡと第２の位相差画素ＺＢとの水平方向の位置ずれ分だけ補正した値を位相差データとして算出することができる。尚、位相差の算出方法は、上記の方法に限らず、種々の方法を適用することができる。

続いて、ＣＰＵ４０は、ＡＦ処理部４２により検出された位相差データに基づいて撮影レンズ１２（撮像光学系）によるピント位置と撮像素子１６の結像面とのずれ量（デフォーカス量）を算出する。尚、デフォーカス量の算出は、ＡＦ処理部４２で行ってもよい。

ＣＰＵ４０は、算出したデフォーカス量に基づいてデフォーカス量がゼロになるようにレンズ駆動部３６を介して撮影レンズ１２内のフォーカスレンズを移動させ、これにより位相差ＡＦを行う。

撮像素子１６は、一対の第１の位相差画素ＺＡと第２の位相差画素ＺＢとは互いに開口部が向き合って隣接配置されているため、一対の第１の位相差画素ＺＡと第２の位相差画素ＺＢとの間隔は最小となっている。これにより、位相差の空間サンプリング周波数を最大にすることができ、空間周波数の高い被写体に対する位相差ＡＦを、一対の第１の位相差画素と第２の位相差画素とが通常画素を挟んで離れて配置されているものに比べて高精度に行うことができる。

尚、動画生成時に撮像素子１６から間引き読み出しされる行には、位相差検出用画素（第１の位相差画素ＺＡ及び第２の位相差画素ＺＢ）を有する位相差画素行を含めることができ、動画の撮影中においても適切に位相差ＡＦを行うことができる。

［動画の撮影及び記録］
動画撮影モードでの動画の撮影及び記録（表示）時には、前述したようにＣＰＵ４０（第２の画像生成部）は、撮像素子１６から画像データを間引き読み出しする。図４において、撮像素子１６の●印で示した行は、動画撮影時に間引き読み出しされる行の一例を示している。

撮像素子１６から画像データを間引き読み出しする場合、行方向の画素の間引きは行わないが、画像処理部２４（第２の画像生成部）は、位相差画素行に対しては、図４に示すように位相差画素行の通常画素（Ｇ画素又はＢ画素）が配置されている位置（図４の★印で示した位置）の通常画素のみを抽出（水平１／３間引き読み出し）し、通常画素行に対しては水平３画素（同じ色の３画素）を平均し、実質的に水平１／３間引きした画素を生成する。尚、通常画素行に対し、水平３画素の平均処理の代わりに、★印で示した位置の通常画素のみを抽出（水平１／３間引き読み出し）してもよい。

このようにして間引き読み出しされた動画（第２の画像）の１フレーム画像を構成する、二次元的に配列された複数の画素は、ベイヤ配列でカラーフィルタが配置されたものとなり、また、動画は通常画素のみからなり、位相差検出用画素を補正する必要がないため、偽色が発生することがない。

即ち、位相差検出用画素（第１の位相差画素ＺＡ及び第２の位相差画素ＺＢ）の出力データは、動画のＧ画素又はＢ画素の画像データとしては使用できないが、上記のように元々、動画の１フレーム画像を構成する複数の画素は、通常画素からなり、位相差検出用画素が含まれていないため、位相差検出用画素の画像データを補間処理により生成する必要がなく、画像処理部２４での演算負荷を軽減することができる。

また、動画を構成する各フレーム画像は、フル画素の静止画に比べて画像サイズが小さいため、動画撮影モードでは、撮像素子１６を間引き駆動することができ、これにより低電力及び高速処理が可能である。

更に、動画を構成する各フレーム画像は、撮像素子１６のフィルタ配列と同様にベイヤ配列となるため、画像処理部２４は、動画の画像処理を、静止画の画像処理（例えば、デモザイク処理）と共通化にすることができる。

尚、上記のように間引き読み出しされて生成される第２の画像は、動画に限らず、フル画素の静止画よりも画像サイズの小さい静止画であってもよい。

［補間処理部］
図７は、図３に示した画像処理部２４における補間処理部の実施形態を示すブロック図である。

図７に示す補間処理部６０は、静止画撮影モードに切り替えられ、静止画（第１の画像）の撮影時に撮像素子１６から読み出された画像データ（ＲＡＷデータ）に含まれる、位相差検出用画素（第１の位相差画素ＺＡ，第２の位相差画素ＺＢ）の画素値を補正（補間）する部分であり、第１の画像を生成する第１の画像生成部の一部として機能する。

補間処理部６０は、ゲイン補間部６２、平均値補間部６４、信号勾配算出部６６、画素値加算部６８、及び最終画素値決定部６９を含んでいる。

位相差検出用画素（第１の位相差画素ＺＡ及び第２の位相差画素ＺＢ）は、周辺の通常画素に入射する光量の約半分が入射するため、通常画素よりも感度が低下し、通常画素としては使用できない。

ゲイン補間部６２は、位相差検出用画素の感度低下分を補填するように位相差検出用画素の画素値に所定のゲイン補間情報を掛けることで、通常画素と信号レベルを合わせる補間を行う。

ここで、補間処理部６０（又は画像処理部２４）は、第１の位相差画素ＺＡ又は第２の位相差画素ＺＢのうちの補正対象を注目画素とすると、ＲＡＷデータ中の注目画素の画素位置に対して設定されるゲイン補間情報を取得するゲイン補間情報取得部を含んでいる。

ゲイン補間情報取得部は、ＲＡＷデータに基づいて注目画素の画素位置に対応するゲイン補間情報を算出してもよいし、注目画素の画素位置毎にゲイン補間情報を記憶する記憶部から取得してもよい。尚、ゲイン補間情報は、ＲＡＷデータ中の注目画素の画素値と、その注目画素の周辺の同色の通常画素の平均の画素値との比により算出することができる。

平均値補間部６４は、注目画素の画素位置の周辺の画素の画素値を使用して注目画素の画素位置の画素値を生成する部分であり、平均値補間部６４には、信号勾配算出部６６により算出された信号勾配方向を示す情報と、画素値加算部６８により加算された加算画素の加算画素値が加えられている。

信号勾配算出部６６は、注目画素の画素位置における画素値を生成する際に、注目画素の画素位置の周辺の画素の信号勾配が最小になる信号勾配方向を算出する。

図８は、第１の実施形態の撮像素子における位相差検出用画素に対する平均値補間を説明するための図であり、図８上の黒丸で示した注目画素の周辺の画素に基づいて信号勾配方向を算出し、注目画素の画素位置の画素値を補間する場合に関して示している。

いま、図８に示すように、黒丸で示した注目画素（第２の位相差画素ＺＢ）の周辺の画素に基づいて信号勾配方向を算出する場合、信号勾配算出部６６は、注目画素の周辺のＧ画素の画素値を取得し、例えば、水平方向（第１の方向）の最も近い２つのＧ画素の画素間隔と２つのＧ画素の画素値の差分とから水平方向の信号勾配を算出し、同様にして垂直方向（第２の方向）の信号勾配、第１の方向と第２の方向との間の第３の方向（斜め右上方向）の信号勾配及び第４の方向（斜め右下方向）の信号勾配を算出する。信号勾配算出部６６は、算出した４方向の信号勾配のうちの最小となる信号勾配の方向を、信号勾配方向として算出する。

ここで、信号勾配方向の算出にＧ画素の画素値を使用するのは、Ｇ画素の画素値は、Ｒ画素、Ｇ画素及びＢ画素の画素値のうち、輝度信号（Ｙ）を得るために最も寄与するからであり、上記のようにして算出した信号勾配方向は、４つの方向のうちの輝度の相関が最も高い方向に相当する。

尚、図８に示す注目画素は、Ｂ画素の位置に対応するため、注目画素の周辺のＢ画素の画素値を使用して信号勾配方向を算出してもよいし、注目画素の周辺のＲＧＢ画素を使用して信号勾配方向を算出してもよい。

平均値補間部６４は、注目画素の画素位置における画素値を補間演算する場合、信号勾配算出部６６により算出された信号勾配方向であって、注目画素の画素位置を基準にした信号勾配方向に存在する、注目画素の画素位置の色と同じ色の複数の画素を検出し、検出した複数の画素の画素値を補間して注目画素の画素位置の画素値を生成する。図８に示す例では、注目画素の画素位置の色は、青（Ｂ）であるため、信号勾配方向に存在する複数のＢ画素を検出し、検出した複数のＢ画素の画素値を補間して注目画素の画素位置の画素値を生成する。

また、図８に示すように位相差画素行に隣接する上方の２行及び下方の２行には、通常画素行のみが配置されているため、平均値補間部６４は、位相差画素行、相差画素行に隣接する上方の２行及び下方の２行（合計、５行の範囲Ａ）内の通常画素（Ｂ画素）を使用することで、水平方向、垂直方向、斜め右上方向、及び斜め右下方向のうちのいずれかの方向（信号勾配方向）のＢ画素を使用して、注目画素の画素位置の画素値を生成（補間）することができる。

また、平均値補間部６４は、５行の範囲Ａの通常画素を使用することで、水平方向と斜め右上方向との中間の方向、及び水平方向と斜め右下方向との中間の方向のＢ画素を使用して、注目画素の画素位置の画素値を補間することができる。

更に、平均値補間部６４は、補間に使用する通常画素の範囲を、位相差画素行、相差画素行に隣接する上方の４行及び下方の４行（合計、９行の範囲Ｂ）に拡げると、注目画素の画素位置の画素値を補間することができる方向を増やすことができる。即ち、平均値補間部６４は、補間に使用する通常画素の範囲を、９行の範囲Ｂに拡げると、水平方向、垂直方向、斜め右上方向、及び斜め右下方向と、これらの４方向の中間の４方向との８方向のうちのいずれかの方向（信号勾配方向）のＢ画素を使用して、注目画素の画素位置の画素値を補間することができる。

尚、この場合、信号勾配算出部６６は、上記の８方向のうちの１つの方向を信号勾配方向として検出する必要があることは言うまでもない。

図９は、第１の実施形態の撮像素子における位相差検出用画素に対する平均値補間を説明するための他の図であり、図９上の黒丸で示した注目画素の周辺の画素に基づいて信号勾配方向を算出し、注目画素の画素位置の画素値を補間する場合に関して示している。

図９に示すように黒丸で示した注目画素は、第１の位相差画素ＺＡであり、注目画素の位置は、Ｇ画素の位置に対応している。したがって、信号勾配算出部６６は、注目画素の周辺のＧ画素の画素値を取得し、信号勾配方向を算出することが好ましい。

また、平均値補間部６４は、図８に示した注目画素（第２の位相差画素）の画素位置の画素値を補間演算する方法と同様に、信号勾配算出部６６が算出した注目画素の周辺の画素の信号勾配方向に基づいて、注目画素の画素位置を基準にした信号勾配方向に存在する、注目画素の画素位置の色と同じ色の複数の画素を検出し、検出した複数の画素の画素値を補間して注目画素の画素位置の画素値を生成する。

図９に示す例では、注目画素の画素位置の色は緑（Ｇ）であるため、平均値補間部６４は、信号勾配方向に存在する複数のＧ画素を検出し、検出した複数のＧ画素の画素値を補間して注目画素の画素位置の画素値を生成する。また、平均値補間部６４は、位相差画素行を含む５行の範囲Ａ内の通常画素（Ｇ画素）を使用することで、水平方向、垂直方向、斜め右上方向、及び斜め右下方向のうちのいずれかの方向のＧ画素を使用して、注目画素の画素位置の画素値を生成（補間）することができる。更に、平均値補間部６４は、補間に使用する通常画素の範囲を、位相差画素行を含む９行の範囲Ｂに拡げると、９行の範囲Ｂ内の通常画素（Ｇ画素）を使用することで、水平方向、垂直方向、斜め右上方向、及び斜め右下方向と、これらの４方向の中間の４方向との８方向のうちのいずれかの方向のＧ画素を使用して、注目画素の画素位置の画素値を補間することができる。

次に、一対の第１の位相差画素ＺＡ及び第２の位相差画素ＺＢを平均値補間に使用する場合について説明する。

図７において、画素値加算部６８は、一対の第１の位相差画素ＺＡの画素値と第２の位相差画素ＺＢの画素値とを加算し、加算画素の加算画素値を取得する。

図５を用いて説明したように、一対の第１の位相差画素ＺＡの画素値と第２の位相差画素ＺＢの画素値とを加算すると、加算した画素値（加算画素値）は、同じ画素位置における通常画素（Ｇ画素）の画素値と等しくなり、また、加算した画素（加算画素）は、一対の第１の位相差画素ＺＡと第２の位相差画素ＺＢとの中間に存在するものとして扱うことができる。

加算画素の加算画素値は、同じ画素位置におけるＧ画素の画素値に近い値になるが、厳密には一致しない。そこで、予め設定、もしくは画像データを解析することで算出した加算画素のレベル調整係数を加算画素値に乗算し、加算画素値のレベル調整を行うことが好ましい。

平均値補間部６４は、注目画素の画素位置の色が緑（Ｇ）の場合、画素値加算部により加算された加算画素の加算画素値を、その注目画素の周辺の画素うちの１つの画素の画素値として使用し、注目画素における画素値を補間演算する。

尚、注目画素の周辺の通常画素が飽和している場合、あるいは注目画素の周辺が平坦な画像の場合等では、加算画素値を平均値補間に使用しない方が好ましい。

また、信号勾配算出部６６は、注目画素の周辺が平坦な画像の場合、信号勾配方向が存在しないと判定することができる。平均値補間部６４は、信号勾配算出部６６により信号勾配方向が検出されない場合、注目画素の画素位置に最も近い同じ色の画素の画素値、又は注目画素の画素位置を基準にした補間範囲内の複数の同じ色の画素の画素値の平均値を、注目画素の画素位置の画素値とすることができる。

最終画素値決定部６９は、注目画素に対して、ゲイン補間部６２により補間された画素値と平均値補間部６４により補間された画素値のうちのいずれか一方の画素値を選択し、又は２つの画素値を重み付け加算した画素値を生成し、注目画素の画素位置における最終の画素値を決定する。例えば、注目画素の周辺の画像が平坦である場合、平均値補間した画素値が好ましく、注目画素の周辺の画像の空間周波数が高い場合、ゲイン補間した画素値が好ましい。また、ピントが合っていない領域では、平均値補間した画素値が好ましい。

上記のように補間処理部６０は、静止画の撮影時に撮像素子１６から読み出されたＲＡＷデータに含まれる、位相差検出用画素の画素値を補正（補間）し、これにより位相差検出用画素の画素位置の画素値が補正された、静止画のＲＡＷデータが生成される。

＜撮像素子の第２の実施形態＞
図１０は、撮像素子１６のカラーフィルタ配列及び位相差検出用画素の配置の第２の実施形態を示す図である。

図１０に示すように撮像素子１６の各画素に配置されるＲフィルタ、Ｇフィルタ、Ｂフィルタの第１の周期的色配列は、太線枠で示した４×４画素の基本配列パターンＰを有し、この基本配列パターンＰが水平方向及び垂直方向に隣接して配置されている。

基本配列パターンＰは、Ｇフィルタを有する２×２画素とＲフィルタを有する２×２画素とが水平方向に隣接し、Ｂフィルタを有する２×２画素とＧフィルタを有する２×２画素とが水平方向に隣接して配列されている。

第１の位相差画素ＺＡ及び第２の位相差画素ＺＢを有する位相差画素行は、一対の第１の位相差画素ＺＡ及び第２の位相差画素ＺＢと１つの通常画素（本例ではＧ画素又はＢ画素）の３画素を１周期として行方向（水平方向）に周期的に配列されている。尚、位相差画素行は、複数行置きの行（本例では、Ｇ画素及びＢ画素が配列される行）に設けられている。

上記構成の撮像素子１６において、図１０に示すように位相差画素行の通常画素（Ｇ画素又はＢ画素）が配置されている位置（図１０の★印で示した位置）から第２の方向（列方向）に延在する通常画素のみを抽出すると、抽出される複数の通常画素の各画素のカラーフィルタの色配列は、基本配列パターンＰを有する元の色配列と同じになる。

また、動画撮影モードでは、撮像素子１６は間引き駆動され、これにより低電力及び高速処理を可能にしているが、図１０に示すように撮像素子１６から一定の行間隔（図１０の●印で示した行）で画像信号を間引き読み出した場合、間引き読み出した画像信号に対応する画像において、位相差画素行の通常画素が配置されている位置から列方向に延在する通常画素のみを抽出すると、抽出される複数の通常画素の各画素のカラーフィルタの色配列は、基本配列パターンＰを有する元の色配列と同じになる。

図１１及び図１２は、それぞれ第２の実施形態の撮像素子における位相差検出用画素に対する平均値補間を説明するための図であり、図１１及び図１２の黒丸で示した注目画素の周辺の画素に基づいて信号勾配方向を算出し、注目画素の画素位置の画素値を補間する場合に関して示している。

図１１及び図１２に示すように、位相差画素行の上３行、下４行に位相差検出用画素を配置しないことで、静止画撮影モード時に取得される静止画のＲＡＷデータに含まれる位相差検出用画素の画素値を補間する場合、位相差画素行を含む８行の範囲Ｃ内の通常画素を使用することができる。

即ち、図７に示した信号勾配算出部６６は、黒丸で示した注目画素の周辺の画素に基づいて信号勾配方向（水平方向、垂直方向、斜め右上方向、及び斜め右下方向の４方向のうちのいずれかの方向）を算出し、平均値補間部６４は、信号勾配方向の同色の通常画素（８行の範囲Ｃ内の通常画素）の画素値を補間することで、注目画素の画素位置の画素値を生成（補間）する。

尚、本例のカラーフィルタ配列の場合、注目画素に隣接して同色の通常画素が、図１１の場合には３画素、図１２の場合には２画素存在するため、検出された信号勾配方向に隣接する同色の通常画素が存在する場合には、その隣接する通常画素の画素値を注目画素の画素値として用いることが好ましい。

本発明を適用可能な撮像装置の態様としては、図１に示した撮像装置１０には限定されず、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Personal Digital Assistants）、及び携帯型ゲーム機等が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。

＜スマートフォンの構成＞
図１３は、撮像装置の一実施形態であるスマートフォンの外観を示す図である。

図１３に示すスマートフォン１００は、平板状の筐体１０２を有し、筐体１０２の一方の面に表示部としての表示パネル１２１と、入力部としての操作パネル１２２とが一体となって形成される表示入力部１２０が設けられる。また、その筐体１０２は、スピーカ１３１と、マイクロホン１３２と、操作部１４０と、カメラ部１４１（撮像部）とを備える。尚、筐体１０２の構成はこれに限定されず、例えば、表示部と入力部とが独立して設けられる構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。

図１４は、図１３に示したスマートフォン１００の内部構成を示すブロック図である。図１４に示すように、スマートフォン１００の主たる構成要素として、無線通信部１１０と、表示入力部１２０と、通話部１３０と、操作部１４０と、カメラ部１４１と、記憶部１５０と、外部入出力部１６０（出力部）と、ＧＰＳ（global positioning system）受信部１７０と、モーションセンサ部１８０と、電源部１９０と、主制御部１０１とを備える。また、スマートフォン１００の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。

無線通信部１１０は、主制御部１０１の指示に従って、移動通信網に接続された基地局装置との間で無線通信を行う。その無線通信が使用されて、音声データ及び画像データ等の各種ファイルデータや電子メールデータなどの送受信、及びウェブデータやストリーミングデータなどの受信が行われる。

表示入力部１２０は、表示パネル１２１の画面上に配設された操作パネル１２２を備えたいわゆるタッチパネルであり、主制御部１０１の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、また表示した情報に対するユーザ操作を検出する。尚、操作パネル１２２を便宜上、タッチパネルとも称す。

表示パネル１２１は、ＬＣＤ(Liquid Crystal Display)又はＯＥＬＤ(Organic Electro-Luminescence Display）などを表示デバイスとして用いる。操作パネル１２２は、表示パネル１２１の表示面上に表示される画像が視認可能な状態で設けられ、ユーザの指や尖筆によって操作される１又は複数の座標を検出するデバイスである。そのデバイスがユーザの指や尖筆によって操作されると、操作パネル１２２は、操作に起因して発生する検出信号を主制御部１０１に出力する。次いで、主制御部１０１は、受信した検出信号に基づいて、表示パネル１２１上の操作位置（座標）を検出する。

図１３に例示されるスマートフォン１００の表示パネル１２１と操作パネル１２２とは一体となって表示入力部１２０を構成し、操作パネル１２２が表示パネル１２１を完全に覆うような配置となっている。その配置を採用した場合、操作パネル１２２は、表示パネル１２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル１２２は、表示パネル１２１に重なる重畳部分についての検出領域（以下、「表示領域」という）と、それ以外の表示パネル１２１に重ならない外縁部分についての検出領域（以下、「非表示領域」という）とを備えていてもよい。

尚、表示領域の大きさと表示パネル１２１の大きさとを完全に一致させてもよいが、両者を必ずしも一致させる必要はない。また、操作パネル１２２が、外縁部分及びそれ以外の内側部分の２つの感応領域を備えていてもよい。更に、その外縁部分の幅は、筐体１０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル１２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、及び静電容量方式などが挙げられ、いずれの方式が採用されてもよい。

通話部１３０は、スピーカ１３１及びマイクロホン１３２を備え、マイクロホン１３２を通じて入力されたユーザの音声を主制御部１０１にて処理可能な音声データに変換して主制御部１０１に出力したり、無線通信部１１０或いは外部入出力部１６０により受信された音声データを復号してスピーカ１３１から出力したりする。また、図１３に示すように、例えば、スピーカ１３１及びマイクロホン１３２を表示入力部１２０が設けられた面と同じ面に搭載することができる。

操作部１４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付ける。例えば、図１３に示すように、操作部１４０は、スマートフォン１００の筐体１０２の側面に搭載され、指などで押下されるとスイッチオン状態となり、指を離すとバネなどの復元力によってスイッチオフ状態となる押しボタン式のスイッチである。

記憶部１５０は、主制御部１０１の制御プログラムや制御データ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ウェブブラウジングによりダウンロードしたウェブデータ、及びダウンロードしたコンテンツデータ等を記憶し、またストリーミングデータなどを一時的に記憶する。

また、記憶部１５０は、スマートフォン内蔵の内部記憶部１５１と着脱自在な外部メモリスロットを有する外部記憶部１５２とにより構成される。尚、記憶部１５０を構成する内部記憶部１５１及び外部記憶部１５２のそれぞれは、フラッシュメモリタイプ、ハードディスクタイプ、マルチメディアカードマイクロタイプ、カードタイプのメモリ、ＲＡＭ(Random Access Memory)、或いはＲＯＭ(Read Only Memory)などの格納媒体を用いて実現される。

外部入出力部１６０は、スマートフォン１００に連結される全ての外部機器とのインターフェースの役割を果たし、通信等（例えば、ＵＳＢ（Universal Serial Bus）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、無線ＬＡＮ(Local Area Network)、ブルートゥース(Bluetooth)（登録商標）、ＲＦＩＤ(Radio Frequency Identification)、赤外線通信(Infrared Data Association：ＩｒＤＡ）、ＵＷＢ(Ultra Wideband)（登録商標）、ジグビー(ZigBee)（登録商標）など）により他の外部機器に直接的又は間接的に接続する。

スマートフォン１００に連結される外部機器としては、例えば、有線／無線ヘッドセット、有線／無線外部充電器、有線／無線データポート、カードソケットを介して接続されるメモリカード(Memory card)やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオ・ビデオＩ／Ｏ(Input/Output)端子を介して接続される外部オーディオビデオ機器、有線／無線接続される外部オーディオビデオ機器、スマートフォン、パーソナルコンピュータ、ＰＤＡ（Personal Digital Assistant）、及びイヤホンなどがある。外部入出力部１６０は、このような外部機器から伝送を受けたデータをスマートフォン１００の内部の各構成要素に伝達したり、スマートフォン１００の内部のデータが外部機器に伝送されたりするように構成されてもよい。

ＧＰＳ受信部１７０は、主制御部１０１の指示に従って、ＧＰＳ衛星ＳＴ１、ＳＴ２〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン１００の緯度、経度及び高度によって特定される位置情報（ＧＰＳ情報）を取得する。ＧＰＳ受信部１７０は、無線通信部１１０及び／又は外部入出力部１６０（例えば、無線ＬＡＮ）から位置情報を取得できる場合には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部１８０は、例えば、３軸の加速度センサなどを備え、主制御部１０１の指示に従って、スマートフォン１００の物理的な動きを検出する。スマートフォン１００の物理的な動きを検出することにより、スマートフォン１００の動く方向や加速度が検出される。その検出の結果は、主制御部１０１に出力される。

電源部１９０は、主制御部１０１の指示に従って、スマートフォン１００の各部に、バッテリ（図示しない）に蓄えられる電力を供給する。

主制御部１０１は、マイクロプロセッサを備え、記憶部１５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン１００の各部を統括して制御する。また、主制御部１０１は、無線通信部１１０を通じて音声通信及びデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能とを備える。

アプリケーション処理機能は、記憶部１５０が記憶するアプリケーションソフトウェアに従って主制御部１０１が動作することにより実現される。アプリケーション処理機能としては、例えば、外部入出力部１６０を制御することで対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、及びウェブページを閲覧するウェブブラウジング機能の他、本発明に係る画像処理機能などがある。

また、主制御部１０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部１２０に表示する等の画像処理機能を備える。また、画像処理機能には、図３に示した画像処理部２４により行われる画像処理を含む。

更に、主制御部１０１は、表示パネル１２１に対する表示制御と、操作部１４０や操作パネル１２２を通じたユーザ操作を検出する操作検出制御とを実行する。

表示制御の実行により、主制御部１０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、或いは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル１２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部１０１は、操作部１４０を通じたユーザ操作を検出したり、操作パネル１２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、或いはスクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部１０１は、操作パネル１２２に対する操作位置が、表示パネル１２１に重なる重畳部分（表示領域）に該当するか、或いはそれ以外の表示パネル１２１に重ならない外縁部分（非表示領域）に該当するかを判定し、操作パネル１２２の感応領域やソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部１０１は、操作パネル１２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部１４１は、主制御部１０１の制御により、撮像によって得た画像データを例えばＪＰＥＧ（Joint Photographic Experts Group）などの圧縮した画像データに変換し、その画像データを記憶部１５０に記録したり、外部入出力部１６０や無線通信部１１０を通じて出力したりすることができる。図１３に示すようにスマートフォン１００において、カメラ部１４１は表示入力部１２０と同じ面に搭載されているが、カメラ部１４１の搭載位置はこれに限らず、表示入力部１２０が設けられる筐体１０２の表面ではなく筐体１０２の背面にカメラ部１４１が搭載されてもよいし、或いは複数のカメラ部１４１が筐体１０２に搭載されてもよい。尚、複数のカメラ部１４１が搭載されている場合には、撮像に供するカメラ部１４１を切り替えて単独のカメラ部１４１によって撮像が行われてもよいし、或いは複数のカメラ部１４１を同時に使用して撮像が行われてもよい。

また、カメラ部１４１はスマートフォン１００の各種機能に利用することができる。例えば、カメラ部１４１で取得した画像が表示パネル１２１に表示されてもよいし、操作パネル１２２の操作入力手法の一つとして、カメラ部１４１で撮像取得される画像が利用されてもよい。また、ＧＰＳ受信部１７０が位置を検出する際に、カメラ部１４１からの画像が参照されて位置が検出されてもよい。更には、カメラ部１４１からの画像が参照されて、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン１００のカメラ部１４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部１４１からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、ＧＰＳ受信部１７０により取得された位置情報、マイクロホン１３２により取得された音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、及びモーションセンサ部１８０により取得された姿勢情報等などを静止画又は動画の画像データに付加して得られるデータを、記憶部１５０に記録したり、外部入出力部１６０や無線通信部１１０を通じて出力したりすることもできる。

［その他］
本実施形態の撮像素子は、位相差検出用画素にはＧフィルタが配置されているが、Ｇフィルタの透過波長域よりも広い波長域の光が入できるように位相差検出用画素を構成してもよい。例えば、位相差検出用画素にはＧフィルタを設けずに、透明フィルタとすることができる。これによれば、通常画素よりも開口部が小さい位相差検出用画素でも大きな画素値を取得する（位相差検出用画素を高感度にする）ことができる。

また、図４に示した撮像素子の第１の実施形態、及び図１０に示した撮像素子の第２の実施形態では、いずれも一対の第１の位相差画素ＺＡ及び第２の位相差画素ＺＢと１つの通常画素の３画素を１周期として周期的に配置して位相差画素行が構成されているが、これに限らず、例えば、一対の第１の位相差画素ＺＡ及び第２の位相差画素ＺＢと３つの通常画素の５画素を１周期として周期的に配置して位相差画素行を構成してもよい。この場合、位相差画素行の通常画素を水平１／５間引き読み出しすると、位相差画素行に対応する通常画素行と同じ色配列になる。

更に、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１ ストロボ
２ シャッタボタン
３ 電源／モードスイッチ
４ モードダイヤル
５ ズームボタン
５Ｔ テレボタン
５Ｗ ワイドボタン
６ 十字ボタン
７ ＭＥＮＵ／ＯＫボタン
８ 再生ボタン
９ ＢＡＣＫボタン
１０ 撮像装置
１２ 撮影レンズ
１４ 絞り
１５ メカシャッタ
１６ 撮像素子
１６Ａ、１６Ｂ 遮光部材
２２ 画像入力コントローラ
２４ 画像処理部
２６ 圧縮伸張処理部
２８ ビデオエンコーダ
３０ 液晶モニタ
３２ センサ駆動部
３３ シャッタ駆動部
３４ 絞り駆動部
３６ レンズ駆動部
３８ 操作部
４０ ＣＰＵ
４２ ＡＦ処理部
４４ ＡＥ検出部
４７ ＲＯＭ
４８ メモリ
５０ ＶＲＡＭ
５２ メディアコントローラ
５４ メモリカード
６０ 補間処理部
６２ ゲイン補間部
６４ 平均値補間部
６６ 信号勾配算出部
６８ 画素値加算部
６９ 最終画素値決定部
１００ スマートフォン
１０１ 主制御部
１０２ 筐体
１１０ 無線通信部
１２０ 表示入力部
１２１ 表示パネル
１２２ 操作パネル
１３０ 通話部
１３１ スピーカ
１３２ マイクロホン
１４０ 操作部
１４１ カメラ部
１５０ 記憶部
１５１ 内部記憶部
１５２ 外部記憶部
１６０ 外部入出力部
１７０ ＧＰＳ受信部
１８０ モーションセンサ部
１９０ 電源部
ＣＦ カラーフィルタ
Ｌ マイクロレンズ
Ｐ 基本配列パターン
ＰＤ フォトダイオード
ＳＴ１ ＧＰＳ衛星
ＳＴ２ ＧＰＳ衛星
ＺＡ 第１の位相差画素
ＺＢ 第２の位相差画素

本発明の更に他の態様に係る撮像装置において、第１の位相差画素及び第２の位相差画素を注目画素とし、注目画素の画素位置における画素値を生成する際に、注目画素の画素位置の周辺の画素の信号勾配が最小になる信号勾配方向を算出する信号勾配算出部を備え、第１の画像生成部は、信号勾配算出部により算出された信号勾配方向であって、注目画素の画素位置を基準にした信号勾配方向に存在する、注目画素の画素位置の色と同じ色の複数の画素を検出し、検出した複数の画素の画素値を補間して注目画素の画素位置の画素値を生成することが好ましい。

本発明の更に他の態様に係る撮像装置において、信号勾配算出部は、信号勾配方向として、第１の方向、第２の方向、第１の方向と第２の方向との間の第３の方向及び第４の方向の４方向のうちの１つの方向を算出することが好ましい。

本発明によれば、位相差検出用画素（第１の位相差画素及び第２の位相差画素）と通常画素とが周期的に第１の方向に配置された位相差画素行において、第１の位相差画素と第２の位相差画素とは互いに開口部が向き合って隣接配置されているため、位相差検出用画素の画素位置の画素値を周辺の画素の画素値の補間により生成する場合、位相差画素行に隣接する少なくとも２行の通常画素行の通常画素の画素値と、位相差画素行上の通常画素の画素値とを利用することができ、位相差検出用画素を精度よく補正することができる。また、位相差画素行において、通常画素が配置されている位置から第２の方向に延在する通常画素のみを抽出すると、抽出される通常画素には第１の周期的色配列でカラーフィルタが配置されるため、第１の周期的色配列を有する通常画素のみからなる画像を取得することができ、低電力及び高速処理に適する。更に、第１の位相差画素と第２の位相差画素とは互いに開口部が向き合って隣接配置されているため、一対の第１の位相差画素と第２の位相差画素とが、通常画素を挟んで離れて配置されているものに比べて位相差ＡＦを良好に行うことが可能である。

画像処理部２４により処理された画像データであって、ライブビュー画像として処理された画像データは、ＶＲＡＭ（Video Random access memory）５０に入力される。

圧縮伸張処理部２６は、静止画又は動画の記録時に、画像処理部２４により処理され、メモリ４８に格納された輝度データ(Ｙ)及び色差データ(Ｃｂ),(Ｃｒ)に対して圧縮処理を施す。静止画の場合には、例えばJPEG(Joint Photographic Experts Group)形式で圧縮し、動画の場合には、例えばH.264形式で圧縮する。圧縮伸張処理部２６により圧縮された圧縮画像データは、メディアコントローラ５２を介してメモリカード５４に記録される。

また、図８に示すように位相差画素行に隣接する上方の２行及び下方の２行には、通常画素行のみが配置されているため、平均値補間部６４は、位相差画素行、位相差画素行に隣接する上方の２行及び下方の２行（合計、５行の範囲Ａ）内の通常画素（Ｂ画素）を使用することで、水平方向、垂直方向、斜め右上方向、及び斜め右下方向のうちのいずれかの方向（信号勾配方向）のＢ画素を使用して、注目画素の画素位置の画素値を生成（補間）することができる。

更に、平均値補間部６４は、補間に使用する通常画素の範囲を、位相差画素行、位相差画素行に隣接する上方の４行及び下方の４行（合計、９行の範囲Ｂ）に拡げると、注目画素の画素位置の画素値を補間することができる方向を増やすことができる。即ち、平均値補間部６４は、補間に使用する通常画素の範囲を、９行の範囲Ｂに拡げると、水平方向、垂直方向、斜め右上方向、及び斜め右下方向と、これらの４方向の中間の４方向との８方向のうちのいずれかの方向（信号勾配方向）のＢ画素を使用して、注目画素の画素位置の画素値を補間することができる。

尚、本例のカラーフィルタ配列の場合、注目画素に隣接して同色の通常画素が、図１１の場合には３画素、図１２の場合には２画素存在するため、算出された信号勾配方向に隣接する同色の通常画素が存在する場合には、その隣接する通常画素の画素値を注目画素の画素値として用いることが好ましい。

［その他］
本実施形態の撮像素子は、位相差検出用画素にはＧフィルタが配置されているが、Ｇフィルタの透過波長域よりも広い波長域の光が入射できるように位相差検出用画素を構成してもよい。例えば、位相差検出用画素にはＧフィルタを設けずに、透明フィルタとすることができる。これによれば、通常画素よりも開口部が小さい位相差検出用画素でも大きな画素値を取得する（位相差検出用画素を高感度にする）ことができる。

Claims (13)

1. 第１の方向及び前記第１の方向と直交する第２の方向に二次元的に複数の位相差検出用画素と撮像用の複数の通常画素が配置された撮像素子であって、
   前記位相差検出用画素は、瞳分割用の開口部を有し、前記第１の方向に対する前記開口部の位置が互いに異なる第１の位相差画素と第２の位相差画素とからなり、かつ前記第１の位相差画素と前記第２の位相差画素とは互いに開口部が向き合って隣接配置され、
   前記複数の通常画素には第１の周期的色配列で、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の各色にそれぞれ対応する複数の第２のフィルタとが配置され、
   前記通常画素のみが前記第１の方向に配置された通常画素行と、前記第１の位相差画素及び前記第２の位相差画素と前記通常画素とが周期的に前記第１の方向に配置された位相差画素行と、を有し、
   前記位相差画素行に隣接する少なくとも２行には前記通常画素行のみが配置され、
   前記位相差画素行において、前記通常画素が配置されている位置から前記第２の方向に延在する前記通常画素のみを抽出すると、前記抽出される前記通常画素には前記第１の周期的色配列でカラーフィルタが配置されている、撮像素子。
2. 第１の方向及び前記第１の方向と直交する第２の方向に二次元的に複数の位相差検出用画素と撮像用の複数の通常画素が配置された撮像素子であって、前記位相差検出用画素は、瞳分割用の開口部を有し、前記第１の方向に対する前記開口部の位置が互いに異なる第１の位相差画素と第２の位相差画素とからなり、かつ前記第１の位相差画素と前記第２の位相差画素とは互いに開口部が向き合って隣接配置され、前記複数の通常画素には第１の周期的色配列で、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の各色にそれぞれ対応する複数の第２のフィルタとが配置され、前記通常画素のみが前記第１の方向に配置された通常画素行と、前記第１の位相差画素及び前記第２の位相差画素と前記通常画素とが周期的に前記第１の方向に配置された位相差画素行と、を有し、前記位相差画素行に隣接する少なくとも２行には前記通常画素行のみが配置され、前記位相差画素行において、前記通常画素が配置されている位置から前記第２の方向に延在する前記通常画素のみを抽出すると、前記抽出される前記通常画素には前記第１の周期的色配列でカラーフィルタが配置されている撮像素子と、
   前記撮像素子の受光面に被写体像を結像させる撮像光学系と、
   前記撮像素子の前記位相差画素行の前記第１の位相差画素から取得した第１の画素値と前記第２の位相差画素から取得した第２の画素値との位相差を検出する位相差検出部と、
   前記位相差検出部により検出された位相差に基づいて前記撮像光学系を制御するオートフォーカス制御部と、
   を備えた撮像装置。
3. 第１の画像を生成する第１のモードと第２の画像を生成する第２のモードとを切り替えるモード切替部と、
   前記モード切替部により前記第１のモードに切り替えられると、前記位相差画素行の前記第１の位相差画素及び前記第２の位相差画素の画素位置の画素値を、少なくとも前記位相差画素行の通常画素の画素値と前記位相差画素行に隣接する少なくとも２行の前記通常画素行の通常画素の画素値とに基づいて生成し、前記第１の位相差画素及び前記第２の位相差画素の画素位置の画素値を含む前記第１の画像を生成する第１の画像生成部と、
   前記モード切替部により前記第２のモードに切り替えられると、前記位相差画素行において前記通常画素が配置されている位置から前記第２の方向に延在する前記通常画素を抽出し、前記抽出した複数の通常画素から構成される前記第２の画像を生成する第２の画像生成部と、
   を備えた請求項２に記載の撮像装置。
4. 前記第１の画像生成部は、前記第１の位相差画素及び前記第２の位相差画素を注目画素とすると、前記注目画素の画素位置の周辺の画素の画素値を使用して前記注目画素の画素位置の画素値を生成する請求項３に記載の撮像装置。
5. 前記第１の位相差画素及び前記第２の位相差画素を注目画素とし、前記注目画素の画素位置における画素値を生成する際に、前記注目画素の画素位置の周辺の画素の信号勾配が最小になる信号勾配方向を算出する信号勾配算出部を備え、
   前記第１の画像生成部は、前記信号勾配算出部により検出された信号勾配方向であって、前記注目画素の画素位置を基準にした信号勾配方向に存在する、前記注目画素の画素位置の色と同じ色の複数の画素を検出し、前記検出した複数の画素の画素値を補間して前記注目画素の画素位置の画素値を生成する請求項４に記載の撮像装置。
6. 前記信号勾配算出部は、前記信号勾配方向として、前記第１の方向、前記第２の方向、前記第１の方向と前記第２の方向との間の第３の方向及び第４の方向の４方向のうちの１つの方向を検出する請求項５に記載の撮像装置。
7. 前記信号勾配算出部は、前記信号勾配方向として、前記第１の方向、前記第２の方向、前記第１の方向と前記第２の方向との間の第３の方向及び第４の方向の４方向と、前記４方向の中間の４方向との８方向のうちの１つの方向を検出する請求項５に記載の撮像装置。
8. 前記第１の画像生成部は、前記信号勾配算出部により前記信号勾配方向が検出されない場合、前記注目画素の画素位置に最も近い同じ色の画素の画素値、又は前記注目画素の画素位置を基準にした補間範囲内の複数の同じ色の画素の画素値に基づいて前記注目画素の画素位置の画素値を生成する請求項５から７のいずれか１項に記載の撮像装置。
9. 前記第１の位相差画素及び第２の位相差画素には、それぞれ前記第１のフィルタが配置され、又は前記第１のフィルタの透過波長域よりも広い波長域の光が入射し、
   前記開口部が向き合って隣接配置された前記第１の位相差画素の画素値と前記第２の位相差画素の画素値とを加算し、前記第１の位相差画素と前記第２の位相差画素との間の画素位置における加算画素値を生成する画素値加算部を有し、
   前記第１の画像生成部は、前記画素値加算部により加算された前記加算画素値を前記周辺の画素のうちの１つの画素の画素値として使用する請求項５から８のいずれか１項に記載の撮像装置。
10. 前記第１の位相差画素又は前記第２の位相差画素を注目画素とし、前記注目画素の画素位置に対して設定されるゲイン補間情報を取得するゲイン補間情報取得部を備え、
    前記第１の画像生成部は、前記注目画素の画素値と前記ゲイン補間情報取得部により取得したゲイン補間情報とに基づいて前記注目画素の画素位置における画素値をゲイン補間により生成する請求項５から９のいずれか１項に記載の撮像装置。
11. 前記第１の周期的色配列は、ベイヤ配列であり、
    前記位相差画素行は、一対の前記第１の位相差画素及び前記第２の位相差画素と１つの前記通常画素の３画素を１周期として周期的に配列される請求項１に記載の撮像素子。
12. 前記第１のフィルタは、緑色の波長帯域の光を透過させるＧフィルタであり、前記複数の第２のフィルタは、赤色の波長帯域の光を透過させるＲフィルタ及び青色の波長帯域の光を透過させるＢフィルタであり、
    前記第１の周期的色配列は、前記第１の方向及び前記第２の方向に隣接した配置される４×４画素の基本配列パターンを有し、
    前記基本配列パターンは、前記Ｇフィルタを有する２×２画素と前記Ｒフィルタを有する２×２画素とが前記第１の方向に隣接し、前記Ｂフィルタを有する２×２画素と前記Ｇフィルタを有する２×２画素とが前記第１の方向に隣接して配列され、
    前記位相差画素行は、一対の前記第１の位相差画素及び前記第２の位相差画素と１つの前記通常画素の３画素を１周期として周期的に配列される請求項１に記載の撮像素子。
13. 前記位相差画素行の前記第１の位相差画素及び前記第２の位相差画素には、それぞれ前記第１のフィルタが配置され、又は前記第１のフィルタの透過波長域よりも広い波長域の光が入射する請求項１、１１又は１２に記載の撮像素子。

Images