JPWO2014091854A1 - 画像処理装置、撮像装置、画像処理方法、及び画像処理プログラム - Google Patents

Abstract

位相差検出用画素と撮像用画素とが混在した受光面を備える固体撮像素子を搭載した画像処理装置、係る画像処理装置を備える撮像装置、係る撮像装置を用いた画像処理方法及び画像処理プログラムにより、位相差検出用画素の出力信号を適正に補正して高品質な撮像画像を得る。デジタル信号処理部１７は、補正対象画素を中心とする所定画素数毎の判定ブロックを抽出し（Ｓ１）、各判定ブロック内に被写体画像のエッジが存在し（Ｓ３：ＹＥＳ）、かつ、該エッジの方向が位相差検出用画素の位相差検出方向に直交する方向であり（Ｓ５：垂直方向）、かつ、該エッジが補正対象画素に重なる場合（Ｓ６：ＹＥＳ）には、当該ブロック内の補正対象画素の出力信号を補間補正する（Ｓ７）。

Description

本発明は、画像処理装置、撮像装置、画像処理方法、及び画像処理プログラムに関する。

固体撮像素子の受光面には、多数の受光素子（光電変換素子）が二次元アレイ状に配列形成されている。この各受光素子のうち、一部の受光素子を位相差検出用画素とし、位相差検出用画素が検出した測距用の信号から撮像画像中の主要被写体までの距離を検出できる固体撮像素子が使用されるようになってきている（例えば、特許文献１，２）。この様な固体撮像素子を用いた撮像装置では、位相差検出用画素の検出信号に基づいて、位相差ＡＦ処理を行うことができる。

位相差検出用画素は、受光面上の位相差検出用画素以外の受光素子（以下、撮像用画素という）と構造が異なる。位相差検出用画素は、例えば特許文献１，２に記載されている様に、撮像用画素に対して遮光膜開口の大きさが小さいため、位相差検出用画素の受光量は、撮像用画素の受光量より少なくなる。つまり、位相差検出用画素が検出した測距用の信号を、撮像用画素が検出した信号と同等の信号として画像を生成すると、受光面上で位相差検出用画素が存在する位置の画像データが周囲の画像データに対して劣化してしまう。

そこで、被写体の画像データを生成するときには、位相差検出用画素位置の画像データを補正する必要が生じる。この補正方法には、特許文献２に記載されているように、２種類存在する。ゲイン補正と、ゲイン補正以外の例えば補間補正である。

ゲイン補正とは、位相差検出用画素の検出信号値に所定ゲインを掛けて補正する方法である。例えば、位相差検出用画素の遮光膜開口量と撮像用画素の遮光膜開口量との比に基づくゲインを位相差検出用画素の検出信号値に乗算する方法である。

補間補正とは、位相差検出用画素を欠陥画素の様に扱い、位相差検出用画素位置の画像データを周囲の撮像用画素の出力信号の平均値（例えば、重み付け平均値）で置き換える補正方法である。

補間補正とゲイン補正のどちらが適切な補正であるかは、撮影シーンに応じて一長一短がある。そこで、特許文献２の従来技術では、被写体画像のエッジを検出し、エッジ量に応じて補間補正とゲイン補正とを切り換えて画像データを補正する様にしている。

特開２０１０―６２６４０号公報 特開２０１２―４７２９号公報

特許文献２に記載されている様に、被写体画像のエッジ量に応じた補正方法の切り換えにより、被写体画像の画質向上を図ることができる。しかし、更なる画質向上を図るには、エッジ量に応じた切り換えでは不十分であることが分かってきた。

本発明の目的は、位相差検出用画素の出力信号の補正を適切に行い高品質な被写体画像を生成することできる画像処理装置、画像処理方法、撮像装置、及び画像処理プログラムを提供することにある。

本発明の画像処理装置は、受光面に二次元アレイ状に配列された複数の撮像用画素及び複数の位相差検出用画素を有する固体撮像素子から出力される撮像画像信号を処理する画像処理装置であって、上記撮像画像信号に含まれる上記位相差検出用画素の出力信号をその出力信号にゲイン値を乗じて補正するゲイン補正処理を行うゲイン補正処理部と、上記撮像画像信号に含まれる上記位相差検出用画素の出力信号をその位相差検出用画素の周囲にあるその位相差検出用画素と同一色を検出する上記撮像用画素の出力信号を用いて生成した信号に置き換えて補正する補間補正処理を行う補間補正処理部と、上記撮像画像信号に含まれる複数の上記位相差検出用画素の出力信号の各々を、上記ゲイン補正処理部と上記補間補正処理部のいずれかによって補正する補正部と、を備え、上記補正部は、補正対象の上記位相差検出用画素とその周囲にある上記補正対象の位相差検出用画素と同一色を検出する複数の上記撮像用画素を含む判定エリア内に、上記位相差検出用画素による位相差検出方向に対して直交する方向に伸びる被写体画像のエッジが存在する第一の場合、又は、上記判定エリア内に上記位相差検出方向に対して直交する方向に伸びる被写体画像のエッジが存在しかつ上記エッジが上記補正対象の位相差検出用画素と重なっている第二の場合に、上記補正対象の位相差検出用画素の出力信号を上記補間補正処理部によって補正するものである。

本発明の撮像装置は、上記画像処理装置と、上記固体撮像素子と、を備えるものである。

本発明の画像処理方法は、受光面に二次元アレイ状に配列された複数の撮像用画素及び複数の位相差検出用画素を有する固体撮像素子から出力される撮像画像信号を処理する画像処理方法であって、上記撮像画像信号に含まれる複数の上記位相差検出用画素の出力信号の各々を、上記出力信号にゲイン値を乗じて補正するゲイン補正処理と、上記位相差検出用画素の周囲にあるその位相差検出用画素と同一色を検出する上記撮像用画素の出力信号を用いて生成した信号に置き換えて補正する補間補正処理とのいずれかによって補正する補正ステップを備え、上記補正ステップでは、補正対象の上記位相差検出用画素とその周囲にある上記補正対象の位相差検出用画素と同一色を検出する複数の上記撮像用画素を含む判定エリア内に、上記位相差検出用画素による位相差検出方向に対して直交する方向に伸びる被写体画像のエッジが存在する第一の場合、又は、上記判定エリア内に上記位相差検出方向に対して直交する方向に伸びる被写体画像のエッジが存在しかつ上記エッジが上記補正対象の位相差検出用画素と重なっている第二の場合に、上記補正対象の位相差検出用画素の出力信号を上記補間補正処理によって補正するものである。

本発明の画像処理プログラムは、受光面に二次元アレイ状に配列された複数の撮像用画素及び複数の位相差検出用画素を有する固体撮像素子から出力される撮像画像信号をコンピュータにより処理するための画像処理プログラムであって、上記撮像画像信号に含まれる複数の上記位相差検出用画素の出力信号の各々を、上記出力信号にゲイン値を乗じて補正するゲイン補正処理と、上記位相差検出用画素の周囲にあるその位相差検出用画素と同一色を検出する上記撮像用画素の出力信号を用いて生成した信号に置き換えて補正する補間補正処理とのいずれかによって補正する補正ステップをコンピュータに実行させるためのプログラムであり、上記補正ステップでは、補正対象の上記位相差検出用画素とその周囲にある上記補正対象の位相差検出用画素と同一色を検出する複数の上記撮像用画素を含む判定エリア内に、上記位相差検出用画素による位相差検出方向に対して直交する方向に伸びる被写体画像のエッジが存在する第一の場合、又は、上記判定エリア内に上記位相差検出方向に対して直交する方向に伸びる被写体画像のエッジが存在しかつ上記エッジが上記補正対象の位相差検出用画素と重なっている第二の場合に、上記補正対象の位相差検出用画素の出力信号を上記補間補正処理によって補正するプログラムである。

本発明によれば、位相差検出用画素の出力信号の補正を適切に行い高品質な被写体画像を生成することできる画像処理装置、画像処理方法、撮像装置、及び画像処理プログラムを提供することができる。

本発明の一実施形態に係るデジタルカメラの機能ブロック構成図である。 図１に示す固体撮像素子の画素配列図である。 図２の実施形態に替わる画素配列図である。 図１に示すデジタル信号処理部内の機能構成図である。 図１に示す固体撮像素子の受光面の説明図である。 本発明の一実施形態に係る画像処理手順を示すフローチャートである。 ゲイン補正を行う場合の説明図である。 エッジと補正対象画素とが重なる場合の説明図である。 補間補正を行う場合の説明図である。 エッジと補正対象画素が重なる場合の説明図である。 図６のフローチャートの変形例を示す図である。 位相差検出用画素ペアの配置の変形例を示す図である。 位相差検出用画素ペアの配置の変形例を示す図である。 本発明の別実施形態に係る撮像装置（スマートフォン）の外観図である。 図１４に示す撮像装置の機能ブロック構成図である。

以下、本発明の一実施形態について、図面を参照して説明する。

図１は、本発明の一実施形態を説明するための撮像装置の一例としてのデジタルカメラの概略構成を示す図である。図１に示すデジタルカメラの撮像系は、撮像光学系としてのレンズ装置（撮影レンズ１と絞り２とを含む）と、ＣＣＤ型やＣＭＯＳ型等の固体撮像素子５とを備えている。この固体撮像素子５は、光学的ローパスフィルタを持たないローパスフィルタ非搭載の固体撮像素子である。撮影レンズ１及び絞り２を含むレンズ装置は、カメラ本体に着脱可能又は固定となっている。

デジタルカメラの電気制御系全体を統括制御するシステム制御部１１は、フラッシュ発光部１２及び受光部１３を制御する。また、システム制御部１１は、レンズ駆動部８を制御して撮影レンズ１に含まれるフォーカスレンズの位置を調整したり、撮影レンズ１に含まれるズームレンズの位置の調整を行ったりする。更に、システム制御部１１は、絞り駆動部９を介して絞り２の開口量を制御することにより、露光量の調整を行う。

また、システム制御部１１は、固体撮像素子駆動部１０を介して固体撮像素子５を駆動し、撮影レンズ１を通して撮像した被写体像を撮像画像信号として出力させる。システム制御部１１には、操作部１４を通してユーザからの指示信号が入力される。

デジタルカメラの電気制御系は、更に、固体撮像素子５の出力に接続された相関二重サンプリング処理等のアナログ信号処理を行うアナログ信号処理部６と、このアナログ信号処理部６から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換回路７とを備える。アナログ信号処理部６及びＡ／Ｄ変換回路７は、システム制御部１１によって制御される。アナログ信号処理部６及びＡ／Ｄ変換回路７は固体撮像素子５に内蔵されることもある。

更に、このデジタルカメラの電気制御系は、メインメモリ１６と、メインメモリ１６に接続されたメモリ制御部１５と、Ａ／Ｄ変換回路７から出力される撮像画像信号に対し、同時化処理（デモザイク処理）、ガンマ補正演算、及びＲＧＢ／ＹＣ変換処理等を行って撮影画像データを生成するデジタル信号処理部１７と、圧縮伸張処理部１８と、固体撮像素子５の受光面上に所定配列パターンで配置した位相差検出用画素群の個々の検出信号から主要被写体までのデフォーカス量を演算するデフォーカス量演算部１９と、着脱自在の記録媒体２１が接続される外部メモリ制御部２０と、カメラ背面等に搭載された表示部２３が接続される表示制御部２２とを備えている。

メモリ制御部１５、デジタル信号処理部１７、圧縮伸張処理部１８、デフォーカス量演算部１９、外部メモリ制御部２０、及び表示制御部２２は、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。

図２（ａ）は、図１に示す固体撮像素子５の平面構成を示す部分拡大図である。図２（ａ）には、１２画素×１２画素の部分を図示している。各矩形枠５１が個々の画素（受光素子）を示している。固体撮像素子５は、各画素５１が、行方向Ｘ及びこれに直交する列方向Ｙに二次元アレイ状に配列されている。図２（ａ）では全ての画素５１は図示していないが、実際には、数百万〜１千数百万個程度の画素５１が二次元状に配列される。

固体撮像素子５により撮像を行うと、この多数の画素５１の各々から出力信号が得られる。各画素５１は、フォトダイオード等の光電変換部と、この光電変換部の光入射方向上方に形成された遮光膜開口及びカラーフィルタとを含む。個々の画素５１がマイクロレンズ（トップレンズ）を積層する場合もある。

図２（ａ）における空白の矩形枠は、Ｇ画素（緑色のカラーフィルタを搭載した画素）であるが、「Ｇ」の標記を省略し、図面を見易くしている。図２中の“Ｒ”と記した矩形枠は、Ｒ画素（赤色のカラーフィルタを搭載した画素）である。図２中の“Ｂ”と記した矩形枠は、Ｂ画素（青色のカラーフィルタを搭載した画素）である。

図２（ａ）に示した画素配列は、図２（ｂ）の第１配列と図２（ｃ）の第２配列とを、水平方向，垂直方向共に交互に繰り返し配列することで形成される。

図２（ｂ）の第１配列では、３×３画素群の中央及び４隅の５画素をＧ画素とし、この５画素以外の４画素のうちの同一画素列の２画素をＲ画素、残り２画素をＢ画素とすることで構成される。

また、図２（ｃ）に示す様に、３×３画素群の中央及び４隅の５画素以外の４画素のうち同一画素行の２画素をＲ画素、残り２画素をＢ画素とした配列パターンが第２配列となる。

図２（ｂ）（ｃ）に示す第１配列，第２配列を水平方向，垂直方向に交互に並べると、６画素×６画素の画素配列が水平方向，垂直方向に繰り返される配列となり、Ｇ画素が４個ずつ塊になった箇所が離散的，周期的位置に形成される。

図２（ａ）の画素配列の変形例として、図２（ｂ）の第１配列だけを水平方向，垂直方向に繰り返す配列が考えられる。また、図２（ｃ）の第２配列だけを水平方向，垂直方向に繰り返す配列も考えられる。これらの場合でも、Ｇ画素が存在する箇所は変わらない。

図３（ａ）は、図２（ａ）の画素配列の更に別の変形例を示す図である。この変形例の配列は、図３（ｂ）の第１配列と、図３（ｃ）の第２配列を水平方向，垂直方向に交互に配置することで形成される。

図３（ｂ）の第１配列は、３×３画素群の中央及び４隅の５画素をＧ画素とし、この５画素以外の４画素を斜めに隣接する２画素ずつに分け、一方の２画素をＲ画素にすると共に他方の２画素をＢ画素とすることで構成される。上記一方の２画素をＢ画素にすると共に上記他方の２画素をＲ画素とすることで、図３（ｃ）の第２配列が構成される。

この図３（ａ）の画素配列の変形例として、上記と同様に、図３（ｂ）の第１配列だけを、或いは図３（ｃ）の第２配列だけを、水平方向，垂直方向に繰り返し配列した画素配列が考えられる。この変形例でも、Ｇ画素が４画ずつ塊になった箇所が離散的，周期的位置に形成される。

本実施形態の固体撮像素子５の画素配列を、図２，図３で説明した様な画素配列としたのは、光学的ローパスフィルタレスの構造としたためである。

光学的ローパスフィルタを設ける従来の固体撮像素子では、光学的ローパスフィルタを設けることでモアレ縞等の発生を抑制し画質向上を図っている。しかし、その一方で、固体撮像素子の画素数に応じた画像解像度を犠牲にしてしまう不利がある。

図２，図３で説明した本実施形態の固体撮像素子５の画素配列は、輝度信号を得るために最も寄与する第１の色（Ｇ）に対応する第１のフィルタ（Ｇフィルタ）が、画素配列の水平、垂直、及び斜め方向の各ライン内に配置される。また、第１のフィルタに対応する第１の色の画素数の比率が、第１の色以外の２色（Ｂ，Ｒ）の第２のフィルタ（Ｂフィルタ、Ｒフィルタ）に対応する第２の色（Ｂ，Ｒ）の画素数の比率よりも大きくなる。このような配列により、高周波領域での同時化処理（デモザイク処理）の再現精度を向上させ、かつエリアシングを抑制することができる。

また、第２の色（Ｂ，Ｒ）に対応する第２のフィルタ（Ｂフィルタ、Ｒフィルタ）が、上記３×３画素群において画素配列の水平、及び垂直方向の各ライン内に１つ以上配置されるため、色モアレ（偽色）の発生を抑圧して高解像度化を図ることができる。このように、図２，図３で説明した固体撮像素子５は、光学的ローパスフィルタを用いなくてもモアレ縞や折り返し歪みの発生を抑制でき、固体撮像素子５の画素数に応じた高解像度の画像を得ることが可能となる。

更に、上記画素配列は、所定の基本配列パターンが水平方向及び垂直方向に繰り返されているため、後段での同時化処理を行う際に、繰り返しパターンにしたがって処理を行うことができ、従来のランダム配列に比べて後段の処理を簡略化することができる。

以下、固体撮像素子５が図２（ａ）に示した画素配列をもつものとして説明する。

図２（ａ）において矩形点線枠５２ａ、矩形点線枠５２ｂ、及び矩形点線枠５１ａは、それぞれ、画素に設けられた遮光膜の開口を示している。なお、図面が煩雑になるため、矩形点線枠５１ａは一箇所のみ図示している。

矩形点線枠５１ａで示す開口を含む画素は、撮像用画素である。撮像用画素は、図１に示す撮影レンズ１の異なる瞳領域を通過した一対の光（例えば撮影レンズ１の主軸に対して左側を通過した光と右側を通過した光）の双方を受光する画素である。

矩形点線枠５２ａで示す開口を含む画素と矩形点線枠５２ｂで示す開口を含む画素は、それぞれ位相差検出用画素である。

矩形点線枠５２ａの開口を持つ位相差検出用画素は、上記一対の光の一方を受光する画素であり、撮像用画素と比較すると、遮光膜開口が右側に偏心した構成となっている。

矩形点線枠５２ｂの開口を持つ位相差検出用画素は、上記一対の光の他方を受光する画素であり、撮像用画素と比較すると、遮光膜開口が左側に偏心した構成となっている。

矩形点線枠５２ａの開口を持つ位相差検出用画素と、これに近接する、矩形点線枠５２ｂの開口を持つ位相差検出用画素とは、位相差検出用画素ペアを構成する。固体撮像素子５には、この様な位相差検出用画素ペアが、受光面の内、ＡＦ検出エリアに所定パターンで形成される。

なお、図２（ａ）では、撮像用画素と位相差検出用画素の大きさを同じとし、位相差検出用画素ペアの各遮光膜開口５２ａ，５２ｂの大きさを撮像用画素とは変えて且つ偏心させることで位相差を検出できるようにしている。

しかし、位相差を検出するための位相差検出用画素の構成はこれに限らない。例えば、撮像用画素を２分割し、２つの分割画素を位相差検出用画素ペアとする構成でもよい。

図４は、図１に示すデジタルカメラのデジタル信号処理部１７の機能ブロック図である。

デジタル信号処理部１７は、ゲイン補正処理部１７１と、補間補正処理部１７２と、画像処理部１７３とを備える。これらは、デジタル信号処理部１７に含まれるプロセッサがプログラムを実行することで形成される機能ブロックである。

ゲイン補正処理部１７１は、撮像画像信号に含まれる補正対象の位相差検出用画素（以下、補正対象画素という）の出力信号を当該出力信号にゲイン値を乗じて補正するゲイン補正処理を行う。

このゲイン値は、固体撮像素子５により撮像を行って得られる撮像画像信号から求めておくことができる。この撮像画像信号は、デジタルカメラの出荷前の調整工程において基準画像を撮像して得たものであってもよいし、ライブビュー画像表示のための撮像によって得たものであってもよい。ゲイン値の算出は、例えば、固体撮像素子の受光面を、位相差検出用画素と撮像用画素が含まれる複数のブロックに分割し、それぞれのブロックの中で、同じ位相差を検出する位相差検出用画素の信号の平均値と、位相差検出用画素と同じ色を検出する撮像用画素の信号の平均値との比を取ることで、行なえる。

補間補正処理部１７２は、補正対象画素の出力信号を、当該補正対象画素の周囲にある当該補正対象画素と同一色を検出する撮像用画素の出力信号を用いた演算により生成した信号に置き換えて補正する。

画像処理部１７３は、固体撮像素子５から出力された撮像画像信号のうちの、位相差検出用画素の出力信号をゲイン補正処理部１７１又は補間補正処理部１７２によって補正し、補正後の撮像画像信号をメインメモリ１６に記録する。そして、画像処理部１７４は、記録した撮像画像信号に対し、デモザイク処理、γ補正処理、ホワイトバランス調整処理等の周知の画像処理を施して撮像画像データを生成し、これを記録媒体２１に記録する。

なお、画像処理部１７３は、補正後の撮像画像信号をＲＡＷデータとしてそのまま記録媒体２１に記録してもよい。

図５は、固体撮像素子５の受光面５４の全体を示す図である。受光面５４には、数百万〜１千数百万の画素が二次元アレイ状に配列形成される。

受光面５４のうち、焦点検出を行う中央のＡＦエリア５５内に位相差検出用画素ペアが所定パターンで形成される。このＡＦエリア５５内の位相差検出用画素の出力信号が固体撮像素子５からデジタル信号処理部１７に取り込まれる。

デジタル信号処理部１７に取り込まれた位相差検出用画素の出力信号は、オフセット処理等の必要な処理が施された後、デフォーカス量演算部１９に渡され、デフォーカス量が算出される。システム制御部１１は、このデフォーカス量に基づいてレンズ駆動部８に指令を出し、撮影レンズ１を構成するフォーカスレンズの位置を制御し、主要被写体に合焦した被写体光像を固体撮像素子５の受光面に結像させる。

固体撮像素子５の位相差検出用画素から出力される信号に基づいて上述した様に被写体までの測距を行う一方、固体撮像素子５の撮像用画素及び位相差検出用画素の出力信号から被写体の画像を生成することになる。

被写体画像を生成する場合、位相差検出用画素位置の信号をどのように求めるかについては、前述した様に、２つの方法がある。

第１の方法は補間補正であり、第２の方法はゲイン補正である。補間補正とゲイン補正のいずれが良いかは、位相差検出用画素が存在する領域の撮影シーンに依存する。このため、補間補正とゲイン補正を、撮影シーンに応じて切り換えるのが好ましい。

図６は、図１に示すデジタルカメラにおけるデジタル信号処理部１７による位相差検出用画素の出力信号の補正動作を説明するためのフローチャートである。図６に示す各ステップは、図１のデジタル信号処理部１７がシステム制御部１１からの指示によって実行する。

まず、画像処理部１７３は、位相差検出用画素が設けられるＡＦエリア５５から位相差検出用画素毎に判定ブロックを切り出し、各ブロックにナンバリング（ｉ＝１〜ｎ）を施す（ステップＳ１）。

ここで判定ブロックとは、例えば、位相差検出用画素のうち補正対象とする位相差検出用画素（補正対象画素）を中心として切り出したブロックをいう。図５の例では、５画素×５画素の２５画素領域を判定ブロック６０としている。この判定ブロック６０の大きさは任意であり、補正対象画素とそれに近接する補正対象画素と同色を検出する複数個の撮像用画素が含まれる範囲であればよい。

画像処理部１７３は、次のステップＳ２では変数ｉ＝１とする。次のステップＳ３で、画像処理部１７３は、ｉ番目のブロックに被写体画像のエッジが存在するか否かを判定する。画像中のエッジの場所は、周知の方法により検出できる。

例えば、隣接する撮像用画素の輝度の差分が閾値以上ある場合、この場所を、画像の明るさが鋭敏（クリティカル）に変化して不連続となるエッジであると検出できる。

ステップＳ３の判定の結果、ｉ番目のブロック内にエッジが存在しない場合には、ステップＳ４に進み、画像処理部１７３は、ｉ番目のブロック内の中心にある補正対象画素の出力信号をゲイン補正処理部１７１によってゲイン補正する。

ブロック内にエッジが存在する場合は、エッジを跨ぐ２つの領域間で輝度が大きく異なることになる。しかし、ブロック内にエッジが存在しない場合には、補正対象画素（位相差検出用画素）と周囲の撮像用画素とは同じ様な輝度の光を受光する。このめ、補正対象画素の受光量に所定のゲインを掛けることで、精度の高い補正を行うことができる。

ステップＳ３の判定の結果、ｉ番目のブロック内にエッジが存在した場合には、ステップＳ５に進み、画像処理部１７３は、今度はそのエッジの方向を判別する。エッジの方向として、本実施形態では、２つの方向のいずれであるか、或いは、いずれに近いかを判別する。

図２で説明した位相差検出用画素ペアは、水平方向（左右方向）の位相差を分離して検出できるように、一方の遮光膜開口５２ａと他方の遮光膜開口５２ｂとを左右方向に偏心させて設けている。

このため、位相差を分離する方向（左右方向）と、この方向に直交する方向（上下方向）の２方向を定め、斜め４５度の方向を境にしてエッジの方向が左右方向（Ｘ方向）が優位であるか、上下方向（Ｙ方向）が優位であるかを求める。

このステップＳ５の判定の結果、エッジの優位な方向が水平方向（位相差検出方向）と同じ方向の場合には、上記のステップＳ４に進み、画像処理部１７３は、ｉ番目のブロック内の中心の位相差検出用画素の出力信号をゲイン補正処理部１７１によってゲイン補正する。

図７は、ゲイン補正を行う場合の説明図である。ブロック６０内に、図示の例では、位相差検出用画素のペアが１組（２画素）存在している。図７の場合、ブロック６０内にエッジ６１が存在し、且つエッジ６１は位相差検出用画素から離れた位置となり、そのエッジ６１の方向が位相差検出方向（この実施形態では左右方向（水平方向））と同じ方向になっている。

ブロック６０においてエッジ６１で分けられる２領域のうちの一方と他方では、輝度が大きく異なるが、同じ領域内での輝度の変化は小さい。このため、補正対象画素の出力信号は、当該補正対象画素の近隣に存在し且つエッジ６１に対して同じ側（領域）に属する同色の撮像用画素に比較して、遮光膜開口量の違いだけ異なると言える。このため、この様な場合には、遮光膜開口量の違いに応じたゲイン値を信号値に乗じるゲイン補正を行うことで、補正対象画素位置における信号値と、その周囲の撮像用画素位置における信号値との差を小さくすることができる。

図８は、エッジ６１が補正対象画素に重なる場合を示している。この場合、補正対象画素の遮光膜開口５２ａには、エッジ６１を跨ぐ２領域の光が入射している。この補正対象画素の水平方向に隣接する同色の撮像用画素にも、エッジ６１を跨ぐ２領域の光が入射している。

つまり、補正対象画素の出力信号値と、補正対象画素の水平方向に隣接する同色の撮像用画素の出力信号値とは、エッジ６１によってそれぞれ同じようにレベルが落ちる。

例えば、補正対象画素の水平方向に隣接する同色の撮像用画素の出力信号値が“２０”とする。補正対象画素の遮光膜開口量を撮像用画素の遮光膜開口量の半分とすると、補正対象画素の出力信号値は、“２０×１／２＝１０”となる。このため、補正対象画素５２の出力信号に、遮光膜開口量の違いに応じたゲイン値（＝２）を乗じるゲイン補正を施せば、補正対象画素と隣接の同色撮像用画素とで、殆ど差の無い信号値を得ることが可能となる。

なお、図７と図８のケースでは、補正対象画素の出力信号を補間補正によって補正しても、補正対象画素と隣接の同色撮像用画素とで、殆ど差の無い信号値を得ることは可能である。

つまり、ステップＳ４では、画像処理部１７３がゲイン補正処理ではなく補間補正処理によって補正を行ってもよい。どちらの処理を行うかは、予め決めておいてもよいし、ブロック内のシーンを別の方法で判定し、そのシーンにとってより高い精度が得られる補正方法を選択するようにしてもよい。

ステップＳ５の判定の結果、エッジの方向が上下方向（位相差検出方向と直交する方向）の場合には、ステップＳ６に進み、画像処理部１７３は、補正対象画素の出力信号を補間補正処理部１７２によって補間補正する。

図９は、エッジの方向が上下方向であった場合の説明図である。ブロック６０内に、位相差検出方向と直交するエッジ６１が存在している。図９の例では、補正対象画素５２から外れた位置にエッジ６１が存在する。エッジ６１で切り分けられる２領域の一方の輝度と他方の輝度とは大きく異なるが、同じ領域の輝度は殆ど同じと見ることができる。

図９に示す例は、図７のケースと同様に、補正対象画素５２の出力信号値にゲイン補正を施せば、補正後の補正対象画素５２の信号値を精度良く求めることが可能である。しかし、エッジの方向が上下方向である場合は、図１０のようなケースもありえる。

図１０は、エッジの方向が上下方向であった場合の説明図である。ブロック６０内に、位相差検出方向と直交するエッジ６１が存在している。図１０の例では、補正対象画素５２と重なる位置にエッジ６１が存在し、エッジ６１の右側が明るく、左側が暗いものとする。

この場合、補正対象画素の上方向に最近接する補正対象画素と同色の撮像用画素は、遮光膜開口の半分に光が入射している。一方、補正対象画素は、遮光膜開口のすべてに光が入射している。つまり、補正対象画素とこれに隣接する同色の撮像用画素とで感度の差がないような状態になる。

したがって、この状態では、遮光膜開口量の違いに応じたゲイン値を補正対象画素の出力信号に乗じてしまうと、補正対象画素の出力信号が、それに最近接する同色の撮像用画素の出力信号よりも大きくなってしまい、ゲイン補正の精度は低下する。

そこで、画像処理部１７３は、エッジの方向が上下方向であった場合には、図１０のケースが起こりえることを想定して、ステップＳ６において、ゲイン補正を行わずに補間補正によって補正対象画素の出力信号を補正する。

ステップＳ６の補間補正では、補正対象画素に対し位相差検出方向と直交方向に存在する同色の撮像用画素の出力信号を用いた補間演算で当該補正対象画素の出力信号を求め、位相差検出方向に存在する撮像用画素の出力信号は用いないのが良い。このようにすることで、補正精度をより向上させることができる。

画像処理部１７３は、ステップＳ４又はステップＳ６の処理の後にはステップＳ７に進み、ｉ＝ｎであるか否かを判定する。即ち、全判定ブロックでのステップＳ３〜ステップＳ６の処理を終了したか否かを判定する。画像処理部１７３は、全判定ブロックでの処理を終了した場合には、処理を終了する。画像処理部１７３は、全判定ブロックでの処理を終了していない場合にはステップＳ８に進み、ｉ＝ｉ＋１として再びステップＳ３に戻る。

画像処理部１７３は、このようにして補正した位相差検出用画素の出力信号値と、撮像用画素の出力信号値とを処理して撮像画像データを生成する。これにより、高品質な画像を得ることが可能となる。

本実施形態の固体撮像素子５は、光学的ローパスフィルタレスの固体撮像素子を用いているため、エッジ６１が非常にシャープになり、図１０に示す様に、エッジ６１が位相差検出用画素ペアを左右に切り分けてしまう虞が高い。このため、この様な場合にゲイン補正を行うと、上下に隣接する位相差検出用画素の一方が明るく、他方が暗くなり、画質劣化が顕著になってしまう。しかし、エッジ６１が伸びる方向の撮像用画素の出力信号値を用いた補間補正を行うことで、画質向上を図ることができる。

上述した実施形態は、光学的ローパスフィルタを固体撮像素子５の前面に配置した固体撮像素子にも適用可能である。この場合には、エッジ６１が光学的ローパスフィルタの機能により多少ぼけるため、位相差検出用画素ペアを左右に切り分ける精度は低下し、位相差検出用画素ペアの両出力信号値は近づくことになる。このため、ゲイン補正を行っても、ローパスフィルタレスの場合に比較して画質劣化の程度は軽くなるが、上記のような補間補正を行うのが好ましい。

なお、図６の説明では、エッジ６１の方向が位相差検出方向に直交する方向であればステップＳ６にて補間補正を行うものとした。しかし、エッジ６１の方向が位相差検出方向に直交する方向でありかつ位相差検出用画素にエッジが重なっているときにのみ、ステップＳ６の補間補正を行うのがよい。

図１１は、図６に示すフローチャートの変形例を示す図である。図１１は、図６のステップＳ５とステップＳ６の間にステップＳ１０を追加したものである。ステップＳ５の判定の結果、エッジ方向が垂直方向であった場合、ステップＳ１０において、画像処理部１７３は、エッジが補正対象画素に重なっているか否かを判定する。そして、画像処理部１７３は、図１０のように、エッジが補正対象画素に重なっている場合にはステップ６の処理を行い、図９のようにエッジが補正対象画素に重なっていない場合にはステップＳ４の処理を行う。このようにすることで、エッジが補正対象画素に重なっていないケースにおいて、補正精度を上げることができる。

図６及び図１１のステップＳ６では、位相差検出用画素の出力信号値を撮像用画素の出力信号の平均値で置換することで補間補正を行うものとしたが、平均値による置換に限らず、補正対象画素の出力信号を、その周囲にある同色を検出する撮像用画素を用いて生成した信号に置き換える補間補正であれば良い。例えば、位相差検出用画素位置に対してエッジ方向に最近接する１つの同色撮像用画素の出力信号の複製で置き換える補正でも良い。

以上、本発明を特定の実施形態によって説明したが、本発明はこの実施形態に限定されるものではなく、開示された発明の技術思想を逸脱しない範囲で種々の変更が可能である。

例えば、位相差検出用画素と撮像用画素を含む固体撮像素子５の画素配列は、図２、３に示したものに限らず、他の公知の配列（例えばベイヤー配列等）を採用することができる。また、固体撮像素子５は、モノクロ撮像用の固体撮像素子としてもよい。つまり、カラーフィルタは省略してもよい。

また、図２では、位相差検出用画素ペアを上下（垂直）方向に隣接する２画素としたが、図１２に示すように、左右（水平）方向に隣接する２画素としてもよい。また、図１３に示すように、位相差検出用画素ペアを斜めに隣接する２画素としてもよい。あるいは、位相差検出用画素ペアを構成する２つの画素が隣接しておらず、数画素程度離れていても良い。更に、位相差検出用画素をＧ画素に設ける例を説明したが、Ｒ画素でも，Ｂ画素でもよい。更に、遮光膜開口５２ａ，５２ｂの形状は矩形である必要はない。

デジタル信号処理部１７が行う図６，１１に示した各ステップを、コンピュータに実行させるためのプログラムとして提供することもできる。このようなプログラムは、当該プログラムをコンピュータが読取可能な一時的でない（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ）記録媒体に記録される。

このような「コンピュータ読取可能な記録媒体」は、たとえば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−ＲＯＭ）等の光学媒体や、メモリカード等の磁気記録媒体等を含む。また、このようなプログラムを、ネットワークを介したダウンロードによって提供することもできる。

ここまではデジタルカメラについて説明してきたが、撮像装置の構成はこれに限定されない。本発明のその他の撮像装置としては、例えば、内蔵型又は外付け型のＰＣ用カメラ、或いは、以下に説明するような、撮影機能を有する携帯端末装置とすることができる。

本発明の撮像装置の一実施形態である携帯端末装置としては、例えば、携帯電話機やスマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、携帯型ゲーム機が挙げられる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。

図１４は、本発明の撮像装置の一実施形態であるスマートフォン２００の外観を示すものである。図１４に示すスマートフォン２００は、平板状の筐体２０１を有し、筐体２０１の一方の面に表示部としての表示パネル２０２と、入力部としての操作パネル２０３とが一体となった表示入力部２０４を備えている。また、この様な筐体２０１は、スピーカ２０５と、マイクロホン２０６と、操作部２０７と、カメラ部２０８とを備えている。なお、筐体２０１の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。

図１５は、図１４に示すスマートフォン２００の構成を示すブロック図である。図１５に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２０４と、通話部２１１と、操作部２０７と、カメラ部２０８と、記憶部２１２と、外部入出力部２１３と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部２１４と、モーションセンサ部２１５と、電源部２１６と、主制御部２２０とを備える。また、スマートフォン２００の主たる機能として、図示省略の基地局装置ＢＳと図示省略の移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部２１０は、主制御部２２０の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部２０４は、主制御部２２０の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２０２と、操作パネル２０３とを備える。

表示パネル２０２は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。操作パネル２０３は、表示パネル２０２の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２２０に出力する。次いで、主制御部２２０は、受信した検出信号に基づいて、表示パネル２０２上の操作位置（座標）を検出する。

図１４に示すように、本発明の撮像装置の一実施形態として例示しているスマートフォン２００の表示パネル２０２と操作パネル２０３とは一体となって表示入力部２０４を構成しているが、操作パネル２０３が表示パネル２０２を完全に覆うような配置となっている。係る配置を採用した場合、操作パネル２０３は、表示パネル２０２外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２０３は、表示パネル２０２に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２０２に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル２０２の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２０３が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体２０１の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル２０３で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部２１１は、スピーカ２０５やマイクロホン２０６を備え、マイクロホン２０６を通じて入力されたユーザの音声を主制御部２２０にて処理可能な音声データに変換して主制御部２２０に出力したり、無線通信部２１０あるいは外部入出力部２１３により受信された音声データを復号してスピーカ２０５から出力するものである。また、図１４に示すように、例えば、スピーカ２０５を表示入力部２０４が設けられた面と同じ面に搭載し、マイクロホン２０６を筐体２０１の側面に搭載することができる。

操作部２０７は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図１４に示すように、操作部２０７は、スマートフォン２００の筐体２０１の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部２１２は、主制御部２２０の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部２１２は、スマートフォン内蔵の内部記憶部２１７と着脱自在な外部メモリスロットを有する外部記憶部２１８により構成される。なお、記憶部２１２を構成するそれぞれの内部記憶部２１７と外部記憶部２１８は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

外部入出力部２１３は、スマートフォン２００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン２００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部２１３は、このような外部機器から伝送を受けたデータをスマートフォン２００の内部の各構成要素に伝達することや、スマートフォン２００の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部２１４は、主制御部２２０の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、当該スマートフォン２００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部２１４は、無線通信部２１０や外部入出力部２１３（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部２１５は、例えば、３軸の加速度センサなどを備え、主制御部２２０の指示にしたがって、スマートフォン２００の物理的な動きを検出する。スマートフォン２００の物理的な動きを検出することにより、スマートフォン２００の動く方向や加速度が検出される。係る検出結果は、主制御部２２０に出力されるものである。

電源部２１６は、主制御部２２０の指示にしたがって、スマートフォン２００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部２２０は、マイクロプロセッサを備え、記憶部２１２が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン２００の各部を統括して制御するものである。また、主制御部２２０は、無線通信部２１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。この主制御部２２０内に、図１で説明した補正方法決定部１８を設けることで、図６で説明した処理が可能となる。

アプリケーション処理機能は、記憶部２１２が記憶するアプリケーションソフトウェアにしたがって主制御部２２０が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２１３を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部２２０は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部２０４に表示する等の画像処理機能を備える。画像処理機能とは、主制御部２２０が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部２０４に表示する機能のことをいう。

更に、主制御部２２０は、表示パネル２０２に対する表示制御と、操作部２０７、操作パネル２０３を通じたユーザ操作を検出する操作検出制御を実行する。表示制御の実行により、主制御部２２０は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル２０２の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部２２０は、操作部２０７を通じたユーザ操作を検出したり、操作パネル２０３を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部２２０は、操作パネル２０３に対する操作位置が、表示パネル２０２に重なる重畳部分（表示領域）か、それ以外の表示パネル２０２に重ならない外縁部分（非表示領域）かを判定し、操作パネル２０３の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部２２０は、操作パネル２０３に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部２０８は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの固体撮像素子を用いて電子撮影するデジタルカメラである。固体撮像素子は、光学的ローパスフィルタレスが好ましいが、光学的ローパスフィルタを固体撮像素子前面に貼り付けたものでも良い。また、カメラ部２０８は、主制御部２２０の制御により、撮像によって得た画像データを例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの圧縮した画像データに変換し、記憶部２１２に記録したり、入出力部２１３や無線通信部２１０を通じて出力することができる。図１４に示すにスマートフォン２００において、カメラ部２０８は表示入力部２０４と同じ面に搭載されているが、カメラ部２０８の搭載位置はこれに限らず、表示入力部２０４の背面に搭載されてもよいし、あるいは、複数のカメラ部２０８が搭載されてもよい。なお、複数のカメラ部２０８が搭載されている場合には、撮影に供するカメラ部２０８を切り替えて単独にて撮影したり、あるいは、複数のカメラ部２０８を同時に使用して撮影することもできる。

また、カメラ部２０８はスマートフォン２００の各種機能に利用することができる。例えば、表示パネル２０２にカメラ部２０８で取得した画像を表示することや、操作パネル２０３の操作入力のひとつとして、カメラ部２０８の画像を利用することができる。また、ＧＰＳ受信部２１４が位置を検出する際に、カメラ部２０８からの画像を参照して位置を検出することもできる。更には、カメラ部２０８からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２００のカメラ部２０８の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部２０８からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部２１４により取得した位置情報、マイクロホン２０６により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２１５により取得した姿勢情報等などを付加して記録部２１２に記録したり、入出力部２１３や無線通信部２１０を通じて出力することもできる。

以上述べた実施形態では、スマートフォン等を含むデジタルカメラが位相差検出用画素位置の出力信号値を補正して精度の高い被写体画像を生成する場合を説明した。しかし、デジタルカメラ自体は、固体撮像素子５の出力信号をＲＡＷデータで出力し、コンピュータなどが取り込んだＲＡＷデータを補正して被写体画像を生成する場合にも上述した実施形態を適用可能である。

この場合、コンピュータ等は、固体撮像素子５の位相差検出用画素の位置を知っておく必要があるため、そのデータをＲＡＷデータに付けてコンピュータ等に出力すれば良い。上述したように、デジタルカメラ側が、位相差検出用画素の出力信号値を補正した後の撮像画像信号をＲＡＷデータで出力する構成とすれば、固体撮像素子の位相差検出用画素位置データは不要となる。

以上述べた様に、本明細書には以下の事項が開示されている。

開示された画像処理装置は、受光面に二次元アレイ状に配列された複数の撮像用画素及び複数の位相差検出用画素を有する固体撮像素子から出力される撮像画像信号を処理する画像処理装置であって、上記撮像画像信号に含まれる上記位相差検出用画素の出力信号をその出力信号にゲイン値を乗じて補正するゲイン補正処理を行うゲイン補正処理部と、上記撮像画像信号に含まれる上記位相差検出用画素の出力信号をその位相差検出用画素の周囲にあるその位相差検出用画素と同一色を検出する上記撮像用画素の出力信号を用いて生成した信号に置き換えて補正する補間補正処理を行う補間補正処理部と、上記撮像画像信号に含まれる複数の上記位相差検出用画素の出力信号の各々を、上記ゲイン補正処理部と上記補間補正処理部のいずれかによって補正する補正部と、を備え、上記補正部は、補正対象の上記位相差検出用画素とその周囲にある上記補正対象の位相差検出用画素と同一色を検出する複数の上記撮像用画素を含む判定エリア内に、上記位相差検出用画素による位相差検出方向に対して直交する方向に伸びる被写体画像のエッジが存在する第一の場合、又は、上記判定エリア内に上記位相差検出方向に対して直交する方向に伸びる被写体画像のエッジが存在しかつ上記エッジが上記補正対象の位相差検出用画素と重なっている第二の場合に、上記補正対象の位相差検出用画素の出力信号を上記補間補正処理部によって補正するものである。

開示された画像処理装置は、上記補間補正処理部が、上記第一の場合又は上記第二の場合には、上記補正対象の位相差検出用画素に対して上記直交する方向に存在する上記位相差検出用画素と同一色を検出する上記撮像用画素の出力信号を用いて、上記補正対象の位相差検出用画素の出力信号を補正するものである。

開示された画像処理装置は、上記固体撮像素子が光学的ローパスフィルタ非搭載であるものを含む。

開示された画像処理装置は、上記固体撮像素子が、上記二次元アレイ状に配列された複数の画素上にカラーフィルタが配列されてなり、上記カラーフィルタの配列は、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと上記第１の色以外の２色以上の第２の色に対応する第２のフィルタとが配列された３×３画素群の配列パターンを含み、上記第１のフィルタが上記３×３画素群において中心と４隅に配置され、上記配列パターンが水平方向及び垂直方向に繰り返して配置され、上記第１のフィルタに対応する第１の色の画素数の比率は、上記第２のフィルタに対応する第２の色の各色の画素数の比率よりも多く配置され、上記位相差検出用画素は上記第１のフィルタが設けられた画素に設けられるものである。

開示された撮像装置は、上記画像処理装置と、上記固体撮像素子と、を備えるものである。

開示された画像処理方法は、受光面に二次元アレイ状に配列された複数の撮像用画素及び複数の位相差検出用画素を有する固体撮像素子から出力される撮像画像信号を処理する画像処理方法であって、上記撮像画像信号に含まれる複数の上記位相差検出用画素の出力信号の各々を、上記出力信号にゲイン値を乗じて補正するゲイン補正処理と、上記位相差検出用画素の周囲にあるその位相差検出用画素と同一色を検出する上記撮像用画素の出力信号を用いて生成した信号に置き換えて補正する補間補正処理とのいずれかによって補正する補正ステップを備え、上記補正ステップでは、補正対象の上記位相差検出用画素とその周囲にある上記補正対象の位相差検出用画素と同一色を検出する複数の上記撮像用画素を含む判定エリア内に、上記位相差検出用画素による位相差検出方向に対して直交する方向に伸びる被写体画像のエッジが存在する第一の場合、又は、上記判定エリア内に上記位相差検出方向に対して直交する方向に伸びる被写体画像のエッジが存在しかつ上記エッジが上記補正対象の位相差検出用画素と重なっている第二の場合に、上記補正対象の位相差検出用画素の出力信号を上記補間補正処理によって補正するものである。

開示された画像処理プログラムは、受光面に二次元アレイ状に配列された複数の撮像用画素及び複数の位相差検出用画素を有する固体撮像素子から出力される撮像画像信号をコンピュータにより処理するための画像処理プログラムであって、上記撮像画像信号に含まれる複数の上記位相差検出用画素の出力信号の各々を、上記出力信号にゲイン値を乗じて補正するゲイン補正処理と、上記位相差検出用画素の周囲にあるその位相差検出用画素と同一色を検出する上記撮像用画素の出力信号を用いて生成した信号に置き換えて補正する補間補正処理とのいずれかによって補正する補正ステップをコンピュータに実行させるためのプログラムであり、上記補正ステップでは、補正対象の上記位相差検出用画素とその周囲にある上記補正対象の位相差検出用画素と同一色を検出する複数の上記撮像用画素を含む判定エリア内に、上記位相差検出用画素による位相差検出方向に対して直交する方向に伸びる被写体画像のエッジが存在する第一の場合、又は、上記判定エリア内に上記位相差検出方向に対して直交する方向に伸びる被写体画像のエッジが存在しかつ上記エッジが上記補正対象の位相差検出用画素と重なっている第二の場合に、上記補正対象の位相差検出用画素の出力信号を上記補間補正処理によって補正するプログラムである。

本発明に係る画像処理方法は、位相差検出用画素の出力信号の補正としてゲイン補正とゲイン補正以外の補正とを撮影シーンに応じて適切に切り換えることができる。このため、高品質な被写体画像を生成でき、デジタルカメラなどに適用すると有用である。

１ 撮影レンズ
５ 光学的ローパスフィルタレスの固体撮像素子
１１ システム制御部
１７ デジタル信号処理部
１９ デフォーカス量演算部
５１ａ，５２ａ，５２ｂ 遮光膜開口
５４ 受光面
５５ ＡＦエリア
６０ 判定ブロック
６１ 画像のエッジ
１７１ ゲイン補正処理部
１７２ 補間補正処理部
１７３ 画像処理部

Claims (7)

1. 受光面に二次元アレイ状に配列された複数の撮像用画素及び複数の位相差検出用画素を有する固体撮像素子から出力される撮像画像信号を処理する画像処理装置であって、
   前記撮像画像信号に含まれる前記位相差検出用画素の出力信号を、当該出力信号にゲイン値を乗じて補正するゲイン補正処理を行うゲイン補正処理部と、
   前記撮像画像信号に含まれる前記位相差検出用画素の出力信号を、当該位相差検出用画素の周囲に位置する当該位相差検出用画素と同一色を検出する前記撮像用画素の出力信号を用いて生成した信号に置き換えて補正する補間補正処理を行う補間補正処理部と、
   前記撮像画像信号に含まれる複数の前記位相差検出用画素の出力信号の各々を、前記ゲイン補正処理部と前記補間補正処理部のいずれかによって補正する補正部と、を備え、
   前記補正部は、補正対象の前記位相差検出用画素とその周囲に位置する前記補正対象の位相差検出用画素と同一色を検出する複数の前記撮像用画素を含む判定エリア内に、前記位相差検出用画素による位相差検出方向に対して直交する方向に伸びる被写体画像のエッジが存在する第一の場合、又は、前記判定エリア内に前記位相差検出方向に対して直交する方向に伸びる被写体画像のエッジが存在しかつ前記エッジが前記補正対象の位相差検出用画素と重なっている第二の場合に、前記補正対象の位相差検出用画素の出力信号を前記補間補正処理部によって補正する画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記補間補正処理部は、前記第一の場合又は前記第二の場合には、前記補正対象の位相差検出用画素に対して前記直交する方向に存在する前記位相差検出用画素と同一色を検出する前記撮像用画素の出力信号を用いて、前記補正対象の位相差検出用画素の出力信号を補正する画像処理装置。
3. 請求項１又は２記載の画像処理装置であって、
   前記固体撮像素子は、前記二次元アレイ状に配列された複数の画素上にカラーフィルタが配列されてなり、
   前記カラーフィルタの配列は、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタと前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとが配列された３×３画素群の配列パターンを含み、前記第１のフィルタが前記３×３画素群において中心と４隅に配置され、前記配列パターンが水平方向及び垂直方向に繰り返して配置され、
   前記第１のフィルタに対応する第１の色の画素数は、前記第２のフィルタに対応する第２の色の各色の画素数よりも多く配置され、
   前記位相差検出用画素は前記第１のフィルタが設けられた画素に設けられる画像処理装置。
4. 請求項３記載の画像処理装置であって、
   前記固体撮像素子は光学的ローパスフィルタ非搭載である画像処理装置。
5. 請求項１から４のいずれか１項記載の画像処理装置と、
   前記固体撮像素子と、を備える撮像装置。
6. 受光面に二次元アレイ状に配列された複数の撮像用画素及び複数の位相差検出用画素を有する固体撮像素子から出力される撮像画像信号を処理する画像処理方法であって、
   前記撮像画像信号に含まれる複数の前記位相差検出用画素の出力信号の各々を、前記出力信号にゲイン値を乗じて補正するゲイン補正処理と、前記位相差検出用画素の周囲に位置する当該位相差検出用画素と同一色を検出する前記撮像用画素の出力信号を用いて生成した信号に置き換えて補正する補間補正処理とのいずれかによって補正する補正ステップを備え、
   前記補正ステップでは、補正対象の前記位相差検出用画素とその周囲に位置する前記補正対象の位相差検出用画素と同一色を検出する複数の前記撮像用画素を含む判定エリア内に、前記位相差検出用画素による位相差検出方向に対して直交する方向に伸びる被写体画像のエッジが存在する第一の場合、又は、前記判定エリア内に前記位相差検出方向に対して直交する方向に伸びる被写体画像のエッジが存在しかつ前記エッジが前記補正対象の位相差検出用画素と重なっている第二の場合に、前記補正対象の位相差検出用画素の出力信号を前記補間補正処理によって補正する画像処理方法。
7. 受光面に二次元アレイ状に配列された複数の撮像用画素及び複数の位相差検出用画素を有する固体撮像素子から出力される撮像画像信号をコンピュータにより処理するための画像処理プログラムであって、
   前記撮像画像信号に含まれる複数の前記位相差検出用画素の出力信号の各々を、前記出力信号にゲイン値を乗じて補正するゲイン補正処理と、前記位相差検出用画素の周囲に位置する当該位相差検出用画素と同一色を検出する前記撮像用画素の出力信号を用いて生成した信号に置き換えて補正する補間補正処理とのいずれかによって補正する補正ステップをコンピュータに実行させるためのプログラムであり、
   前記補正ステップでは、補正対象の前記位相差検出用画素とその周囲に位置する前記補正対象の位相差検出用画素と同一色を検出する複数の前記撮像用画素を含む判定エリア内に、前記位相差検出用画素による位相差検出方向に対して直交する方向に伸びる被写体画像のエッジが存在する第一の場合、又は、前記判定エリア内に前記位相差検出方向に対して直交する方向に伸びる被写体画像のエッジが存在しかつ前記エッジが前記補正対象の位相差検出用画素と重なっている第二の場合に、前記補正対象の位相差検出用画素の出力信号を前記補間補正処理によって補正する画像処理プログラム。

Images