JP2013219736A - 画像処理装置、撮像装置および画像処理プログラム - Google Patents

Abstract

【課題】ステレオ撮像装置のそれぞれの撮影光学系に対応した出力画像をカラー画像として取得する必要があった。
【解決手段】被写体像のカラーを構成する特定色において、第１視点に対応する第１視点カラー画像データから対象画素位置における特定色の画素値を抽出し、第２視点および第３視点に対応する第２視点カラー画像データ及び第３視点カラー画像データからそれぞれのカラー画像データの第１色成分と第２色成分の画素値を抽出し、第２視点カラー画像データの新たに求める特定色の画素値を、第２視点の新たに求める特定色の画素値と第１視点カラー画像データの特定色の画素値との間の差が、第２視点カラー画像データの第１色成分の画素値と第３視点カラー画像データの第１色成分の画素値との間の差、及び第２視点カラー画像データの第２色成分の画素値と第３視点カラー画像データの第２色成分の画素値との間の差との和に対して相関を保つように算出する。
【選択図】図１５

Description

本発明は、画像処理装置、撮像装置および画像処理プログラムに関する。

２つの撮影光学系を用いて、右目用の画像と左目用の画像とから成るステレオ画像を取得するステレオ撮像装置が知られている。このようなステレオ撮像装置は、２つの撮像光学系を一定の間隔で配置することにより、同一の被写体を撮像して得られる２つの画像に視差を生じさせる。
［先行技術文献］
［特許文献］
［特許文献１］ 特開平８−４７００１号公報

右目用の画像および左目用の画像をそれぞれカラー画像として取得するには、ステレオ撮像装置のそれぞれの撮影光学系に対応した出力画像を、カラー画像として取得する必要があった。

本発明の第１の態様における画像処理装置は、被写体像のカラーを構成する複数の色成分の一つであるＸ成分色において、被写体像を捉える複数の視点の一つである第１視点に対応する１Ｘ画素値を有するカラー画像データから、対象画素位置における１Ｘ画素値を抽出し、複数の色成分の一つであるＡ成分色において、第１視点とは異なる第２視点および第３視点に対応する２Ａ画素値および３Ａ画素値を有するカラー画像データから、対象画素位置における２Ａ画素値および３Ａ画素値を抽出し、複数の色成分の一つであってＡ成分色とは異なるＢ成分色において、第２視点および第３視点に対応する２Ｂ画素値および３Ｂ画素値を有するカラー画像データから、対象画素位置における２Ｂ画素値および３Ｂ画素値を抽出する画素値抽出部と、Ｘ成分色に対する第２視点の２Ｘ画素値または第３視点の３Ｘ画素値と、１Ｘ画素値との差が、２Ａ画素値と３Ａ画素値との差に、２Ｂ画素値と３Ｂ画素値との差を加えた値に対して相関を保つように２Ｘ画素値および３Ｘ画素値の少なくともいずれかを算出する算出部とを備える。

本発明の第２の態様における撮像装置は、被写体像を撮像する撮像素子と、上記の画像処理装置とを備える撮像装置であって、画素値抽出部は、撮像素子が出力する第１視点に対応する１Ｘ画素値を有するカラー画像データから第１画素値を抽出し、撮像素子が出力する第２視点および第３視点に対応する２Ａ画素値および３Ａ画素値を有するカラー画像データから２Ａ画素値および３Ａ画素値を抽出する。

本発明の第３の態様における画像処理プログラムは、被写体像のカラーを構成する複数の色成分の一つであるＸ成分色において、被写体像を捉える複数の視点の一つである第１視点に対応する１Ｘ画素値を有するカラー画像データから、対象画素位置における１Ｘ画素値を抽出する第１抽出ステップと、複数の色成分の一つであるＡ成分色において、第１視点とは異なる第２視点および第３視点に対応する２Ａ画素値および３Ａ画素値を有するカラー画像データから、対象画素位置における２Ａ画素値および３Ａ画素値を抽出し、複数の色成分の一つであってＡ成分色とは異なるＢ成分色において、第２視点および第３視点に対応する２Ｂ画素値および３Ｂ画素値を有するカラー画像データから、対象画素位置における２Ｂ画素値および３Ｂ画素値を抽出する第２抽出ステップと、Ｘ成分色に対する第２視点の２Ｘ画素値または第３視点の３Ｘ画素値と、１Ｘ画素値との差が、２Ａ画素値と３Ａ画素値との差に、２Ｂ画素値と３Ｂ画素値との差を加えた値に対して相関を保つように２Ｘ画素値および３Ｘ画素値の少なくともいずれかを算出する算出ステップとをコンピュータに実行させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本発明の実施形態に係るデジタルカメラの構成を説明する図である。 本発明の実施形態に係る撮像素子の断面の構成を説明する図である。 撮像素子の一部を拡大した様子を表す概略図である。 視差画素と被写体の関係を説明する概念図である。 視差画像を生成する処理を説明する概念図である。 ベイヤー配列を説明する図である。 第１実施例における繰り返しパターン１１０の配列を説明する図である。 第１実施例における視差画素の画素間隔の関係を説明する図である。 ２Ｄ画像データとしてのＧ_Ｎプレーンデータ、Ｒ_Ｎプレーンデータ、Ｂ_Ｎプレーンデータの生成処理の例を説明する図である。 左視差画像データとしてのＧ_Ｌｔプレーンデータ、Ｂ_Ｌｔプレーンデータ、Ｒ_Ｌｔプレーンデータの生成処理の例を説明する図である。 右視差画像データとしてのＧ_Ｒｔプレーンデータ、Ｂ_Ｒｔプレーンデータ、Ｒ_Ｒｔプレーンデータの生成処理の例を説明する図である。 デフォーカスの概念を説明する図である。 視差画素デフォーカスの概念を説明する図である。 視差なし画素と視差画素の光強度分布を示す図である。 高精細な２Ｄ画像データから、高精細なカラー視差プレーンデータを生成する生成処理を説明する概念図である。 視差カラー画像データを生成するまでの処理フローである。 開口形状を説明する図である。 繰り返しパターン１１０のバリエーションの一例を示す図である。 補間処理を説明する図である。 デフォーカスの概念を説明する図である。 視差画素デフォーカスの概念を説明する図である。 一例としての実空間の配列とｋ空間を示す図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

画像処理装置および撮像装置の一形態である本実施形態に係るデジタルカメラは、１つのシーンについて複数の視点数の画像を一度の撮影により生成できるように構成されている。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。

＜第１実施形態＞
図１は、本発明の実施形態に係るデジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、撮影光学系としての撮影レンズ２０を備え、光軸２１に沿って入射する被写体光束を撮像素子１００へ導く。撮影レンズ２０は、デジタルカメラ１０に対して着脱できる交換式レンズであっても構わない。デジタルカメラ１０は、撮像素子１００、制御部２０１、Ａ／Ｄ変換回路２０２、メモリ２０３、駆動部２０４、画像処理部２０５、メモリカードＩＦ２０７、操作部２０８、表示部２０９、ＬＣＤ駆動回路２１０およびＡＦセンサ２１１を備える。

なお、図示するように、撮像素子１００へ向かう光軸２１に平行な方向をＺ軸プラス方向と定め、Ｚ軸と直交する平面において紙面手前へ向かう方向をＸ軸プラス方向、紙面上方向をＹ軸プラス方向と定める。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図１では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、二次元的に複数の光電変換素子が配列された、例えばＣＣＤ、ＣＭＯＳセンサ等のイメージセンサである。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してＡ／Ｄ変換回路２０２へ出力する。

Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画像信号をデジタル画像信号に変換してメモリ２０３へ出力する。画像処理部２０５は、メモリ２０３をワークスペースとして種々の画像処理を施し、画像データを生成する。特に、画像処理部２０５は、２Ｄカラー画像データおよび低解像度の視差カラー画像データの対象画素位置から画素値を抽出する画素値抽出部２３１、抽出した画素値を用いて対象画素位置における高精細な視差カラー画像データとしての画素値を算出する算出部２３３を有する。それぞれの処理の詳細については、後述する。

画像処理部２０５は、他にも選択された画像フォーマットに従って画像データを調整するなどの画像処理一般の機能も担う。生成された画像データは、ＬＣＤ駆動回路２１０により表示信号に変換され、表示部２０９に表示される。また、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録される。

ＡＦセンサ２１１は、被写体空間に対して複数の測距点が設定された位相差センサであり、それぞれの測距点において被写体像のデフォーカス量を検出する。一連の撮影シーケンスは、操作部２０８がユーザの操作を受け付けて、制御部２０１へ操作信号を出力することにより開始される。撮影シーケンスに付随するＡＦ，ＡＥ等の各種動作は、制御部２０１に制御されて実行される。例えば、制御部２０１は、ＡＦセンサ２１１の検出信号を解析して、撮影レンズ２０の一部を構成するフォーカスレンズを移動させる合焦制御を実行する。

次に、撮像素子１００の構成について詳細に説明する。図２は、本発明の実施形態に係る撮像素子１００の断面を表す概略図である。

撮像素子１００は、被写体側から順に、マイクロレンズ１０１、カラーフィルタ１０２、開口マスク１０３、配線層１０５および光電変換素子１０８が配列されて構成されている。光電変換素子１０８は、入射する光を電気信号に変換するフォトダイオードにより構成される。光電変換素子１０８は、基板１０９の表面に二次元的に複数配列されている。

光電変換素子１０８により変換された画像信号、光電変換素子１０８を制御する制御信号等は、配線層１０５に設けられた配線１０６を介して送受信される。また、各光電変換素子１０８に一対一に対応して設けられた開口部１０４を有する開口マスク１０３が、配線層に接して設けられている。開口部１０４は、後述するように、対応する光電変換素子１０８ごとにシフトされて、相対的な位置が厳密に定められている。詳しくは後述するが、この開口部１０４を備える開口マスク１０３の作用により、光電変換素子１０８が受光する被写体光束に視差が生じる。

一方、視差を生じさせない光電変換素子１０８上には、開口マスク１０３が存在しない。別言すれば、対応する光電変換素子１０８に対して入射する被写体光束を制限しない、つまり入射光束の全体を通過させる開口部１０４を有する開口マスク１０３が設けられているとも言える。視差を生じさせることはないが、実質的には配線１０６によって形成される開口１０７が入射する被写体光束を規定するので、配線１０６を、視差を生じさせない入射光束の全体を通過させる開口マスクと捉えることもできる。開口マスク１０３は、各光電変換素子１０８に対応して別個独立に配列しても良いし、カラーフィルタ１０２の製造プロセスと同様に複数の光電変換素子１０８に対して一括して形成しても良い。

カラーフィルタ１０２は、開口マスク１０３上に設けられている。カラーフィルタ１０２は、各光電変換素子１０８に対して特定の波長帯域を透過させるように着色された、光電変換素子１０８のそれぞれに一対一に対応して設けられるフィルタである。カラー画像を出力するには、互いに異なる少なくとも２種類のカラーフィルタが配列されれば良いが、より高画質のカラー画像を取得するには３種類以上のカラーフィルタを配列すると良い。例えば赤色波長帯を透過させる赤フィルタ（Ｒフィルタ）、緑色波長帯を透過させる緑フィルタ（Ｇフィルタ）、および青色波長帯を透過させる青フィルタ（Ｂフィルタ）を格子状に配列すると良い。具体的な配列については後述する。

マイクロレンズ１０１は、カラーフィルタ１０２上に設けられている。マイクロレンズ１０１は、入射する被写体光束のより多くを光電変換素子１０８へ導くための集光レンズである。マイクロレンズ１０１は、光電変換素子１０８のそれぞれに一対一に対応して設けられている。マイクロレンズ１０１は、撮影レンズ２０の瞳中心と光電変換素子１０８の相対的な位置関係を考慮して、より多くの被写体光束が光電変換素子１０８に導かれるようにその光軸がシフトされていることが好ましい。さらには、開口マスク１０３の開口部１０４の位置と共に、後述の特定の被写体光束がより多く入射するように配置位置が調整されても良い。

このように、各々の光電変換素子１０８に対応して一対一に設けられる開口マスク１０３、カラーフィルタ１０２およびマイクロレンズ１０１の一単位を画素と呼ぶ。特に、視差を生じさせる開口マスク１０３が設けられた画素を視差画素、視差を生じさせる開口マスク１０３が設けられていない画素を視差なし画素と呼ぶ。例えば、撮像素子１００の有効画素領域が２４ｍｍ×１６ｍｍ程度の場合、画素数は１２００万程度に及ぶ。

なお、集光効率、光電変換効率が良いイメージセンサの場合は、マイクロレンズ１０１を設けなくても良い。また、裏面照射型イメージセンサの場合は、配線層１０５が光電変換素子１０８とは反対側に設けられる。また、開口マスク１０３の開口部１０４に色成分を持たせれば、カラーフィルタ１０２と開口マスク１０３を一体的に形成することもできる。

また、本実施形態においては、開口マスク１０３と配線１０６を別体として設けているが、視差画素における開口マスク１０３の機能を配線１０６が担っても良い。すなわち、規定される開口形状を配線１０６により形成し、当該開口形状により入射光束を制限して特定の部分光束のみを光電変換素子１０８へ導く。この場合、開口形状を形成する配線１０６は、配線層１０５のうち最も光電変換素子１０８側であることが好ましい。

また、開口マスク１０３は、光電変換素子１０８に重ねて設けられる透過阻止膜によって形成されても良い。この場合、開口マスク１０３は、例えば、ＳｉＮ膜とＳｉＯ_２膜を順次積層して透過阻止膜とし、開口部１０４に相当する領域をエッチングで除去して形成される。

次に、開口マスク１０３の開口部１０４と、生じる視差の関係について説明する。図３は、撮像素子１００の一部を拡大した様子を表す概略図である。ここでは、説明を簡単にすべく、カラーフィルタ１０２の配色については後に言及を再開するまで考慮しない。カラーフィルタ１０２の配色に言及しない以下の説明においては、同色のカラーフィルタ１０２を有する視差画素のみを寄せ集めたイメージセンサであると捉えることができる。したがって、以下に説明する繰り返しパターンは、同色のカラーフィルタ１０２における隣接画素として考えても良い。

図３に示すように、開口マスク１０３の開口部１０４は、それぞれの画素に対して相対的にシフトして設けられている。そして、隣接する画素同士においても、それぞれの開口部１０４は互いに変位した位置に設けられている。

図の例においては、それぞれの画素に対する開口部１０４の位置として、互いに左右方向にシフトした６種類の開口マスク１０３が用意されている。そして、撮像素子１００の全体は、紙面左側から右側へ徐々にシフトする開口マスク１０３をそれぞれ有する６つの視差画素を一組とする光電変換素子群が、二次元的かつ周期的に配列されている。

図４は、視差画素と被写体の関係を説明する概念図である。特に図４（ａ）は撮像素子１００のうち撮影光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔの光電変換素子群を示し、図４（ｂ）は周辺部分に配列されている繰り返しパターン１１０ｕの光電変換素子群を模式的に示している。図４（ａ）、（ｂ）における被写体３０は、撮影レンズ２０に対して合焦位置に存在する。図４（ｃ）は、図４（ａ）に対応して、撮影レンズ２０に対して非合焦位置に存在する被写体３１を捉えた場合の関係を模式的に示している。

まず、撮影レンズ２０が合焦状態に存在する被写体３０を捉えている場合の、視差画素と被写体の関係を説明する。被写体光束は、撮影レンズ２０の瞳を通過して撮像素子１００へ導かれるが、被写体光束が通過する全体の断面領域に対して、６つの部分領域Ｐａ〜Ｐｆが規定されている。そして、例えば繰り返しパターン１１０ｔ、１１０ｕを構成する光電変換素子群の紙面左端の画素は、拡大図からもわかるように、部分領域Ｐｆから射出された被写体光束のみが光電変換素子１０８へ到達するように、開口マスク１０３の開口部１０４ｆの位置が定められている。同様に、右端の画素に向かって、部分領域Ｐｅに対応して開口部１０４ｅの位置が、部分領域Ｐｄに対応して開口部１０４ｄの位置が、部分領域Ｐｃに対応して開口部１０４ｃの位置が、部分領域Ｐｂに対応して開口部１０４ｂの位置が、部分領域Ｐａに対応して開口部１０４ａの位置がそれぞれ定められている。

別言すれば、例えば部分領域Ｐｆと左端画素の相対的な位置関係によって定義される、部分領域Ｐｆから射出される被写体光束（部分光束）の主光線Ｒｆの傾きにより、開口部１０４ｆの位置が定められていると言っても良い。そして、合焦位置に存在する被写体３０からの被写体光束を、開口部１０４ｆを介して光電変換素子１０８が受光する場合、その被写体光束は、点線で図示するように、光電変換素子１０８上で結像する。同様に、右端の画素に向かって、主光線Ｒｅの傾きにより開口部１０４ｅの位置が、主光線Ｒｄの傾きにより開口部１０４ｄの位置が、主光線Ｒｃの傾きにより開口部１０４ｃの位置が、主光線Ｒｂの傾きにより開口部１０４ｂの位置が、主光線Ｒａの傾きにより開口部１０４ａの位置がそれぞれ定められていると言える。

図４（ａ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１と交差する被写体３０上の微小領域Ｏｔから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ〜Ｐｆを介して、一つの微小領域Ｏｔから放射される光束を受光している。微小領域Ｏｔは、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。同様に、図４（ｂ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１から離間した被写体３０上の微小領域Ｏｕから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ〜Ｐｆを介して、一つの微小領域Ｏｕから放射される光束を受光している。微小領域Ｏｕも、微小領域Ｏｔと同様に、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。

つまり、被写体３０が合焦位置に存在する限りは、撮像素子１００上における繰り返しパターン１１０の位置に応じて、光電変換素子群が捉える微小領域が異なり、かつ、光電変換素子群を構成する各画素は互いに異なる部分領域を介して同一の微小領域を捉えている。そして、それぞれの繰り返しパターン１１０において、対応する画素同士は同じ部分領域からの被写体光束を受光している。つまり、図においては、例えば繰り返しパターン１１０ｔ、１１０ｕのそれぞれの左端の画素は、同じ部分領域Ｐｆからの部分光束を受光している。

撮影光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔにおいて左端画素が部分領域Ｐｆからの被写体光束を受光する開口部１０４ｆの位置と、周辺部分に配列されている繰り返しパターン１１０ｕにおいて左端画素が部分領域Ｐｆからの被写体光束を受光する開口部１０４ｆの位置は厳密には異なる。しかしながら、機能的な観点からは、部分領域Ｐｆからの被写体光束を受光するための開口マスクという点で、これらを同一種類の開口マスクとして扱うことができる。したがって、図４の例では、撮像素子１００上に配列される視差画素のそれぞれは、６種類の開口マスクの一つを備えると言える。

次に、撮影レンズ２０が非合焦状態に存在する被写体３１を捉えている場合の、視差画素と被写体の関係を説明する。この場合も、非合焦位置に存在する被写体３１からの被写体光束は、撮影レンズ２０の瞳の６つの部分領域Ｐａ〜Ｐｆを通過して、撮像素子１００へ到達する。ただし、非合焦位置に存在する被写体３１からの被写体光束は、光電変換素子１０８上ではなく他の位置で結像する。例えば、図４（ｃ）に示すように、被写体３１が被写体３０よりも撮像素子１００に対して遠い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体３１側で結像する。逆に、被写体３１が被写体３０よりも撮像素子１００に対して近い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体３１とは反対側で結像する。

したがって、非合焦位置に存在する被写体３１のうち、微小領域Ｏｔ'から放射される被写体光束は、６つの部分領域Ｐａ〜Ｐｆのいずれを通過するかにより、異なる組の繰り返しパターン１１０における対応画素に到達する。例えば、部分領域Ｐｄを通過した被写体光束は、図４（ｃ）の拡大図に示すように、主光線Ｒｄ'として、繰り返しパターン１１０ｔ'に含まれる、開口部１０４ｄを有する光電変換素子１０８へ入射する。そして、微小領域Ｏｔ'から放射された被写体光束であっても、他の部分領域を通過した被写体光束は、繰り返しパターン１１０ｔ'に含まれる光電変換素子１０８へは入射せず、他の繰り返しパターンにおける対応する開口部を有する光電変換素子１０８へ入射する。換言すると、繰り返しパターン１１０ｔ'を構成する各光電変換素子１０８へ到達する被写体光束は、被写体３１の互いに異なる微小領域から放射された被写体光束である。すなわち、開口部１０４ｄに対応する１０８へは主光線をＲｄ'とする被写体光束が入射し、他の開口部に対応する光電変換素子１０８へは主光線をＲａ^＋、Ｒｂ^＋、Ｒｃ^＋、Ｒｅ^＋、Ｒｆ^＋とする被写体光束が入射するが、これらの被写体光束は、被写体３１の互いに異なる微小領域から放射された被写体光束である。このような関係は、図４（ｂ）における周辺部分に配列されている繰り返しパターン１１０ｕにおいても同様である。

すると、撮像素子１００の全体で見た場合、例えば、開口部１０４ａに対応する光電変換素子１０８で捉えた被写体像Ａと、開口部１０４ｄに対応する光電変換素子１０８で捉えた被写体像Ｄは、合焦位置に存在する被写体に対する像であれば互いにずれが無く、非合焦位置に存在する被写体に対する像であればずれが生じることになる。そして、そのずれは、非合焦位置に存在する被写体が合焦位置に対してどちら側にどれだけずれているかにより、また、部分領域Ｐａと部分領域Ｐｄの距離により、方向と量が定まる。つまり、被写体像Ａと被写体像Ｄは、互いに視差像となる。この関係は、他の開口部に対しても同様であるので、開口部１０４ａから１０４ｆに対応して、６つの視差像が形成されることになる。

したがって、このように構成されたそれぞれの繰り返しパターン１１０において、互いに対応する画素の出力を寄せ集めると、視差画像が得られる。つまり、６つの部分領域Ｐａ〜Ｐｆうちの特定の部分領域から射出された被写体光束を受光した画素の出力は、視差画像を形成する。

図５は、視差画像を生成する処理を説明する概念図である。図は、左列から順に、開口部１０４ｆに対応する視差画素の出力を集めて生成される視差画像データＩｍ＿ｆの生成の様子、開口部１０４ｅの出力による視差画像データＩｍ＿ｅの生成の様子、開口部１０４ｄの出力による視差画像データＩｍ＿ｄの生成の様子、開口部１０４ｃの出力による視差画像データＩｍ＿ｃの生成の様子、開口部１０４ｂの出力による視差画像データＩｍ＿ｂの生成の様子、開口部１０４ａの出力による視差画像データＩｍ＿ａの生成の様子を表す。まず開口部１０４ｆの出力による視差画像データＩｍ＿ｆの生成の様子について説明する。

６つの視差画素を一組とする光電変換素子群から成る繰り返しパターン１１０は、横一列に配列されている。したがって、開口部１０４ｆを有する視差画素は、視差なし画素を除いた仮想的な撮像素子１００上において、左右方向に６画素おき、かつ、上下方向に連続して存在する。これら各画素は、上述のようにそれぞれ異なる微小領域からの被写体光束を受光している。したがって、これらの視差画素の出力を寄せ集めて配列すると、視差画像が得られる。

しかし、本実施形態における撮像素子１００の各画素は正方画素であるので、単に寄せ集めただけでは、横方向の画素数が１／６に間引かれた結果となり、縦長の画像データが生成されてしまう。そこで、補間処理を施して横方向に６倍の画素数とすることにより、本来のアスペクト比の画像として視差画像データＩｍ＿ｆを生成する。ただし、そもそも補間処理前の視差画像データが横方向に１／６に間引かれた画像であるので、横方向の解像度は、縦方向の解像度よりも低下している。つまり、生成される視差画像データの数と、解像度の向上は相反関係にあると言える。なお、本実施形態に適用する具体的な補間処理については後述する。

同様にして、視差画像データＩｍ＿ｅ〜視差画像データＩｍ＿ａが得られる。すなわち、デジタルカメラ１０は、横方向に視差を有する６視点の視差画像を生成することができる。

上述のように開口部の画素中心からのずれを６種類持たせたときに、それぞれの視差画素が瞳分割光学系として働き、６つの視点の視差画素を生み出す例を説明してきた。ここで主に述べたのは各々の視差画素がそれぞれ異なる視点の被写体像を結像し、異なる種類の視差画素の間では、視点の異なる像の間へ視差を生むということである。

視差画素による瞳分割光学系は単に視差を生み出すという事実だけでなく、視差が生み出されるのは合焦位置からずれた非合焦位置のボケた被写体像にのみ、その非合焦度に応じて視差を生み出すという重要な事実が存在する。

この様子を通常の視差なし画素と２視差（左視差、右視差）に場合の説明図を図２０、図２１（図１２、１３、１４に対応）に示す。1つの光学系を通ってきた光は、右視差画素にとっては光学系の左側に仮想瞳があるような光学像を結像し、左視差画素にとっては光学系の右側に仮想瞳があるような光学像を結像する。したがって、ピント位置の被写体像の点像分布関数は鋭く結像し、どちらの仮想瞳を通っても同じように鋭い点像分布をもった視差のない被写体像を結像する。他方、ピント位置から前後にボケた被写***置の点像分布関数は、ピント位置から離れるに従ってボケ幅の大きい広がりを示すとともに結像の中心位置は左右に分離してゆき、視差が生まれる。この２つに分離した点像分布関数を加算合成した１つの点像分布関数は、視差なし画素に結像される点像分布関数に一致し、そのピーク位置は、仮想瞳によって2つに分離した光学像の点像分布関数の真ん中に位置する。

このボケの中にだけ視差が存在し、ボケ具合が大きくなるほど視差量が増大しているという重要な事実に着目し本実施形態では、高解像な２Ｄ画像と３Ｄ画像を同時に取得するための色・視差配列を入力した場合の例について説明する。

１．色・視差多重化モザイク画像データの入力
次に、カラーフィルタ１０２と視差画像について説明する。図６は、ベイヤー配列を説明する図である。図示するように、ベイヤー配列は、Ｇフィルタが左上（Ｇｂ）と右下（Ｇｒ）の２画素に、Ｒフィルタが左下の１画素に、Ｂフィルタが右上の１画素に割り当てられる配列である。

このようなカラーフィルタ１０２の配列に対して、視差画素と視差なし画素を、何色の画素にどのような周期で割り振っていくかにより、膨大な数の繰り返しパターン１１０が設定され得る。視差なし画素の出力を集めれば、通常の撮影画像と同じく視差のない撮影画像データを生成することができる。したがって、相対的に視差なし画素の割合を増やせば、解像度の高い２Ｄ画像を出力させることができる。この場合、視差画素は相対的に少ない割合となるので、複数の視差画像からなる３Ｄ画像としては画質が低下する。逆に、視差画素の割合を増やせば、３Ｄ画像としては画質が向上するが、視差なし画素は相対的に減少するので、解像度の低い２Ｄ画像が出力される。ＲＧＢのいずれの画素に対しても視差画素を割り振れば、３Ｄ画像でありながら、色再現性の良い高品質のカラー画像データとなる。

理想的には、２Ｄ画像であっても３Ｄ画像であっても、高解像度、高品質のカラー画像データが出力されることが望ましい。ところで、３Ｄ画像において観察者が視差を感じる画像領域は、図４、図１２、図１３、図１４を用いて説明した視差の発生原理からも理解されるように、同一の被写体像が互いにずれる非合焦領域である。したがって、観察者が視差を感じる画像領域は、ピントの合っている主要被写体に対して高周波成分が少ないと言える。すると、３Ｄ画像を生成するに当たっては、視差が生じている領域において、それほど高解像でない画像データが存在すれば足りることになる。

ピントの合っている画像領域については２Ｄ画像データから切り出し、ピントの合っていない画像領域については３Ｄ画像データを切り出して、それぞれの視差画像データを合成により生成することができる。あるいは、詳しくは後述するが、高解像データである２Ｄ画像データを基礎とし、３Ｄ画像データの各画素における相対的な差を足し合わせて、高解像なそれぞれの視差画像データを生成することができる。このような画像処理を採用することを前提とすれば、撮像素子１００においては、視差画素の数は、視差なし画素の数よりも少なくて良い。換言すれば、視差画素が相対的に少なくても、比較的解像度の高い３Ｄ画像を生成することができると言える。

この場合、３Ｄ画像をカラー画像として生成するには、互いに異なる少なくとも２種類のカラーフィルタが配列されれば良いが、本実施形態においては、図６を用いて説明したベイヤー配列のように、更なる高画質化のためにＲＧＢの３種類のカラーフィルタを採用する。特に、視差画素の数が相対的に少ない本実施形態においては、視差画素は、それぞれの種類の開口部１０４に対して、ＲＧＢの３種類のカラーフィルタのいずれかが設けられたすべての組み合わせを含む。例えば、開口部１０４が中心よりも左側に偏心した視差Ｌｔ画素と、同じく右側に偏心した視差Ｒｔ画素を想定すると、視差Ｌｔ画素は、Ｒフィルタを備えた画素、Ｇフィルタを備えた画素、Ｂフィルタを備えた画素を含み、視差Ｒｔ画素は、Ｒフィルタを備えた画素、Ｇフィルタを備えた画素、Ｂフィルタを備えた画素を含む。すなわち撮像素子１００は、６種類の視差画素を有する。このような撮像素子１００から出力される画像データは、いわゆる立体視を実現する鮮やかなカラー視差画像データの基礎となる。なお、２種類の開口部に対して２種類のカラーフィルタを組み合わせる場合には、撮像素子１００は、４種類の視差画素を有する。

図７は、第１実施例における繰り返しパターン１１０の配列を説明する図である。デジタルカメラ１０の座標系は、Ｘ軸、Ｙ軸、Ｚ軸で定義したが、繰り返しパターン１１０内においては、左端かつ上端の画素を基準に右方向にｘ軸を、下方向にｙ軸を定義する。第１実施例における繰り返しパターン１１０は、４画素を基本単位とするベイヤー配列を、ｙ軸方向に４つ、ｘ軸方向に４つ含み、６４画素から構成される。この繰り返しパターン１１０は、６４画素から成る画素群を一組として、撮像素子１００の有効画素領域を上下左右に周期的に配列されている。すなわち、撮像素子１００は、図の太線で示す繰り返しパターン１１０を基本格子とする。なお、繰り返しパターン１１０内の画素をＰ_ｘｙで表す。例えば、左上画素はＰ_１１であり、右上画素はＰ_８１である。

第１実施例における視差画素は、開口部１０４が中心よりも左側に偏心した視差Ｌｔ画素と、同じく右側に偏心した視差Ｒｔ画素の２種類の開口マスク１０３のいずれかを有する。図に示すように、視差画素は以下のように配列されている。

Ｐ_１１…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ_Ｌｔ）
Ｐ_５１…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ_Ｒｔ）
Ｐ_３２…視差Ｌｔ画素＋Ｂフィルタ（＝Ｂ_Ｌｔ）
Ｐ_６３…視差Ｒｔ画素＋Ｒフィルタ（＝Ｒ_Ｒｔ）
Ｐ_１５…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ_Ｒｔ）
Ｐ_５５…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ_Ｌｔ）
Ｐ_７６…視差Ｒｔ画素＋Ｂフィルタ（＝Ｂ_Ｒｔ）
Ｐ_２７…視差Ｌｔ画素＋Ｒフィルタ（＝Ｒ_Ｌｔ）
他の画素は視差なし画素であり、視差無し画素＋Ｒフィルタ（＝Ｒ_Ｎ）、視差なし画素＋Ｇフィルタ（＝Ｇ_Ｎ）、視差無し画素＋Ｂフィルタ（＝Ｂ_Ｎ）のいずれかである。

このように、基本格子の中に開口部とカラーフィルタのすべての組み合わせによる視差画素を含み、かつ視差画素よりも多い視差なし画素の中にランダム性を有して配置されている配列が好ましい。特に、各カラーフィルタ別にカウントした場合でも、視差なし画素の方が視差画素よりも多いことが好ましい。第１実施例の場合、Ｇ_Ｎ＝２８個に対して、Ｇ_Ｌｔ＋Ｇ_Ｒｔ＝２＋２＝４個であり、Ｒ_Ｎ＝１４個に対して、Ｒ_Ｌｔ＋Ｒ_Ｒｔ＝２個、Ｂ_Ｎ＝１４個に対して、Ｂ_Ｌｔ＋Ｂ_Ｒｔ＝２個である。また、上記の通り、人間の視感特性を考慮して、Ｇフィルタを有する視差画素および視差なし画素は、他のカラーフィルタを有するそれぞれよりも多く配列されている。

いいかえると、視差画素に対してもＲ、Ｇ、Ｂ全てのカラー情報を備えることにより、より高度で正確な立体用の色分布構造を捉えようとしている。

そのＲＧＢ比率は、右視差画素についても、左視差画素についても視差なし画素についても全てＢａｙｅｒ配列と同じＲ：Ｇ：Ｂ＝１：２：１の構成をとる。更に視差なし画素が通常のＢａｙｅｒ配列の空間分解能をできるだけ保つように視差画素を疎な密度でできるだけ相互に離して分布させる。すなわち、ある色成分の同じ右視差画素同士の間や同じ左視差画素同士へ間では等間隔に等方性を保って並べると共に、ある色成分の右視差画素と左視差画素との間の距離も最も離れるように等間隔に並べる。そして色成分を無視した場合の右視差画素同士の間の距離や色成分を無視した場合の左視差画素同士の間の距離ができるだけ離れるように配置して、視差情報を均一に取得するようにする。

なお、実施例１では視差なし画素と左視差画素と右視差画素の画素数比がＮ：Ｌｔ：Ｒｔ＝１４：１：１にあり、視差なし画素の空間解像度はＢａｙｅｒ配列に極めて近い状態を保っている。更に、視差画素を互いに最も離れて配置したことにより、視差なし画素が隣接して同時に情報を失う心配がなくなり、ナイキスト周波数を含む高い周波数成分を解像する性能を保持する。

図８は、第１実施例における視差画素の画素間隔の関係を説明する図である。図においては、図７で示した繰り返しパターン１１０を９個（＝３×３）並べて示す。

図示する通り、Ｇ_Ｌｔ画素のｘ軸方向における間隔もｙ軸方向における間隔も、Ｇ_Ｌｔｐで表される等間隔である。また、対となるＧ_Ｒｔ画素についても、ｘ軸方向における間隔もｙ軸方向における間隔も、Ｇ_Ｒｔｐで表される等間隔であり、かつ、Ｇ_ＲｔｐはＧ_Ｌｔｐと等しい。更にはＧ_Ｌｔ画素の位置からＸ、Ｙの一方向にだけＧ_Ｌｔｐの距離だけ進めたところにＧ_Ｒｔ画素が存在する。

同様に、Ｒ_Ｌｔ画素のｘ軸方向における間隔もｙ軸方向における間隔も、Ｒ_Ｌｔｐで表される等間隔である。また、対となるＲ_Ｒｔ画素についても、ｘ軸方向における間隔もｙ軸方向における間隔も、Ｒ_Ｒｔｐで表される等間隔であり、かつ、Ｒ_ＲｔｐはＲ_Ｌｔｐと等しい。更にはＲ_Ｌｔ画素の位置からＸ、Ｙ両方向にＲ_Ｌｔｐの半分の距離だけ進めたところにＲ_Ｒｔ画素が存在する。

さらに、Ｂ_Ｌｔ画素のｘ軸方向における間隔もｙ軸方向における間隔も、Ｂ_Ｌｔｐで表される等間隔である。また、対となるＢ_Ｒｔ画素についても、ｘ軸方向における間隔もｙ軸方向における間隔も、Ｂ_Ｒｔｐで表される等間隔であり、かつ、Ｂ_ＲｔｐはＢ_Ｌｔｐと等しい。更にはＢ_Ｌｔ画素の位置からＸ、Ｙ両方向にＢ_Ｌｔｐの半分の距離だけ進めたところにＢ_Ｒｔ画素が存在する。

すなわち、カラーフィルタの種類ごとにみた場合、開口マスクの種類ごとに、他の開口マスクが対応付けられた視差画素および視差なし画素に挟まれて、２次元方向のいずれに対しても、等間隔で配置されている。換言すれば、２次元方向に、等方かつ均等に配置されている。このように視差画素が配置されることにより、視差画像の出力時に縦方向と横方向で解像感が異ならず、かつ、２Ｄ画像の解像感に対する悪影響も軽減できる。

こうして得られた色・視差画素配列の様子を図２２にまとめるとともに、その実空間配列に対応する周波数空間における解像域すなわち分解能もｋ空間図として示す。波数ｋは周波数ｆとｋ＝２πｆの関係で結ばれる。実空間の格子間隔をａとすると、その逆格子空間を表わすのがｋ空間であり、解像域は逆格子空間の第１ブリルアンゾーンによって表わされる。（たとえば、本出願人と同一発明者のＵＳ２０１０／０２１８５３や日本特許第４２３９４８３号を参照。）

図２２を見ると撮像段階における疎な左視差画素と疎な右視差画素の解像力は密な視差なし画素に比べて低い。その分、密な視差なし画素はＢａｙｅｒ配列に匹敵するような解像力を持っている。

したがって、後述するように一旦視差なし画素を補間して、２Ｄカラー画像Ｒ_Ｎ、Ｇ_Ｎ、Ｂ_Ｎを生成し、更に予め、疎な左視差画像Ｒ_Ｌｔ、Ｇ_Ｌｔ、Ｂ_Ｌｔと疎な右視差画像Ｒ_Ｒｔ、Ｇ_Ｒｔ、Ｂ_Ｒｔを生成しておく。そうして、これらから視差なし画素を中間的に利用して、最終的に密な左視差画像Ｒ'_Ｌｔ、Ｇ'_Ｌｔ、Ｂ'_Ｌｔと密な右視差画像Ｒ'_Ｒｔ、Ｇ'_Ｒｔ、Ｂ'_Ｒｔを以下のように疎な視差画像で視差変調を加えることによって得ることができる。

こうして、視差なし画素の高周波成分が新たに生成する視差あり画像に重畳されて、視差あり画像、すなわち３Ｄ画像も２Ｄ画像と同じ高解像な画像を得ることができる。いいかえると、合焦域近辺のわずかにピントがはずれて視差が少しだけ発生しているような画像領域では、視差なし画像の高解像な画像をゆるやかに変化する視差画像の状態を参照しながら左方向や右方向に少しだけずらす変位処理が視差変調によって行われる。

また、非合焦域の大きくボケた領域の被写体像は視差なし画像の解像力を最大限に保持しながら、ゆるやかに変化する視差あり画像の横方向の空間分解能を最大限に活用して大規模に横ずらしが行われる。

いいかえると、視差変調効果を最大限に発揮させるには視差あり画像が持つ空間分解能が水平方向に高いことが画素配列の条件として挙げられる。

最初に６視差の例で示したように、左右の視差画素を水平方向に並べて水平解像を落としてしまうような構域はこのような観点からは望ましくなく、水平方向に高い分解能を持った視差画素配列が求められる。このような条件を満たすように配置したのが等方的な視差画素配列であり、図２２のｋ空間図で等方的な解像を示している。

以上のように、撮像素子１００を構成する各画素は、開口部１０４に着目した場合の視差画素と視差なし画素、およびカラーフィルタ１０２に着目した場合のＲ画素、Ｇ画素、Ｂ画素が組み合わされて特徴付けられる。したがって、撮像素子１００の出力をその画素配列に一致させてそのまま羅列しても、特定の像を表す画像データにはならない。すなわち、撮像素子１００の画素出力を、同一に特徴付けられた画素グループごとに分離して寄せ集めてはじめて、その特徴に即した一つの像を表す画像データが形成される。例えば、既に図５を用いて説明したように、視差画素の出力をその開口部の種類ごとに寄せ集めると、互いに視差を有する複数の視差画像データが得られる。このように、同一に特徴付けられた画素グループごとに分離して寄せ集められたそれぞれの画像データを、プレーンデータと呼ぶ。

画像処理部２０５は、撮像素子１００の画素配列順にその出力値が羅列されたＲＡＷ元画像データを受け取り、複数のプレーンデータに分離する。この時点における各プレーンデータは、ＲＡＷ元画像データにおいて出力値が存在する画素位置にのみ出力値が存在する。そこで、画像処理部２０５は、各プレーンデータを基に補間処理を行い、空格子が埋められたプレーンデータを生成する。以下に、補間処理によって空格子が埋められたプレーンデータの生成処理について、図７を用いて説明した第１実施例の撮像素子１００からの出力を例に説明する。

２．視差なし画像の生成
図９は、２Ｄ画像データとしてのＧ_Ｎプレーンデータ、Ｒ_Ｎプレーンデータ、Ｂ_Ｎプレーンデータの生成処理の例を説明する図である。上段の図のそれぞれは、撮像素子１００における一つの繰り返しパターン１１０およびその周囲の出力の一部を、その画素配列に一致させてそのまま羅列した様子を示す。具体的には、上図は左側から順に、Ｇ画素のみを抽出したＧ_０プレーンデータを示す図、Ｒ画素のみを抽出したＲ_０プレーンデータを示す図、Ｂ画素のみを抽出したＢ_０プレーンデータを示す図である。図においては、図７の例に則して画素の種類が理解されるように記載するが、実際には各画素に対応した出力値が並ぶ。

Ｇ_Ｎプレーンデータを生成するにあたり、画像処理部２０５は、まず、撮像素子１００の全出力値から視差なし画素Ｇ_Ｎの画素値以外を除去して空格子とすることにより、Ｇ_０プレーンデータを生成する。そして、画像処理部２０５は、空格子となった画素値を、周辺の視差なし画素Ｇ_Ｎの画素値を用いて補間処理により算出する。例えば、空格子Ｐ_１１の画素値は、斜め方向に隣接する視差なし画素Ｇ_Ｎの画素値である、Ｐ_−１−１、Ｐ_２−１、Ｐ_−１２、Ｐ_２２の画素値を平均化演算して算出される。ここに６４×６４画素の基本格子の外側にある画素位置は負のインデックスを用いた。同様に、空格子Ｐ_５５の画素値は、斜め方向に隣接する視差なし画素Ｇ_Ｎの画素値である、Ｐ_４４、Ｐ_６４、Ｐ_４６、Ｐ_６６の画素値を平均化演算して算出される。一方、例えば空格子Ｐ_２７の画素値は、上下左右に隣接する視差なし画素Ｇ_Ｎの画素値である、Ｐ_１７、Ｐ_２６、Ｐ_３７、Ｐ_２８の画素値を平均化演算して算出される。また、空格子Ｐ_５２の画素値は、左右および下方向に隣接する視差なし画素Ｇ_Ｎの画素値である、Ｐ_４２、Ｐ_６２、Ｐ_５３の画素値を平均化演算して算出される。

画像処理部２０５は、全ての空格子に対して、隣接する視差なし画素Ｇ_Ｎの画素値を平均化演算し補間処理を行うことによって、図９の下左図に示すように、Ｇ_Ｎプレーンデータを生成する。なお、画像処理部２０５は、補間処理により算出された画素値を用いて、さらに補間処理を行ってもよいし、ＲＡＷ元画像データの段階で存在する出力値のみを用いて補間処理を行ってもよい。

Ｒ_Ｎプレーンデータを生成するにあたり、画像処理部２０５は、まず、撮像素子１００の全出力値から視差なし画素Ｒ_Ｎの画素値以外を除去して空格子とすることにより、Ｒ_０プレーンデータを生成する。そして、画像処理部２０５は、空格子となった画素値を、周辺の視差なし画素Ｒ_Ｎの画素値を用いて補間処理により算出する。例えば空格子Ｐ_６３の画素値は、上下左右に１画素飛ばして隣接する視差なし画素Ｒ_Ｎの画素値である、Ｐ_４３、Ｐ_６１、Ｐ_８３、Ｐ_６５の画素値を平均化演算して算出される。同様に、空格子Ｐ_２７の画素値は、上下左右に１画素飛ばして隣接する視差なし画素Ｒ_Ｎの画素値である、Ｐ_−１７、Ｐ_２５、Ｐ_４７、Ｐ_２９の画素値を平均化演算して算出される。一方、例えば、空格子Ｐ_１２の画素値は、斜め方向に隣接する視差なし画素Ｒ_Ｎの画素値である、Ｐ_−１１、Ｐ_２１、Ｐ_−１３、Ｐ_２３の画素値を平均化演算して算出される。画像処理部２０５は、全ての空格子に対して、隣接する視差なし画素Ｒ_Ｎの画素値を平均化演算し補間処理を行うことによって、図９の下中図に示すように、Ｒ_Ｎプレーンデータを生成する。

Ｂ_Ｎプレーンデータを生成するにあたり、画像処理部２０５は、まず、撮像素子１００の全出力値から視差なし画素Ｂ_Ｎの画素値以外を除去して空格子とすることにより、Ｂ_０プレーンデータを生成する。そして、画像処理部２０５は、空格子となった画素値を、周辺の視差なし画素Ｂ_Ｎの画素値を用いて補間処理により算出する。例えば空格子Ｐ_３２の画素値は、上下左右に１画素飛ばして隣接する視差なし画素Ｂ_Ｎの画素値である、Ｐ_１２、Ｐ_３−１、Ｐ_５２、Ｐ_３４の画素値を平均化演算して算出される。同様に、空格子Ｐ_７６の画素値は、上下左右に１画素飛ばして隣接する視差なし画素Ｂ_Ｎの画素値である、Ｐ_５６、Ｐ_７４、Ｐ_９６、Ｐ_７８の画素値を平均化演算して算出される。一方、例えば、空格子Ｐ_２７の画素値は、斜め方向に隣接する視差なし画素Ｂ_Ｎの画素値である、Ｐ_１６、Ｐ_３６、Ｐ_１８、Ｐ_３８の画素値を平均化演算して算出される。画像処理部２０５は、全ての空格子に対して、隣接する視差なし画素Ｂ_Ｎの画素値を平均化演算し補間処理を行うことによって、図９の下右図に示すように、Ｂ_Ｎプレーンデータを生成する。

３．仮の視差画像の生成
図１０は、左視差画像データとしてのＧ_Ｌｔプレーンデータ、Ｒ_Ｌｔプレーンデータ、Ｂ_Ｌｔプレーンデータの生成処理の例を説明する図である。

Ｇ_Ｌｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＧ_Ｌｔ画素の画素値以外の画素値を除去して空格子とすることにより、Ｇ_Ｌｔ０プレーンデータを生成する。すると、繰り返しパターン１１０には、Ｐ_１１とＰ_５５の２つの画素値が残る。そこで、繰り返しパターン１１０を縦横に４等分し、左上の１６画素分をＰ_１１の出力値Ｇ_Ｌｔ１で代表させ、右下の１６画素分をＰ_５５の出力値Ｇ_Ｌｔ２で代表させる。そして、右上の１６画素分の画素値Ｇ_Ｌｔ３および左下の１６画素分の画素値Ｇ_Ｌｔ４は、上下左右に隣接する周辺の代表値を平均化演算して補間する。すなわち、Ｇ_Ｌｔ０プレーンデータは、１６画素単位で一つの値を有する。これは一般にニアレストネイバと呼ばれる補間とバイリニアと呼ばれる補間を組み合わせた方法である。より望ましくは空格子の画素値を近傍に存在する画素値の距離に応じた平均値で補間するバイリニア補間を単独で使うのがよい。以上のようにして、画像処理部２０５は、Ｇ_Ｌｔプレーンデータを生成する。

Ｒ_Ｌｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＲ_Ｌｔ画素の画素値以外の画素値を除去して空格子とすることにより、Ｒ_Ｌｔ０プレーンデータを生成する。すると、繰り返しパターン１１０には、Ｐ_２７の画素値Ｒ_Ｌｔ１が残る。画像処理部２０５は、この画素値Ｒ_Ｌｔ１を繰り返しパターン１１０の６４画素分の代表値とすることにより、Ｒ_Ｌｔプレーンデータを生成する。これはニアレストネイバ補間であるが、より望ましくはバイリニア補間をするのがよい。

同様に、Ｂ_Ｌｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＢ_Ｌｔ画素の画素値以外の画素値を除去して空格子とすることにより、Ｂ_Ｌｔ０プレーンデータを生成する。すると、繰り返しパターン１１０には、Ｐ_３２の画素値Ｂ_Ｌｔ１が残る。画像処理部２０５は、この画素値Ｂ_Ｌｔ１を繰り返しパターン１１０の６４画素分の代表値とすることにより、Ｂ_Ｌｔプレーンデータを生成する。これはニアレストネイバ補間であるが、より望ましくはバイリニア補間をするのがよい。

このようにして、画像処理部２０５は、２Ｄ画像データとしてのＧ_Ｎプレーンデータ、Ｒ_Ｎプレーンデータ、Ｂ_Ｎプレーンデータよりは解像度の低いＧ_Ｌｔプレーンデータ、Ｒ_Ｌｔプレーンデータ、Ｂ_Ｌｔプレーンデータを生成することができる。

図１１は、右視差画像データとしてのＧ_Ｒｔプレーンデータ、Ｒ_Ｒｔプレーンデータ、Ｂ_Ｒｔプレーンデータの生成処理の例を説明する図である。

Ｇ_Ｒｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＧ_Ｒｔ画素の画素値以外の画素値を除去して空格子とすることにより、Ｇ_Ｒｔ０プレーンデータを生成する。すると、繰り返しパターン１１０には、Ｐ_５１とＰ_１５の２つの画素値が残る。そこで、繰り返しパターン１１０を縦横に４等分し、右上の１６画素分をＰ_５１の出力値Ｇ_Ｒｔ３で代表させ、左下の１６画素分をＰ_１５の出力値Ｇ_Ｒｔ４で代表させる。そして、左上の１６画素分の画素値Ｇ_Ｒｔ１および右下の１６画素分の画素値Ｇ_Ｒｔ２は、上下左右に隣接する周辺の代表値を平均化演算して補間する。すなわち、Ｇ_Ｒｔプレーンデータは、１６画素単位で一つの値を有する。これは一般にニアレストネイバと呼ばれる補間とバイリニアと呼ばれる補間を組み合わせた方法である。より望ましくは空格子の画素値を近傍に存在する画素値の距離に応じた平均値で補間するバイリニア補間を単独で使うのがよい。以上のようにして、画像処理部２０５は、Ｇ_Ｒｔプレーンデータを生成する。

Ｒ_Ｒｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＲ_Ｒｔ画素の画素値以外の画素値を除去して空格子とすることにより、Ｒ_Ｒｔ０プレーンデータを生成する。すると、繰り返しパターン１１０には、Ｐ_６３の画素値Ｒ_Ｒｔ１が残る。画像処理部２０５は、この画素値Ｒ_Ｒｔ１を繰り返しパターン１１０の６４画素分の代表値とすることにより、Ｒ_Ｒｔプレーンデータを生成する。これはニアレストネイバ補間であるが、より望ましくはバイリニア補間をするのがよい。

同様に、Ｂ_Ｒｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＢ_Ｒｔ画素の画素値以外の画素値を除去して空格子とすることにより、Ｂ_Ｒｔ０プレーンデータを生成する。すると、繰り返しパターン１１０には、Ｐ_７６の画素値Ｂ_Ｒｔ１が残る。画像処理部２０５は、この画素値Ｂ_Ｒｔ１を繰り返しパターン１１０の６４画素分の代表値とすることにより、Ｂ_Ｒｔプレーンデータを生成する。これはニアレストネイバ補間であるが、より望ましくはバイリニア補間をするのがよい。

このようにして、画像処理部２０５は、２Ｄ画像データとしてのＧ_Ｎプレーンデータ、Ｒ_Ｎプレーンデータ、Ｂ_Ｎプレーンデータよりは解像度の低いＧ_Ｒｔプレーンデータ、Ｒ_Ｒｔプレーンデータ、Ｂ_Ｒｔプレーンデータを生成することができる。なお、これまで説明してきたニアレストネイバ補間やバイリニア補間ではなくバイキュービック補間を用いてもよい。

本実施形態においては、画像処理部２０５は、図９〜１１のそれぞれの下図に示した９つのプレーンデータを用いて、左側視点のカラー画像データおよび右側視点のカラー画像データを生成する。具体的な処理に先立って、まず生成原理について説明する。

図１２は、デフォーカスの概念を説明する図である。図１２（ａ）で示すように、被写体である物点が焦点位置に存在する場合、レンズ瞳を通って撮像素子受光面に到達する被写体光束は、対応する像点の画素を中心として急峻な光強度分布を示す。すなわち、レンズ瞳を通過する有効光束の全体を受光する視差なし画素が像点近傍に配列されていれば、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値は急激に低下する。

一方、図１２（ｂ）に示すように、物点が焦点位置からずれると、被写体光束は、物点が焦点位置に存在する場合に比べて、撮像素子受光面においてなだらかな光強度分布を示す。すなわち、対応する像点の画素における出力値が低下する上に、より周辺画素まで出力値を有する分布を示す。

また、図１２（ｃ）に示すように、さらに物点が焦点位置からずれると、被写体光束は、撮像素子受光面においてよりなだらかな光強度分布を示す。すなわち、対応する像点の画素における出力値がさらに低下する上に、より周辺画素まで出力値を有する分布を示す。

次に、視差Ｌｔ画素および視差Ｒｔ画素が受光する場合のデフォーカスの概念を説明する。図１３は、視差画素デフォーカスの概念を説明する図である。視差Ｌｔ画素および視差Ｒｔ画素は、レンズ瞳の部分領域としてそれぞれ光軸対象に設定された２つの視差仮想瞳のいずれかから到達する被写体光束を受光する。

図１３（ａ）で示すように、被写体である物点が焦点位置に存在する場合、いずれの視差仮想瞳を通った被写体光束であっても、対応する像点の画素を中心として急峻な光強度分布を示す。像点付近に視差Ｌｔ画素が配列されていれば、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。また、像点付近に視差Ｒｔ画素が配列されていても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。すなわち、被写体光束がいずれの視差仮想瞳を通過しても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する分布を示し、それぞれの分布は互いに一致する。

一方、図１３（ｂ）に示すように、物点が焦点位置からずれると、物点が焦点位置に存在した場合に比べて、視差Ｌｔ画素が示す光強度分布のピークは、像点に対応する画素から一方向に離れた位置に現れ、かつその出力値は低下する。また、出力値を有する画素の幅も広がる。視差Ｒｔ画素が示す光強度分布のピークは、像点に対応する画素から、視差Ｌｔ画素における一方向とは逆向きかつ等距離に離れた位置に現れ、同様にその出力値は低下する。また、同様に出力値を有する画素の幅も広がる。すなわち、物点が焦点位置に存在した場合に比べてなだらかとなった同一の光強度分布が、互いに等距離に離間して現れる。また、図１３（ｃ）に示すように、さらに物点が焦点位置からずれると、図１３（ｂ）の状態に比べて、さらになだらかとなった同一の光強度分布が、より離間して現れる。つまり、物点が焦点位置から大きくずれる程、ぼけ量と視差量が増すと言える。

図１２で説明した光強度分布の変化と、図１３で説明した光強度分布の変化をそれぞれグラフ化すると、図１４のように表される。図において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。縦軸は各画素の出力値を表し、この出力値は実質的に光強度に比例するので、図においては光強度として示す。

図１４（ａ）は、図１２で説明した光強度分布の変化を表すグラフである。分布曲線１８０１は、図１２（ａ）に対応する光強度分布を表し、最も急峻な様子を示す。分布曲線１８０２は、図１２（ｂ）に対応する光強度分布を表し、また、分布曲線１８０３は、図１２（ｃ）に対応する光強度分布を表す。分布曲線１８０１に比較して、徐々にピーク値が下がり、広がりを持つ様子がわかる。

図１４（ｂ）は、図１３で説明した光強度分布の変化を表すグラフである。分布曲線１８０４と分布曲線１８０５は、それぞれ図１３（ｂ）の視差Ｌｔ画素の光強度分布と視差Ｒｔ画素の光強度分布を表す。図からわかるように、これらの分布は中心位置に対して線対称の形状を成す。また、これらを足し合わせた合成分布曲線１８０６は、図１３（ｂ）に対して同等のデフォーカス状態である図１２（ｂ）の分布曲線１８０２と相似形状を示す。

分布曲線１８０７と分布曲線１８０８は、それぞれ図１３（ｃ）の視差Ｌｔ画素の光強度分布と視差Ｒｔ画素の光強度分布を表す。図からわかるように、これらの分布も中心位置に対して線対称の形状を成す。また、これらを足し合わせた合成分布曲線１８０９は、図１３（ｃ）に対して同等のデフォーカス状態である図１２（ｃ）の分布曲線１８０３と相似形状を示す。

４．実際の視差画像の生成
本実施形態においては、このような光強度分布の性質を利用して、図９〜１１に示す９つのプレーンデータから、高精細な左側視点のカラー画像データおよび右側視点のカラー画像データを生成する。具体的には、画像処理部２０５は、図１０、１１で示した視差画像が持つ視差成分を、図９で示した視差なし画像に重畳することによって、高精細な左右のカラー画像データを生成する。この生成処理を視差変調処理という。

視差変調処理を行うことによって、図１０、１１で示した左側視点のカラー画像データ（Ｇ_Ｌｔプレーンデータ、Ｒ_Ｌｔプレーンデータ、Ｂ_Ｌｔプレーンデータ）および右側視点のカラー画像データ（Ｇ_Ｒｔプレーンデータ、Ｒ_Ｒｔプレーンデータ、Ｂ_Ｒｔプレーンデータ）から、高精細な左側視点のカラー画像データ（Ｒ'_Ｌｔプレーンデータ、Ｇ'_Ｌｔプレーンデータ、Ｂ'_Ｌｔプレーンデータ）および右側視点のカラー画像データ（Ｒ'_Ｒｔプレーンデータ、Ｇ'_Ｒｔプレーンデータ、Ｂ'_Ｒｔプレーンデータ）を生成することができる。

図１５は、高精細な２Ｄ画像データから、高精細なカラー視差プレーンデータを生成する生成処理を説明する概念図である。特に、カラー視差プレーンのうち緑色視差プレーンであるＧ'_Ｌｔプレーンデータの生成処理について示す。

Ｇ'_Ｌｔプレーンデータは、２Ｄ画像データであるＧ_Ｎプレーンデータに加え、左視差画素データであるＲ_Ｌｔプレーンデータ、Ｇ_Ｌｔプレーンデータ、Ｂ_Ｌｔプレーンデータ、右視差画素データであるＲ_Ｒｔプレーンデータ、Ｇ_Ｒｔプレーンデータ、Ｂ_Ｒｔプレーンデータを用いて生成される。例えば、Ｇ'_Ｌｔプレーンデータの対象画素位置（ｘ_ｍ，ｙ_ｎ）の画素値Ｇ'_Ｌｔ（ｘ_ｍ，ｙ_ｎ）を算出する場合、まず、画像処理部２０５の画素値抽出部２３１は、Ｇ_Ｎプレーンデータの同一画素位置（ｘ_ｍ，ｙ_ｎ）から画素値Ｇ_Ｎ（ｘ_ｍ，ｙ_ｎ）を抽出する。

ここで、Ｒ_Ｌｔプレーンデータにおいても、画素値抽出部２３１は、Ｒ_Ｌｔプレーンデータの同一画素位置（ｘ_ｍ，ｙ_ｎ）の画素値Ｒ_Ｌｔ（ｘ_ｍ，ｙ_ｎ）を抽出する。同様に、画素値抽出部２３１は、Ｒ_Ｒｔプレーンデータの同一画素位置（ｘ_ｍ，ｙ_ｎ）の画素値Ｒ_Ｒｔ（ｘ_ｍ，ｙ_ｎ）を抽出する。そして、画像処理部２０５の算出部２３３は、画素値Ｒ_Ｌｔ（ｘ_ｍ，ｙ_ｎ）と画素値Ｒ_Ｒｔ（ｘ_ｍ，ｙ_ｎ）の差を算出する。

また、Ｇ_Ｌｔプレーンデータにおいても、画素値抽出部２３１は、Ｇ_Ｌｔプレーンデータの同一画素位置（ｘ_ｍ，ｙ_ｎ）に対応する画素値Ｇ_Ｌｔ（ｘ_ｍ，ｙ_ｎ）を抽出する。同様に、画素値抽出部２３１は、Ｇ_Ｒｔプレーンデータの同一画素位置（ｘ_ｍ，ｙ_ｎ）に対応する画素値Ｇ_Ｒｔ（ｘ_ｍ，ｙ_ｎ）を抽出する。そして、画像処理部２０５の算出部２３３は、画素値Ｇ_Ｌｔ（ｘ_ｍ，ｙ_ｎ）と画素値Ｇ_Ｒｔ（ｘ_ｍ，ｙ_ｎ）の差を算出する。

また、Ｂ_Ｌｔプレーンデータにおいても、Ｒ_Ｌｔプレーンデータと同様、画素値抽出部２３１は、Ｂ_Ｌｔプレーンデータの同一画素位置（ｘ_ｍ，ｙ_ｎ）の画素値Ｂ_Ｌｔ（ｘ_ｍ，ｙ_ｎ）を抽出する。同様に、画素値抽出部２３１は、Ｂ_Ｒｔプレーンデータの同一画素位置（ｘ_ｍ，ｙ_ｎ）の画素値Ｂ_Ｒｔ（ｘ_ｍ，ｙ_ｎ）を抽出する。そして、画像処理部２０５の算出部２３３は、画素値Ｂ_Ｌｔ（ｘ_ｍ，ｙ_ｎ）と画素値Ｂ_Ｒｔ（ｘ_ｍ，ｙ_ｎ）の差を算出する。

画像処理部２０５の算出部２３３は、画素値Ｒ_Ｌｔ（ｘ_ｍ，ｙ_ｎ）と画素値Ｒ_Ｒｔ（ｘ_ｍ，ｙ_ｎ）の差、画素値Ｇ_Ｌｔ（ｘ_ｍ，ｙ_ｎ）と画素値Ｇ_Ｒｔ（ｘ_ｍ，ｙ_ｎ）の差、画素値Ｂ_Ｌｔ（ｘ_ｍ，ｙ_ｎ）と画素値Ｂ_Ｒｔ（ｘ_ｍ，ｙ_ｎ）の差を用いて、Ｇ_Ｌｔ（ｘ_ｍ，ｙ_ｎ）からＧ'_Ｌｔ（ｘ_ｍ，ｙ_ｎ）を算出する。具体的には、画像処理部２０５の算出部２３３は、画素値Ｒ_Ｌｔ（ｘ_ｍ，ｙ_ｎ）と画素値Ｒ_Ｒｔ（ｘ_ｍ，ｙ_ｎ）の差、画素値Ｇ_Ｌｔ（ｘ_ｍ，ｙ_ｎ）と画素値Ｇ_Ｒｔ（ｘ_ｍ，ｙ_ｎ）の差、画素値Ｂ_Ｌｔ（ｘ_ｍ，ｙ_ｎ）と画素値Ｂ_Ｒｔ（ｘ_ｍ，ｙ_ｎ）の差のそれぞれに、比例係数を乗じた上でそれらを足し合わせる。そして、得られた値をＧ_Ｌｔ（ｘ_ｍ，ｙ_ｎ）に加える、つまり、視差変調を行うことにより、画素値Ｇ'_Ｌｔ（ｘ_ｍ，ｙ_ｎ）を算出する。言い換えると、画像処理部２０５の算出部２３３は、算出したい画素値Ｇ'_Ｌｔ（ｘ_ｍ，ｙ_ｎ）と抽出した画素値Ｇ_Ｎ（ｘ_ｍ，ｙ_ｎ）との差が、左右の視差画像間におけるＲ，Ｇ，Ｂの色成分毎の画素値の差のそれぞれに、比例係数を乗じ、それらを足し合わせた値に対して相関を保つように、画素値Ｇ'_Ｌｔ（ｘ_ｍ，ｙ_ｎ）を算出する。具体的には、算出部２３３は、以下の（数１）により算出する。すなわち、Ｇ面とＲ面の間の関係に着目してみると、
の関係が成り立ち、視差なし画像の間で存在しているＧ面とＲ面との変動の様子の違いがそのまま左視差画像の間でも存在しているかのように、求めるＧ'_Ｌｔ（ｘ，ｙ）に射影される。同じことが、Ｇ成分、Ｂ成分についても成り立ち、それらの変動情報、あるいは高周波成分がＧ'_Ｌｔ（ｘ，ｙ）に射影される。

これにより、画素値Ｇ_Ｎに対して、左右間の視差画像の差異を利用して視差変調を加えることができる。画像処理部２０５は、このような処理を、左端かつ上端の画素である（１、１）から右端かつ下端の座標である（ｘ_０，ｙ_０）まで順次実行する。これにより、Ｇ'_Ｌｔプレーンデータを生成することができる。

なお、図７で示した繰り返しパターンの場合、視差Ｌｔ画素は、視差なし画素に対して開口部１０４が左側に偏心し、視差Ｒｔ画素は、視差なし画素に対する視差Ｌｔ画素の偏心量と同じ偏心量だけ右側に偏心している。しがたって、算出したい画素値Ｇ'_Ｌｔ（ｘ_ｍ，ｙ_ｎ）と抽出した画素値Ｇ_Ｎ（ｘ_ｍ，ｙ_ｎ）との差は、上記（数１）に示すように、視差画像間におけるＲ，Ｇ，Ｂの色成分毎の画素値の差の和に対して比例係数１／２をもって相関を保つ。すなわち、算出したい画素値Ｇ'_Ｌｔ（ｘ_ｍ，ｙ_ｎ）と抽出した画素値Ｇ_Ｎ（ｘ_ｍ，ｙ_ｎ）との差に対する、視差画像間におけるＲ，Ｇ，Ｂの色成分毎の画素値の差を足し合わせた値の相関関係は、主に視差Ｌｔ画素と視差Ｒｔ画素のそれぞれの開口部の偏心量によって規定される。また、開口部の大きさ、視差なし画素の開口部との相対的な関係等のパラメータを考慮しても良い。いずれにしても、規定された相関関係が保たれるように定式化されて画素値Ｇ'_Ｌｔ（ｘ_ｍ，ｙ_ｎ）が算出される。上記（数１）の例では、相関関係として比例係数１／２を規定したが、比例係数を変更する他に、例えば補正項として定数を加算するなど、適宜相関関係を調整しても良い。なお、算出したい画素値が画素値Ｒ'_Ｌｔ（ｘ_ｍ，ｙ_ｎ）、Ｂ'_Ｌｔ（ｘ_ｍ，ｙ_ｎ）、Ｒ'_Ｒｔ（ｘ_ｍ，ｙ_ｎ）、Ｇ'_Ｒｔ（ｘ_ｍ，ｙ_ｎ）、Ｂ'_Ｒｔ（ｘ_ｍ，ｙ_ｎ）であっても、上記の関係は同様である。

画像処理部２０５は、Ｂ'_Ｌｔプレーンデータ、Ｒ'_Ｌｔプレーンデータについても、Ｇ'_Ｌｔプレーンデータと同様に、画素値抽出部２３１および算出部２３３により生成することができる。具体的には、上記の説明においてＧ_Ｎプレーンデータの同一画素位置（ｘ_ｍ，ｙ_ｎ）から画素値Ｇ_Ｎ（ｘ_ｍ，ｙ_ｎ）を抽出する代わりに、Ｂ_Ｎプレーンデータの同一画素位置（ｘ_ｍ，ｙ_ｎ）から画素値Ｂ_Ｎ（ｘ_ｍ，ｙ_ｎ）を抽出し、同様に処理する。さらに、上記の説明においてＧ_Ｎプレーンデータの同一画素位置（ｘ_ｍ，ｙ_ｎ）から画素値Ｇ_Ｎ（ｘ_ｍ，ｙ_ｎ）を抽出する代わりに、Ｒ_Ｎプレーンデータの同一画素位置（ｘ_ｍ，ｙ_ｎ）から画素値Ｒ_Ｎ（ｘ_ｍ，ｙ_ｎ）を抽出し、同様に処理する。

具体的には、画像処理部２０５は、以下の（数２）、（数３）により算出する。

画像処理部２０５は、右側視点のカラー画像データであるＧ'_Ｒｔプレーンデータ、Ｂ'_Ｒｔプレーンデータ、Ｒ'_Ｒｔプレーンデータについても、左側視点のカラー画像データと同様に生成することができる。具体的には、以下の（数４）、（数５）、（数６）により算出する。

以上のように、画像処理部２０５は、左右間の視差画像の差異を利用して視差なしカラー画像に視差変調を加えることによって、視差なしカラー画像から左視差カラー画像と右視差カラー画像を生成することができる。具体的には、以上の処理により、左側視点のカラー画像データ（Ｇ'_Ｌｔプレーンデータ、Ｂ'_Ｌｔプレーンデータ、Ｒ'_Ｌｔプレーンデータ）および右側視点のカラー画像データ（Ｇ'_Ｒｔプレーンデータ、Ｂ'_Ｒｔプレーンデータ、Ｒ'_Ｒｔプレーンデータ）が生成される。

図１０、図１１で示したように、左視差画像データおよび右視差画像データのそれぞれについて、すでにＲ，Ｇ、Ｂ毎のプレーンデータは揃っている。しかしながら、これらのプレーンデータにおいては、１６画素または６４画素を一単位として画素値が存在するので、解像度は低い。これらのプレーンデータより解像度が高い２Ｄ画像データを用いることにより、左視差画像データおよび右視差画像データにおいても、当該２Ｄ画像データがもつ空間解像度と同程度の空間解像度を得ることができる。すなわち、（数１）〜（数６）の右辺の第２〜第４項は「疎な」解像であるが、右辺の第１項の「密な」解像が反映されて左辺は「密な」解像の画像データを生成することができる。

また、左視差画像データおよび右視差画像データの生成が、Ｒ，Ｇ，Ｂプレーンデータの一つを基になされた場合には、被写体が特定の原色で構成されると、その原色に対応するカラーフィルタ以外のカラーフィルタを有する視差画素からは、視差情報が得られないという色依存の問題が生じる。本実施の形態においては、上述の（数１）〜（数６）に示すように、画像処理部２０５は、Ｒ，Ｇ，Ｂの色成分の全てを用いて視差変調している。したがって、単色で視差変調する場合に比べて、視差画像における色の境界部分の色変化を、より精確に視差情報として反映させることができる。よって、視差が発生するボケ領域の色境界部において偽色の発生を防止することが期待できる。また、視差画像間におけるＲ，Ｇ，Ｂそれぞれの色成分の画素値は、ＲＡＷデータの段階においては互いに異なる位置の視差情報のデータである。したがって、単一の色成分だけでは捉えることのできない左右間の空間的な視差構造の違いに関する情報を、互いに補い合いながら、最終的に生成される視差画像に反映させることができる。このように、本実施形態のデジタルカメラは、高精細な左側視点のカラー画像データおよび高精細な右側視点なカラー画像データを生成することができる。

ここで、視差カラー画像データを生成するまでを、処理フローの観点から説明する。図１６は、視差カラー画像データを生成するまでの処理フローである。フローは、撮影動作に連動して開始しても良いし、メモリカード２２０から対象画像データを読み出すことにより開始しても良い。

画像処理部２０５は、ステップＳ１０１で、ＲＡＷ元画像データを取得する。そして、ステップＳ１０２において、図９〜図１１を用いて説明したように、ＲＡＷ元画像データを、２Ｄ画像データとしてのＧ_０プレーンデータ、Ｒ_０プレーンデータ、Ｂ_０プレーンデータに分離する。同様に、画像処理部２０５は、ＲＡＷ元画像データを、左視差画像データとしてのＧ_Ｌｔ０プレーンデータ、Ｒ_Ｌｔ０プレーンデータ、Ｂ_Ｌｔ０プレーンデータ、右視差画像データとしてのＧ_Ｒｔ０プレーンデータ、Ｒ_Ｒｔ０プレーンデータ、Ｂ_Ｒｔ０プレーンデータに分離する。画像処理部２０５は、ステップＳ１０３で、分離した各プレーンデータに存在する空格子を補間する補間処理を実行する。具体的には、図９〜図１１を用いて説明したように、近接する画素の出力値を用いて平均化処理等により空格子の出力値を算出する。

画像処理部２０５は、ステップＳ１０４で、各変数の初期化を行う。具体的には、まず、２Ｄカラー変数Ｃｓｅｔに１を代入する。２Ｄカラー変数Ｃｓｅｔは、１＝赤、２＝緑、３＝青を表す。また、座標変数であるｘとｙに１を代入する。さらに、視差変数Ｓに１を代入する。視差変数Ｓは、１＝左、２＝右を表す。

画像処理部２０５の画素値抽出部２３１は、ステップＳ１０５において、Ｃｓｅｔプレーンの対象画素位置（ｘ，ｙ）から画素値を抽出する。さらに、画素値抽出部２３１は、ステップＳ１０６において、Ｇ_Ｌｔプレーンデータ、Ｒ_Ｌｔプレーンデータ、Ｂ_Ｌｔプレーンデータの対象画素位置（ｘ，ｙ）から画素値を抽出する。同様に、画素値抽出部２３１は、Ｇ_Ｒｔプレーンデータ、Ｒ_Ｒｔプレーンデータ、Ｂ_Ｒｔプレーンデータの対象画素位置（ｘ，ｙ）から画素値を抽出する。

画像処理部２０５の算出部２３３は、ステップＳ１０７において、視差変数Ｓに対応する対象画素位置（ｘ，ｙ）の画素値を算出する。例えばＣｓｅｔ＝１、Ｓ＝１で対象画素位置が（１，１）である場合、Ｒ'_Ｌｔ（１，１）を算出する。具体的には、例えば、上述の（数３）により算出する。

画像処理部２０５は、ステップＳ１０８で、視差変数Ｓをインクリメントする。そして、ステップＳ１０９で、視差変数Ｓが２を超えたか否かを判断する。超えていなければステップＳ１０７へ戻る。超えていればステップＳ１１０へ進む。

画像処理部２０５は、ステップＳ１１０で、視差変数Ｓに１を代入すると共に、座標変数ｘをインクリメントする。そして、ステップＳ１１１で、座標変数ｘがｘ_０を超えたか否かを判断する。超えていなければステップＳ１０５へ戻る。超えていればステップＳ１１２へ進む。

画像処理部２０５は、ステップＳ１１２で、座標変数ｘに１を代入すると共に、座標変数ｙをインクリメントする。そして、ステップＳ１１３で、座標変数ｙがｙ_０を超えたか否かを判断する。超えていなければステップＳ１０５へ戻る。超えていればステップＳ１１４へ進む。

ステップＳ１１４まで進むと、Ｃｓｅｔに対する左右それぞれの全画素の画素値が揃うので、画像処理部２０５は、これらの画素値を並べて、プレーン画像データを生成する。例えばＣｓｅｔ＝１である場合、Ｒ'_ＬｔプレーンデータとＲ'_Ｒｔプレーンデータを生成する。

ステップＳ１１５に進み、画像処理部２０５は、座標変数ｙに１を代入すると共に、カラー変数Ｃｓｅｔをインクリメントする。そして、ステップＳ１１６で、カラー変数Ｃｓｅｔが３を超えたか否かを判断する。超えていなければステップＳ１０５へ戻る。超えていれば、左側視点のカラー画像データ（Ｒ'_Ｌｔプレーンデータ、Ｇ'_Ｌｔプレーンデータ、Ｂ'_Ｌｔプレーンデータ）および右側視点のカラー画像データ（Ｒ'_Ｒｔプレーンデータ、Ｇ'_Ｒｔプレーンデータ、Ｂ'_Ｒｔプレーンデータ）の全てが揃ったとして、一連の処理を終了する。

次に、開口部１０４の開口形状について説明する。図１７は、開口形状を説明する図である。図１７（ａ）は、視差Ｌｔ画素の開口部１０４ｌの形状と、視差Ｒｔ画素の開口部１０４ｒの形状とが、視差なし画素の開口部１０４ｎの形状を中心線３２２で分割したそれぞれの形状と同一である例を示している。つまり、図１７（ａ）では、視差なし画素の開口部１０４ｎの面積は、視差Ｌｔ画素の開口部１０４ｌの面積と視差Ｒｔ画素の開口部１０４ｒの面積の和になっている。また、視差Ｌｔ画素の開口部１０４ｌおよび視差Ｒｔ画素の開口部１０４ｒは、それぞれ対応する光電変換素子１０８の中心（画素中心）を通る仮想的な中心線３２２に対して、互いに反対方向に偏位している。ここで、それぞれの開口部１０４ｎ、開口部１０４ｌ、開口部１０４ｒは、開口絞りの機能を有する。したがって、開口部１０４ｌ（開口部１０４ｒ）の倍の面積を持つ開口部１０４ｎを有する視差なし画素のボケ量は、視差Ｌｔ画素と視差Ｒｔ画素のボケ量を足し合わせたボケ量と同程度となる。

図１７（ｂ）は、視差Ｌｔ画素の開口部１０４ｌの形状と、視差Ｒｔ画素の開口部１０４ｒの形状と、視差Ｃ画素の開口部１０４ｃの形状とが、全て同形状である例を示している。ここで、視差Ｃ画素は、偏心のない画素をいう。視差Ｃ画素は、瞳の中心部分を部分領域とする被写体光束のみを光電変換素子１０８へ導く点で、厳密には、視差画像を出力する視差画素である。しかしながら、ここでは、基準方向に対応する開口部を有する画素を視差なし画素と定義する。したがって、基準方向として、図１７（ａ）の視差なし画素と同様に光電変換素子の中心に開口部を有する図１７（ｂ）の視差Ｃ画素は、視差なし画素である。また、開口部１０４ｌ、開口部１０４ｒ、開口部１０４ｃは、図１７（ａ）で示した開口部１０４ｎの半分の面積である。図１７（ａ）の場合と同様、開口部１０４ｌおよび１０４ｒのそれぞれは、光電変換素子１０８の中心（画素中心）を通る仮想的な中心線３２２と接している。ここで、それぞれの開口部１０４ｃ、開口部１０４ｌ、開口部１０４ｒは、上述のように、開口絞りの機能を有する。したがって、開口部１０４ｌおよび開口部１０４ｒと同形状、同面積である開口部１０４ｃを有する視差Ｃ画素のボケ量は、視差Ｌｔ画素および視差Ｒｔ画素のボケ量と同程度なる。

＜第２実施形態＞
視差変調方式を代えた実施形態について説明する。第２実施形態においては、画素配列として、視差Ｃ画素、視差Ｌｔ画素、視差Ｒｔ画素が配置され、かつ、図１７で説明したように、視差Ｃ画素の開口部が、視差Ｌｔ画素の開口部の形状、視差Ｒｔ画素の開口部の形状に等しいものとする。そうすると、視差Ｃ画素のボケ量は、視差Ｌｔ画素および視差Ｒｔ画素のボケ量とほぼ一致することになる。相乗平均を用いて視差変調を行うことによって、視差変調後の左右のカラー画像のボケ量を視差画素のボケ量と一致させることができる。

画像処理部２０５の画素値抽出部２３１は、第１実施形態で説明したように、図９〜１１で示したプレーンデータのそれぞれから、対象画素位置の画素値を抽出する。そして、例えば、Ｇ_Ｎ（ｘ_ｍ，ｙ_ｎ）からＧ'_Ｌｔ（ｘ_ｍ，ｙ_ｎ）を算出する場合には、画像処理部２０５の算出部２３３は、画素値Ｒ_Ｌｔ（ｘ_ｍ，ｙ_ｎ）と画素値Ｒ_Ｒｔ（ｘ_ｍ，ｙ_ｎ）の相乗平均、画素値Ｇ_Ｌｔ（ｘ_ｍ，ｙ_ｎ）と画素値Ｇ_Ｒｔ（ｘ_ｍ，ｙ_ｎ）の相乗平均、画素値Ｂ_Ｌｔ（ｘ_ｍ，ｙ_ｎ）と画素値Ｂ_Ｒｔ（ｘ_ｍ，ｙ_ｎ）の相乗平均を用いて、Ｇ_Ｎ（ｘ_ｍ，ｙ_ｎ）からＧ'_Ｌｔ（ｘ_ｍ，ｙ_ｎ）を算出する。

具体的には、算出部２３３は、画素値Ｒ_Ｌｔ（ｘ_ｍ，ｙ_ｎ）を、画素値Ｒ_Ｌｔ（ｘ_ｍ，ｙ_ｎ）と画素値Ｒ_Ｒｔ（ｘ_ｍ，ｙ_ｎ）の相乗平均で除する。同様に、画素値Ｇ_Ｌｔ（ｘ_ｍ，ｙ_ｎ）を、画素値Ｇ_Ｌｔ（ｘ_ｍ，ｙ_ｎ）と画素値Ｇ_Ｒｔ（ｘ_ｍ，ｙ_ｎ）の相乗平均で除する。同様に、画素値Ｂ_Ｌｔ（ｘ_ｍ，ｙ_ｎ）を、画素値Ｂ_Ｌｔ（ｘ_ｍ，ｙ_ｎ）と画素値Ｂ_Ｒｔ（ｘ_ｍ，ｙ_ｎ）の相乗平均で除する。そして、算出部２３３は、それらを乗じた値を、Ｇ_Ｎ（ｘ_ｍ，ｙ_ｎ）に乗ずることにより画素値Ｇ'_Ｌｔ（ｘ_ｍ，ｙ_ｎ）を算出する。言い換えると、算出部２３３は、画素値Ｇ'_Ｌｔ（ｘ，ｙ）と抽出した画素値Ｇ_Ｎ（ｘ，ｙ）との比が、画素値Ｒ_Ｌｔ（ｘ_ｍ，ｙ_ｎ）を画素値Ｒ_Ｌｔ（ｘ_ｍ，ｙ_ｎ）と画素値Ｒ_Ｒｔ（ｘ_ｍ，ｙ_ｎ）の相乗平均で除した値、画素値Ｇ_Ｌｔ（ｘ_ｍ，ｙ_ｎ）を画素値Ｇ_Ｌｔ（ｘ_ｍ，ｙ_ｎ）と画素値Ｇ_Ｒｔ（ｘ_ｍ，ｙ_ｎ）の相乗平均で除した値、画素値Ｂ_Ｌｔ（ｘ_ｍ，ｙ_ｎ）を画素値Ｂ_Ｌｔ（ｘ_ｍ，ｙ_ｎ）と画素値Ｂ_Ｒｔ（ｘ_ｍ，ｙ_ｎ）の相乗平均で除した値のそれぞれを乗じた値に対して相関を保つように、画素値Ｇ'_Ｌｔ（ｘ，ｙ）を算出する。

具体的には、算出部２３３は、以下の（数７）により算出する。
（数７）を書き換えると、以下の（数８）となる。

（数８）から、画素値Ｇ'_Ｌｔ（ｘ，ｙ）と抽出した画素値Ｇ_Ｎ（ｘ，ｙ）との比が、視差画像間におけるＲ，Ｇ，Ｂの色成分毎の画素値の比の平方根を乗じた値に対して相関を保っているとも言える。画像処理部２０５は、Ｂ'_Ｌｔ（ｘ，ｙ）、Ｒ'_Ｌｔ（ｘ，ｙ）についても、Ｇ'_Ｌｔ（ｘ，ｙ）と同様に生成することができる。具体的には、以下の（数９）、（数１０）により算出する。
（数９）、（数１０）を書き換えると、以下の（数１１）、（数１２）となる。

画像処理部２０５は、Ｇ'_Ｒｔ（ｘ，ｙ）、Ｂ'_Ｒｔ（ｘ，ｙ）、Ｒ'_Ｒｔ（ｘ，ｙ）についても、同様に生成することができる。具体的には、以下の（数１３）、（数１４）、（数１５）により算出する。

（数１３）、（数１４）、（数１５）を書き換えると、以下の（数１６）、（数１７）、（数１８）となる。

＜第３実施形態＞
視差変調方式を代えた実施形態について説明する。第３実施形態においては、図１７で説明したように、視差なし画素の開口部が、視差Ｌｔ画素の開口部の面積と視差Ｒｔ画素の開口部の面積の和に等しいものとする。そうすると、視差なし画素のボケ量は、視差Ｌｔ画素および視差Ｒｔ画素のボケ量の和と同程度となる。相加平均を用いて視差変調を行うことによって、視差変調後の左右のカラー画像のボケ量を視差画素のボケ量と一致させることができる。

画像処理部２０５の画素値抽出部２３１は、第１実施形態で説明したように、図９〜１１で示したプレーンデータのそれぞれから、対象画素位置の画素値を抽出する。そして、例えば、Ｇ_Ｎ（ｘ_ｍ，ｙ_ｎ）からＧ'_Ｌｔ（ｘ_ｍ，ｙ_ｎ）を算出する場合には、画像処理部２０５の算出部２３３は、画素値Ｒ_Ｌｔ（ｘ_ｍ，ｙ_ｎ）と画素値Ｒ_Ｒｔ（ｘ_ｍ，ｙ_ｎ）の相加平均、画素値Ｇ_Ｌｔ（ｘ_ｍ，ｙ_ｎ）と画素値Ｇ_Ｒｔ（ｘ_ｍ，ｙ_ｎ）の相加平均、画素値Ｂ_Ｌｔ（ｘ_ｍ，ｙ_ｎ）と画素値Ｂ_Ｒｔ（ｘ_ｍ，ｙ_ｎ）の相加平均を用いて、Ｇ_Ｎ（ｘ_ｍ，ｙ_ｎ）からＧ'_Ｌｔ（ｘ_ｍ，ｙ_ｎ）を算出する。

具体的には、算出部２３３は、画素値Ｒ_Ｌｔ（ｘ_ｍ，ｙ_ｎ）を、画素値Ｒ_Ｌｔ（ｘ_ｍ，ｙ_ｎ）と画素値Ｒ_Ｒｔ（ｘ_ｍ，ｙ_ｎ）の相加平均で除する。同様に、画素値Ｇ_Ｌｔ（ｘ_ｍ，ｙ_ｎ）を、画素値Ｇ_Ｌｔ（ｘ_ｍ，ｙ_ｎ）と画素値Ｇ_Ｒｔ（ｘ_ｍ，ｙ_ｎ）の相加平均で除する。同様に、画素値Ｂ_Ｌｔ（ｘ_ｍ，ｙ_ｎ）を、画素値Ｂ_Ｌｔ（ｘ_ｍ，ｙ_ｎ）と画素値Ｂ_Ｒｔ（ｘ_ｍ，ｙ_ｎ）の相加平均で除する。そして、算出部２３３は、それらを乗じた値を、Ｇ_Ｎ（ｘ_ｍ，ｙ_ｎ）に乗ずることにより画素値Ｇ'_Ｌｔ（ｘ_ｍ，ｙ_ｎ）を算出する。言い換えると、算出部２３３は、画素値Ｇ'_Ｌｔ（ｘ，ｙ）と抽出した画素値Ｇ_Ｎ（ｘ，ｙ）との比が、画素値Ｒ_Ｌｔ（ｘ_ｍ，ｙ_ｎ）を画素値Ｒ_Ｌｔ（ｘ_ｍ，ｙ_ｎ）と画素値Ｒ_Ｒｔ（ｘ_ｍ，ｙ_ｎ）の相加平均で除した値、画素値Ｇ_Ｌｔ（ｘ_ｍ，ｙ_ｎ）を画素値Ｇ_Ｌｔ（ｘ_ｍ，ｙ_ｎ）と画素値Ｇ_Ｒｔ（ｘ_ｍ，ｙ_ｎ）の相加平均で除した値、画素値Ｂ_Ｌｔ（ｘ_ｍ，ｙ_ｎ）を画素値Ｂ_Ｌｔ（ｘ_ｍ，ｙ_ｎ）と画素値Ｂ_Ｒｔ（ｘ_ｍ，ｙ_ｎ）の相加平均で除した値のそれぞれを乗じた値に対して相関を保つように、画素値Ｇ'_Ｌｔ（ｘ，ｙ）を算出する。

具体的には、算出部２３３は、以下の（数１９）により算出する。

画像処理部２０５は、Ｂ'_Ｌｔ（ｘ，ｙ）、Ｒ'_Ｌｔ（ｘ，ｙ）についても、Ｇ'_Ｌｔ（ｘ，ｙ）と同様に生成することができる。具体的には、以下の（数２０）、（数２１）により算出する。

画像処理部２０５は、Ｇ'_Ｒｔ（ｘ，ｙ）、Ｂ'_Ｒｔ（ｘ，ｙ）、Ｒ'_Ｒｔ（ｘ，ｙ）についても、同様に生成することができる。具体的には、以下の（数２２）、（数２３）、（数２４）により算出する。

以上の実施形態においては、各プレーンの出力値は、撮像素子１００の各光電変換素子が受光する受光量に比例した線形階調の値として説明した。これは上記（数７）〜（数２４）の場合に適した方法である。しかし、上記（数１）〜（数６）を適用する場合には、非線形変換であるガンマ変換後の値を用いても良い。任意の階調特性をもつガンマ空間で、上記（数１）〜（数６）に準じて差を一定に保つ演算を行えば、同様に視差変調を加える効果を得ることができる。階調変換によるガンマ空間への移行処理は、例えば次のような処理を採用し得る。

すなわち、ＲＡＷ元画像データの段階で階調変換を施してガンマ空間に移行する。ＲＡＷ元画像データをＭ（ｘ，ｙ）と表し、ガンマ空間への移行後のＲＡＷ元画像データをＭ^Γ（ｘ，ｙ）と表す。実際には、入力値ｘに対して出力値ｙとなるように非線形変換ｙ＝ｆ（ｘ）を施す。非線形変換の特性の例として、以下のような種々の場合が考えられる。ただし、入力値の階調と出力値の階調が共に［０，１］の範囲で定義されるものとする。入出力特性は（ｘ，ｙ）＝（０，０）と（１，１）を通るように階調曲線（ガンマ曲線）を定義する。実際の入力階調Ｘの最大値をＸｍａｘ、出力階調Ｙの最大値をＹｍａｘとすると、ｘ＝Ｘ／Ｘｍａｘ、ｙ＝Ｙ／Ｙｍａｘであり、階調変換は、以下の（数２５）によって行われる。

階調特性の例として以下に示す（ａ）〜（ｃ）の場合が考えられる。（ａ）の場合は、人間の視感度特性に合った階調空間で視差変調を加えることになる。（ｂ）の場合は、すべての階調でノイズのゆらぎ幅が均一な均等ノイズ空間を与えるので視差変調によるノイズ増幅の最も少ない立体画像を得ることができる。（ｃ）の場合は、第１実施形態の処理が実質的に第２実施形態の処理と等価となる。なぜならば（数７）〜（数１８）の対数をとると、（数１）〜（数６）の演算をしていることと同等になるからである。したがって、対数変換によって積と商の演算を和と差によって実現することが可能になる。このように階調特性の設定の仕方を、ｙ＝ｘの線形階調からｙ＝ｌｏｇｘの対数特性の間で変えることによって、線形階調で行った場合の第１実施形態と第２実施形態あるいは第３実施形態との間の中間的な画像処理効果を得ることが可能になる。
（ａ）立方根階調特性
（ｂ）オフセット付き平方根階調特性
ただし、εは正の定数である。
（ｃ）対数特性
上述のようなガンマ変換後に図１５等を用いて説明した各処理を施し、逆ガンマ変換（逆階調変換）を施すことにより元の色空間へ戻す。逆階調変換は、以下の（数３０）によって行われる。

以上の実施形態においては、繰り返しパターン１１０は、４画素から成るベイヤー配列を、ｙ軸方向に４つ、ｘ軸方向に４つ含み、６４画素から構成された。そして、視差なし画素の方が視差画素よりも多く配列されていた。しかしながら、視差なし画素と視差画素の数は、同程度であってもよいし、視差画素の方が視差なし画素より多く配列されていてもよい。ここでは、視差画素の方が視差なし画素より多く配列された繰り返しパターンのバリエーションについて説明する。

図１８は、繰り返しパターンのバリエーションの一例を示す図である。図の例においては、ベイヤー配列の４画素が左右に２組続く８画素を繰り返しパターン１１０とする。８画素のうち、左側のＧｂ画素に視差Ｌｔ画素を、右側のＧｂ画素に視差Ｒｔ画素を割り当てる。さらに、左側のＲ画素に視差Ｌｔ画素を、右側のＲ画素に視差Ｒｔ画素を割り当てる。さらに、左側のＢ画素に視差Ｌｔ画素を、右側のＢ画素に視差Ｒｔ画素を割り当てる。２つのＧｒ画素には視差なし画素を割り当てる。

２つのＧｂ画素に割り当てられた視差Ｌｔ画素と視差Ｒｔ画素は、被写体が合焦位置に存在するときに、一つの微小領域から放射される光束を受光する。また、２つのＲ画素に割り当てられた視差Ｌｔ画素と視差Ｒｔ画素は、Ｇｂ画素のそれとは異なる一つの微小領域から放射される光束を受光し、２つのＢ画素に割り当てられた視差Ｌｔ画素と視差Ｒｔ画素は、Ｇｂ画素およびＲ画素のそれとは異なる一つの微小領域から放射される光束を受光する。したがって、３Ｄ画像としての縦方向の解像度を上げつつ、ＲＧＢの３色の出力が得られるので、カラー画像としての３Ｄ画像として高品質な画像が得られる。

なお、上述のように視差画素の種類を２つにすれば２視点の視差画像が得られるが、もちろん視差画素の種類は、出力したい視差画像数に合わせて様々な数を採用し得る。視点数が増えていっても、さまざまな繰り返しパターン１１０を形成することができる。したがって、仕様、目的等に応じた繰り返しパターン１１０を選択することができる。

図１８に示す繰り返しパターンが採用された画素配列において、Ｇ_Ｎプレーンデータ、Ｒ_Ｎプレーンデータ、Ｂ_Ｎプレーンデータを生成する場合には、各画素位置におけるＧ_Ｎ、Ｒ_Ｎ、Ｂ_Ｎの画素値を算出して補間処理を行う。図７で示した繰り返しパターン１１０が採用された場合には、図９に示したように、隣接または１画素飛ばして隣接する画素の画素値を用いて補間処理を行った。ここでは、補間対象となる画素を中心として、補間に用いられる周辺の画素を含んでなる画素群をカーネルとして定義する。そして、カーネル内の同種のカラーフィルタを有する画素の画素値に対して、注目画素からの距離に応じた重み付けを行い、それらを足し合わせることによって補間処理を行う。以下、図１８で示した繰り返しパターンが採用された場合の視差なし画素の補間処理について詳細に説明する。

図１９は、補間処理を説明する図である。図１９（ａ）は、５×３画素のカーネルを示す。５×３画素のカーネルの中心を注目画素Ｐ８とし、Ｐ８を中心とする５×３のカーネル内の画素値から、注目画素の位置に対応するＲ_Ｎ画素、Ｇ_Ｎ画素、Ｂ_Ｎ画素の画素値をそれぞれ算出する。

図１９（ｂ）は、Ｇｂ画素が注目画素となる場合を示す。図中の矢印は、Ｒ_Ｎを算出する場合に利用される画素およびその際の重み値の大小を示す。具体的には、矢印の幅が太いほうが、重み値が大きいことを意味する。Ｇｂ画素位置におけるＲ_Ｎは、５×３画素のカーネル内のＲ画素の画素値に対して、距離に応じた重み付けを行った上で算出される。具体的には以下の（数３１）用いて算出することができる。
また、同様に、Ｇｂ画素位置におけるＧ_Ｎ、Ｂ_Ｎは、以下の（数３２）、（数３３）を用いて算出することができる。

図１９（ｃ）は、Ｒ画素が注目画素となる場合を示す。このとき、Ｒ画素位置における、Ｒ_Ｎ、Ｇ_Ｎ、Ｂ_Ｎは、以下の（数３４）、（数３５）、（数３６）を用いて算出することができる。

図１９（ｄ）は、Ｂ画素が注目画素となる場合を示す。このとき、Ｂ画素位置における、Ｒ_Ｎ、Ｇ_Ｎ、Ｂ_Ｎは、以下の（数３７）、（数３８）、（数３９）を用いて算出することができる。

図１９（ｅ）は、Ｇｒ画素が注目画素となる場合を示す。このとき、Ｇｒ画素位置における、Ｒ_Ｎ、Ｇ_Ｎ、Ｂ_Ｎは、以下の（数４０）、（数４１）、（数４２）を用いて算出することができる。

なお、ここでは、視差Ｌｔ画素が注目画素となる場合について説明したが、視差Ｒｔ画素が注目画素となる場合も同様の演算式を用いることができる。ベイヤー配列のそれぞれの画素位置におけるＧ_Ｎ、Ｒ_Ｎ、Ｂ_Ｎの画素値を、画素配列の全体について算出することによって、Ｇ_Ｎプレーンデータ、Ｒ_Ｎプレーンデータ、Ｂ_Ｎプレーンデータを生成することができる。このように生成されたＧ_Ｎ、Ｒ_Ｎ、Ｂ_Ｎを第１〜第３の実施形態と同様にして視差変調を加えることができる。

上述の例では、カラーフィルタ配列としてベイヤー配列を採用した場合について説明したが、もちろん他のカラーフィルタ配列であっても差し支えない。このとき、一組の光電変換素子群を構成する視差画素のそれぞれは、互いに異なる部分領域を向く開口部１０４を有する開口マスク１０３を備えると良い。

以上の説明においては、被写体像のカラーを構成する原色として、赤色、緑色および青色の３つを用いた。しかし、翠色などを加えた４つ以上を原色としても良い。また、赤色、緑色および青色に代えて、イエロー、マゼンタ、シアンの組み合わせによる補色の３原色を採用することもできる。

上述においては、例えば画像処理部２０５が含む画素値抽出部２３１および算出部２３３などは、デジタルカメラ１０を構成する各構成要素の機能としてそれぞれの処理を説明した。また、制御部２０１および画像処理部２０５を動作させる制御プログラムは、デジタルカメラ１０を構成する各ハードウェアを、上述の処理を実行させる構成要素として機能させ得る。また、カラー画像データを生成するこれらの処理は、デジタルカメラ１０で行わなくても、外部のパーソナルコンピュータなどの機器で行っても良い。この場合、外部のパーソナルコンピュータなどの機器は画像処理装置として機能する。画像処理装置は、例えばＲＡＷ元画像データを取得してカラー画像データを生成する。画像処理装置は、ＲＡＷ元画像データを取得した場合は、上述のプレーン分離処理、プレーンデータの補間処理も実行する。また、画像処理装置は、撮像装置側で補間処理が施されたプレーンデータを取得しても良い。

視差なし画素に対して疎な視差画素から生成された低解像な視差画像を用いて視差変調を加えることによって、高解像な左視差画像Ｒ'_Ｌｔ、Ｇ'_Ｌｔ、Ｂ'_Ｌｔと高解像な右視差画像Ｒ'_Ｒｔ、Ｇ'_Ｒｔ、Ｂ'_Ｒｔを生成する場合の変形例について説明する。例えば高解像な左視差画像Ｒ'_Ｌｔを生成するにあたって、各画素の画素値を、ＲＧＢの各色成分の視差変調量を単純に加算すると、算出される値は実際の視差量のレベルに対して誇張された値となる。ここで、色成分はＲＧＢの３種類存在しているので、加重係数和が１となるように各色成分の視差変調量に対する加重係数をそれぞれ１／３倍に設定する。そして、ＲＧＢの各色成分の視差変調量を加算するに当たって、各色成分の視差変調量を対応する加重係数倍した後にそれぞれを加算することにより、実際の視差量のレベルに応じた値を得ることができる。さらに、図２２に示される視差画素の色分配比を視差変調項の加重係数として反映させることが望ましい。ここでは、左右の視差画像間におけるＲの画素値の差に比例係数が乗じられた項、Ｇの画素値の差に比例係数が乗じられた項、Ｂの画素値の差に比例係数が乗じられた項のそれぞれを視差変調項という。左視差画素と右視差画素は共にＲ：Ｇ：Ｂ＝１：２：１であるので、Ｒによる視差変調項には１／４倍を、Ｇによる視差変調項には１／２倍を、Ｂによる視差変調項には１／４倍を掛ける。具体的には、以下の式を用いて高解像な左視差画像Ｒ'_Ｌｔ、Ｇ'_Ｌｔ、Ｂ'_Ｌｔと高解像な右視差画像Ｒ'_Ｒｔ、Ｇ'_Ｒｔ、Ｂ'_Ｒｔを算出する。

上述の（数１）〜（数３）に、図２２に示される視差画素の色分配比を視差変調項の加重係数として反映させると、以下に示す（数４３）〜（数４５）となる。

同様に、上述の（数４）〜（数６）に、図２２に示される視差画素の色分配比を視差変調項の加重係数として反映させると、以下に示す（数４６）〜（数４８）となる。

上述の（数７）、（数９）、（数１０）に、図２２に示される視差画素の色分配比を視差変調項の加重係数として反映させると、以下に示す（数４９）〜（数５１）となる。ここでは、左右の視差画像間におけるＲの画素値の比の４乗根を示す項、Ｇの画素値の比の平方根を示す項、Ｂの画素値の比の４乗根を示す項のそれぞれを視差変調項という。
（数４９）〜（数５１）を書き換えると、以下の（数５２）〜（数５４）となる。

同様に、上述の（数１３）〜（数１５）に、図２２に示される視差画素の色分配比を視差変調項の加重係数として反映させると、以下に示す（数５５）〜（数５７）となる。
（数５５）〜（数５７）を書き換えると、以下の（数５８）〜（数６０）となる。

同様に、上述の（数１９）〜（数２４）に、図２２に示される視差画素の色分配比を視差変調項の加重係数として反映させると、以下に示す（数６１）〜（数６６）となる。ここでは、左視差画素または右視差画素におけるＲの画素値を左視差画素のＲの画素値と右視差画素のＲの画素値の相加平均で除した項、左視差画素または右視差画素におけるＧの画素値を左視差画素のＧの画素値と右視差画素のＧの画素値の相加平均で除した項、左視差画素または右視差画素におけるＢの画素値を左視差画素のＢの画素値と右視差画素のＢの画素値の相加平均で除した項のそれぞれを視差変調項という。

第１実施形態から第３実施形態ではＲＧＢ色空間のままで多色の視差変調を加える例を示した。しかし、多色の視差変調を加えるという概念は、それが別の表色系に移行した場合でも成り立つ。ここに、その例を示しておく。例えば、ＹＣｂＣｒ空間で視差変調を加える。この場合には、画像処理部２０５は、２Ｄカラー画像ＲＮ、ＧＮ、ＢＮと、疎な視差Ｌｔ画素から生成された低解像な左視差画像ＲＬｔ、ＧＬｔ、ＢＬｔと、疎な視差Ｒｔ画素から生成された低解像な右視差画像ＲＲｔ、ＧＲｔ、ＢＲｔをＹＣｂＣｒ空間に変換する変換部を有する。そして、変換部は、例えば、２Ｄカラー画像ＹＮ、ＣｂＮ、ＣｒＮと、低解像な左視差画像YＬｔ、ＣｂＬｔ、ＣｒＬｔと、低解像な右視差画像ＹＲｔ、ＣｂＲｔ、ＣｒＲｔのそれぞれを生成する。以下、第１実施形態で示した差を一定に保つ場合の視差変調を例に挙げて詳細に説明する。なお、第２、第３実施形態についても同様にＹＣｂＣｒ空間での視差変調を適用できる。

算出部２３３は、輝度値Ｙ_Ｌｔ（ｘ_ｍ，ｙ_ｎ）と輝度値Ｙ_Ｒｔ（ｘ_ｍ，ｙ_ｎ）の差、色差Ｃｂ_Ｌｔ（ｘ_ｍ，ｙ_ｎ）と色差Ｃｂ_Ｒｔ（ｘ_ｍ，ｙ_ｎ）の差、色差Ｃｒ_Ｌｔ（ｘ_ｍ，ｙ_ｎ）と色差Ｃｒ_Ｒｔ（ｘ_ｍ，ｙ_ｎ）の差のそれぞれに、比例係数を乗じた上でそれらを足し合わせる。そして、得られた値をＹ_Ｎ（ｘ_ｍ，ｙ_ｎ）に加える、つまり、視差変調を行うことにより、輝度値Ｙ'_Ｌｔ（ｘ_ｍ，ｙ_ｎ）を算出する。言い換えると、算出部２３３は、輝度値Ｙ'_Ｌｔ（ｘ_ｍ，ｙ_ｎ）と輝度値Ｙ_Ｎ（ｘ_ｍ，ｙ_ｎ）との差が、左右の視差画像間におけるＹ，Ｃｂ，Ｃｒの成分毎の差のそれぞれに、比例係数を乗じ、それらを足し合わせた値に対して相関を保つように、輝度値Ｙ'_Ｌｔ（ｘ_ｍ，ｙ_ｎ）を算出する。算出部２３３は、色差Ｃｂ'_Ｌｔ（ｘ_ｍ，ｙ_ｎ）、色差Ｃｒ'_Ｌｔ（ｘ_ｍ，ｙ_ｎ）についても同様に算出する。算出部２３３は、右側視点の輝度値Ｙ'_Ｒｔ（ｘ_ｍ，ｙ_ｎ）、右側視点の色差Ｃｂ'_Ｒｔ（ｘ_ｍ，ｙ_ｎ）、右側視点の色差Ｃｒ'_Ｒｔ（ｘ_ｍ，ｙ_ｎ）についても同様に算出する。具体的には、以下の各数式により算出する。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ デジタルカメラ、２０ 撮影レンズ、２１ 光軸、３０、３１ 被写体、１００ 撮像素子、１０１ マイクロレンズ、１０２ カラーフィルタ、１０３ 開口マスク、１０４ 開口部、１０５ 配線層、１０６ 配線、１０７ 開口、１０８ 光電変換素子、１０９ 基板、１１０ 繰り返しパターン、２０１ 制御部、２０２ Ａ／Ｄ変換回路、２０３ メモリ、２０４ 駆動部、２０５ 画像処理部、２０７ メモリカードＩＦ、２０８ 操作部、２０９ 表示部、２１０ ＬＣＤ駆動回路、２１１ ＡＦセンサ、２２０ メモリカード、２３１ 画素値抽出部、２３３ 算出部、３２２ 中心線、１８０１ 分布曲線、１８０２ 分布曲線、１８０３ 分布曲線、１８０４ 分布曲線、１８０５ 分布曲線、１８０６ 合成分布曲線、１８０７ 分布曲線、１８０８ 分布曲線、１８０９ 合成分布曲線

Claims (26)

1. 被写体像のカラーを構成するn個（n≧２）の色成分の一つである特定色において、前記被写体像を捉える複数の視点の一つである第１視点に対応する第１視点カラー画像データから、対象画素位置における前記第１視点カラー画像データの前記特定色の画素値を抽出する第１視点画素値抽出部と、
   前記第１視点とは異なる第２視点および第３視点に対応する第２視点カラー画像データおよび第３視点カラー画像データから、前記対象画素位置における前記第２視点カラー画像データの少なくとも第１色成分と第２色成分の画素値および前記第３視点カラー画像データの少なくとも第１色成分と第２色成分の画素値を抽出する第２と第３視点画素値抽出部と、
   前記第２視点カラー画像データの新たに求める特定色の画素値を、該第２視点の新たに求める特定色の画素値と前記第１視点画素値抽出部が抽出した前記第１視点カラー画像データの特定色の画素値との間の差が、少なくとも
   １）前記第２と第３画素値抽出部が抽出した前記第２の視点カラー画像データの第１色成分の画素値と前記第３視点カラー画像データの第１色成分の画素値との間の差、及び
   ２）前記第２と第３画素値抽出部が抽出した前記第２の視点カラー画像データの第２色成分の画素値と前記第３視点カラー画像データの第２色成分の画素値との間の差
   との和に対して相関を保つように算出する第２視点画素値算出部と
   を備える画像処理装置。
2. 前記第２視点画素値算出部は、前記第２視点カラー画像データの新たに求める特定色の画素値を、該第２視点の新たに求める特定色の画素値と前記第１視点画素値抽出部が抽出した前記第１視点カラー画像データの特定色の画素値との間の差が、少なくとも
   １）前記第２と第３画素値抽出部が抽出した前記第２の視点カラー画像データの第１色成分の画素値と前記第３視点カラー画像データの第１色成分の画素値との間の差、及び
   ２）前記第２と第３画素値抽出部が抽出した前記第２の視点カラー画像データの第２色成分の画素値と前記第３視点カラー画像データの第２色成分の画素値との間の差
   との和に比例するように算出することを特徴とする請求項１に記載の画像処理装置。
3. 被写体像のカラーを構成するn個（n≧２）の色成分の一つである特定色において、前記被写体像を捉える複数の視点の一つである第１視点に対応する第１視点カラー画像データから、対象画素位置における前記第１視点カラー画像データの前記特定色の画素値を抽出する第１視点画素値抽出部と、
   前記第１視点とは異なる第２視点および第３視点に対応する第２視点カラー画像データおよび第３視点カラー画像データから、前記対象画素位置における前記第２視点カラー画像データの少なくとも第１色成分と第２色成分の画素値および前記第３視点カラー画像データの少なくとも第１色成分と第２色成分の画素値を抽出する第２と第３視点画素値抽出部と、
   前記第２視点カラー画像データの新たに求める特定色の画素値を、該第２視点の新たに求める特定色の画素値と前記第１視点画素値抽出部が抽出した前記第１視点カラー画像データの特定色の画素値との間の比が、少なくとも２つの比
   １）前記第２と第３画素値抽出部が抽出した前記第２の視点カラー画像データの第１色成分の画素値と、前記第３視点カラー画像データの第１色成分の画素値によって定義される比、及び
   ２）前記第２と第３画素値抽出部が抽出した前記第２の視点カラー画像データの第２色成分の画素値と、前記第３視点カラー画像データの第２色成分の画素値によって定義される比
   の積に対して相関を保つように算出する第２視点画素値算出部と
   を備える画像処理装置。
4. 前記第２視点画素値算出部は、前記第２視点カラー画像データの新たに求める特定色の画素値を、該第２視点の新たに求める特定色の画素値と前記第１視点画素値抽出部が抽出した前記第１視点カラー画像データの特定色の画素値との間の比が、少なくとも
   １）前記第２と第３画素値抽出部が抽出した前記第２の視点カラー画像データの第１色成分の画素値と前記第３視点カラー画像データの第１色成分の画素値との間の比の平方根、及び
   ２）前記第２と第３画素値抽出部が抽出した前記第２の視点カラー画像データの第２色成分の画素値と前記第３視点カラー画像データの第２色成分の画素値との間の比の平方根
   の積に比例するように算出することを特徴とする請求項3に記載の画像処理装置。
5. 前記第２視点画素値算出部は、前記第２視点カラー画像データの新たに求める特定色の画素値を、該第２視点の新たに求める特定色の画素値と前記第１視点画素値抽出部が抽出した前記第１視点カラー画像データの特定色の画素値との間の比が、少なくとも
   １）前記第２と第３画素値抽出部が抽出した前記第２の視点カラー画像データの第１色成分の画素値と、前記第３視点カラー画像データの第１色成分の画素値と前記第２視点カラー画像データの第１色成分の画素値との和との間の比、及び
   ２）前記第２と第３画素値抽出部が抽出した前記第２の視点カラー画像データの第２色成分の画素値と、前記第３視点カラー画像データの第２色成分の画素値と前記第２視点カラー画像データの第２色成分の画素値との和との間の比
   の積に比例するように算出することを特徴とする請求項3に記載の画像処理装置。
6. 前記第１視点は、前記第２視点と前記第３視点の間の視点であることを特徴とする請求項１、請求項３のいずれかに記載の画像処理装置。
7. 前記カラー画像データの画素値のそれぞれは、ガンマ変換後の値である請求項１に記載の画像処理装置。
8. 前記カラー画像データの画素値のそれぞれは、受光量に比例した線形階調の値である請求項３に記載の画像処理装置。
9. 前記第２視点画素値算出部は、前記n個の色成分の全てに対応する前記第２視点の新たなカラー画像データが揃うように、前記特定色を順次変更して前記新たなカラー画像データを生成する請求項１、請求項３のいずれかに記載の画像処理装置。
10. 前記被写体像を撮像する撮像素子と、
    請求項１から９のいずれか１項に記載の画像処理装置と
    を備える撮像装置であって、
    前記第１視点画素値抽出部は、前記撮像素子が出力する前記第１視点に対応する特定色の画素値を有するカラー画像データから前記特定色の画素値を抽出し、
    第２と第３視点画素値抽出部は、前記撮像素子が出力する第２視点および第３視点に対応する第１色成分の画素値および第２色成分の画素値を有するカラー画像データから前記第１色成分の画素値および前記第２色成分の画素値を抽出する撮像装置。
11. 被写体像のカラーを構成するn個（n≧２）の色成分の一つである特定色において、前記被写体像を捉える複数の視点の一つである第１視点に対応する第１視点カラー画像データから、対象画素位置における前記第１視点カラー画像データの前記特定色の画素値を抽出する第１視点画素値抽出ステップと、
    前記第１視点とは異なる第２視点および第３視点に対応する第２視点カラー画像データおよび第３視点カラー画像データから、前記対象画素位置における前記第２視点カラー画像データの少なくとも第１色成分と第２色成分の画素値および前記第３視点カラー画像データの少なくとも第１色成分と第２色成分の画素値を抽出する第２と第３視点画素値抽出ステップと、
    前記第２視点カラー画像データの新たに求める特定色の画素値を、該第２視点の新たに求める特定色の画素値と前記第１視点画素値抽出部が抽出した前記第１視点カラー画像データの特定色の画素値との間の差が、少なくとも
    １）前記第２と第３画素値抽出部が抽出した前記第２の視点カラー画像データの第１色成分の画素値と前記第３視点カラー画像データの第１色成分の画素値との間の差、及び
    ２）前記第２と第３画素値抽出部が抽出した前記第２の視点カラー画像データの第２色成分の画素値と前記第３視点カラー画像データの第２色成分の画素値との間の差
    との和に対して相関を保つように算出する第２視点画素値算出ステップと
    をコンピュータに実行させる画像処理プログラム。
12. 被写体像のカラーを構成するn個（n≧２）の色成分の一つである特定色において、前記被写体像を捉える複数の視点の一つである第１視点に対応する第１視点カラー画像データから、対象画素位置における前記第１視点カラー画像データの前記特定色の画素値を抽出する第１視点画素値抽出ステップと、
    前記第１視点とは異なる第２視点および第３視点に対応する第２視点カラー画像データおよび第３視点カラー画像データから、前記対象画素位置における前記第２視点カラー画像データの少なくとも第１色成分と第２色成分の画素値および前記第３視点カラー画像データの少なくとも第１色成分と第２色成分の画素値を抽出する第２と第３視点画素値抽出ステップと、
    前記第２視点カラー画像データの新たに求める特定色の画素値を、該第２視点の新たに求める特定色の画素値と前記第１視点画素値抽出部が抽出した前記第１視点カラー画像データの特定色の画素値との間の比が、少なくとも２つの比
    １）前記第２と第３画素値抽出部が抽出した前記第２の視点カラー画像データの第１色成分の画素値と、前記第３視点カラー画像データの第１色成分の画素値によって定義される比、及び
    ２）前記第２と第３画素値抽出部が抽出した前記第２の視点カラー画像データの第２色成分の画素値と、前記第３視点カラー画像データの第２色成分の画素値によって定義される比
    の積に対して相関を保つように算出する第２視点画素値算出ステップと
    をコンピュータに実行させる画像処理プログラム。
13. 被写体像のカラーを構成する複数の色成分の一つであるＸ成分色において、前記被写体像を捉える複数の視点の一つである第１視点に対応する１Ｘ画素値を有するカラー画像データから、対象画素位置における前記１Ｘ画素値を抽出し、
    前記複数の色成分の一つであるＡ成分色において、前記第１視点とは異なる第２視点および第３視点に対応する２Ａ画素値および３Ａ画素値を有するカラー画像データから、前記対象画素位置における前記２Ａ画素値および前記３Ａ画素値を抽出し、
    前記複数の色成分の一つであって前記Ａ成分色とは異なるＢ成分色において、前記第２視点および前記第３視点に対応する２Ｂ画素値および３Ｂ画素値を有するカラー画像データから、前記対象画素位置における前記２Ｂ画素値および前記３Ｂ画素値を抽出する画素値抽出部と、
    前記Ｘ成分色に対する前記第２視点の２Ｘ画素値または前記第３視点の３Ｘ画素値と、前記１Ｘ画素値との差が、前記２Ａ画素値と前記３Ａ画素値との差に、前記２Ｂ画素値と前記３Ｂ画素値との差を加えた値に対して相関を保つように前記２Ｘ画素値および前記３Ｘ画素値の少なくともいずれかを算出する算出部と
    を備える画像処理装置。
14. 前記算出部は、前記２Ｘ画素値または前記３Ｘ画素値と、前記１Ｘ画素値との差が、前記２Ａ画素値と前記３Ａ画素値との差に、前記２Ｂ画素値と前記３Ｂ画素値との差を加えた値に対して比例するように前記２Ｘ画素値および前記３Ｘ画素値の少なくともいずれかを算出する請求項１３に記載の画像処理装置。
15. 被写体像のカラーを構成する複数の色成分の一つであるＸ成分色において、前記被写体像を捉える複数の視点の一つである第１視点に対応する１Ｘ画素値を有するカラー画像データから、対象画素位置における前記１Ｘ画素値を抽出し、
    前記複数の色成分の一つであるＡ成分色において、前記第１視点とは異なる第２視点および第３視点に対応する２Ａ画素値および３Ａ画素値を有するカラー画像データから、前記対象画素位置における前記２Ａ画素値および前記３Ａ画素値を抽出し、
    前記複数の色成分の一つであって前記Ａ成分色とは異なるＢ成分色において、前記第２視点および前記第３視点に対応する２Ｂ画素値および３Ｂ画素値を有するカラー画像データから、前記対象画素位置における前記２Ｂ画素値および前記３Ｂ画素値を抽出する画素値抽出部と、
    前記Ｘ成分色に対する前記第２視点の２Ｘ画素値または前記第３視点の３Ｘ画素値と前記１Ｘ画素値との比が、前記２Ａ画素値と前記３Ａ画素値によって定義される比に、前記２Ｂ画素値と前記３Ｂ画素値によって定義される比を乗じた値に対して相関を保つように前記２Ｘ画素値および前記３Ｘ画素値の少なくともいずれかを算出する算出部と
    を備える画像処理装置。
16. 前記算出部は、前記２Ｘ画素値または前記３Ｘ画素値と、前記１Ｘ画素値との比が、前記２Ａ画素値と前記３Ａ画素値の相乗平均に、前記２Ｂ画素値と前記３Ｂ画素値の相乗平均を乗じた値に対して比例するように前記２Ｘ画素値および前記３Ｘ画素値の少なくともいずれかを算出する請求項１５に記載の画像処理装置。
17. 前記算出部は、前記２Ｘ画素値または前記３Ｘ画素値と、前記１Ｘ画素値との比が、前記２Ａ画素値と前記３Ａ画素値の相加平均に、前記２Ｂ画素値と前記３Ｂ画素値の相加平均を乗じた値に対して比例するように前記２Ｘ画素値および前記３Ｘ画素値の少なくともいずれかを算出する請求項１５に記載の画像処理装置。
18. 前記第１視点は、前記第２視点と前記第３視点の間の視点である請求項１３から１７のいずれか１項に記載の画像処理装置。
19. 前記カラー画像データの画素値のそれぞれは、ガンマ変換後の値である請求項１３または１４に記載の画像処理装置。
20. 前記対象画素位置を前記カラー画像データにおける画像領域に対して順次移動して、前記画素値抽出部および前記算出部に算出させた複数の画素値を用いて、前記第２視点および前記第３視点の少なくともいずれかに対応する前記Ｘ成分色の前記カラー画像データを生成する画像データ生成部を備える請求項１３から１９のいずれか１項に記載の画像処理装置。
21. 前記画像データ生成部は、前記複数の色成分の全てに対応する前記第２視点および前記第３視点の前記カラー画像データが揃うように、前記複数の色成分における前記Ｘ成分色を変更して前記カラー画像データを生成する請求項２０に記載の画像処理装置。
22. 前記Ｘ成分色は、前記Ａ成分色と同一である請求項１３から２１のいずれか１項に記載の画像処理装置。
23. 前記被写体像を撮像する撮像素子と、
    請求項１３から２２のいずれか１項に記載の画像処理装置と
    を備える撮像装置であって、
    前記画素値抽出部は、前記撮像素子が出力する前記第１視点に対応する１Ｘ画素値を有するカラー画像データから前記１Ｘ画素値を抽出し、前記撮像素子が出力する第２視点および第３視点に対応する２Ａ画素値および３Ａ画素値を有するカラー画像データから前記２Ａ画素値および前記３Ａ画素値を抽出する撮像装置。
24. 被写体像のカラーを構成する複数の色成分の一つであるＸ成分色において、前記被写体像を捉える複数の視点の一つである第１視点に対応する１Ｘ画素値を有するカラー画像データから、対象画素位置における前記１Ｘ画素値を抽出する第１抽出ステップと、
    前記複数の色成分の一つであるＡ成分色において、前記第１視点とは異なる第２視点および第３視点に対応する２Ａ画素値および３Ａ画素値を有するカラー画像データから、前記対象画素位置における前記２Ａ画素値および前記３Ａ画素値を抽出し、前記複数の色成分の一つであって前記Ａ成分色とは異なるＢ成分色において、前記第２視点および前記第３視点に対応する２Ｂ画素値および３Ｂ画素値を有するカラー画像データから、前記対象画素位置における前記２Ｂ画素値および前記３Ｂ画素値を抽出する第２抽出ステップと、
    前記Ｘ成分色に対する前記第２視点の２Ｘ画素値または前記第３視点の３Ｘ画素値と、前記１Ｘ画素値との差が、前記２Ａ画素値と前記３Ａ画素値との差に、前記２Ｂ画素値と前記３Ｂ画素値との差を加えた値に対して相関を保つように前記２Ｘ画素値および前記３Ｘ画素値の少なくともいずれかを算出する算出ステップと
    をコンピュータに実行させる画像処理プログラム。
25. 被写体像のカラーを構成する複数の色成分の一つであるＸ成分色において、前記被写体像を捉える複数の視点の一つである第１視点に対応する１Ｘ画素値を有するカラー画像データから、対象画素位置における前記１Ｘ画素値を抽出する第１抽出ステップと、
    前記複数の色成分の一つであるＡ成分色において、前記第１視点とは異なる第２視点および第３視点に対応する２Ａ画素値および３Ａ画素値を有するカラー画像データから、前記対象画素位置における前記２Ａ画素値および前記３Ａ画素値を抽出し、前記複数の色成分の一つであって前記Ａ成分色とは異なるＢ成分色において、前記第２視点および前記第３視点に対応する２Ｂ画素値および３Ｂ画素値を有するカラー画像データから、前記対象画素位置における前記２Ｂ画素値および前記３Ｂ画素値を抽出する第２抽出ステップと、
    前記Ｘ成分色に対する前記第２視点の２Ｘ画素値または前記第３視点の３Ｘ画素値と前記１Ｘ画素値との比が、前記２Ａ画素値と前記３Ａ画素値によって定義される比に、前記２Ｂ画素値と前記３Ｂ画素値によって定義される比を乗じた値に対して相関を保つように前記２Ｘ画素値および前記３Ｘ画素値の少なくともいずれかを算出する算出ステップと
    をコンピュータに実行させる画像処理プログラム。
26. 被写体像のカラーを構成する複数の色成分の一つであるＸ成分色において、前記被写体像を捉える複数の視点の一つである第１視点に対応する１Ｘ画素値を有するカラー画像データから、対象画素位置における前記１Ｘ画素値を抽出し、
    前記複数の色成分の一つであるＡ成分色において、前記第１視点とは異なる第２視点および第３視点に対応する２Ａ画素値および３Ａ画素値を有するカラー画像データから、前記対象画素位置における前記２Ａ画素値および前記３Ａ画素値を抽出し、
    前記複数の色成分の一つであって前記Ａ成分色とは異なるＢ成分色において、前記第２視点および前記第３視点に対応する２Ｂ画素値および３Ｂ画素値を有するカラー画像データから、前記対象画素位置における前記２Ｂ画素値および前記３Ｂ画素値を抽出する画素値抽出部と、
    前記Ｘ成分色、前記Ａ成分色および前記Ｂ成分色の組み合わせで表現される色空間からＹＣｂＣｒ空間に変換する変換部と、
    前記第２視点の輝度値Ｙまたは前記第３視点の輝度値Ｙと、前記第１視点の輝度値Ｙとの差が、前記第２視点の色差Ｃｂと前記第３視点の色差Ｃｂとの差に、前記第２視点の色差Ｃｒと前記第３視点の色差Ｃｒとの差を加えた値に対して相関を保つように前記第２視点の輝度値Ｙまたは前記第３視点の輝度値Ｙの少なくともいずれかを算出する算出部と
    を備える画像処理装置。