JP5978736B2 - 画像処理装置、撮像装置および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置および画像処理プログラムに関する。

２つの撮影光学系を用いて、右目用の画像と左目用の画像とから成るステレオ画像を取得するステレオ撮像装置が知られている。このようなステレオ撮像装置は、２つの撮像光学系を一定の間隔で配置することにより、同一の被写体を撮像して得られる２つの画像に視差を生じさせる。
［先行技術文献］
［特許文献］
［特許文献１］ 特開平８−４７００１号公報

右目用の画像と左目用の画像におけるぼけ量と視差量は、撮像光学系によって設定される焦点位置、絞り値によって一体的に定まる。しかし、ぼけ量を維持したまま、視差量を独立して変更したい場合がある。

本発明の第１の態様における画像処理装置は、同一シーンを撮像して生成される、基準画像データ、基準画像データの被写体像に対して一方向に第１視差を有する第１視差画像データ、および一方向とは反対の他方向に第２視差を有する第２視差画像データを取得する画像データ取得部と、基準画像データの対象画素位置における基準画素値、第１視差画像データの対象画素位置における第１視差輝度値、および第２視差画像データの対象画素位置における第２視差輝度値を抽出して、計算式Ｐ_３＝２Ｐ_０×（Ｃ・Ｐ_１＋（１−Ｃ）Ｐ_２）／（Ｐ_１＋Ｐ_２）、（Ｐ_０：基準画素値、Ｐ_１：第１視差輝度値，Ｐ_２：第２視差輝度値，Ｐ_３：第３視差画素値，Ｃ：実数（ただし、Ｃ≠０，０．５，１））により、被写体像に対して第１視差とも第２視差とも異なる第３視差を有する第３視差画素値を算出する算出部と、基準画像データにおける画像領域に対して対象画素位置を順次移動して算出部により算出させた複数の第３視差画素値を用いて、第３視差画像データを生成する画像データ生成部とを備える。

本発明の第２の態様における画像処理装置は、同一シーンを撮像して生成される、基準画像データ、基準画像データの被写体像に対して一方向に第１視差を有する第１視差画像データ、および一方向とは反対の他方向に第２視差を有する第２視差画像データを取得する画像データ取得部と、基準画像データの対象画素位置における基準画素値、第１視差画像データの対象画素位置における第１視差輝度値、および第２視差画像データの対象画素位置における第２視差輝度値を抽出して、計算式Ｐ_３＝Ｐ_０×（Ｐ_２／Ｐ_１）^{（１／２−Ｃ）}、（Ｐ_０：基準画素値、Ｐ_１：第１視差輝度値、Ｐ_２：第２視差輝度値、Ｐ_３：第３視差画素値、Ｃ：実数（ただし、Ｃ≠０，０．５，１））により、被写体像に対して第１視差とも第２視差とも異なる第３視差を有する第３視差画素値を算出する算出部と、基準画像データにおける画像領域に対して対象画素位置を順次移動して算出部により算出させた複数の第３視差画素値を用いて、第３視差画像データを生成する画像データ生成部とを備える。

本発明の第３の態様における撮像装置は、同一シーンを撮像する撮像素子と、上記の画像処理装置とを備える撮像装置であって、画像データ取得部は、撮像素子が出力する基準画像データ、第１視差画像データおよび第２視差画像データを取得する。

本発明の第４の態様における画像処理プログラムは、同一シーンを撮像して生成される、基準画像データ、基準画像データの被写体像に対して一方向に第１視差を有する第１視差画像データ、および一方向とは反対の他方向に第２視差を有する第２視差画像データを取得する画像データ取得ステップと、基準画像データにおける画像領域に対して対象画素位置を順次移動しつつ、基準画像データの対象画素位置における基準画素値、第１視差画像データの対象画素位置における第１視差輝度値、および第２視差画像データの対象画素位置における第２視差輝度値を抽出して、計算式Ｐ_３＝２Ｐ_０×（Ｃ・Ｐ_１＋（１−Ｃ）Ｐ_２）／（Ｐ_１＋Ｐ_２）、（Ｐ_０：基準画素値、Ｐ_１：第１視差輝度値，Ｐ_２：第２視差輝度値，Ｐ_３：第３視差画素値，Ｃ：実数（ただし、Ｃ≠０，０．５，１））により、被写体像に対して第１視差とも第２視差とも異なる第３視差を有する第３視差画素値を順次算出する算出ステップと、算出ステップにより算出された複数の第３視差画素値を用いて、第３視差画像データを生成する画像データ生成ステップとをコンピュータに実行させる。

本発明の第５の態様における画像処理プログラムは、同一シーンを撮像して生成される、基準画像データ、基準画像データの被写体像に対して一方向に第１視差を有する第１視差画像データ、および一方向とは反対の他方向に第２視差を有する第２視差画像データを取得する画像データ取得ステップと、基準画像データにおける画像領域に対して対象画素位置を順次移動しつつ、基準画像データの対象画素位置における基準画素値、第１視差画像データの対象画素位置における第１視差輝度値、および第２視差画像データの対象画素位置における第２視差輝度値を抽出して、計算式Ｐ_３＝Ｐ_０×（Ｐ_２／Ｐ_１）^{（１／２−Ｃ）}、（Ｐ_０：基準画素値、Ｐ_１：第１視差輝度値、Ｐ_２：第２視差輝度値、Ｐ_３：第３視差画素値、Ｃ：実数（ただし、Ｃ≠０，０．５，１））により、被写体像に対して第１視差とも第２視差とも異なる第３視差を有する第３視差画素値を順次算出する算出ステップと、算出ステップにより算出された複数の第３視差画素値を用いて、第３視差画像データを生成する画像データ生成ステップとをコンピュータに実行させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本発明の実施形態に係るデジタルカメラの構成を説明する図である。 本発明の実施形態に係る撮像素子の断面を表す概略図である。 撮像素子の一部を拡大した様子を表す概略図である。 視差画素と被写体の関係を説明する概念図である。 視差画像を生成する処理を説明する概念図である。 ベイヤー配列を説明する図である。 ベイヤー配列に対する視差画素の割り振りについて、視差画素の種類が２つである場合のバリエーションを説明する図である。 バリエーションの一例を示す図である。 他のバリエーションの一例を示す図である。 他のバリエーションの一例を示す図である。 他のカラーフィルタ配列を説明する図である。 Ｗ画素と視差画素の配列の一例を示す図である。 プレーン分離処理を説明する図である。 プレーンデータの補間処理を説明する図である。 ＲＡＷ画像データセットのデータ構造を説明する図である。 デフォーカスの概念を説明する図である。 視差画素デフォーカスの概念を説明する図である。 視差なし画素と視差画素の光強度分布を示す図である。 調整視差量の概念を説明するための光強度分布を示す図である。 カラー視差プレーンデータの生成処理を説明する図である。 ＲＧＢの光強度分布の変化を説明する図である。 視差カラー画像データを生成するまでの処理フローである。 好ましい開口形状を説明する図である。 調整視差量の概念を説明するための光強度分布を示す図である。 カラー視差プレーンデータの生成処理を説明する図である。 ＲＧＢの光強度分布の変化を説明する図である。 他の繰り返しパターンを採用する撮像素子１００におけるプレーン分離処理を説明する図である。 他の繰り返しパターンを採用する撮像素子１００におけるＲＡＷ画像データセットのデータ構造を説明する図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

画像処理装置および撮像装置の一形態である本実施形態に係るデジタルカメラは、１つのシーンについて複数の視点数の画像を一度の撮影により生成できるように構成されている。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。

図１は、本発明の実施形態に係るデジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、撮影光学系としての撮影レンズ２０を備え、光軸２１に沿って入射する被写体光束を撮像素子１００へ導く。撮影レンズ２０は、デジタルカメラ１０に対して着脱できる交換式レンズであっても構わない。デジタルカメラ１０は、撮像素子１００、制御部２０１、Ａ／Ｄ変換回路２０２、メモリ２０３、駆動部２０４、画像処理部２０５、メモリカードＩＦ２０７、操作部２０８、表示部２０９、ＬＣＤ駆動回路２１０およびＡＦセンサ２１１を備える。

なお、図示するように、撮像素子１００へ向かう光軸２１に平行な方向をｚ軸プラス方向と定め、ｚ軸と直交する平面において紙面手前へ向かう方向をｘ軸プラス方向、紙面上方向をｙ軸プラス方向と定める。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図１では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、二次元的に複数の光電変換素子が配列された、例えばＣＣＤ、ＣＭＯＳセンサ等のイメージセンサである。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してＡ／Ｄ変換回路２０２へ出力する。

Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画像信号をデジタル画像信号に変換してメモリ２０３へ出力する。画像処理部２０５は、メモリ２０３をワークスペースとして種々の画像処理を施し、画像データを生成する。特に、画像処理部２０５は、カラー画像データの対象画素位置から画素値を抽出する画素値抽出部２３１、視差画像データの対象画素位置から輝度値を抽出する輝度値抽出部２３２、抽出した画素値と輝度値を用いて対象画素位置におけるカラー画像データとしての画素値を算出する算出部２３３を有する。それぞれの処理の詳細については、後述する。

画像処理部２０５は、他にも選択された画像フォーマットに従って画像データを調整するなどの画像処理一般の機能も担う。生成された画像データは、ＬＣＤ駆動回路２１０により表示信号に変換され、表示部２０９に表示される。また、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録される。

ＡＦセンサ２１１は、被写体空間に対して複数の測距点が設定された位相差センサであり、それぞれの測距点において被写体像のデフォーカス量を検出する。一連の撮影シーケンスは、操作部２０８がユーザの操作を受け付けて、制御部２０１へ操作信号を出力することにより開始される。撮影シーケンスに付随するＡＦ，ＡＥ等の各種動作は、制御部２０１に制御されて実行される。例えば、制御部２０１は、ＡＦセンサ２１１の検出信号を解析して、撮影レンズ２０の一部を構成するフォーカスレンズを移動させる合焦制御を実行する。

次に、撮像素子１００の構成について詳細に説明する。図２は、本発明の実施形態に係る撮像素子の断面を表す概略図である。図２（ａ）は、カラーフィルタ１０２と開口マスク１０３が別体で構成される撮像素子１００の断面概略図である。また、図２（ｂ）は、撮像素子１００の変形例として、カラーフィルタ部１２２と開口マスク部１２３が一体的に構成されたスクリーンフィルタ１２１を備える撮像素子１２０の断面外略図である。

図２（ａ）に示すように、撮像素子１００は、被写体側から順に、マイクロレンズ１０１、カラーフィルタ１０２、開口マスク１０３、配線層１０５および光電変換素子１０８が配列されて構成されている。光電変換素子１０８は、入射する光を電気信号に変換するフォトダイオードにより構成される。光電変換素子１０８は、基板１０９の表面に二次元的に複数配列されている。

光電変換素子１０８により変換された画像信号、光電変換素子１０８を制御する制御信号等は、配線層１０５に設けられた配線１０６を介して送受信される。また、各光電変換素子１０８に一対一に対応して設けられた開口部１０４を有する開口マスク１０３が、配線層に接して設けられている。開口部１０４は、後述するように、対応する光電変換素子１０８ごとにシフトされて、相対的な位置が厳密に定められている。詳しくは後述するが、この開口部１０４を備える開口マスク１０３の作用により、光電変換素子１０８が受光する被写体光束に視差が生じる。

一方、視差を生じさせない光電変換素子１０８上には、開口マスク１０３が存在しない。別言すれば、対応する光電変換素子１０８に対して入射する被写体光束を制限しない、つまり有効光束の全体を通過させる開口部１０４を有する開口マスク１０３が設けられているとも言える。視差を生じさせることはないが、実質的には配線１０６によって形成される開口１０７が入射する被写体光束を規定するので、配線１０６を、視差を生じさせない有効光束の全体を通過させる開口マスクと捉えることもできる。開口マスク１０３は、各光電変換素子１０８に対応して別個独立に配列しても良いし、カラーフィルタ１０２の製造プロセスと同様に複数の光電変換素子１０８に対して一括して形成しても良い。

カラーフィルタ１０２は、開口マスク１０３上に設けられている。カラーフィルタ１０２は、各光電変換素子１０８に対して特定の波長帯域を透過させるように着色された、光電変換素子１０８のそれぞれに一対一に対応して設けられるフィルタである。カラー画像を出力するには、互いに異なる少なくとも２種類のカラーフィルタが配列されれば良いが、より高画質のカラー画像を取得するには３種類以上のカラーフィルタを配列すると良い。これらのカラーフィルタは、カラー画像を生成するための原色フィルタと言える。原色フィルタの組み合わせは、例えば赤色波長帯を透過させる赤フィルタ（Ｒフィルタ）、緑色波長帯を透過させる緑フィルタ（Ｇフィルタ）、および青色波長帯を透過させる青フィルタ（Ｂフィルタ）である。これらのカラーフィルタは、後述するように、光電変換素子１０８に対応して格子状に配列される。

マイクロレンズ１０１は、カラーフィルタ１０２上に設けられている。マイクロレンズ１０１は、入射する被写体光束のより多くを光電変換素子１０８へ導くための集光レンズである。マイクロレンズ１０１は、光電変換素子１０８のそれぞれに一対一に対応して設けられている。マイクロレンズ１０１は、撮影レンズ２０の瞳中心と光電変換素子１０８の相対的な位置関係を考慮して、より多くの被写体光束が光電変換素子１０８に導かれるようにその光軸がシフトされていることが好ましい。さらには、開口マスク１０３の開口部１０４の位置と共に、後述の特定の被写体光束がより多く入射するように配置位置が調整されても良い。

このように、各々の光電変換素子１０８に対応して一対一に設けられる開口マスク１０３、カラーフィルタ１０２およびマイクロレンズ１０１の一単位を画素と呼ぶ。特に、視差を生じさせる開口マスク１０３が設けられた画素を視差画素、視差を生じさせる開口マスク１０３が設けられていない画素を視差なし画素と呼ぶ。例えば、撮像素子１００の有効画素領域が２４ｍｍ×１６ｍｍ程度の場合、画素数は１２００万程度に及ぶ。また、撮像素子１００の出力から生成される画像データにおいて、撮像素子１００の画素に対応して出力値を持ち得る単位も単に画素と呼ぶ場合がある。

なお、集光効率、光電変換効率が良いイメージセンサの場合は、マイクロレンズ１０１を設けなくても良い。また、裏面照射型イメージセンサの場合は、配線層１０５が光電変換素子１０８とは反対側に設けられる。

カラーフィルタ１０２と開口マスク１０３の組み合わせには、さまざまなバリエーションが存在する。図２（ａ）において、開口マスク１０３の開口部１０４に色成分を持たせれば、カラーフィルタ１０２と開口マスク１０３を一体的に形成することができる。また、特定の画素を被写体の輝度情報を取得する画素とする場合、その画素には、対応するカラーフィルタ１０２を設けなくても良い。あるいは、可視光のおよそ全ての波長帯域を透過させるように、着色を施さない透明フィルタを配列しても良い。

また、本実施形態においては、開口マスク１０３と配線１０６を別体として設けているが、視差画素における開口マスク１０３の機能を配線１０６が担っても良い。すなわち、規定される開口形状を配線１０６により形成し、当該開口形状により被写体光束を制限して特定の部分光束のみを光電変換素子１０８へ導く。この場合、開口形状を形成する配線１０６は、配線層１０５のうち最も光電変換素子１０８側であることが好ましい。

また、開口マスク１０３は、光電変換素子１０８に重ねて設けられる透過阻止膜によって形成されても良い。この場合、開口マスク１０３は、例えば、ＳｉＮ膜とＳｉＯ_２膜を順次積層して透過阻止膜とし、開口部１０４に相当する領域をエッチングで除去して形成される。

輝度情報を取得する画素を視差画素とするのであれば、図２（ｂ）として示す撮像素子１２０の構成を採用し得る。すなわち、カラーフィルタとして機能するカラーフィルタ部１２２と、開口部１０４を有する開口マスク部１２３とが一体的に構成されたスクリーンフィルタ１２１を、マイクロレンズ１０１と配線層１０５の間に配設することができる。

スクリーンフィルタ１２１は、カラーフィルタ部１２２において例えば青緑赤の着色が施され、開口マスク部１２３において開口部１０４以外のマスク部分が黒の着色が施されて形成される。スクリーンフィルタ１２１を採用する撮像素子１２０は、撮像素子１００に比較して、マイクロレンズ１０１から光電変換素子１０８までの距離が短いので、被写体光束の集光効率が高い。

次に、開口マスク１０３の開口部１０４と、生じる視差の関係について説明する。図３は、撮像素子１００の一部を拡大した様子を表す概略図である。ここでは、説明を簡単にすべく、カラーフィルタ１０２の配色については後に言及を再開するまで考慮しない。カラーフィルタ１０２の配色に言及しない以下の説明においては、同色（透明である場合を含む）のカラーフィルタ１０２を有する視差画素のみを寄せ集めたイメージセンサであると捉えることができる。したがって、以下に説明する繰り返しパターンは、同色のカラーフィルタ１０２における隣接画素として考えても良い。

図３に示すように、開口マスク１０３の開口部１０４は、それぞれの画素に対して相対的にシフトして設けられている。そして、隣接する画素同士においても、それぞれの開口部１０４は互いに変位した位置に設けられている。

図の例においては、それぞれの画素に対する開口部１０４の位置として、互いに左右方向にシフトした６種類の開口マスク１０３が用意されている。そして、撮像素子１００の全体は、紙面左側から右側へ徐々にシフトする開口マスク１０３をそれぞれ有する６つの視差画素を一組とする光電変換素子群が、二次元的かつ周期的に配列されている。つまり、撮像素子１００は、一組の光電変換素子群を含む繰り返しパターン１１０が、周期的に敷き詰められて構成されていると言える。

図４は、視差画素と被写体の関係を説明する概念図である。特に図４（ａ）は撮像素子１００のうち撮影光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔの光電変換素子群を示し、図４（ｂ）は周辺部分に配列されている繰り返しパターン１１０ｕの光電変換素子群を模式的に示している。図４（ａ）、（ｂ）における被写体３０は、撮影レンズ２０に対して合焦位置に存在する。図４（ｃ）は、図４（ａ）に対応して、撮影レンズ２０に対して非合焦位置に存在する被写体３１を捉えた場合の関係を模式的に示している。

まず、撮影レンズ２０が合焦状態に存在する被写体３０を捉えている場合の、視差画素と被写体の関係を説明する。被写体光束は、撮影レンズ２０の瞳を通過して撮像素子１００へ導かれるが、被写体光束が通過する全体の断面領域に対して、６つの部分領域Ｐａ〜Ｐｆが規定されている。そして、例えば繰り返しパターン１１０ｔ、１１０ｕを構成する光電変換素子群の紙面左端の画素は、拡大図からもわかるように、部分領域Ｐｆから射出された被写体光束のみが光電変換素子１０８へ到達するように、開口マスク１０３の開口部１０４ｆの位置が定められている。同様に、右端の画素に向かって、部分領域Ｐｅに対応して開口部１０４ｅの位置が、部分領域Ｐｄに対応して開口部１０４ｄの位置が、部分領域Ｐｃに対応して開口部１０４ｃの位置が、部分領域Ｐｂに対応して開口部１０４ｂの位置が、部分領域Ｐａに対応して開口部１０４ａの位置がそれぞれ定められている。

別言すれば、例えば部分領域Ｐｆと左端画素の相対的な位置関係によって定義される、部分領域Ｐｆから射出される被写体光束（部分光束）の主光線Ｒｆの傾きにより、開口部１０４ｆの位置が定められていると言っても良い。そして、合焦位置に存在する被写体３０からの被写体光束を、開口部１０４ｆを介して光電変換素子１０８が受光する場合、その被写体光束は、点線で図示するように、光電変換素子１０８上で結像する。同様に、右端の画素に向かって、主光線Ｒｅの傾きにより開口部１０４ｅの位置が、主光線Ｒｄの傾きにより開口部１０４ｄの位置が、主光線Ｒｃの傾きにより開口部１０４ｃの位置が、主光線Ｒｂの傾きにより開口部１０４ｂの位置が、主光線Ｒａの傾きにより開口部１０４ａの位置がそれぞれ定められていると言える。

図４（ａ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１と交差する被写体３０上の微小領域Ｏｔから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ〜Ｐｆを介して、一つの微小領域Ｏｔから放射される光束を受光している。微小領域Ｏｔは、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。同様に、図４（ｂ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１から離間した被写体３０上の微小領域Ｏｕから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ〜Ｐｆを介して、一つの微小領域Ｏｕから放射される光束を受光している。微小領域Ｏｕも、微小領域Ｏｔと同様に、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。

つまり、被写体３０が合焦位置に存在する限りは、撮像素子１００上における繰り返しパターン１１０の位置に応じて、光電変換素子群が捉える微小領域が異なり、かつ、光電変換素子群を構成する各画素は互いに異なる部分領域を介して同一の微小領域を捉えている。そして、それぞれの繰り返しパターン１１０において、対応する画素同士は同じ部分領域からの被写体光束を受光している。つまり、図においては、例えば繰り返しパターン１１０ｔ、１１０ｕのそれぞれの左端の画素は、同じ部分領域Ｐｆからの被写体光束を受光している。

撮影光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔにおいて左端画素が部分領域Ｐｆからの被写体光束を受光する開口部１０４ｆの位置と、周辺部分に配列されている繰り返しパターン１１０ｕにおいて左端画素が部分領域Ｐｆからの被写体光束を受光する開口部１０４ｆの位置は厳密には異なる。しかしながら、機能的な観点からは、部分領域Ｐｆからの被写体光束を受光するための開口マスクという点で、これらを同一種類の開口マスクとして扱うことができる。したがって、図４の例では、撮像素子１００上に配列される視差画素のそれぞれは、６種類の開口マスクの一つを備えると言える。

次に、撮影レンズ２０が非合焦状態に存在する被写体３１を捉えている場合の、視差画素と被写体の関係を説明する。この場合も、非合焦位置に存在する被写体３１からの被写体光束は、撮影レンズ２０の瞳の６つの部分領域Ｐａ〜Ｐｆを通過して、撮像素子１００へ到達する。ただし、非合焦位置に存在する被写体３１からの被写体光束は、光電変換素子１０８上ではなく他の位置で結像する。例えば、図４（ｃ）に示すように、被写体３１が被写体３０よりも撮像素子１００に対して遠い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体３１側で結像する。逆に、被写体３１が被写体３０よりも撮像素子１００に対して近い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体３１とは反対側で結像する。

したがって、非合焦位置に存在する被写体３１のうち、微小領域Ｏｔ'から放射される被写体光束は、６つの部分領域Ｐａ〜Ｐｆのいずれを通過するかにより、異なる組の繰り返しパターン１１０における対応画素に到達する。例えば、部分領域Ｐｄを通過した被写体光束は、図４（ｃ）の拡大図に示すように、主光線Ｒｄ'として、繰り返しパターン１１０ｔ'に含まれる、開口部１０４ｄを有する光電変換素子１０８へ入射する。そして、微小領域Ｏｔ'から放射された被写体光束であっても、他の部分領域を通過した被写体光束は、繰り返しパターン１１０ｔ'に含まれる光電変換素子１０８へは入射せず、他の繰り返しパターンにおける対応する開口部を有する光電変換素子１０８へ入射する。換言すると、繰り返しパターン１１０ｔ'を構成する各光電変換素子１０８へ到達する被写体光束は、被写体３１の互いに異なる微小領域から放射された被写体光束である。すなわち、開口部１０４ｄに対応する１０８へは主光線をＲｄ'とする被写体光束が入射し、他の開口部に対応する光電変換素子１０８へは主光線をＲａ^＋、Ｒｂ^＋、Ｒｃ^＋、Ｒｅ^＋、Ｒｆ^＋とする被写体光束が入射するが、これらの被写体光束は、被写体３１の互いに異なる微小領域から放射された被写体光束である。このような関係は、図４（ｂ）における周辺部分に配列されている繰り返しパターン１１０ｕにおいても同様である。

すると、撮像素子１００の全体で見た場合、例えば、開口部１０４ａに対応する光電変換素子１０８で捉えた被写体像Ａと、開口部１０４ｄに対応する光電変換素子１０８で捉えた被写体像Ｄは、合焦位置に存在する被写体に対する像であれば互いにずれが無く、非合焦位置に存在する被写体に対する像であればずれが生じることになる。そして、そのずれは、非合焦位置に存在する被写体が合焦位置に対してどちら側にどれだけずれているかにより、また、部分領域Ｐａと部分領域Ｐｄの距離により、方向と量が定まる。つまり、被写体像Ａと被写体像Ｄは、互いに視差像となる。この関係は、他の開口部に対しても同様であるので、開口部１０４ａから１０４ｆに対応して、６つの視差像が形成されることになる。

したがって、このように構成されたそれぞれの繰り返しパターン１１０において、互いに対応する画素の出力を寄せ集めると、視差画像が得られる。つまり、６つの部分領域Ｐａ〜Ｐｆうちの特定の部分領域から射出された被写体光束を受光した画素の出力は、視差画像を形成する。

図５は、視差画像を生成する処理を説明する概念図である。図は、左列から順に、開口部１０４ｆに対応する視差画素の出力を集めて生成される視差画像データＩｍ＿ｆの生成の様子、開口部１０４ｅの出力による視差画像データＩｍ＿ｅの生成の様子、開口部１０４ｄの出力による視差画像データＩｍ＿ｄの生成の様子、開口部１０４ｃの出力による視差画像データＩｍ＿ｃの生成の様子、開口部１０４ｂの出力による視差画像データＩｍ＿ｂの生成の様子、開口部１０４ａの出力による視差画像データＩｍ＿ａの生成の様子を表す。まず開口部１０４ｆの出力による視差画像データＩｍ＿ｆの生成の様子について説明する。

６つの視差画素を一組とする光電変換素子群から成る繰り返しパターン１１０は、横一列に配列されている。したがって、開口部１０４ｆを有する視差画素は、視差なし画素を除いた仮想的な撮像素子１００上において、左右方向に６画素おき、かつ、上下方向に連続して存在する。これら各画素は、上述のようにそれぞれ異なる微小領域からの被写体光束を受光している。したがって、これらの視差画素の出力を寄せ集めて配列すると、視差画像が得られる。

しかし、本実施形態における撮像素子１００の各画素は正方画素であるので、単に寄せ集めただけでは、横方向の画素数が１／６に間引かれた結果となり、縦長の画像データが生成されてしまう。そこで、補間処理を施して横方向に６倍の画素数とすることにより、本来のアスペクト比の画像として視差画像データＩｍ＿ｆを生成する。ただし、そもそも補間処理前の視差画像データが横方向に１／６に間引かれた画像であるので、横方向の解像度は、縦方向の解像度よりも低下している。つまり、生成される視差画像データの数と、解像度の向上は相反関係にあると言える。なお、本実施形態に適用する具体的な補間処理については後述する。

同様にして、視差画像データＩｍ＿ｅ〜視差画像データＩｍ＿ａが得られる。すなわち、デジタルカメラ１０は、横方向に視差を有する６視点の視差画像を生成することができる。

次に、カラーフィルタ１０２と視差画像について説明する。図６は、ベイヤー配列を説明する図である。図示するように、ベイヤー配列は、緑フィルタが左上と右下の２画素に、赤フィルタが左下の１画素に、青フィルタが右上の１画素に割り当てられる配列である。ここでは、緑フィルタが割り当てられた左上の画素をＧｂ画素と、同じく緑色フィルタが割り当てられた右下の画素をＧｒ画素とする。また、赤色フィルタが割り当てられた画素をＲ画素と、青色が割り当てられた画素をＢ画素とする。そして、Ｇｂ画素およびＢ画素が並ぶ横方向をＧｂ行とし、Ｒ画素およびＧｒ画素が並ぶ横方向をＧｒ行とする。また、Ｇｂ画素およびＲ画素が並ぶ縦方向をＧｂ列とし、Ｂ画素およびＧｒ画素が並ぶ縦方向をＧｒ列とする。

このようなカラーフィルタ１０２の配列に対して、視差画素と視差なし画素を、何色の画素にどのような周期で割り振っていくかにより、膨大な数の繰り返しパターン１１０が設定され得る。視差なし画素の出力を集めれば、通常の撮影画像と同じく視差のない撮影画像データを生成することができる。したがって、相対的に視差なし画素の割合を増やせば、解像度の高い２Ｄ画像を出力させることができる。この場合、視差画素は相対的に少ない割合となるので、複数の視差画像からなる３Ｄ画像としては画質が低下する。逆に、視差画素の割合を増やせば、３Ｄ画像としては画質が向上するが、視差なし画素は相対的に減少するので、解像度の低い２Ｄ画像が出力される。

このようなトレードオフの関係において、何れの画素を視差画素とするか、あるいは視差なし画素とするかにより、様々な特徴を有する繰り返しパターン１１０が設定される。図７は、ベイヤー配列に対する視差画素の割り振りについて、視差画素の種類が２つである場合のバリエーションを説明する図である。この場合の視差画素は、開口部１０４が中心よりも左側に偏心した視差Ｌｔ画素と、同じく右側に偏心した視差Ｒｔ画素を想定している。つまり、このような視差画素から出力される２視点の視差画像は、いわゆる立体視を実現する。

それぞれの繰り返しパターンに対する特徴の説明は図に示す通りである。例えば、視差なし画素が多く割り振られていれば高解像度の２Ｄ画像データとなり、ＲＧＢのいずれの画素に対しても均等に割り振られていれば、色ずれの少ない高画質の２Ｄ画像データとなる。一方、視差画素が多く割り振られていれば高解像度の３Ｄ画像データとなり、ＲＧＢのいずれの画素に対しても均等に割り振られていれば、３Ｄ画像でありながら、色再現性の良い高品質のカラー画像データとなる。

以下にいくつかのバリエーションについて説明する。図８は、バリエーションの一例を示す図である。図８のバリエーションは、図７における繰り返しパターン分類Ａ−１に相当する。

図の例においては、ベイヤー配列と同じ４画素を繰り返しパターン１１０とする。Ｒ画素とＢ画素は視差なし画素であり、Ｇｂ画素を視差Ｌｔ画素に、Ｇｒ画素を視差Ｒｔ画素に割り当てる。この場合、同一の繰り返しパターン１１０に含まれる視差Ｌｔ画素と視差Ｒｔ画素が、被写体が合焦位置に存在するときに、同じ微小領域から放射される光束を受光するように開口部１０４が定められる。

図の例においては、視感度の高い緑画素であるＧｂ画素およびＧｒ画素を視差画素として用いるので、コントラストの高い視差画像を得ることが期待できる。また、同じ緑色画素であるＧｂ画素およびＧｒ画素を視差画素として用いるので、これら２つの出力から視差のない出力に変換演算がし易く、視差なし画素であるＲ画素およびＢ画素の出力と共に、高画質の２Ｄ画像データを生成できる。なお、変換演算については後述する。

図９は、他のバリエーションの一例を示す図である。図９のバリエーションは、図７における繰り返しパターン分類Ｂ−１に相当する。

図の例においては、ベイヤー配列の４画素が左右に２組続く８画素を繰り返しパターン１１０とする。８画素のうち、左側のＧｂ画素に視差Ｌｔ画素を、右側のＧｂ画素に視差Ｒｔ画素を割り当てる。このような配列においては、Ｇｒ画素を視差なし画素としたことにより、図８の例よりも、更に２Ｄ画像の高画質化が望める。

図１０は、更に他のバリエーションの一例を示す図である。図１０のバリエーションは、図７における繰り返しパターン分類Ｄ−１に相当する。

図の例においては、ベイヤー配列の４画素が左右に２組続く８画素を繰り返しパターン１１０とする。８画素のうち、左側のＧｂ画素に視差Ｌｔ画素を、右側のＧｂ画素に視差Ｒｔ画素を割り当てる。さらに、左側のＲ画素に視差Ｌｔ画素を、右側のＲ画素に視差Ｒｔ画素を割り当てる。さらに、左側のＢ画素に視差Ｌｔ画素を、右側のＢ画素に視差Ｒｔ画素を割り当てる。２つのＧｒ画素には視差なし画素を割り当てる。

２つのＧｂ画素に割り当てられた視差Ｌｔ画素と視差Ｒｔ画素は、被写体が合焦位置に存在するときに、一つの微小領域から放射される光束を受光する。また、２つのＲ画素に割り当てられた視差Ｌｔ画素と視差Ｒｔ画素は、Ｇｂ画素のそれとは異なる一つの微小領域から放射される光束を受光し、２つのＢ画素に割り当てられた視差Ｌｔ画素と視差Ｒｔ画素は、Ｇｂ画素およびＲ画素のそれとは異なる一つの微小領域から放射される光束を受光する。したがって、図９の例に比較して、３Ｄ画像としての解像度が縦方向に３倍となる。しかも、ＲＧＢの３色の出力が得られるので、カラー画像としての３Ｄ画像として高品質である。

なお、上述のように視差画素の種類を２つにすれば２視点の視差画像が得られるが、もちろん視差画素の種類は、出力したい視差画像数に合わせて様々な数を採用し得る。視点数が増えていっても、さまざまな繰り返しパターン１１０を形成することができる。したがって、仕様、目的等に応じた繰り返しパターン１１０を選択することができる。

上述の例では、カラーフィルタ配列としてベイヤー配列を採用した場合について説明したが、もちろん他のカラーフィルタ配列であっても差し支えない。このとき、一組の光電変換素子群を構成する視差画素のそれぞれは、互いに異なる部分領域を向く開口部１０４を有する開口マスク１０３を備えると良い。

したがって、撮像素子１００は、入射光を電気信号に光電変換する、二次元的に配列された光電変換素子１０８と、光電変換素子１０８の少なくとも一部のそれぞれに一対一に対応して設けられた開口マスク１０３と、光電変換素子１０８の少なくとも一部のそれぞれに一対一に対応して設けられたカラーフィルタ１０２とを備え、隣接するｎ個（ｎは３以上の整数）の光電変換素子１０８のうち、少なくとも２つ（３つ以上であっても良い）に対応して設けられたそれぞれの開口マスク１０３の開口部１０４は、互いに異なる波長帯域を透過させる少なくとも３種類のカラーフィルタ１０２から構成されるカラーフィルターパターンの一パターン内に含まれると共に、入射光の断面領域内の互いに異なる部分領域からの光束をそれぞれ通過させるように位置づけられ、ｎ個の光電変換素子１０８を一組とする光電変換素子群が周期的に配列されていれば良い。

図１１は、他のカラーフィルタ配列を説明する図である。図示するように、他のカラーフィルタ配列は、図６で示したベイヤー配列のＧｒ画素を緑フィルタが割り当てられるＧ画素として維持する一方、Ｇｂ画素をカラーフィルタが割り当てられないＷ画素に変更した配列である。なお、Ｗ画素は、上述のように、可視光のおよそ全ての波長帯域を透過させるように、着色を施さない透明フィルタが配列されていても良い。

このようなＷ画素を含むカラーフィルタ配列を採用すれば、撮像素子が出力するカラー情報の精度は若干低下するものの、Ｗ画素が受光する光量はカラーフィルタが設けられている場合に比較して多いので、精度の高い輝度情報を取得できる。Ｗ画素の出力を寄せ集めれば、モノクロ画像を形成することもできる。

Ｗ画素を含むカラーフィルタ配列の場合、視差画素と視差なし画素の繰り返しパターン１１０は、さらなるバリエーションが存在する。例えば、比較的暗い環境下で撮影された画像であっても、カラー画素から出力された画像に比較してＷ画素から出力された画像であれば、被写体像のコントラストが高い。そこで、Ｗ画素に視差画素を割り振れば、複数の視差画像間で行うマッチング処理において、精度の高い演算結果が期待できる。したがって、２Ｄ画像の解像度および視差画像の画質への影響に加え、抽出される他の情報への利害得失も考慮して、視差画素と視差なし画素の繰り返しパターン１１０が設定される。

図１２は、図１１の他のカラーフィルタ配列を採用する場合の、Ｗ画素と視差画素の配列の一例を示す図である。図１２のバリエーションは、ベイヤー配列における図７の繰り返しパターン分類Ｂ−１に類似するので、ここではＢ'−１とする。図の例においては、他のカラーフィルタ配列の４画素が左右に２組続く８画素を繰り返しパターン１１０とする。８画素のうち、左側のＷ画素に視差Ｌｔ画素を、右側のＷ画素に視差Ｒｔ画素を割り当てる。このような配列において撮像素子１００は、視差画像をモノクロ画像として出力し、２Ｄ画像をカラー画像として出力することができる。

この場合、撮像素子１００は、入射光を電気信号に光電変換する、二次元的に配列された光電変換素子１０８と、光電変換素子１０８の少なくとも一部のそれぞれに一対一に対応して設けられた開口マスク１０３と、光電変換素子１０８の少なくとも一部のそれぞれに一対一に対応して設けられたカラーフィルタ１０２とを有し、隣接するｎ個（ｎは４以上の整数）の光電変換素子１０８のうち、少なくとも２つに対応して設けられたそれぞれの開口マスク１０３の開口部１０４は、互いに異なる波長帯域を透過させる少なくとも３種類のカラーフィルタ１０２から構成されるカラーフィルターパターンの一パターン内には含まれず、かつ、入射光の断面領域内の互いに異なる部分領域からの光束をそれぞれ通過させるように位置づけられ、ｎ個の光電変換素子１０８を一組とする光電変換素子群が周期的に配列されていれば良い。

以上のように、撮像素子１００を構成する各画素は、開口部１０４に着目した場合の視差画素と視差なし画素、およびカラーフィルタ１０２に着目した場合のＲ画素、Ｇ画素、Ｂ画素、Ｗ画素が、さまざまに組み合わされて特徴付けられる。したがって、撮像素子１００の出力をその画素配列に一致させてそのまま羅列しても、特定の像を表す画像データにはならない。すなわち、撮像素子１００の画素出力を、同一に特徴付けられた画素グループごとに分離して寄せ集めてはじめて、その特徴に即した一つの像を表す画像データが形成される。例えば、既に図５を用いて説明したように、視差画素の出力をその開口部の種類ごとに寄せ集めると、互いに視差を有する複数の視差画像データが得られる。このように、同一に特徴付けられた画素グループごとに分離して寄せ集められたそれぞれの画像データを、プレーンデータと呼ぶ。

画像処理部２０５は、撮像素子１００の画素配列順にその出力値が羅列されたＲＡＷ元画像データを受け取り、複数のプレーンデータに分離するプレーン分離処理を実行する。図１３は、図１２を用いて説明したＢ'−１の繰り返しパターンを例として、プレーン分離処理を説明する図である。なお、図示するように、撮像素子１００の画素配列に対して、右向きにｉ軸を定め、下向きにｊ軸を定める。また、左端かつ上端の座標を（１，１）とし、右端かつ下端の座標を（ｉ_０，ｊ_０）とする。図においては、図１２の例に則して画素の種類が理解されるように記載するが、実際のプレーンデータとしては各画素に対応した出力値が並ぶ。

図１３の上段に模式的に表すように、ＲＡＷ元画像データは、ｉ＝１行目において、（１，１）から（ｉ_０，１）へ向かって、視差Ｌｔ画素、視差なしＢ画素、視差Ｒｔ画素、視差なしＢ画素の順にそれぞれの出力値が繰り返し並んでいる。また、ｉ＝２行目において、（１，２）から（ｉ_０，２）へ向かって、視差なしＲ画素、視差なしＧ画素（Ｇｒ画素）の順にそれぞれの出力値が繰り返し並んでいる。ＲＡＷ元画像データは、このような行方向の出力値が、列方向にも交互に繰り返して並んでいる。

画像処理部２０５は、視差Ｌｔ画素、視差Ｒｔ画素、視差なしＲ画素、視差なしＧ画素、および視差なしＢ画素のそれぞれを同一に特徴付けられた画素グループとして、ＲＡＷ元画像データをそれぞれのプレーンデータに分離する。Ｂ'−１の繰り返しパターンにおいては、ＲＧＢのカラー画素は視差なし画素であり、視差画素はＷ画素である。そこで、画像処理部２０５は、ＲＡＷ元画像データから、視差なしＲ画素のみを分離してＲ_０プレーンデータを生成し、視差なしＧ画素のみを分離してＧ_０プレーンデータを生成し、視差なしＢ画素のみを分離してＢ_０プレーンデータを生成して、これらを纏めてカラー画像データとして管理する。

同様に、画像処理部２０５は、ＲＡＷ元画像データから、視差Ｌｔ画素のみを分離してＬｔ_０プレーンデータを生成し、視差Ｒｔ画素のみを分離してＲｔ_０プレーンデータを生成して、これらを纏めて視差画像データして管理する。ここで、視差画像データは、カラー情報を含まず、被写体像の輝度情報を表していると言えるので、輝度画像データとして扱うことができる。そこで、本実施形態においては、カラー画像データに属する各プレーンの出力値を画素値と呼び、輝度画像データに属する各プレーンの出力値を輝度値と呼ぶ。また、画像処理部２０５は、カラー画像データと視差画像データを、一つのＲＡＷ元画像データから生成されたプレーンデータ群として、ＲＡＷ画像データセットとして管理する。

この時点における各プレーンデータは、図示するように、ＲＡＷ元画像データにおいて出力値が存在する画素位置にのみ出力値が存在する。例えば、Ｒ_０プレーンデータにおいては、一つの繰り返しパターン１１０に対して出力値（画素値）が存在するのは２画素分であり、他の６画素分は空格子として存在する。同様に、Ｌｔ_０プレーンデータにおいては、一つの繰り返しパターンに対して出力値（輝度値）が存在するのは１画素分であり、他の７画素分は空格子として存在する。そこで、画像処理部２０５は、各プレーンデータの空格子を埋める補間処理を実行する。

図１４は、プレーンデータの補間処理を説明する図である。ここでは、空格子の存在するＲ_０プレーンデータに補間処理を施して、空格子の存在しないＲｎプレーンデータを生成する様子を示す。

画像処理部２０５は、補間処理として、空格子に近接する画素の画素値を用いて、当該空格子の画素値を生成する。例えば、対象となる空格子と隣接する画素に画素値があれば、これらの平均値を当該空格子の画素値とする。また、隣接しない画素を用いる場合は、当該空格子からの距離に応じた重み付けを与えて平均化処理する。

このように補間処理を施すと、それぞれのプレーンデータから空格子を無くすことができる。図１５は、補間処理を施した後のＲＡＷ画像データセットのデータ構造を説明する図である。

図示するように、ＲＡＷ画像データセットを構成するカラー画像データは、空格子の存在しないＲｎプレーンデータ、Ｇｎプレーンデータ、およびＢｎプレーンデータを含む。これらの画像データはそれぞれ、被写体像に対して赤色成分のみを抽出した画像データ、緑色成分のみを抽出した画像データ、青色成分のみを抽出した画像データに相当する。

同様に、ＲＡＷ画像データセットを構成する視差画像データ（輝度画像データ）は、空格子の存在しないＬｔプレーンデータおよびＲｔプレーンデータを含む。これらの画像データはそれぞれ、被写体像に対して左側視点の輝度成分のみを抽出した画像データ、右側視点の輝度成分のみを抽出した画像データに相当する。

本実施形態においては、画像処理部２０５は、これら５つのプレーンデータを用いて、左側視点のカラー画像データおよび右側視点のカラー画像データを生成する。特に、立体調整パラメータを導入することにより、ぼけ量を維持したまま視差量を任意に調整したカラー画像データを生成する。具体的な処理に先立って、まず生成原理について説明する。

図１６は、デフォーカスの概念を説明する図である。図１６（ａ）で示すように、被写体である物点が焦点位置に存在する場合、レンズ瞳を通って撮像素子受光面に到達する被写体光束は、対応する像点の画素を中心として急峻な光強度分布を示す。すなわち、レンズ瞳を通過する有効光束の全体を受光する視差なし画素が像点近傍に配列されていれば、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値は急激に低下する。

一方、図１６（ｂ）に示すように、物点が焦点位置からずれると、被写体光束は、物点が焦点位置に存在する場合に比べて、撮像素子受光面においてなだらかな光強度分布を示す。すなわち、対応する像点の画素における出力値が低下する上に、より周辺画素まで出力値を有する分布を示す。

また、図１６（ｃ）に示すように、さらに物点が焦点位置からずれると、被写体光束は、撮像素子受光面においてよりなだらかな光強度分布を示す。すなわち、対応する像点の画素における出力値がさらに低下する上に、より周辺画素まで出力値を有する分布を示す。

次に、視差Ｌｔ画素および視差Ｒｔ画素が受光する場合のデフォーカスの概念を説明する。図１７は、視差画素デフォーカスの概念を説明する図である。視差Ｌｔ画素および視差Ｒｔ画素は、レンズ瞳の部分領域としてそれぞれ光軸対象に設定された２つの視差仮想瞳のいずれかから到達する被写体光束を受光する。

図１７（ａ）で示すように、被写体である物点が焦点位置に存在する場合、いずれの視差仮想瞳を通った被写体光束であっても、対応する像点の画素を中心として急峻な光強度分布を示す。像点付近に視差Ｌｔ画素が配列されていれば、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。また、像点付近に視差Ｒｔ画素が配列されていても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。すなわち、被写体光束がいずれの視差仮想瞳を通過しても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する分布を示し、それぞれの分布は互いに一致する。

一方、図１７（ｂ）に示すように、物点が焦点位置からずれると、物点が焦点位置に存在した場合に比べて、視差Ｌｔ画素が示す光強度分布のピークは、像点に対応する画素から一方向に離れた位置に現れ、かつその出力値は低下する。また、出力値を有する画素の幅も広がる。視差Ｒｔ画素が示す光強度分布のピークは、像点に対応する画素から、視差Ｌｔ画素における一方向とは逆向きかつ等距離に離れた位置に現れ、同様にその出力値は低下する。また、同様に出力値を有する画素の幅も広がる。すなわち、物点が焦点位置に存在した場合に比べてなだらかとなった同一の光強度分布が、互いに等距離に離間して現れる。また、図１７（ｃ）に示すように、さらに物点が焦点位置からずれると、図１７（ｂ）の状態に比べて、さらになだらかとなった同一の光強度分布が、より離間して現れる。つまり、物点が焦点位置から大きくずれる程、ぼけ量と視差量が増すと言える。別言すれば、デフォーカスに応じて、ぼけ量と視差量は連動して変化する。すなわち、ぼけ量と視差量は、一対一に対応する関係を有する。

図１６で説明した光強度分布の変化と、図１７で説明した光強度分布の変化をそれぞれグラフ化すると、図１８のように表される。図において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。縦軸は各画素の出力値を表し、この出力値は実質的に光強度に比例するので、図においては光強度として示す。

図１８（ａ）は、図１６で説明した光強度分布の変化を表すグラフである。分布曲線１８０１は、図１６（ａ）に対応する光強度分布を表し、最も急峻な様子を示す。分布曲線１８０２は、図１６（ｂ）に対応する光強度分布を表し、また、分布曲線１８０３は、図１６（ｃ）に対応する光強度分布を表す。分布曲線１８０１に比較して、徐々にピーク値が下がり、広がりを持つ様子がわかる。

図１８（ｂ）は、図１７で説明した光強度分布の変化を表すグラフである。分布曲線１８０４と分布曲線１８０５は、それぞれ図１７（ｂ）の視差Ｌｔ画素の光強度分布と視差Ｒｔ画素の光強度分布を表す。図からわかるように、これらの分布は中心位置に対して線対称の形状を成す。また、これらを足し合わせた合成分布曲線１８０６は、図１７（ｂ）に対して同等のデフォーカス状態である図１６（ｂ）の分布曲線１８０２と相似形状を示す。

分布曲線１８０７と分布曲線１８０８は、それぞれ図１７（ｃ）の視差Ｌｔ画素の光強度分布と視差Ｒｔ画素の光強度分布を表す。図からわかるように、これらの分布も中心位置に対して線対称の形状を成す。また、これらを足し合わせた合成分布曲線１８０９は、図１７（ｃ）に対して同等のデフォーカス状態である図１６（ｃ）の分布曲線１８０３と相似形状を示す。

本実施形態においては、実際に撮像素子１００の出力値として取得され、空格子が補間処理された、このような光強度分布を示す視差Ｌｔ画素の輝度値と視差Ｒｔ画素の輝度値とを用いて、仮想的な光強度分布をつくり出す。このとき、光強度分布の広がりによって表現されるぼけ量はおよそ維持しつつ、ピーク間の間隔として表現される視差量を調整する。つまり、本実施形態において画像処理部２０５は、像としてのぼけ量はほぼそのままとしつつも、視差無し画素から生成される２Ｄ画像と視差画素から生成される３Ｄ画像との間に調整された視差量を有する画像を生成する。図１９は、調整視差量の概念を説明するための光強度分布を示す図である。

図において実線で示すＬｔ分布曲線１９０１とＲｔ分布曲線１９０２は、ＬｔプレーンデータとＲｔプレーンデータの実際の輝度値をプロットした分布曲線である。例えば、図１８における分布曲線１８０４、１８０５に相当する。そして、Ｌｔ分布曲線１９０１とＲｔ分布曲線１９０２のそれぞれのピーク間距離は３Ｄ視差量を表し、この距離が大きいほど、画像再生時の立体感が強くなる。

Ｌｔ分布曲線１９０１とＲｔ分布曲線１９０２とをそれぞれ５割として足し合わせた２Ｄ分布曲線１９０３は、左右に偏りのない凸形状となる。２Ｄ分布曲線１９０３は、図１８における合成分布曲線１８０６の高さを１／２にした形状に相当する。すなわち、２Ｄ分布曲線１９０３は、視差無し画素の輝度値をプロットした分布曲線に相似する形状を示す。すなわち、この輝度分布に基づく画像は、視差量０の２Ｄ画像となる。

調整Ｌｔ分布曲線１９０５は、Ｌｔ分布曲線１９０１の８割と、Ｒｔ分布曲線１９０２の２割を足し合わせた曲線である。調整Ｌｔ分布曲線１９０５のピークは、Ｒｔ分布曲線１９０２の成分が加えられる分だけ、Ｌｔ分布曲線１９０１のピークよりも中心寄りに変位する。同様に、調整Ｒｔ分布曲線１９０６は、Ｌｔ分布曲線１９０１の２割と、Ｒｔ分布曲線１９０２の８割を足し合わせた曲線である。調整Ｒｔ分布曲線１９０６のピークは、Ｌｔ分布曲線１９０１の成分が加えられる分だけ、Ｒｔ分布曲線１９０２のピークよりも中心寄りに変位する。

したがって、調整Ｌｔ分布曲線１９０５と調整Ｒｔ分布曲線１９０６のそれぞれのピーク間距離で表される調整視差量は、３Ｄ視差量よりも小さくなる。したがって、画像再生時の立体感は、緩和される。一方で、調整Ｌｔ分布曲線１９０５と調整Ｒｔ分布曲線１９０６のそれぞれの分布の広がりは、２Ｄ分布曲線１９０３の広がりと同等なので、ぼけ量は２Ｄ画像のそれと等しいと言える。

すなわち、Ｌｔ分布曲線１９０１とＲｔ分布曲線１９０２をそれぞれどれくらいの割合で加算するかにより、調整視差量を制御することができる。そして、この調整された輝度分布を、視差なし画素から生成されたカラー画像データの各プレーンに適用することにより、視差画素から生成された視差画像データとは異なる立体感を与える左側視点のカラー画像データと右側視点のカラー画像データとを生成することができる。

本実施形態においては、ＲＡＷ画像データセットを構成する５つのプレーンデータから、左側視点のカラー画像データと右側視点のカラー画像データを生成する。左側視点のカラー画像データは、左側視点に対応する赤色プレーンデータであるＲＬｔ_ｃプレーンデータ、緑色プレーンデータであるＧＬｔ_ｃプレーンデータ、および青色プレーンデータであるＢＬｔ_ｃプレーンデータの３つのカラー視差プレーンデータによって構成される。同様に、右側視点のカラー画像データは、右側視点に対応する赤色プレーンデータであるＲＲｔ_ｃプレーンデータ、緑色プレーンデータであるＧＲｔ_ｃプレーンデータ、および青色プレーンデータであるＢＲｔ_ｃプレーンデータの３つのカラー視差プレーンデータによって構成される。

図２０は、カラー視差プレーンデータの生成処理を説明する図である。特に、カラー視差プレーンのうち赤色視差プレーンである、ＲＬｔ_ｃプレーンデータとＲＲｔ_ｃプレーンデータの生成処理について示す。

赤色視差プレーンは、図１５を用いて説明したＲｎプレーンデータの画素値と、ＬｔプレーンデータおよびＲｔプレーンデータの輝度値とを用いて生成する。具体的には、例えばＲＬｔ_ｃプレーンデータの対象画素位置（ｉ_ｍ，ｊ_ｎ）の画素値ＲＬｔ_ｍｎを算出する場合、まず、画像処理部２０５の画素値抽出部２３１は、Ｒｎプレーンデータの同一画素位置（ｉ_ｍ，ｊ_ｎ）から画素値Ｒｎ_ｍｎを抽出する。次に、画像処理部２０５の輝度値抽出部２３２は、Ｌｔプレーンデータの同一画素位置（ｉ_ｍ，ｊ_ｎ）から輝度値Ｌｔ_ｍｎを、Ｒｔプレーンデータの同一画素位置（ｉ_ｍ，ｊ_ｎ）から輝度値Ｒｔ_ｍｎを抽出する。そして、画像処理部２０５の算出部２３３は、画素値Ｒｎ_ｍｎに、輝度値Ｌｔ_ｍｎとＲｔ_ｍｎを立体調整パラメータＣで分配した値を乗じて、画素値ＲＬｔ_ｍｎを算出する。具体的には、以下の式（１）により算出する。ただし、立体調整パラメータＣは、０．５＜Ｃ＜１の範囲で予め設定される。
ＲＬｔ_ｍｎ＝２Ｒｎ_ｍｎ×｛Ｃ・Ｌｔ_ｍｎ＋（１−Ｃ）・Ｒｔ_ｍｎ｝／（Ｌｔ_ｍｎ＋Ｒｔ_ｍｎ）…（１）

同様に、ＲＲｔ_ｃプレーンデータの対象画素位置（ｉ_ｍ，ｊ_ｎ）の画素値ＲＲｔ_ｍｎを算出する場合も、算出部２３３は、画素値抽出部２３１が抽出した画素値Ｒｎ_ｍｎに、輝度値抽出部２３２が抽出した輝度値Ｌｔ_ｍｎと輝度値Ｒｔ_ｍｎを立体調整パラメータＣで分配した値を乗じて算出する。具体的には、以下の式（２）により算出する。
ＲＲｔ_ｍｎ＝２Ｒｎ_ｍｎ×｛Ｃ・Ｒｔ_ｍｎ＋（１−Ｃ）・Ｌｔ_ｍｎ｝／（Ｌｔ_ｍｎ＋Ｒｔ_ｍｎ）…（２）

画像処理部２０５は、このような処理を、左端かつ上端の画素である（１、１）から右端かつ下端の座標である（ｉ_０，ｊ_０）まで順次実行する。

そして、赤色視差プレーンであるＲＬｔ_ｃプレーンデータとＲＲｔ_ｃプレーンデータの生成処理が完了したら、次に緑色視差プレーンであるＧＬｔ_ｃプレーンデータとＧＲｔ_ｃプレーンデータの生成処理を実行する。具体的には、上述の説明においてＲｎプレーンデータの同一画素位置（ｉ_ｍ，ｊ_ｎ）から画素値Ｒｎ_ｍｎを抽出する代わりに、Ｇｎプレーンデータの同一画素位置（ｉ_ｍ，ｊ_ｎ）から画素値Ｇｎ_ｍｎを抽出して、同様に処理する。さらに、緑色視差プレーンであるＧＬｔ_ｃプレーンデータとＧＲｔ_ｃプレーンデータの生成処理が完了したら、次に青色視差プレーンであるＢＬｔ_ｃプレーンデータとＢＲｔ_ｃプレーンデータの生成処理を実行する。具体的には、上述の説明においてＲｎプレーンデータの同一画素位置（ｉ_ｍ，ｊ_ｎ）から画素値Ｒｎ_ｍｎを抽出する代わりに、Ｂｎプレーンデータの同一画素位置（ｉ_ｍ，ｊ_ｎ）から画素値Ｂｎ_ｍｎを抽出して、同様に処理する。

以上の処理により、左側視点のカラー画像データ（ＲＬｔ_ｃプレーンデータ、ＧＬｔ_ｃプレーンデータ、ＢＬｔ_ｃプレーンデータ）および右側視点のカラー画像データ（ＲＲｔ_ｃプレーンデータ、ＧＲｔ_ｃプレーンデータ、ＢＲｔ_ｃプレーンデータ）が生成される。すなわち、実際には撮像素子１００の画素として存在しない仮想的な出力として、左側視点および右側視点のカラー画像データを、比較的簡易な処理により取得することができる。

しかも、立体調整パラメータＣを０．５＜Ｃ＜１の範囲で変更できるので、視差無し画素による２Ｄカラー画像のぼけ量を維持したまま、視差量の大きさを調整することができる。したがって、これらの画像データを３Ｄ画像対応の再生装置で再生すれば、ユーザは、カラー画像として立体感が適度に調整された３Ｄ映像を鑑賞できる。特に、処理が簡易なので高速に画像データを生成することができ、動画像にも対応できる。

上記において、実際の撮像素子１００上に視差画素がＲＧＢのいずれの画素に対しても均等に割り振られていれば、３Ｄ画像でありながら色再現性の良い高品質のカラー画像データが得られる旨を説明したが、実際にはそのような画素を備えていなくても、以上の処理を施すことにより、これに準じた高品質の３Ｄカラー画像データを取得できると言える。また、実際の画素として視差画素をＲＧＢ画素に対して割り振らなくても良いので、その分、他のプレーンデータを高品質化できる。

次に、以上の処理を光強度分布とカラーの観点から説明する。図２１は、ＲＧＢの光強度分布の変化を説明する図である。図２１（ａ）は、焦点位置から一定量だけずれた位置に存在する物点からの被写体光束を受光した場合の、Ｗ画素である視差Ｌｔ画素の出力値と視差Ｒｔ画素の出力値を並べたグラフである。これらの出力値はカラー情報を含まない輝度値である。また、上述の通り、画素の出力値は光強度に比例するので、グラフは光強度分布を表すとも言える。

図２１（ｂ）は、図２１（ａ）における物点からの被写体光束を受光した場合の、視差無し画素であるＲ画素、Ｇ画素、Ｂ画素の出力値を並べたグラフである。これらの出力値は、カラー情報を含む画素値である。また、このグラフも、各色の光強度分布を表すと言える。

Ｃ＝０．８として対応する画素ごとに上述の処理を施すと、図２１（ｃ）のグラフで表される光強度分布となる。図から分かるように、ＲＧＢそれぞれの画素値に応じた分布が得られる。

次に、視差カラー画像データを生成するまでを、処理フローの観点から説明する。図２２は、視差カラー画像データを生成するまでの処理フローである。フローは、撮影動作に連動して開始しても良いし、メモリカード２２０から対象画像データを読み出すことにより開始しても良い。

画像処理部２０５は、ステップＳ１０１で、ＲＡＷ元画像データを取得する。そして、ステップＳ１０２において、図１３を用いて説明したように、ＲＡＷ元画像データを、カラー画像データとしてのＲ_０プレーンデータ、Ｇ_０プレーンデータ、Ｂ_０プレーンデータ、視差画像データとしてのＬｔ_０プレーンデータ、Ｒｔ_０プレーンデータに分離する。画像処理部２０５は、ステップＳ１０３で、分離した各プレーンデータに存在する空格子を補間する補間処理を実行する。具体的には、図１４を用いて説明したように、近接する画素の出力値を用いて平均化処理等により空格子の出力値を算出する。

画像処理部２０５は、ステップＳ１０４で、各変数の初期化を行う。具体的には、まず、カラー変数Ｃｓｅｔに１を代入する。カラー変数Ｃｓｅｔは、１＝赤、２＝緑、３＝青を表す。また、座標変数であるｉとｊに１を代入する。さらに、視差変数Ｓに１を代入する。視差変数Ｓは、１＝左、２＝右を表す。

画像処理部２０５の画素値抽出部２３１は、ステップＳ１０５において、Ｃｓｅｔプレーンの対象画素位置（ｉ，ｊ）から画素値を抽出する。例えばＣｓｅｔ＝１で、対象画素位置が（１，１）である場合、抽出する画素値は、Ｒｎ_１１である。さらに、画像処理部２０５の輝度値抽出部２３２は、ステップＳ１０６において、Ｌｔプレーンデータ、Ｒｔプレーンデータの対象画素位置（ｉ，ｊ）から輝度値を抽出する。例えば対象画素位置が（１，１）である場合、抽出する輝度値は、Ｌｔ_１１とＲｔ_１１である。

画像処理部２０５の算出部２３３は、ステップＳ１０７において、視差変数Ｓに対応する対象画素位置（ｉ，ｊ）の画素値を算出する。例えばＣｓｅｔ＝１、Ｓ＝１で、対象画素位置が（１，１）である場合、ＲＬｔ_１１を算出する。具体的には、例えば、上述の式（１）により算出する。なお、立体調整パラメータＣは、予め０．５＜Ｃ＜１の範囲で設定されている。具体的には、例えば、制御部２０１が、操作部２０８によりユーザの指示を受け付けて設定する。

画像処理部２０５は、ステップＳ１０８で、視差変数Ｓをインクリメントする。そして、ステップＳ１０９で、視差変数Ｓが２を超えたか否かを判断する。超えていなければステップＳ１０７へ戻る。超えていればステップＳ１１０へ進む。

画像処理部２０５は、ステップＳ１１０で、視差変数Ｓに１を代入すると共に、座標変数ｉをインクリメントする。そして、ステップＳ１１１で、座標変数ｉがｉ_０を超えたか否かを判断する。超えていなければステップＳ１０５へ戻る。超えていればステップＳ１１２へ進む。

画像処理部２０５は、ステップＳ１１２で、座標変数ｉに１を代入すると共に、座標変数ｊをインクリメントする。そして、ステップＳ１１３で、座標変数ｊがｊ_０を超えたか否かを判断する。超えていなければステップＳ１０５へ戻る。超えていればステップＳ１１４へ進む。

ステップＳ１１４まで進むと、Ｃｓｅｔに対する左右それぞれの全画素の画素値が揃うので、画像処理部２０５は、これらの画素値を並べて、プレーン画像データを生成する。例えばＣｓｅｔ＝１である場合、ＲＬｔ_ｃプレーンデータとＲＲｔ_ｃプレーンデータを生成する。

ステップＳ１１５ヘ進み、画像処理部２０５は、座標変数ｊに１を代入すると共に、カラー変数Ｃｓｅｔをインクリメントする。そして、ステップＳ１１６で、カラー変数Ｃｓｅｔが３を超えたか否かを判断する。超えていなければステップＳ１０５へ戻る。超えていれば、左側視点のカラー画像データ（ＲＬｔ_ｃプレーンデータ、ＧＬｔ_ｃプレーンデータ、ＢＬｔ_ｃプレーンデータ）および右側視点のカラー画像データ（ＲＲｔ_ｃプレーンデータ、ＧＲｔ_ｃプレーンデータ、ＢＲｔ_ｃプレーンデータ）の全てが揃ったとして、一連の処理を終了する。

次に、開口部１０４の好ましい開口形状について説明する。図２３は、好ましい開口形状を説明する図である。

視差Ｌｔ画素の開口部１０４ｌ、および視差Ｒｔ画素の開口部１０４ｒは、それぞれ対応する光電変換素子１０８に対して中心を含んで互いに反対方向に偏位していることが好ましい。具体的には、開口部１０４ｌおよび１０４ｒのそれぞれが、光電変換素子１０８の中心（画素中心）を通る仮想的な中心線３２２と接する形状であるか、あるいは、中心線３２２を跨ぐ形状であることが好ましい。

特に、図示するように、開口部１０４ｌの形状と開口部１０４ｒの形状は、視差なし画素の開口部１０４ｎの形状を中心線３２２で分割したそれぞれの形状と同一であることが好ましい。別言すれば、開口部１０４ｎの形状は、開口部１０４ｌの形状と開口部１０４ｒの形状を隣接させた形状に等しいことが好ましい。

次に、図１９から図２１で説明した概念、処理とは異なる概念、処理について説明する。図２４は、他の調整視差量の概念を説明するための光強度分布を示す図である。

図２４（ａ）においてＬｔ分布曲線１９０１とＲｔ分布曲線１９０２は、ＬｔプレーンデータとＲｔプレーンデータの実際の輝度値をプロットした分布曲線である。具体的には、視差方向のある画素配列に着目し、その視差方向における画素位置に対応させて輝度値をプロットした曲線である。これらの曲線は、例えば、図１８における分布曲線１８０４、１８０５に相当する。そして、Ｌｔ分布曲線１９０１とＲｔ分布曲線１９０２のそれぞれのピーク間距離は３Ｄ視差量を表し、この距離が大きいほど、画像再生時の立体感が強くなる。

このＬｔ分布曲線１９０１とＲｔ分布曲線１９０２に対し、それぞれの画素位置において以下の２式を用いて算出した値をそれぞれプロットした、２つの変調曲線を生成する。
Ｌｔ変調曲線…（１／２−Ｃ）（Ｌｔ−Ｒｔ）
Ｒｔ変調曲線…（１／２−Ｃ）（Ｒｔ−Ｌｔ）
ただし、Ｃは立体調整パラメータであり、通常は０＜Ｃ＜０．５の実数が採用される。

図２４（ｂ）は、立体調整パラメータＣの値を変化させたときの様子を示す。左図はＣ＝０．２の場合の分布であり、Ｌｔ変調曲線１９１３とＲｔ変調曲線１９１４は、光強度に関して対称形状を成す。同様に中図はＣ＝０．３の場合の分布であり、右図はＣ＝０．４の場合を示す。

図２４（ｃ）は、立体変調を施す対象となるカラー画像データのプレーンデータの画素値をプロットした分布曲線１９１５を示す。具体的には、視差方向のある画素配列に着目し、その視差方向における画素位置に対応させて画素値をプロットした曲線である。この分布曲線も、光強度分布を表すと言える。

図２４（ｄ）は、調整Ｌｔ分布曲線１９１６と調整Ｒｔ分布曲線１９１７を示す。具体的には、調整Ｌｔ分布曲線１９１６は、分布曲線１９１５にＬｔ変調曲線１９１３が加算されて生成される。また、調整Ｒｔ分布曲線１９１７は、分布曲線１９１５にＲｔ変調曲線１９１４が加算されて生成される。左図はＣ＝０．２、中図はＣ＝０．３、右図はＣ＝０．４の場合の分布を示す。調整Ｌｔ分布曲線１９１６と調整Ｒｔ分布曲線１９１７のそれぞれのピーク間距離は調整視差量を表す。

例えば、Ｃ＝０．４の場合のＬｔ変調曲線１９１３およびＲｔ変調曲線１９１４の変化量は、Ｃ＝０．２の場合のそれよりも小さい。このような関係から、Ｃ＝０．４の場合の調整視差量は、Ｃ＝０．２の場合のそれよりも小さくなる。しかも、立体調整パラメータＣが０＜Ｃ＜０．５を満たす場合には、調整視差量は、３Ｄ視差量よりも小さくなる。したがって、画像再生時の立体感は、緩和される。一方で、調整Ｌｔ分布曲線１９１６と調整Ｒｔ分布曲線１９１７のそれぞれの分布の広がりは、分布曲線１９１５の広がりとほぼ同等なので、ぼけ量は２Ｄ画像のそれと等しいと言える。

すなわち、Ｌｔ分布曲線１９０１とＲｔ分布曲線１９０２の差をどれくらいの割合で相関させるかにより、調整視差量を制御することができる。このような演算を施すことにより、視差画素から生成された視差画像データとは異なる立体感を与える左側視点のカラー画像データと右側視点のカラー画像データとを生成することができる。

なお、立体調整パラメータＣの値をＣ＜０の範囲で変化させることにより、もとの３Ｄ視差量より強調した調整視差量を得たり、０．５＜Ｃの範囲で変化させることにより、視差方向が逆転する逆視を実現したり、様々な映像効果を付与することもできる。

本実施形態においては、ＲＡＷ画像データセットを構成する５つのプレーンデータから、左側視点のカラー画像データと右側視点のカラー画像データを生成する。左側視点のカラー画像データは、左側視点に対応する赤色プレーンデータであるＲＬｔ_ｃプレーンデータ、緑色プレーンデータであるＧＬｔ_ｃプレーンデータ、および青色プレーンデータであるＢＬｔ_ｃプレーンデータの３つのカラー視差プレーンデータによって構成される。同様に、右側視点のカラー画像データは、右側視点に対応する赤色プレーンデータであるＲＲｔ_ｃプレーンデータ、緑色プレーンデータであるＧＲｔ_ｃプレーンデータ、および青色プレーンデータであるＢＲｔ_ｃプレーンデータの３つのカラー視差プレーンデータによって構成される。

図２５は、カラー視差プレーンデータの生成処理を説明する図である。特に、カラー視差プレーンのうち赤色視差プレーンである、ＲＬｔ_ｃプレーンデータとＲＲｔ_ｃプレーンデータの生成処理について示す。

赤色視差プレーンは、図１５を用いて説明したＲｎプレーンデータの画素値と、ＬｔプレーンデータおよびＲｔプレーンデータの輝度値とを用いて生成する。具体的には、例えばＲＬｔ_ｃプレーンデータの対象画素位置（ｉ_ｍ，ｊ_ｎ）の画素値ＲＬｔ_ｍｎを算出する場合、まず、画像処理部２０５の画素値抽出部２３１は、Ｒｎプレーンデータの同一画素位置（ｉ_ｍ，ｊ_ｎ）から画素値Ｒｎ_ｍｎを抽出する。次に、画像処理部２０５の輝度値抽出部２３２は、Ｌｔプレーンデータの同一画素位置（ｉ_ｍ，ｊ_ｎ）から輝度値Ｌｔ_ｍｎを、Ｒｔプレーンデータの同一画素位置（ｉ_ｍ，ｊ_ｎ）から輝度値Ｒｔ_ｍｎを抽出する。そして、画像処理部２０５の算出部２３３は、算出したい画素値ＲＬｔ_ｍｎと抽出した画素値Ｒｎ_ｍｎとの差が、抽出した輝度値Ｌｔ_ｍｎとＲｔ_ｍｎとの差に立体調整パラメータＣに関する項を乗じた値と相関を保つように、画素値ＲＬｔ_ｍｎを算出する。具体的には、以下の式（３）により算出する。ただし、立体調整パラメータＣは、０＜Ｃ＜０．５の範囲で予め設定される。
ＲＬｔ_ｍｎ−Ｒｎ_ｍｎ＝（１／２−Ｃ）（Ｌｔ_ｍｎ−Ｒｔ_ｍｎ） …（３）

同様に、ＲＲｔプレーンデータの対象画素位置（ｉ_ｍ，ｊ_ｎ）の画素値ＲＲｔ_ｍｎを算出する場合も、算出部２３３は、算出したい画素値ＲＲｔ_ｍｎと抽出した画素値Ｒｎ_ｍｎとの差が、抽出した輝度値Ｌｔ_ｍｎとＲｔ_ｍｎとの差に立体調整パラメータＣに関する項を乗じた値と相関を保つように、画素値ＲＲｔ_ｍｎを算出する。具体的には、以下の式（４）により算出する。ただし、ここでの立体調整パラメータＣは、式（３）のＣと同値である。
ＲＲｔ_ｍｎ−Ｒｎ_ｍｎ＝（１／２−Ｃ）（Ｒｔ_ｍｎ−Ｌｔ_ｍｎ） …（４）

画像処理部２０５は、このような処理を、左端かつ上端の画素である（１、１）から右端かつ下端の座標である（ｉ_０，ｊ_０）まで順次実行する。なお、上記式（３）、式（４）の例では、立体調整パラメータＣに関する項として（１／２−Ｃ）を規定したが、算出したい画素値ＲＲｔ_ｍｎと抽出した画素値Ｒｎ_ｍｎとの差と、抽出した輝度値Ｌｔ_ｍｎとＲｔ_ｍｎとの差の相関関係は、適宜変更することができる。視差画素の開口部の偏心量、大きさ、視差なし画素の開口部との相対的な関係等のパラメータを考慮して、比例係数を変更したり、補正項として定数を加算したりして、相関関係を適宜調整しても良い。なお、算出したい画素値が画素値ＲＲｔ_ｍｎ、ＧＬｔ_ｍｎ、ＧＲｔ_ｍｎ、ＢＬｔ_ｍｎ、ＢＲｔ_ｍｎであっても、上記の関係は同様である。

赤色視差プレーンであるＲＬｔ_ｃプレーンデータとＲＲｔ_ｃプレーンデータの生成処理が完了したら、次に緑色視差プレーンであるＧＬｔ_ｃプレーンデータとＧＲｔ_ｃプレーンデータの生成処理を実行する。具体的には、上述の説明においてＲｎプレーンデータの同一画素位置（ｉ_ｍ，ｊ_ｎ）から画素値Ｒｎ_ｍｎを抽出する代わりに、Ｇｎプレーンデータの同一画素位置（ｉ_ｍ，ｊ_ｎ）から画素値Ｇｎ_ｍｎを抽出して、同様に処理する。さらに、緑色視差プレーンであるＧＬｔ_ｃプレーンデータとＧＲｔ_ｃプレーンデータの生成処理が完了したら、次に青色視差プレーンであるＢＬｔ_ｃプレーンデータとＢＲｔ_ｃプレーンデータの生成処理を実行する。具体的には、上述の説明においてＲｎプレーンデータの同一画素位置（ｉ_ｍ，ｊ_ｎ）から画素値Ｒｎ_ｍｎを抽出する代わりに、Ｂｎプレーンデータの同一画素位置（ｉ_ｍ，ｊ_ｎ）から画素値Ｂｎ_ｍｎを抽出して、同様に処理する。

以上の処理により、左側視点のカラー画像データ（ＲＬｔ_ｃプレーンデータ、ＧＬｔ_ｃプレーンデータ、ＢＬｔ_ｃプレーンデータ）および右側視点のカラー画像データ（ＲＲｔ_ｃプレーンデータ、ＧＲｔ_ｃプレーンデータ、ＢＲｔ_ｃプレーンデータ）が生成される。すなわち、実際には撮像素子１００の画素として存在しない仮想的な出力として、左側視点および右側視点のカラー画像データを、比較的簡易な処理により取得することができる。

しかも、立体調整パラメータＣを変更できるので、視差無し画素による２Ｄカラー画像のぼけ量を維持したまま、視差量の大きさを調整することができる。したがって、これらの画像データを３Ｄ画像対応の再生装置で再生すれば、ユーザは、カラー画像として立体感が適度に調整された３Ｄ映像を鑑賞できる。特に、処理が簡易なので高速に画像データを生成することができ、動画像にも対応できる。なお、生成した左側視点のカラー画像データは、Ｌｔプレーンデータ等の由来する左側視点の視差画像データに、生成した右側視点のカラー画像データは、Ｒｔプレーンデータ等の由来する右側視点の視差画像データに関連付けて記録しても良い。このように、生成した画像データを由来する画像データと関連性を持たせて記録することにより、画像再生時の管理等を容易にできる。関連づけは、例えばそれぞれのヘッダ情報に関連画像データとしてファイル名を記述する。この場合、画像処理部２０５は、関連情報を付加する付加部としての役割を担う。

上記において、実際の撮像素子１００上に視差画素がＲＧＢのいずれの画素に対しても均等に割り振られていれば、３Ｄ画像でありながら色再現性の良い高品質のカラー画像データが得られる旨を説明したが、実際にはそのような画素を備えていなくても、以上の処理を施すことにより、これに準じた高品質の３Ｄカラー画像データを取得できると言える。また、実際の画素として視差画素をＲＧＢ画素に対して割り振らなくても良いので、その分、他のプレーンデータを高品質化できる。

次に、以上の処理を光強度分布の観点から説明する。図２６は、光強度分布の変化を説明する図である。図２６（ａ）は、焦点位置から一定量だけずれた位置に存在する物点からの被写体光束を受光した場合の、Ｗ画素である視差Ｌｔ画素の出力値と視差Ｒｔ画素の出力値を並べたグラフである。これらの出力値はカラー情報を含まない輝度値である。また、上述の通り、画素の出力値は光強度に比例するので、グラフは光強度分布を表すとも言える。

図２６（ｂ）は、図２６（ａ）における視差Ｌｔ画素の出力値から視差Ｒｔ画素の出力値を引いた値と、視差Ｒｔ画素の出力値から視差Ｌｔ画素の出力値を引いた値に、それぞれ（１／２−Ｃ）を乗じて並べたグラフである。図の例では立体調整パラメータＣとしてＣ＝０．２を採用する。これらの曲線は、図２4のＬｔ変調曲線１９１３とＲｔ変調曲線１９１４に相当する。

図２１（ｃ）は、図２０（ａ）における物点からの被写体光束を受光した場合の、視差無し画素であるＲ画素、Ｇ画素、Ｂ画素の出力値を並べたグラフである。これらの出力値は、カラー情報を含む画素値である。また、このグラフも、各色の光強度分布を表すと言える。

対応する画素ごとに上述の処理を施すと、図２５（ｄ）のグラフで表される光強度分布となる。図から分かるように、あたかも、実際のＲＬｔ画素、ＲＲｔ画素、ＧＬｔ画素、ＧＲｔ画素、ＢＬｔ画素、ＢＲｔ画素からの出力値を並べたかのような分布となる。なお、視差カラー画像データを生成するまでの処理フローは図２２の処理と同様である。この場合、ステップＳ１０７において、立体調整パラメータＣは、予め０＜Ｃ＜０．５の範囲で設定されている。

以上の説明においては、撮像素子１００がＢ'−１の繰り返しパターンを採用する場合を例に説明した。すなわち、視差画素がＷ画素であって、色情報を含まない輝度画像データとしての視差画像データを利用して、左側視点のカラー画像データと右側視点のカラー画像データの６プレーンデータを生成する例を説明した。しかし、上述の通り、カラーフィルタの配列に対して、視差画素と視差なし画素を、何色の画素にどのような周期で割り振っていくかにより、膨大な数の繰り返しパターンが設定され得る。特定色のカラーフィルタに視差画素が割り振られた撮像素子１００の場合、上述の処理を多少変更して左側視点のカラー画像データと右側視点のカラー画像データの６プレーンデータを揃える。以下に具体的な手順について説明する。

図２７は、他の繰り返しパターンを採用する撮像素子１００におけるプレーン分離処理を説明する図である。図の例では、撮像素子１００は、上述のＡ−１の繰り返しパターンを採用する。Ａ−１の繰り返しパターンは、ベイヤー配列におけるＧｂ画素が視差Ｌｔ画素となり、Ｇｒ画素が視差Ｒｔ画素となっている。

このような撮像素子１００から出力されたＲＡＷ元画像データからは、カラー画像データとして、Ｒ_０プレーンデータとＢ_０プレーンデータは分離されるものの、Ｇ_０プレーンデータは分離され得ない。また、視差画像データとして分離されるＬｔ_０プレーンデータとＲｔ_０プレーンデータは、緑色の色情報を有している。別言すると、視差画像データは、被写体光束のうち緑色波長成分を捉えた輝度画像データであると言える。したがって、これらのプレーンデータの各出力値は、輝度値として扱うことができる。

分離されたプレーンデータに上述の補間処理を施して、それぞれに存在する空格子を埋める。図２８は、補間処理後のＲＡＷ画像データセットのデータ構造を説明する図である。

Ｒｎプレーンデータ、Ｂｎプレーンデータ、ＬｔプレーンデータおよびＲｔプレーンデータを生成する補間処理は上述の例と同様である。また、画像処理部２０５は、ＧＬｔプレーンデータとＧＲｔプレーンデータの対応する画素ごとに平均値を算出してＧｎプレーンデータを生成する。

Ｒｎプレーンデータに対して視差画像データを用いてＲＬｔ_ｃプレーンデータとＲＲｔ_ｃプレーンデータを生成する処理、Ｇｎプレーンデータに対して視差画像データを用いてＧＬｔ_ｃプレーンデータとＧＲｔ_ｃプレーンデータを生成する処理、およびＢｎプレーンデータに対して視差画像データを用いてＢＬｔ_ｃプレーンデータとＢＲｔ_ｃプレーンデータを生成する処理は、上述の例と同様である。

以上の説明においては、被写体像のカラーを構成する原色として、赤色、緑色および青色の３つを用いた。しかし、翠色などを加えた４つ以上を原色としても良い。また、赤色、緑色および青色に代えて、イエロー、マゼンタ、シアンの組み合わせによる補色の３原色を採用することもできる。

上述の式（１）と式（２）においては、立体調整パラメータＣの範囲を、０．５＜Ｃ＜１とした。Ｃ＝１とすれば、実際には撮像素子１００の画素として存在しない、ＲＧＢいずれかのカラーフィルタを併せ持つ視差Ｌｔ画素および視差Ｒｔ画素の仮想的な出力として、左側視点および右側視点のカラー画像データを生成することができる。また、Ｃ＝０．５とすれば、図２８のＧｎプレーンデータを例のように、２Ｄカラー画像データを生成することができる。また、Ｃ＝０とすれば、左右の輝度分布が逆転した視差画像データとなる。また、これら以外の値を採用すれば、逆視などさらに特殊な視差画像データを得ることができる。

また、図２２のフローにおける処理では、立体調整パラメータＣの値として、一貫して同一値を適用した。しかし、例えば被写体像の特徴に併せて、領域ごとにＣの値を変更しても良い。具体的には、対象画素位置（ｉ，ｊ）に応じてＣを変更する。Ｃをどのように変更するかは、分割された領域に対して事前にユーザから指示を受け付けることもできるし、顔認識技術等により領域ごとに適当な値を設定することもできる。Ｃの値を可変とすることにより、同一画像内でも領域ごとに立体感の異なる画像が得られる。

上述においては、左側視点のカラー画像データおよび右側視点のカラー画像データをペアで生成した。つまり、式（１）を適用する場合に、立体調整パラメータＣを０．５＜Ｃ＜１の範囲で設定すれば、式（２）は、式（１）に対してＣと１−Ｃを入れ替えた関係となる。この場合、式（１）から生成されるカラー画像データは、左側視点のカラー画像データとして、例えばＬｔプレーンデータと関連付けて管理され、式（２）から生成されるカラー画像データは、右側視点のカラー画像データとして、例えばＲｔプレーンデータと関連付けて管理される。このとき、画像処理部２０５は、関連付けを実行する付加部の機能を担う。

また、上述の式（３）と式（４）においては、立体調整パラメータＣの範囲を、０．５＜Ｃ＜１とした。しかし、上述の式（１）と式（２）において立体調整パラメータＣの値を変更すれば多様な画像データを取得できたのと同様に、式（３）と式（４）の立体調整パラメータＣも変更することにより、様々な画像データを取得することができる。

また、上述の式（３）と式（４）を図２２のフローに適用する場合も、立体調整パラメータＣの値として、一貫して同一値を適用するばかりでなく、例えば被写体像の特徴に併せて、領域ごとにＣの値を変更しても良い。

上述においては、左側視点のカラー画像データおよび右側視点のカラー画像データをペアで生成した。つまり、式（３）を適用する場合に、立体調整パラメータＣを０．５＜Ｃ＜１の範囲で設定すれば、式（４）は、式（３）に対してＣと１−Ｃを入れ替えた関係となる。この場合、式（３）から生成されるカラー画像データは、左側視点のカラー画像データとして、例えばＬｔプレーンデータと関連付けて管理され、式（４）から生成されるカラー画像データは、右側視点のカラー画像データとして、例えばＲｔプレーンデータと関連付けて管理される。このとき、画像処理部２０５は、関連付けを実行する付加部の機能を担う。

上述においては、例えば画像処理部２０５が含む画素値抽出部２３１、輝度値抽出部２３２および算出部２３３などは、デジタルカメラ１０を構成する各構成要素の機能としてそれぞれの処理を説明した。また、制御部２０１および画像処理部２０５を動作させる制御プログラムは、デジタルカメラ１０を構成する各ハードウェアを、上述の処理を実行させる構成要素として機能させ得る。また、カラー画像データを生成するこれらの処理は、デジタルカメラ１０で行わなくても、外部のパーソナルコンピュータなどの機器で行っても良い。この場合、外部のパーソナルコンピュータなどの機器は画像処理装置として機能する。画像処理装置は、例えばＲＡＷ元画像データを取得してカラー画像データを生成する。画像処理装置は、ＲＡＷ元画像データを取得した場合は、上述のプレーン分離処理、プレーンデータの補間処理も実行する。また、画像処理装置は、撮像装置側で補間処理が施されたプレーンデータを取得しても良い。

次に、これまで説明した上述の実施例（実施例１）に対して別の実施例（実施例２）について説明する。実施例１では、左視点のカラー画像と右視点のカラー画像を生成するために通常画像Rn,Gn,Bnの色面情報を、左視点の輝度画像Ltと右視点の輝度画像Rtの平均画像に対して、左視点のカラー画像を作る場合には、左視点の輝度画像と右視点の輝度画像の混合画像と相加平均画像との比が一定に保たれるようにして左視点の輝度画像に重きを置きながらなぞらえて、左視点のカラー画像を生成する概念を示した。実施例２では、別の式を提示する。式（１）、式（２）で示した式は以下のような演算式に置き換える。

左視点のカラー画像の生成
RLt=Rnx(Lt^(1-d)*Rt^d)/√(Lt*Rt)
GLt=Gnx(Lt^(1-d)*Rt^d)/√(Lt*Rt)
BLt=Bnx(Lt^(1-d)*Rt^d)/√(Lt*Rt)
右視点のカラー画像の生成
RRt=Rnx(Rt^(1-d)*Lt^d)/√(Lt*Rt)
GRt=Gnx(Rt^(1-d)*Lt^d)/√(Lt*Rt)
BRt=Bnx(Rt^(1-d)*Lt^d)/√(Lt*Rt)
ただし、立体調整パラメータdは、0≦d≦0.5の範囲の値をとる。

上記式はd=0のとき、左視点の輝度画像Ltと右視点の輝度画像Rtの相乗平均に対して比を一定に保つようにして右視点の輝度画像や左視点の輝度画像になぞらえて左視点のカラー画像と右視点のカラー画像を生成している。d=0.5のとき視差なし画像と同じになる。

上記式を書き換えると、以下のような関係を満たしている。

左視点のカラー画像の生成
RLt/Rn=(Lt/Rt)^(0.5-d)
GLt/Gn=(Lt/Rt)^(0.5-d)
BLt/Bn=(Lt/Rt)^(0.5-d)
右視点のカラー画像の生成
RRt/Rn=(Rt/Lt)^(0.5-d)
GRt/Gn=(Rt/Lt)^(0.5-d)
BRt/Bn=(Rt/Lt)^(0.5-d)

すなわち、求める対象の左視点のカラー画像の画素値は、左視点のカラー画像の画素値と視差なし画像の画素値との間の比が、左視点の輝度画像の輝度値と右視点の輝度画像の輝度値との間の比に対して相関を持つように値を求めている。また、求める対象の右視点のカラー画像の画素値は、右視点のカラー画像の画素値と視差なし画像の画素値との間の比が、右視点の輝度画像の輝度値と左視点の輝度画像の輝度値との間の比に対して相関を持つように値を求めている。

次に、実施例３を示す。実施例２で示した式の対数をとると以下のような式で等価に表される。

左視点のカラー画像の生成
log(RLt)=log(Rn)+(1-d)*log(Lt)+d*log(Rt)-[log(Lt)+log(Rt)]/2
log(GLt)=log(Gn)+(1-d)*log(Lt)+d*log(Rt)-[log(Lt)+log(Rt)]/2
log(BLt)=log(Bn)+(1-d)*log(Lt)+d*log(Rt)-[log(Lt)+log(Rt)]/2
右視点のカラー画像の生成
log(RRt)=log(Rn)+(1-d)*log(Rt)+d*log(Lt)-[log(Lt)+log(Rt)]/2
log(GRt)=log(Gn)+(1-d)*log(Rt)+d*log(Lt)-[log(Lt)+log(Rt)]/2
log(BRt)=log(Bn)+(1-d)*log(Rt)+d*log(Lt)-[log(Lt)+log(Rt)]/2

すなわち、対数階調をもつ階調特性の画像処理空間に移行すれば、線形階調の画像処理空間で比を一定に保つ演算式は、対数階調空間では差を一定に保つ視差変調によって、左右の各視点のカラー画像を生成することができる。この考え方を一般化して、対数階調にとどまらず、平方根や立方根など羃乗で表される階調特性や、任意の階調特性をもつガンマ空間で、差を一定に保つ演算を行えば、同様に視差変調を加える効果を得ることができる。

フローチャート
１）色・視差多重化モザイク画像データ入力
２）階調変換によるガンマ空間への移行
３）色、視差画像生成
４）逆階調変換による元の色空間への移行
５）出力色空間への変換

処理手順
１）色・視差多重化モザイク画像データ入力
ベイヤ配列型のG画素を右視差と左視差に瞳分割した、色と視差の多重化された単板式モザイク画像を入力する。これをM[i,j]と表す。各画素値は露光量に比例した値をとる線形階調のデータである。
２）階調変換によるガンマ空間への移行
モザイク画像に対して階調変換を施して、ガンマ空間に移行する。
M[i,j] → M^Γ[i,j]

実際には、入力画素値xに対して出力画素値yとなるように非線形変換y=f(x)を施す。非線形変換の特性の例として、以下のような種々の場合が考えられる。ただし、入力信号をx、出力信号をyとし、入力信号の階調と出力信号の階調が共に、[0,1]の範囲で定義されるものとする。入出力特性は(x,y)=(0,0)と(1,1)を通るように階調曲線（ガンマ曲線）を定義する。実際の入力階調Xの最大値をXmax、出力階調Yの最大値をYmaxとすると、x=X/Xmax、y=Y/Ymaxであり、階調変換は

によって行われる。

階調特性の例として以下のような場合が考えられる。
a）立方根階調特性

b)オフセット付き平方根階調特性
オフセット値εは、正の定数である。USP7,957,588参照。
c)対数特性

係数kは正の定数である。
d)線形特性
y=x

３）色、視差画像生成
ガンマ空間で実施例１と同様にして、視差なしカラー画像Rn^Γ、Gn^Γ、Bn^Γと左視点の輝度画像Lt^Γと右視点の輝度画像Rt^Γを生成する。その後、視差変調を以下の式によって加えて、左視点のカラー画像と右視点のカラー画像を生成する。なお、模式的にガンマ空間での値を指数^Γによって表す。

左視点のカラー画像の生成
RLt^Γ=Rn^Γ+(1-d)*Lt^Γ+d*Rt^Γ-(Lt^Γ+Rt^Γ)/2
GLt^Γ=Gn^Γ+(1-d)*Lt^Γ+d*Rt^Γ-(Lt^Γ+Rt^Γ)/2
BLt^Γ=Bn^Γ+(1-d)*Lt^Γ+d*Rt^Γ-(Lt^Γ+Rt^Γ)/2
右視点のカラー画像の生成
RRt^Γ=Rn^Γ+(1-d)*Rt^Γ+d*Lt^Γ-(Lt^Γ+Rt^Γ)/2
GRt^Γ=Gn^Γ+(1-d)*Rt^Γ+d*Lt^Γ-(Lt^Γ+Rt^Γ)/2
BRt^Γ=Bn^Γ+(1-d)*Rt^Γ+d*Lt^Γ-(Lt^Γ+Rt^Γ)/2
ただし、立体調整パラメータdは、0≦d≦0.5の範囲の値をとる。

上記式を書き換えると、以下のような関係を満たしている。

左視点のカラー画像の生成
RLt^Γ-Rn^Γ=(0.5-d)*(Lt^Γ-Rt^Γ)
GLt^Γ-Gn^Γ=(0.5-d)*(Lt^Γ-Rt^Γ)
BLt^Γ-Bn^Γ=(0.5-d)*(Lt^Γ-Rt^Γ)
右視点のカラー画像の生成
RRt^Γ-Rn^Γ=(0.5-d)*(Rt^Γ-Lt^Γ)
GRt^Γ-Gn^Γ=(0.5-d)*(Rt^Γ-Lt^Γ)
BRt^Γ-Bn^Γ=(0.5-d)*(Rt^Γ-Lt^Γ)

すなわち、求める対象の左視点のカラー画像の画素値は、左視点のカラー画像の画素値と視差なし画像の画素値との間の差が、左視点の輝度画像の輝度値と右視点の輝度画像の輝度値との間の差に対して相関を持つように値を求めている。また、求める対象の右視点のカラー画像の画素値は、右視点のカラー画像の画素値と視差なし画像の画素値との間の差が、右視点の輝度画像の輝度値と左視点の輝度画像の輝度値との間の差に対して相関を持つように値を求めている。

４）逆階調変換による元の色空間への移行
ガンマ空間から線形階調空間へ逆階調変換を加えることによって、元の色空間へ戻す。必要なカラー画像データに対して施す。左視点のカラー画像と右視点のカラー画像が出来上がる。

左視点のカラー画像
RLt^Γ[i,j] → RLt[i,j]
GLt^Γ[i,j] → GLt[i,j]
BLt^Γ[i,j] → BLt[i,j]
右視点のカラー画像
RRt^Γ[i,j] → RRt[i,j]
GRt^Γ[i,j] → GRt[i,j]
BRt^Γ[i,j] → BRt[i,j]

５）出力色空間への変換
できあがった左視点のカラー画像と右視点のカラー画像に対して、色変換と出力階調変換を加えて、各出力カラー画像を生成する。例えば、ｓＲＧＢ色空間へ変換する。

なお、視差を含むモザイク画像が原色ベイヤ配列の例を示したが、これらのカラーフィルタが補色系に置き換わっても、同様に右視差の補色カラー画像と左視差の補色カラー画像が同じ原理で生成できる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ デジタルカメラ、２０ 撮影レンズ、２１ 光軸、３０、３１ 被写体、１００ 撮像素子、１０１ マイクロレンズ、１０２ カラーフィルタ、１０３ 開口マスク、１０４ 開口部、１０５ 配線層、１０６ 配線、１０７ 開口、１０８ 光電変換素子、１０９ 基板、１１０ 繰り返しパターン、１２０ 撮像素子、１２１ スクリーンフィルタ、１２２ カラーフィルタ部、１２３ 開口マスク部、２０１ 制御部、２０２ Ａ／Ｄ変換回路、２０３ メモリ、２０４ 駆動部、２０５ 画像処理部、２０７ メモリカードＩＦ、２０８ 操作部、２０９ 表示部、２１０ ＬＣＤ駆動回路、２１１ ＡＦセンサ、２２０ メモリカード、２３１ 画素値抽出部、２３２ 輝度値抽出部、２３３ 算出部、３２２ 中心線、１８０１、１８０２、１８０３、１８０４、１８０５、１８０７、１８０８ 分布曲線、１８０６、１８０９ 合成分布曲線、１９０１ Ｌｔ分布曲線、１９０２ Ｒｔ分布曲線、１９０３ ２Ｄ分布曲線、１９０５ 調整Ｌｔ分布曲線、１９０６ 調整Ｒｔ分布曲線、１９１３ Ｌｔ変調曲線、１９１４ Ｒｔ変調曲線、１９１５ 分布曲線、１９１６ 調整Ｌｔ分布曲線、１９１７ 調整Ｒｔ分布曲線

Claims (15)

1. 同一シーンを撮像して生成される、基準画像データ、前記基準画像データの被写体像に対して一方向に第１視差を有する第１視差画像データ、および前記一方向とは反対の他方向に第２視差を有する第２視差画像データを取得する画像データ取得部と、
   前記基準画像データの対象画素位置における基準画素値、前記第１視差画像データの前記対象画素位置における第１視差輝度値、および前記第２視差画像データの前記対象画素位置における第２視差輝度値を抽出して、計算式
   Ｐ_３＝２Ｐ_０×（Ｃ・Ｐ_１＋（１−Ｃ）Ｐ_２）／（Ｐ_１＋Ｐ_２）
   （Ｐ_０：基準画素値、Ｐ_１：第１視差輝度値、Ｐ_２：第２視差輝度値、Ｐ_３：第３視差画素値、Ｃ：実数（ただし、Ｃ≠０，０．５，１））
   により、前記被写体像に対して前記第１視差とも前記第２視差とも異なる第３視差を有する第３視差画素値を算出する算出部と、
   前記基準画像データにおける画像領域に対して前記対象画素位置を順次移動して前記算出部により算出させた複数の前記第３視差画素値を用いて、第３視差画像データを生成する画像データ生成部と
   を備える画像処理装置。
2. 同一シーンを撮像して生成される、基準画像データ、前記基準画像データの被写体像に対して一方向に第１視差を有する第１視差画像データ、および前記一方向とは反対の他方向に第２視差を有する第２視差画像データを取得する画像データ取得部と、
   前記基準画像データの対象画素位置における基準画素値、前記第１視差画像データの前記対象画素位置における第１視差輝度値、および前記第２視差画像データの前記対象画素位置における第２視差輝度値を抽出して、計算式
   Ｐ_３＝Ｐ_０×（Ｐ_２／Ｐ_１）^{（１／２−Ｃ）}
   （Ｐ_０：基準画素値、Ｐ_１：第１視差輝度値、Ｐ_２：第２視差輝度値、Ｐ_３：第３視差画素値、Ｃ：実数（ただし、Ｃ≠０，０．５，１））
   により、前記被写体像に対して前記第１視差とも前記第２視差とも異なる第３視差を有する第３視差画素値を算出する算出部と、
   前記基準画像データにおける画像領域に対して前記対象画素位置を順次移動して前記算出部により算出させた複数の前記第３視差画素値を用いて、第３視差画像データを生成する画像データ生成部と
   を備える画像処理装置。
3. 抽出される前記基準画素値、前記第１視差輝度値および前記第２視差輝度値のそれぞれは、ガンマ変換後の値である請求項１または２に記載の画像処理装置。
4. 前記算出部は、前記対象画素位置に応じて、前記計算式におけるＣを変更する請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記画像データ生成部は、前記算出部に、前記計算式におけるＣとして０．５より大きく１より小さい範囲で設定したＣ_ｋを用いて算出させた前記第３視差画像データとしての第１データと、前記計算式におけるＣとして１−Ｃ_ｋを用いて算出させた前記第３視差画像データとしての第２データとをペアで生成する請求項１に記載の画像処理装置。
6. 前記第１データを前記第１視差画像データに関連付け、前記第２データを前記第２視差画像データに関連付ける付加部を備える請求項５に記載の画像処理装置。
7. 前記画像データ生成部は、前記算出部に、前記計算式におけるＣとして０．５より小さく０より大きい範囲で設定したＣ_ｋを用いて算出させた前記第３視差画像データとしての第１データと、前記計算式におけるＣとして１−Ｃ_ｋを用いて算出させた前記第３視差画像データとしての第２データとをペアで生成する請求項２に記載の画像処理装置。
8. 前記第１データを前記第１視差画像データに関連付け、前記第２データを前記第２視差画像データに関連付ける付加部を備える請求項７に記載の画像処理装置。
9. 前記基準画像データはカラー画像データであり、前記算出部は、前記カラー画像データを構成する、色成分ごとに分離されたプレーン画像データのそれぞれに対して前記第３視差画素値を算出する請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記第１視差画像データおよび前記第２視差画像データは、前記色成分の色情報を含まない請求項９に記載の画像処理装置。
11. 前記同一シーンを撮像する撮像素子と、
    請求項１から１０のいずれか１項に記載の画像処理装置と
    を備える撮像装置であって、
    前記画像データ取得部は、前記撮像素子が出力する前記基準画像データ、前記第１視差画像データおよび前記第２視差画像データを取得する撮像装置。
12. 前記撮像素子は、
    入射光を電気信号に光電変換する、二次元的に配列された光電変換素子と、
    前記光電変換素子の少なくとも一部のそれぞれに一対一に対応して設けられた開口マスクと
    を備え、
    隣接するｎ個（ｎは３以上の整数）の前記光電変換素子のうち、少なくとも２つに対応して設けられたそれぞれの前記開口マスクの開口は、前記入射光の断面領域内の、前記第１視差と前記第２視差に対応する互いに異なる部分領域からの光束をそれぞれ通過させるように位置づけられ、前記ｎ個の前記光電変換素子を一組とする光電変換素子群が周期的に配列されている請求項１１に記載の撮像装置。
13. 一組の前記光電変換素子群は、前記基準画像データを出力する、前記入射光の有効光束の全体を通過させる前記開口マスクが設けられた前記光電変換素子を含む請求項１２に記載の撮像装置。
14. 同一シーンを撮像して生成される、基準画像データ、前記基準画像データの被写体像に対して一方向に第１視差を有する第１視差画像データ、および前記一方向とは反対の他方向に第２視差を有する第２視差画像データを取得する画像データ取得ステップと、
    前記基準画像データにおける画像領域に対して対象画素位置を順次移動しつつ、前記基準画像データの前記対象画素位置における基準画素値、前記第１視差画像データの前記対象画素位置における第１視差輝度値、および前記第２視差画像データの前記対象画素位置における第２視差輝度値を抽出して、計算式
    Ｐ_３＝２Ｐ_０×（Ｃ・Ｐ_１＋（１−Ｃ）Ｐ_２）／（Ｐ_１＋Ｐ_２）
    （Ｐ_０：基準画素値、Ｐ_１：第１視差輝度値、Ｐ_２：第２視差輝度値、Ｐ_３：第３視差画素値、Ｃ：実数（ただし、Ｃ≠０，０．５，１））
    により、前記被写体像に対して前記第１視差とも前記第２視差とも異なる第３視差を有する第３視差画素値を順次算出する算出ステップと、
    前記算出ステップにより算出された複数の前記第３視差画素値を用いて、第３視差画像データを生成する画像データ生成ステップと
    をコンピュータに実行させる画像処理プログラム。
15. 同一シーンを撮像して生成される、基準画像データ、前記基準画像データの被写体像に対して一方向に第１視差を有する第１視差画像データ、および前記一方向とは反対の他方向に第２視差を有する第２視差画像データを取得する画像データ取得ステップと、
    前記基準画像データにおける画像領域に対して対象画素位置を順次移動しつつ、前記基準画像データの前記対象画素位置における基準画素値、前記第１視差画像データの前記対象画素位置における第１視差輝度値、および前記第２視差画像データの前記対象画素位置における第２視差輝度値を抽出して、計算式
    Ｐ_３＝Ｐ_０×（Ｐ_２／Ｐ_１）^{（１／２−Ｃ）}
    （Ｐ_０：基準画素値、Ｐ_１：第１視差輝度値、Ｐ_２：第２視差輝度値、Ｐ_３：第３視差画素値、Ｃ：実数（ただし、Ｃ≠０，０．５，１））
    により、前記被写体像に対して前記第１視差とも前記第２視差とも異なる第３視差を有する第３視差画素値を順次算出する算出ステップと、
    前記算出ステップにより算出された複数の前記第３視差画素値を用いて、第３視差画像データを生成する画像データ生成ステップと
    をコンピュータに実行させる画像処理プログラム。

Images