JP6173065B2 - 撮像装置、画像処理装置、撮像方法及び画像処理方法 - Google Patents

Description

本発明は、撮像装置、画像処理装置、撮像方法及び画像処理方法等に関する。

画像情報から距離情報を求め３次元形状を計測する方法は、これまでに多く提案されている。例えば、瞳位置にカラーフィルタを挿入し、左右の瞳画像を色成分により分離することにより、位相差情報を求め、３角測量の原理により立体計測する方法がある。この手法においては、左右瞳画像を分離するために撮像カラー画像の分光分離が必要となるが、多くは撮像センサの画素に対して、分離したい波長領域のみを通過させる光学フィルタを設け、光学的に分光分離を行っている。このような手法として、例えば下記の文献に記載される手法がある。

特許文献１には、分光透過率特性の平均波長が異なる５種類以上の色フィルタを配置した撮像装置が開示されている。特許文献１では、６種類のフィルタ、即ち第１の青色フィルタ、第２の青色フィルタ、第１の緑色フィルタ、第２の緑色フィルタ、第１の赤色フィルタ、及び第２の赤色フィルタが、撮像センサの画素に対応して設けられており、マルチバンドの画像を同時に撮像することが可能である。

特許文献２には、結像光学系と撮像センサの間に分岐光学系を設け、その分岐光学系を用いて４バンド以上の波長帯域に分離する手法が開示されている。この手法では、分岐された各色の画像は、撮像センサ上の分離された領域に結像される。各色の画像は、まとまった領域に像が生成されるため、マルチバンドの画像を同時に撮像することが可能である。

非特許文献１には、回転式のマルチバンドフィルタを用いて、撮像する画像の通過波長域を順次入れ替えて撮像することにより、マルチバンドの画像を取得する手法が開示されている。この手法では、取得できない波長帯域の情報を、自然界の被写体の分光反射率が滑らかであるとの先見情報を用いて推定する処理が行われている。

特開２００５−２８６６４９号公報 特開２００５−２６０４８０号公報

電子情報通信学会誌Ｖｏｌ．８８，Ｎｏ．６，２００５，東京工業大学

上記の３次元計測手法では、通常のＲＧＢ撮影でないマルチバンド撮影を用いている。このマルチバンド撮影では、既存の撮像システムを大きく変更することなく撮像システムを実現することが望ましいという課題がある。

例えば、上述の特許文献１では、撮像素子のカラーフィルタとして６種類のカラーフィルタを用いる。そのため、通常のＲＧＢ３原色のカラーフィルタを用いた場合に比べて、１種類のカラーフィルタに対して半分の画素しか割当てることができない。割り当てられず情報として欠落している画素値は、補間処理により求めることになるため、解像度の低下は免れない。

また、特許文献２では、分岐光学系により、各色の画像が撮像センサ上の分離された領域に結像される。そのため、各色の画像に割当てられる画素数は、通常のＲＧＢ３原色撮影に比べて少なくなり、解像度が低下してしまう。

また、非特許文献１では、回転式のマルチバンドフィルタを用いている。動きのある被写体の場合、フィルタの高速回転とそれに同期した高速撮影が必要となるので、特殊な追加機構が必要である。また、先見情報に基づく推定処理は、自然界の被写体ではない人工的なものを撮影する場合、成立しない可能性がある。

本発明の幾つかの態様によれば、既存の撮像システムを大きく変更することなくマルチバンドの撮像システムを実現可能な撮像装置、画像処理装置、撮像方法及び画像処理方法等を提供できる。

本発明の一態様は、撮像光学系の瞳を、第１瞳と、前記第１瞳とは透過波長帯域が異なる第２瞳と、に分割する光学フィルタと、第１透過率特性を有する第１色フィルタと、第２透過率特性を有する第２色フィルタと、第３透過率特性を有する第３色フィルタとを含む撮像素子と、前記第１瞳及び前記第２瞳の前記透過波長帯域と、前記第１〜第３透過率特性とにより設定される第１〜第４バンドの成分値を、前記撮像素子によって撮像された画像を構成する第１色〜第３色の画素値に基づいて推定するマルチバンド推定部と、を含む撮像装置に関係する。

また本発明の一態様では、前記第１、第２バンドは、前記第１透過率特性の帯域に対応し、前記第２、第３バンドは、前記第２透過率特性の帯域に対応し、前記第３、第４バンドは、前記第３透過率特性の帯域に対応し、前記第１瞳は、前記第２、第３バンドを透過し、前記第２瞳は、前記第１、第４バンドを透過してもよい。

また本発明の一態様では、前記第２バンドは、前記第１透過率特性と前記第２透過率特性との重なり部分に対応し、前記第３バンドは、前記第２透過率特性と前記第３透過率特性との重なり部分に対応してもよい。

また本発明の一態様では、前記マルチバンド推定部は、前記第１、第２バンドの成分値を加算した値である前記第１色の画素値と、前記第２、第３バンドの成分値を加算した値である前記第２色の画素値と、前記第３、第４バンドの成分値を加算した値である前記第３色の画素値と、に基づいて、前記第１〜第４バンドの成分値の間の関係式を求め、前記関係式に基づいて、前記第１〜第４バンドの成分値を推定してもよい。

また本発明の一態様では、前記マルチバンド推定部は、前記第１〜第４バンドの成分値のいずれかを未知数として前記関係式を求め、前記関係式で表した前記第１〜第４バンドの成分値と前記第１〜第３色の画素値との間の誤差を表す誤差評価値を求め、前記誤差評価値を最小にする前記未知数を決定し、決定した前記未知数及び前記関係式に基づいて、前記第１〜第４バンドの成分値を決定してもよい。

また本発明の一態様では、前記マルチバンド推定部は、前記第１瞳及び前記第２瞳の透過率特性と、前記第１〜第３透過率特性とにより設定されるパラメータを取得し、前記パラメータに基づいて前記第１〜第４バンドの成分値を推定してもよい。

また本発明の一態様では、前記パラメータは、前記第２バンドにおける前記第１、第２透過率特性のゲイン比、及び前記第３バンドにおける前記第２、第３透過率特性のゲイン比であってもよい。

また本発明の一態様では、前記マルチバンド推定部は、前記第１〜第３色の画素値と前記第１〜第４バンドの成分値とを予め統計的に対応付けた既知情報を取得し、前記撮像素子によって撮像された前記画像を構成する前記第１色〜第３色の画素値に対応する前記第１〜第４バンドの成分値を、前記既知情報から求めてもよい。

また本発明の一態様では、前記第１〜第４バンドのうち前記第１瞳を透過したバンドの成分値で構成される第１画像と、前記第１〜第４バンドのうち前記第２瞳を透過したバンドの成分値で構成される第２画像と、に基づいて前記第１画像と前記第２画像の位相差を検出する位相差検出部を含んでもよい。

また本発明の一態様では、前記位相差に基づいて前記第１画像をシフトした第３画像と、前記位相差に基づいて前記第２画像をシフトした第４画像と、を生成することにより、前記第１〜第４バンドの各バンドについて前記第１瞳を透過した場合に相当する画像及び前記第２瞳を透過した場合に相当する画像を生成する位相差画像生成部を含んでもよい。

また本発明の一態様では、前記第１〜第４バンドのうち前記第１瞳又は前記第２瞳を透過したバンドの成分値に基づいて表示画像を生成する表示画像生成部を含んでもよい。

また本発明の他の態様は、撮像光学系の瞳を、第１瞳と、前記第１瞳とは透過波長帯域が異なる第２瞳と、に分割する光学フィルタと、第１透過率特性を有する第１色フィルタと、第２透過率特性を有する第２色フィルタと、第３透過率特性を有する第３色フィルタとを含む撮像素子と、を含み、前記第１、第２バンドは、前記第１透過率特性の帯域に対応し、前記第２、第３バンドは、前記第２透過率特性の帯域に対応し、前記第３、第４バンドは、前記第３透過率特性の帯域に対応し、前記第１瞳は、前記第１、第４バンドを透過し、前記第２瞳は、前記第２、第３バンドを透過する撮像装置に関係する。

また本発明の更に他の態様は、第１透過率特性を有する第１色フィルタと、第２透過率特性を有する第２色フィルタと、第３透過率特性を有する第３色フィルタとを含む撮像素子により撮像した画像を取得する画像取得部と、前記画像を構成する第１色〜第３色の画素値に基づいて第１〜第４バンドの成分値を推定するマルチバンド推定部と、を含み、前記第１、第２バンドは、前記第１透過率特性の帯域に対応し、前記第２、第３バンドは、前記第２透過率特性の帯域に対応し、前記第３、第４バンドは、前記第３透過率特性の帯域に対応する画像処理装置に関係する。

また本発明の更に他の態様では、前記画像取得部は、撮像光学系の瞳を、第１瞳と、前記第１瞳とは透過波長帯域が異なる第２瞳と、に分割する光学フィルタの透過光を前記撮像素子により撮像した前記画像を取得し、前記第１瞳は、前記第１、第４バンドを透過し、前記第２瞳は、前記第２、第３バンドを透過してもよい。

また本発明の更に他の態様は、撮像光学系の瞳を、第１瞳と、前記第１瞳とは透過波長帯域が異なる第２瞳と、に分割する光学フィルタの透過光を、第１透過率特性を有する第１色フィルタと、第２透過率特性を有する第２色フィルタと、第３透過率特性を有する第３色フィルタとを含む撮像素子により撮像する処理を行い、前記第１瞳及び前記第２瞳の前記透過波長帯域と、前記第１〜第３透過率特性とにより設定される第１〜第４バンドの成分値を、前記撮像素子によって撮像された画像を構成する第１色〜第３色の画素値に基づいて推定する処理を行う、撮像方法に関係する。

また本発明の更に他の態様は、第１バンドと第２バンドは、第１透過率特性の帯域に対応し、前記第２バンドと第３バンドは、第２透過率特性の帯域に対応し、前記第３バンドと第４バンドは、第３透過率特性の帯域に対応する場合に、前記第１透過率特性を有する第１色フィルタと、前記第２透過率特性を有する第２色フィルタと、前記第３透過率特性を有する第３色フィルタとを含む撮像素子により撮像した画像を取得する処理を行い、前記画像を構成する第１色〜第３色の画素値に基づいて第１〜第４バンドの成分値を推定する処理を行う、画像処理方法に関係する。

撮像装置の構成例。 撮像装置の基本構成例。 バンド分割手法についての説明図。 エッジ部分における４バンド成分値の変化を示す模式図。 エッジ部分におけるＲＧＢ画素値の変化を示す模式図。 ４バンド成分値の推定手法についての説明図。 ４バンド成分値の推定手法についての説明図。 第１の推定手法についての説明図。 ４バンド成分値とＲＧＢ画素値の関係を示す図。 第３の推定手法についての説明図。 撮像装置の詳細な構成例。 撮像装置と別体に構成した場合における画像処理装置の詳細な構成例。 モニタ画像の生成処理についての説明図。 完備４バンド位相差画像の生成処理についての説明図。 完備４バンド位相差画像の生成処理についての説明図。 位相差から距離を求める手法についての説明図。

以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。

１．本実施形態の概要
高速ＡＦ（ＡＦ：オートフォーカス）の代表的手法として位相差ＡＦ方式がある。位相差ＡＦ方式では、以前は撮像光学経路を分岐し、位相差検出用の専用撮像素子により位相差情報を検出していたが、昨今は専用撮像素子を設けずに撮像素子のみで位相差を検出する手法が種々提案されている。例えば、撮像素子自体に位相差検出機能を搭載した方式（イメージャ内位相差方式）や、結像光学系の左右の瞳位置に異なる波長域のフィルタを配置し、色の違いで左右の位相差画像（多重画像）を取得し位相差を演算により求める方式（カラー位相差方式）などがある。

しかしながら、イメージャ内位相差方式では、左右の瞳位置からの光束をそれぞれ受光する独立した画素（位相差検出用画素）が必要となるため、結像画像として使用可能な画素は半数になり、解像度の犠牲が伴う。また、位相差検出用画素が画素欠陥のような状態になり画質劣化の要因となるため、高度な補正処理が必要になる。

また、特許文献１のようなカラー位相差方式や、直接にＡＦに関するものでないが特許文献２のようなカラー位相差方式では、イメージャ内位相差方式の課題はクリアできる。しかしながら、通常の３原色カラー撮像素子を使用する場合、例えば右瞳通過光束用にはＲ（赤色）フィルタを割り当て、左瞳通過光束用にはＢ（青色）フィルタを割り当てるなど、位相差画像が３原色のいずれかによって明確に分離できるようにしなくてはならない。そのため、赤成分Ｒのみの画像や青成分Ｂだけの画像など単一色画像の場合には、左右瞳のうち一方の瞳を通過した画像しか取得できず、位相差を検出できない。また、ＲとＢの画像に相関性が低い場合には、色分離により位相差画像を取得しても、位相差を検出する精度が劣ってしまう。このように、カラー位相差方式では、位相差を検出できない状況、又は検出精度が著しく劣る状況が発生する可能性がある。さらには、ＲＧＢのうち一部の色の光束のみを通過させるフィルタを用いるので、光量低下が発生する。また、デフォーカス位置の撮像画像が位相差により必ず色ずれを起こすので、その色ずれを精度良く補正する処理が必要になってくる。そのため、補正画像の品質、処理のリアルタイム性、低コスト化の観点で課題がある。

これらカラー位相差方式の課題を解決するために、多バンドフィルタを用いる手法（例えば特開２００５−２８６６４９号公報）が考えられる。この手法では、例えば、右瞳光束用には波長分離された２色のフィルタＲ１，Ｂ１を割り当て、左瞳光束用にも波長分離された２色のフィルタＲ２，Ｂ２を割り当てるなどして左右の位相差画像を得る。この場合、撮像素子には、各色を分離するための多バンド（多分割波長域）の色フィルタと、それぞれのバンドの色フィルタに対して割り当て画素が必要になる。そのため、一つ一つのバンド画像（分離波長域画像）のサンプリングが粗くなるのは必然であり、位相差検出のための相関精度を低下させる。また、サンプリングの粗さから単一バンド画像の解像度も低下し、撮像画像としての解像度も劣化するという課題が残る。

このように、従来の位相差ＡＦでは、例えば色ずれの発生や、解像度の低下、画素欠陥の高度な補正が必要となること、位相差の検出精度の低下、位相差を検出できない状況があり得ること、多バンドの色フィルタを有する撮像素子が必要となること等の種々の課題がある。

そこで図１に示すように、本実施形態の撮像装置は、光学フィルタ１２と撮像素子２０とマルチバンド推定部３０とを含む。光学フィルタ１２は、撮像光学系１０の瞳を、第１瞳と、第１瞳とは透過波長帯域が異なる第２瞳と、に分割する。撮像素子２０は、第１透過率特性を有する第１色（例えば赤色）フィルタと、第２透過率特性を有する第２色（緑色）フィルタと、第３透過率特性を有する第３色（青色）フィルタとを含む。そして、マルチバンド推定部３０は、第１瞳及び第２瞳の透過波長帯域と、第１〜第３透過率特性とにより設定される第１〜第４バンドの成分値Ｒ１、Ｒ２、Ｂ１、Ｂ２を、撮像素子２０によって撮像された画像を構成する第１色〜第３色の画素値Ｒ、Ｇ、Ｂに基づいて推定する。

本実施形態によれば、第１瞳及び第２瞳の透過波長帯域と、第１色〜第３色のカラーフィルタを有する撮像素子２０によって得られた第１色〜第３色の画素値Ｒ、Ｇ、Ｂと、に基づいて、第１〜第４バンドが設定され、当該第１〜第４バンドの成分値Ｒ１、Ｒ２、Ｂ１、Ｂ２を、撮像素子２０によって撮像された画像を構成する第１〜第３色の画素値に基づいて推定することができる。これにより、既存の撮像システムを大きく変更することなく、マルチバンドの撮像システムを実現することが可能となる。

後述の実施形態を例に、具体的に説明する。撮像素子２０は、原色ＲＧＢの単板撮像素子である。即ち、１画素につき１色のフィルタが設けられ、その画素が所定の配置（例えばベイヤ配列）で並べられた素子である。図３に示すように、ＲＧＢの波長帯域（Ｆ_Ｂ、Ｆ_Ｇ、Ｆ_Ｒ）はオーバーラップしている。オーバーラップ特性は、例えば従来の撮像センサのカラーフィルタと同様であり、特に大きな変更を伴なわずに用いることが可能である。

また、図２、図３に示すように、例えば右瞳（ＦＬ１）に２色Ｒ１、Ｂ１の帯域（ＢＤ３、ＢＤ２）を割り当て、左瞳（ＦＬ２）に２色Ｒ２、Ｂ２の帯域（ＢＤ４、ＢＤ１）を割り当てる。このように、第１〜第４バンドは、第１瞳及び第２瞳の透過波長帯域と、第１色〜第３色フィルタの第１〜第３透過率特性とにより設定されている。撮像素子２０のＲとＧの波長帯域及びＧとＢの波長帯域がオーバーラップしているので、画素値としてＲ＝Ｒ１＋Ｒ２、Ｇ＝Ｒ２＋Ｂ２、Ｂ＝Ｂ１＋Ｂ２が取得できる。本実施形態では、このオーバーラップを利用して推定処理を行い、４バンドの成分値Ｒ１、Ｒ２、Ｂ１、Ｂ２（ｒ^Ｒ _Ｒ、ｒ^Ｌ _Ｒ、ｂ^Ｒ _Ｂ、ｂ^Ｌ _Ｂ）を特定する。

この場合、右瞳に対応する成分値Ｒ１、Ｂ１からは右瞳画像（Ｉ^Ｒ（ｘ））を構成でき、左瞳に対応する成分値Ｒ２、Ｂ２からは左瞳画像（Ｉ^Ｌ（ｘ））を構成できる。この２つの画像を用いることで位相差を求めることができる。撮像素子２０として通常のＲＧＢ撮像素子を用いることができるので、撮像画像は従来どおりの解像度のＲＧＢ画像が得られる。即ち、従来技術のような４色を分離するための割当て画素も必要ないため、撮像画像の解像度を落とすことなくＲＧＢ画像が得られる。また、ＲＧＢベイヤ画像のデモザイキングにより、位相差画像の解像度も落とすことなく得られるため位相差の検出精度も高くできる。また、第１瞳と第２瞳の双方に赤色及び青色の帯域が割り当てられているため、デフォーカス位置の画像の色ずれも抑制できる。

以上のように、本実施形態は単眼にて視差撮影（立体情報取得撮影）を可能とするものであり、従来の撮像光学系の構成および撮像センサの構造を大きく変えることなく、後処理により全画素の位相差情報を得ることができる。また、結果として４色Ｒ１、Ｒ２、Ｂ２、Ｂ１の画像が得られるため、左右瞳画像はそれらの分光の色々な組み合わせが可能となり、被写体の種々の分光特性に対する検出範囲も広い。本実施形態のアプリケーションとしては、例えば高速位相差ＡＦや、単眼による立体視、被写体測距等が想定できる。

２．基本構成
次に、本実施形態の詳細について説明する。なお以下では、撮像素子を適宜、撮像センサとも呼ぶ。また、以下で用いる透過率特性｛Ｆ_Ｒ，Ｆ_Ｇ，Ｆ_Ｂ｝、｛ｒ^Ｒ，ｒ^Ｌ，ｂ^Ｒ，ｂ^Ｌ｝は、いずれも波長λの関数であるが、表記を簡単にするために波長λを省略する。バンドの成分値｛ｂ^Ｌ _Ｂ，ｂ^Ｒ _Ｂ，ｒ^Ｌ _Ｒ，ｒ^Ｒ _Ｒ｝は関数でなく値である。

図２に、本実施形態における撮像光学系１０の基本構成例を示す。撮像光学系１０は、撮像素子２０のセンサ面に被写体を結像させる結像レンズ１４と、第１瞳と第２瞳で帯域を分離する光学フィルタ１２と、を含む。以下では、第１瞳を右瞳とし、第２瞳を左瞳として説明するが、本実施形態ではこれに限定されない。即ち、瞳の分離方向は左右に限定されず、撮像光学系の光軸に対して垂直な任意の方向に第１瞳と第２瞳が分離されていればよい。

光学フィルタ１２は、透過率特性｛ｂ^Ｒ，ｒ^Ｒ｝を有する右瞳フィルタＦＬ１（第１フィルタ）と、透過率特性｛ｂ^Ｌ，ｒ^Ｌ｝を有する左瞳フィルタＦＬ２（第２フィルタ）と、を有する。後述のように透過率特性｛ｒ^Ｒ，ｒ^Ｌ，ｂ^Ｒ，ｂ^Ｌ｝は櫛歯状に設定される。光学フィルタ１２は、撮像光学系１０の瞳位置（例えば絞りの設置位置）に設けられ、フィルタＦＬ１、ＦＬ２がそれぞれ右瞳、左瞳に相当する。

３．バンド分割手法
図３に、バンド分割についての説明図を示す。なお、各成分値を表す符号（ｂ^Ｌ _Ｂ等）の上付きサフィックスは、右瞳「Ｒ」及び左瞳「Ｌ」のいずれを通過したかを表し、下付サフィックスは、撮像素子２０の赤色フィルタ「Ｒ」、緑色フィルタ「Ｇ」、青色フィルタ「Ｂ」のいずれを通過したかを表している。

図３に示すように、第１〜第４バンドＢＤ１〜ＢＤ４は、光学フィルタ１２の透過率特性｛ｒ^Ｌ，ｒ^Ｒ，ｂ^Ｒ，ｂ^Ｌ｝に対応する。即ち、右瞳には内側２つのバンドＢＤ２、ＢＤ３が割り当てられ、左瞳には外側２つのバンドＢＤ１、ＢＤ４が割り当てられる。これらのバンドＢＤ１〜ＢＤ４の成分値｛ｂ^Ｌ _Ｂ、ｂ^Ｒ _Ｂ、ｒ^Ｌ _Ｒ、ｒ^Ｒ _Ｒ｝は、撮像系の分光特性に応じて定まる成分値である。

図３には、撮像系の分光特性として、撮像センサのカラーフィルタの透過率特性｛Ｆ_Ｒ、Ｆ_Ｇ、Ｆ_Ｂ｝を示すが、厳密には、撮像系の分光特性は、例えばカラーフィルタを除いた撮像センサがもつ分光特性や、光学系のもつ分光特性等も含んでいる。以下では説明を簡単にするため、撮像センサ等の分光特性が、図３に示すカラーフィルタの透過率特性｛Ｆ_Ｒ、Ｆ_Ｇ、Ｆ_Ｂ｝に含まれるものとする。

カラーフィルタの透過率特性｛Ｆ_Ｒ、Ｆ_Ｇ、Ｆ_Ｂ｝は、互いにオーバーラップしており、そのオーバーラップに対応してバンドが設定される。即ち、バンドＢＤ２は、青色、緑色フィルタの透過率特性｛Ｆ_Ｂ、Ｆ_Ｇ｝の重なり部分に対応し、バンドＢＤ３は、緑色、赤色フィルタの透過率特性｛Ｆ_Ｇ、Ｆ_Ｒ｝の重なり部分に対応する。また、バンドＢＤ１は、青色フィルタの透過率特性Ｆ_Ｂの非重なり部分に対応し、バンドＢＤ４は、赤色フィルタの透過率特性Ｆ_Ｒの非重なり部分に対応する。ここで、非重なり部分とは、他の色フィルタの透過率特性と重なっていない部分のことである。

バンドＢＤ１〜ＢＤ４の帯域幅は、例えば、理想的な白色被写体（フラットな分光特性の像）を撮像したときに、４つの分光成分｛ｒ^Ｌ _Ｒ，ｒ^Ｒ _Ｒ，ｂ^Ｒ _Ｂ，ｂ^Ｌ _Ｂ｝が同一の画素値となるように、光学フィルタ１２の分光特性や結像光学系の分光特性、撮像センサのＲＧＢフィルタ特性、画素の感度特性を加味して設定する。即ち、バンドＢＤ１〜ＢＤ４の帯域幅は、透過率特性の帯域幅や重なり部分の帯域幅そのものである必要はない。例えば、透過率特性｛Ｆ_Ｇ、Ｆ_Ｂ｝の重なり部分の帯域は、およそ４５０ｎｍ〜５５０ｎｍであるが、バンドＢＤ２は重なり部分に対応するものであればよく、４５０ｎｍ〜５５０ｎｍである必要はない。

４バンドの成分値｛ｒ^Ｌ _Ｒ，ｒ^Ｒ _Ｒ，ｂ^Ｒ _Ｂ，ｂ^Ｌ _Ｂ｝は、図２に示すように、左画像Ｉ^Ｌ（ｘ）と右画像Ｉ^Ｒ（ｘ）を構成する。例えば、下式（１）又は下式（２）又は下式（３）のように構成できる。ここで、ｘは瞳分割方向（例えば撮像素子２０の水平走査方向）における位置（座標）である。
［Ｉ^Ｌ（ｘ），Ｉ^Ｒ（ｘ）］＝［ｒ^Ｌ _Ｒ（ｘ），ｒ^Ｒ _Ｒ（ｘ）］ （１）
［Ｉ^Ｌ（ｘ），Ｉ^Ｒ（ｘ）］＝［ｂ^Ｌ _Ｂ（ｘ），ｂ^Ｒ _Ｂ（ｘ）］ （２）
［Ｉ^Ｌ（ｘ），Ｉ^Ｒ（ｘ）］＝
［ｒ^Ｌ _Ｒ（ｘ）＋ｂ^Ｌ _Ｂ（ｘ），ｒ^Ｒ _Ｒ（ｘ）＋ｂ^Ｒ _Ｂ（ｘ）］ （３）

４．マルチバンド推定処理
次に、３色の画素値｛Ｒ，Ｇ，Ｂ｝から４バンドの成分値｛ｒ^Ｌ _Ｒ，ｒ^Ｒ _Ｒ，ｂ^Ｒ _Ｂ，ｂ^Ｌ _Ｂ｝を推定する処理について説明する。なお、以下では瞳分割を行う場合を例に説明するが、本実施形態のマルチバンド推定処理は瞳分割を行わない場合にも適用可能である。即ち、光学フィルタ１２を設けずに撮像した画像から同様の推定手法により４バンドの画像を得ることも可能である。

図２に示すように、光学フィルタ１２の左右瞳を透過した結像光は、ベイヤ配列のカラーフィルタを有する撮像センサで撮像される。ベイヤ画像に対してデモザイキング処理を行い、ＲＧＢ毎の３画像（全画素にＲ画素値、Ｇ画素値、Ｂ画素値が存在する画像）を生成する。なお、撮像素子２０は、原色ＲＧＢの３板撮像素子であってもよい。即ち、撮像素子２０は、第１色〜第３色の画像を撮影できるものであればよい。

図３で説明したように、カラーフィルタの分光特性｛Ｆ_Ｒ、Ｆ_Ｇ、Ｆ_Ｂ｝のオーバーラップに対応して、左右瞳の分光特性｛ｒ^Ｒ，ｒ^Ｌ，ｂ^Ｒ，ｂ^Ｌ｝を割り当てている。そのため、撮像センサの各画素において取得するＲＧＢ値と、４バンドの成分値の間には、下式（４）の関係が成り立つ。
Ｒ＝ｒ^Ｒ _Ｒ＋ｒ^Ｌ _Ｒ，
Ｇ＝ｒ^Ｒ _Ｇ＋ｂ^Ｒ _Ｇ，
Ｂ＝ｂ^Ｒ _Ｂ＋ｂ^Ｌ _Ｂ （４）

ここで、オーバーラップ部分では分光特性｛Ｆ_Ｂ、Ｆ_Ｇ、Ｆ_Ｒ｝の感度が異なっている。即ち、右瞳の青色の透過光（ｂ^Ｒ）に対する青、緑の画素（Ｆ_Ｂ、Ｆ_Ｇ）の感度が異なり、右瞳の赤色の透過光（ｒ^Ｒ）に対する緑、赤の画素（Ｆ_Ｇ、Ｆ_Ｒ）の感度が異なる。緑、赤の画素の感度比（ゲイン比）を係数αとし、青、緑の画素の感度比（ゲイン比）を係数βとすると、下式（５）となる。
ｒ^Ｒ _Ｇ＝α・ｒ^Ｒ _Ｒ，
ｂ^Ｒ _Ｇ＝β・ｂ^Ｒ _Ｂ （５）

係数α、βは、結像光学系や、光学フィルタ１２、撮像センサのカラーフィルタ、撮像センサの画素の分光特性によって決まる値である。説明を簡単にするために、α＝β＝１とすると、成分値｛ｒ^Ｒ _Ｇ，ｂ^Ｒ _Ｇ｝は上式（５）より下式（６）と見なすことができる。
ｒ^Ｒ _Ｇ＝ｒ^Ｒ _Ｒ，
ｂ^Ｒ _Ｇ＝ｂ^Ｒ _Ｂ （６）

上式（６）より上式（４）を下式（７）のように書き換えられる。
Ｒ＝ｒ^Ｒ _Ｒ＋ｒ^Ｌ _Ｒ，
Ｇ＝ｒ^Ｒ _Ｒ＋ｂ^Ｒ _Ｂ，
Ｂ＝ｂ^Ｒ _Ｂ＋ｂ^Ｌ _Ｂ （７）

上式（７）を変形すると、下式（８）が得られる。
Ｇ−Ｒ＝ｂ^Ｒ _Ｂ−ｒ^Ｌ _Ｒ，
ｒ^Ｒ _Ｒ＝Ｒ−ｒ^Ｌ _Ｒ，
ｂ^Ｌ _Ｂ＝Ｂ−ｂ^Ｒ _Ｂ （８）

上式（８）において、成分値ｒ^Ｌ _Ｒを未知数（未知変数）とすると、下式（９）のように４バンドの成分値｛ｒ^Ｌ _Ｒ，ｒ^Ｒ _Ｒ，ｂ^Ｒ _Ｂ，ｂ^Ｌ _Ｂ｝の関係式を求めることができる。なお、未知数は成分値ｒ^Ｌ _Ｒに限定されず、４バンドの成分値のうちいずれを未知数としてもよい。
ｒ^Ｌ _Ｒ＝（未知数），
ｒ^Ｒ _Ｒ＝Ｒ−ｒ^Ｌ _Ｒ，
ｂ^Ｒ _Ｂ＝（Ｇ−Ｒ）−ｒ^Ｌ _Ｒ，
ｂ^Ｌ _Ｂ＝Ｂ−（Ｇ−Ｒ）＋ｒ^Ｌ _Ｒ （９）

４バンドの成分値｛ｒ^Ｌ _Ｒ，ｒ^Ｒ _Ｒ，ｂ^Ｒ _Ｂ，ｂ^Ｌ _Ｂ｝の解は複数の組み合わせが存在するが、それらの中から最も尤もらしい組み合わせパターンを推定できれば、左右瞳通過光による位相差画像｛ｒ^Ｌ _Ｒ，ｒ^Ｒ _Ｒ｝又は｛ｂ^Ｒ _Ｂ，ｂ^Ｌ _Ｂ｝が求められることになる。以下では、尤もらしい解の推定手法について説明する。

５．解の推定手法
図４、図５に、エッジ部分におけるＲＧＢ画素値と４バンド成分値の変化を模式的に示す。図４には、撮像画像のエッジ部分のプロファイルと、４バンドの分光パターンの変化を示す。図５には、４バンドの分光パターンに対応するＲＧＢパターン（検出画素値）を示す。

瞳分割された４バンド分光パターンは、取得されたＲＧＢパターンと相関性が高くなるように設定されている。なぜなら、画素値Ｇの成分値｛ｒ^Ｒ _Ｒ，ｂ^Ｒ _Ｂ｝は同一の瞳（右瞳）を通過するため、図４に示すように、ｒ^Ｒ _Ｒの画像とｂ^Ｒ _Ｂの画像の間には位相差（画像ずれ）が無い。また、｛ｒ^Ｒ _Ｒ，ｂ^Ｒ _Ｂ｝は、隣接する波長帯域の成分なので、多くの被写体において、ほぼ相似なプロファイルからなり成分値は連動すると考えられるからである。画素値Ｇと成分値｛ｒ^Ｒ _Ｒ，ｂ^Ｒ _Ｂ｝が連動すると言うことは、ＲＧＢパターンと４バンドパターンは類似性の高い関係が得られると言える（ｒ^Ｒ _Ｒ，ｂ^Ｒ _Ｂが交互に大小を繰り返す特殊なパターンは例外と考える）。

よって、各画素において取得されたＲＧＢパターンに最も類似性が高いと判断できる４バンド分光パターンを、複数解の中から選択することにより、最尤度な４バンド分光パターンを推定することができる。

図４〜図７を用いて、より詳細に説明する。図４に示すように、各成分値の画像は、左瞳、右瞳のポイントスプレッドファンクションＰＳＦ^Ｌ、ＰＳＦ^Ｒと被写体のプロファイルとのコンボリューションになっている。そのため、左右瞳に帯域が分割される赤の成分値｛ｒ^Ｒ _Ｒ，ｒ^Ｌ _Ｒ｝と青の成分値｛ｂ^Ｒ _Ｂ，ｂ^Ｌ _Ｂ｝には、位相差が生じる。一方、右瞳だけに割り当てられた緑の成分値｛ｒ^Ｒ _Ｒ，ｂ^Ｒ _Ｂ｝には位相差が生じない。

図５に示すように、実際に撮像した画像のＲＧＢ値は、上記成分値の加算値となる。Ｒ画像とＢ画像は位相差画像が足されたものとなり、エッジに対して偏りが平均される。一方、Ｇ画像は、右瞳の視差で偏った位相差の無い画像が足されたものとなり、エッジに対して左に偏っている。

この画像をエッジの中央とその両側で見た場合、図６に示すような４バンド成分値とＲＧＢ画素値となる。撮像で得られるのは画素値｛Ｂ，Ｇ，Ｒ｝であり、その値から４バンドの成分値｛ｂ^Ｌ _Ｂ，ｂ^Ｒ _Ｂ，ｒ^Ｒ _Ｒ，ｒ^Ｌ _Ｒ｝を推定することになるが、図６に示すように画素値と成分値のパターンが相似なので、高精度な推定が可能である。

ここで、仮に４バンドを左右左右の瞳に割り当てたとする。この場合、図７に示すように、エッジの中央では成分値｛ｂ^Ｌ _Ｂ，ｂ^Ｒ _Ｂ，ｒ^Ｌ _Ｒ，ｒ^Ｒ _Ｒ，｝は“高低高低”のパターンとなり、画素値｛Ｂ，Ｇ，Ｒ｝は大きさが揃ったパターンとなる。画素値｛Ｂ，Ｇ，Ｒ｝からカーブｃｖ２のような推定結果が得られれば４バンド成分値のパターンに近くなるが、画素値｛Ｂ，Ｇ，Ｒ｝のパターンが平坦なため、推定精度は低下すると考えられる。

一方、本実施形態では、図６に示すように、エッジの中央では画素値｛Ｂ，Ｒ｝に比べて画素値｛Ｇ｝が小さいパターンとなり、このパターンにフィッティングしたカーブｃｖ１は、成分値｛ｂ^Ｌ _Ｂ，ｂ^Ｒ _Ｂ，ｒ^Ｒ _Ｒ，ｒ^Ｌ _Ｒ，｝のパターンに相似である。これは、中央の２バンドを右瞳に割り当てているからである。このように、４バンドを左右右左の瞳に割り当てることで、高精度なマルチバンド推定を実現できる。

６．第１の推定手法
次に、上式（９）に示す４バンド成分値の関係式とＲＧＢ画素値から、４バンド成分値を決定する手法について説明する。

ＲＧＢパターンと４バンド分光パターンとの類似性を判断するための評価関数をＥ（ｒ^Ｌ _Ｒ）とする。ここでは、上式（９）と同様に未知数をｒ^Ｌ _Ｒとする。ＲＧＢ画素値と４バンド成分値が、例えば図８に示す関係であるとすると、評価関数Ｅ（ｒ^Ｌ _Ｒ）は下式（１０）となる。
Ｅ（ｒ^Ｌ _Ｒ）＝ｅ_Ｒ＋ｅ_Ｇ＋ｅ_Ｂ，
ｅ_Ｒ＝（ｒ^Ｌ _Ｒ−Ｒ／２）^２＋（ｒ^Ｒ _Ｒ−Ｒ／２）^２，
ｅ_Ｇ＝（ｒ^Ｒ _Ｒ−Ｇ／２）^２＋（ｂ^Ｒ _Ｂ−Ｇ／２）^２，
ｅ_Ｂ＝（ｂ^Ｒ _Ｂ−Ｂ／２）^２＋（ｂ^Ｌ _Ｂ−Ｂ／２）^２ （１０）

上式（１０）に上式（９）の関係式を代入し、未知数ｒ^Ｌ _Ｒの関数として評価関数Ｅ（ｒ^Ｌ _Ｒ）を求める。未知数ｒ^Ｌ _Ｒを変化させ、下式（１１）に示す成分値｛ｒ^Ｌ _Ｒ，ｒ^Ｒ _Ｒ，ｂ^Ｒ _Ｂ，ｂ^Ｌ _Ｂ｝の範囲を満足し且つ評価関数Ｅ（ｒ^Ｌ _Ｒ）が最小になるときのｒ^Ｌ _Ｒを解として採用する。下式（１１）のＮは、変数に定義された量子化の最大ビット数である。
０≦ｒ^Ｌ _Ｒ＜２^Ｎ，
０≦ｒ^Ｒ _Ｒ＜２^Ｎ，
０≦ｂ^Ｒ _Ｂ＜２^Ｎ，
０≦ｂ^Ｌ _Ｂ＜２^Ｎ （１１）

未知数ｒ^Ｌ _Ｒが決定されれば、その値を上式（９）に代入することにより、４バンド成分｛ｒ^Ｌ _Ｒ，ｒ^Ｒ _Ｒ，ｂ^Ｒ _Ｂ，ｂ^Ｌ _Ｂ｝が導出される。

この手法では、評価関数Ｅ（ｒ^Ｌ _Ｒ）は未知数ｒ^Ｌ _Ｒの２次関数となるので、最小値は｛Ｒ，Ｇ，Ｂ｝の関数として容易に求まり、４バンド成分値｛ｒ^Ｌ _Ｒ，ｒ^Ｒ _Ｒ，ｂ^Ｒ _Ｂ，ｂ^Ｌ _Ｂ｝の演算も簡単な計算式になる。但し、その計算式に当てはめて｛ｒ^Ｌ _Ｒ，ｒ^Ｒ _Ｒ，ｂ^Ｒ _Ｂ，ｂ^Ｌ _Ｂ｝が取り得る範囲（上式（１１））を超えた場合は、その範囲内での最小値を求めねばならない。

図９に、推定で得られる４バンド成分値とＲＧＢ画素値の関係を示す。画素値Ｒを例にとると、Ｒ＝ｒ^Ｌ _Ｒ＋ｒ^Ｒ _Ｒ＝（ｒ^Ｌ _Ｒ，ｒ^Ｒ _Ｒ）・（１，１）なので、画素値Ｒはベクトル（ｒ^Ｌ _Ｒ，ｒ^Ｒ _Ｒ）を（１，１）方向に写像したものである。即ち、ベクトル（ｒ^Ｌ _Ｒ，ｒ^Ｒ _Ｒ）は、画素値Ｒを通る直線ＬＮ１上の値をとり得るということである。同様に、画素値Ｇ、Ｂについても直線ＬＮ２、ＬＮ３が決まり、これらの直線ＬＮ１〜ＬＮ３上に値が存在するように４バンド成分値｛ｒ^Ｌ _Ｒ，ｒ^Ｒ _Ｒ，ｂ^Ｒ _Ｂ，ｂ^Ｌ _Ｂ｝が決定される。

このとき、画素値｛Ｒ，Ｇ，Ｂ｝の定義域により４バンド成分値｛ｒ^Ｌ _Ｒ，ｒ^Ｒ _Ｒ，ｂ^Ｒ _Ｂ，ｂ^Ｌ _Ｂ｝の定義域も制限される（例えば、０≦Ｒ＝ｒ^Ｌ _Ｒ＋ｒ^Ｒ _Ｒ＜２^Ｎのとき０≦ｒ^Ｌ _Ｒ，ｒ^Ｒ _Ｒ＜２^Ｎ）。そのため、この定義域を超えないように成分値を推定する。

７．第２の推定手法
上記の推定手法とは別の手法として、次の手法が考えられる。図８において、ＲＧＢパターンを内挿補間又は外挿補間することにより、下式（１２）に示す４バンドパターンの補間成分値｛ｒ^Ｌ _Ｒ’，ｒ^Ｒ _Ｒ’，ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｂ’｝を求める。
ｒ^Ｌ _Ｒ’＝（３／２）・（Ｒ／２−Ｇ／２）＋Ｇ／２，
ｒ^Ｒ _Ｒ’＝（１／２）・（Ｒ／２＋Ｇ／２），
ｂ^Ｒ _Ｂ’＝（１／２）・（Ｂ／２＋Ｇ／２），
ｂ^Ｌ _Ｂ’＝（３／２）・（Ｒ／２−Ｇ／２）＋Ｇ／２ （１２）

この場合、評価関数Ｅ（ｒ^Ｌ _Ｒ）は下式（１３）により定義できる。
Ｅ（ｒ^Ｌ _Ｒ）＝（ｒ^Ｌ _Ｒ−ｒ^Ｌ _Ｒ’）^２＋（ｒ^Ｒ _Ｒ−ｒ^Ｒ _Ｒ’）^２＋
（ｂ^Ｒ _Ｂ−ｂ^Ｒ _Ｂ’）^２＋（ｂ^Ｌ _Ｂ−ｂ^Ｌ _Ｂ’）^２ （１３）

上式（１３）に上式（９）、（１２）を代入し、未知数ｒ^Ｌ _Ｒを変化させ、評価関数Ｅ（ｒ^Ｌ _Ｒ）が最小になるときのｒ^Ｌ _Ｒを解として採用する。ｒ^Ｌ _Ｒが求められれば、そのｒ^Ｌ _Ｒを上式（９）に代入することにより、４バンド成分値｛ｒ^Ｌ _Ｒ，ｒ^Ｒ _Ｒ，ｂ^Ｒ _Ｂ，ｂ^Ｌ _Ｂ｝が導出される。

８．第３の推定手法
上記の推定手法とは更に別の手法として、次の手法が考えられる。図１０に示すように、ＲＧＢパターンからｒ^Ｒ _Ｒ’とｂ^Ｒ _Ｂ’はＧに等しいと考え、他は外挿補間により求められる補間値と考える。この場合、下式（１４）に示す４バンドパターンの補間成分値｛ｒ^Ｌ _Ｒ’，ｒ^Ｒ _Ｒ’，ｂ^Ｒ _Ｂ’，ｂ^Ｌ _Ｂ’｝が求められる。
ｒ^Ｌ _Ｒ’＝（３／２）・（Ｒ／２−Ｇ／２）＋Ｇ／２，
ｒ^Ｒ _Ｒ’＝Ｇ／２，
ｂ^Ｒ _Ｂ’＝Ｇ／２，
ｂ^Ｌ _Ｂ’＝（３／２）・（Ｂ／２−Ｇ／２）＋Ｇ／２ （１４）

評価関数Ｅ（ｒ^Ｌ _Ｒ）は下式（１５）により定義できる。
Ｅ（ｒ^Ｌ _Ｒ）＝（ｒ^Ｌ _Ｒ−ｒ^Ｌ _Ｒ’）^２＋（ｒ^Ｒ _Ｒ−ｒ^Ｒ _Ｒ’）^２＋
（ｂ^Ｒ _Ｂ−ｂ^Ｒ _Ｂ’）^２＋（ｂ^Ｌ _Ｂ−ｂ^Ｌ _Ｂ’）^２ （１５）

上式（１５）に上式（９）、（１４）を代入し、未知数ｒ^Ｌ _Ｒを変化させ、評価関数Ｅ（ｒ^Ｌ _Ｒ）が最小になるときのｒ^Ｌ _Ｒを解として採用する。ｒ^Ｌ _Ｒが求められれば、そのｒ^Ｌ _Ｒを上式（９）に代入することにより、４バンド成分値｛ｒ^Ｌ _Ｒ，ｒ^Ｒ _Ｒ，ｂ^Ｒ _Ｂ，ｂ^Ｌ _Ｂ｝が導出される。

９．推定手法の変形例
上記の手法以外にも、ＲＧＢパターンから４バンド分光パターンを推定する手法は種々考えられる。

例えば、補間４バンド分光パターンをＲＧＢの３値からラグランジュ補間により求めてもよい。或は、４バンド成分値が２次曲線に乗ると仮定し、フィッティングを行うことによりＲＧＢパターンに当てはまる回帰曲線を求めてもよい。

或は、統計的な手法により推定してもよい。即ち、被写体画像の対象を定め、その対象の既知画像から４バンド分光パターンを発生する。既知画像の各ＲＧＢパターンについて、統計的に発生確率が最も高い４バンド分光パターンを予め求め、その対応付けのルックアップテーブルを作成しておく。そして、そのルックアップテーブルを不図示のメモリ等に記憶しておき、取得したＲＧＢパターンに対応する４バンド分光パターンを、ルックアップテーブルを参照して求める。

１０．撮像装置
図１１に、本実施形態のマルチバンド推定処理を行う撮像装置の詳細な構成例を示す。撮像装置は、光学フィルタ１２、結像レンズ１４、撮像部４０、モニタ表示部５０、画像処理装置１００を含む。なお、図１で説明した構成要素と同一の構成要素には同一の符号を付し、適宜説明を省略する。

撮像部４０は、撮像素子２０と撮像処理部を含む。撮像処理部は、撮像動作の制御や、アナログの画素信号をＡ／Ｄ変換する処理や、ＲＧＢベイヤ画像のデモザイキング処理等を行い、ＲＧＢ画像（画素値｛Ｒ，Ｇ，Ｂ｝）を出力する。

画像処理装置１００は、本実施形態のマルチバンド推定処理や、その他の種々の画像処理を行う。画像処理装置１００は、マルチバンド推定部３０、モニタ画像生成部１１０、画像処理部１２０、分光特性記憶部１３０、データ圧縮部１４０、データ記録部１５０、位相差検出部１６０、完備４バンド位相差画像生成部１７０、測距演算部１８０を含む。

分光特性記憶部１３０は、撮像素子２０のカラーフィルタの透過率特性｛Ｆ_Ｒ，Ｆ_Ｇ，Ｆ_Ｂ｝のデータを記憶する。マルチバンド推定部３０は、分光特性記憶部１３０から読み出した透過率特性｛Ｆ_Ｒ，Ｆ_Ｇ，Ｆ_Ｂ｝のデータに基づいて、上式（５）の係数α、βを決定する。そして、係数α、βに基づいてマルチバンド推定処理を行い、４バンドの成分値｛ｒ^Ｌ _Ｒ，ｒ^Ｒ _Ｒ，ｂ^Ｒ _Ｂ，ｂ^Ｌ _Ｂ｝を推定する。

位相差検出部１６０は、左画像Ｉ^Ｌと右画像Ｉ^Ｒの位相差δ（ｘ，ｙ）を検出する。左画像Ｉ^Ｌと右画像Ｉ^Ｒは、４バンドの成分値｛ｒ^Ｌ _Ｒ，ｒ^Ｒ _Ｒ，ｂ^Ｒ _Ｂ，ｂ^Ｌ _Ｂ｝を用いて上式（１）〜（３）のように構成される。位相差は、上式（１）〜（３）のそれぞれについて求めてもよいし、その求めた位相差を平均してもよい。或は、上式（１）〜（３）のいずれかについて位相差を求めてもよい（例えば、Ｒ成分が大きい領域では上式（１）の位相差を求める等）。位相差δ（ｘ，ｙ）は、各画素について求める。（ｘ，ｙ）は画像上における位置（座標）であり、例えばｘは水平走査方向、ｙは垂直走査方向に対応する。

測距演算部１８０は、検出された位相差δ（ｘ，ｙ）に基づいて３次元計測を行う。即ち、各画素位置（ｘ，ｙ）での被写体までの距離を位相差δ（ｘ，ｙ）から算出し、物体の３次元形状情報を取得する。なお、詳細については後述する。

完備４バンド位相差画像生成部１７０は、位相差δ（ｘ，ｙ）に基づいて、４バンドの完備な位相差画像を生成する。即ち、右瞳の成分値｛ｒ^Ｒ _Ｒ，ｂ^Ｒ _Ｂ｝しか得られていないバンドについて、左瞳の成分値｛ｒ^Ｌ _Ｒ’，ｂ^Ｌ _Ｂ’｝を生成する。また、左瞳の成分値｛ｒ^Ｌ _Ｒ，ｂ^Ｌ _Ｂ｝しか得られていないバンドについて、右瞳の成分値｛ｒ^Ｒ _Ｒ’，ｂ^Ｒ _Ｂ’｝を生成する。なお、詳細については後述する。

モニタ画像生成部１１０は、４バンドの成分値｛ｒ^Ｌ _Ｒ，ｒ^Ｒ _Ｒ，ｂ^Ｒ _Ｂ，ｂ^Ｌ _Ｂ｝からモニタ画像（画素値｛Ｒ’，Ｇ’，Ｂ’｝）を生成する。モニタ画像は、例えば後述の手法で簡易的に色ずれ補正した表示画像である。

画像処理部１２０は、モニタ画像に対して画像処理を行い、モニタ表示部５０へ出力する。例えば、ノイズ低減処理や階調補正処理等の高画質化処理を行う。

データ圧縮部１４０は、撮像部４０が出力する撮像画像データを圧縮処理する。データ記録部１５０は、圧縮された撮像画像データと、カラーフィルタの透過率特性｛Ｆ_Ｒ，Ｆ_Ｇ，Ｆ_Ｂ｝のデータと、を記録する。撮像画像データとしては、撮像センサで得られる何の加工もしない元データを記録してもよいし、完備４バンド位相差画像のデータを記録してもよい。元データで記録した場合には、記録データ量は少なくて済む。記録データは、撮影後の事後処理においてマルチバンド推定処理に用いることが可能である。事後処理は、撮像装置の中の画像処理装置１００で行ってもよいし、撮像装置と別体に構成された画像処理装置で行ってもよい。

１１．画像処理装置
図１２に、撮像装置と別体に構成された画像処理装置の構成例を示す。この画像処理装置は、データ記録部２００、データ伸張部２１０、マルチバンド推定部２２０、モニタ画像生成部２３０、画像処理部２４０、モニタ表示部２５０、分光特性記憶部２６０、位相差検出部２７０、完備４バンド位相差画像生成部２８０、測距演算部２９０を含む。この画像処理装置としては、例えばＰＣ等の情報処理装置が想定される。

データ記録部２００は、例えば外部記憶装置（例えばメモリカード）により構成され、撮像装置により記録されたＲＧＢ画像データ及び透過率特性データを記憶している。データ伸張部２１０は、撮像装置により圧縮されたＲＧＢ画像データを伸張する処理を行う。分光特性記憶部２６０は、データ記録部２００から透過率特性データを取得し、記憶する。

マルチバンド推定部２２０、モニタ画像生成部２３０、画像処理部２４０、モニタ表示部２５０、位相差検出部２７０、完備４バンド位相差画像生成部２８０、測距演算部２９０の構成・動作については、図１１の撮像装置で説明した同名の構成要素と同様である。

以上の実施形態によれば、図３等で説明したように、第１、第２バンドＢＤ１、ＢＤ２は、第１透過率特性Ｆ_Ｂの帯域に対応し、第２、第３バンドＢＤ２、ＢＤ３は、第２透過率特性Ｆ_Ｇの帯域に対応し、第３、第４バンドＢＤ３、ＢＤ４は、第３透過率特性Ｆ_Ｒの帯域に対応する。そして、図２等で説明したように、第１瞳（フィルタＦＬ１）は、第２、第３バンドＢＤ２、ＢＤ３（透過率特性ｂ^Ｒ、ｒ^Ｒ）を透過し、第２瞳（フィルタＦＬ２）は、第１、第４バンドＢＤ１、ＢＤ４（透過率特性ｂ^Ｌ、ｒ^Ｌ）を透過する。

このようにすれば、第１〜第４バンドＢＤ１〜ＢＤ４が第１瞳と第２瞳に割り当てられるので、推定した成分値｛ｂ^Ｌ _Ｂ，ｂ^Ｒ _Ｂ，ｒ^Ｒ _Ｒ，ｒ^Ｌ _Ｒ｝から、第１瞳、第２瞳を通過した画像Ｉ^Ｒ、Ｉ^Ｌを構成できる（上式（１）〜（３））。これにより、両瞳の画像Ｉ^Ｒ、Ｉ^Ｌから位相差δを求め、その位相差δに基づいて測距や３次元計測、位相差ＡＦ等が可能となる。また、４バンドのうち中央の２バンドを第１瞳に割り当てることで、図６等で説明したように｛Ｂ，Ｇ，Ｒ｝のパターンと｛ｂ^Ｌ _Ｂ，ｂ^Ｒ _Ｂ，ｒ^Ｒ _Ｒ，ｒ^Ｌ _Ｒ｝のパターンを相似形にできる。これにより、４バンド成分値の推定精度を向上できる。

また本実施形態では、図３等で説明したように、第２バンドＢＤ２は、第１透過率特性Ｆ_Ｂと第２透過率特性Ｆ_Ｇとの重なり部分に対応し、第３バンドＢＤ３は、第２透過率特性Ｆ_Ｇと第３透過率特性Ｆ_Ｒとの重なり部分に対応する。

このようにすれば、上式（４）、（５）に示すように、画素値｛Ｂ，Ｇ｝が第２バンドＢＤ２の成分値ｂ^Ｒ _Ｂ（ｂ^Ｒ _Ｇ）を共有し、画素値｛Ｇ，Ｒ｝が第３バンドＢＤ３の成分値ｒ^Ｒ _Ｒ（ｒ^Ｒ _Ｇ）を共有する。これにより、上式（９）に示すように、４バンドの成分値｛ｂ^Ｌ _Ｂ，ｂ^Ｒ _Ｂ，ｒ^Ｒ _Ｒ，ｒ^Ｌ _Ｒ｝を、未知数ｒ^Ｌ _Ｒと画素値｛Ｂ，Ｇ，Ｒ｝の関係式で表すことが可能となり、未知数ｒ^Ｌ _Ｒを推定することによって４バンドの成分値｛ｂ^Ｌ _Ｂ，ｂ^Ｒ _Ｂ，ｒ^Ｒ _Ｒ，ｒ^Ｌ _Ｒ｝を決定できる。

具体的には、マルチバンド推定部３０（２２０）は、第１、第２バンドＢＤ１、ＢＤ２の成分値｛ｂ^Ｌ _Ｂ，ｂ^Ｒ _Ｂ｝を加算した値である第１色の画素値Ｂと、第２、第３バンドＢＤ２、ＢＤ３の成分値｛ｂ^Ｒ _Ｂ，ｒ^Ｒ _Ｒ｝を加算した値である第２色の画素値Ｇと、第３、第４バンドＢＤ３、ＢＤ４の成分値｛ｒ^Ｒ _Ｒ，ｒ^Ｌ _Ｒ｝を加算した値である第３色の画素値Ｒと、に基づいて、第１〜第４バンドＢＤ１〜ＢＤ４の成分値の間の関係式（上式（９））を求め、その関係式に基づいて、第１〜第４バンドの成分値を推定する。

このようにすれば、第１〜第４バンドＢＤ１〜ＢＤ４と第１色〜第３色の対応によって、各色の画素値は、その色に対応するバンドの成分値の加算値で表すことができる（上式（６））。各色の画素値は共有の成分値を持っているため、その共有の成分値を減算等により消去することで（上式（５）〜（９））、１つの未知数ｒ^Ｌ _Ｒで４バンドの成分値｛ｂ^Ｌ _Ｂ，ｂ^Ｒ _Ｂ，ｒ^Ｒ _Ｒ，ｒ^Ｌ _Ｒ｝を表すことができる。

そして、マルチバンド推定部３０（２２０）は、第１〜第４バンドＢＤ１〜ＢＤ４の成分値のいずれかを未知数（ｒ^Ｌ _Ｒ）として関係式を求め、その関係式で表した第１〜第４バンドＢＤ１〜ＢＤ４の成分値｛ｂ^Ｌ _Ｂ，ｂ^Ｒ _Ｂ，ｒ^Ｒ _Ｒ，ｒ^Ｌ _Ｒ｝と第１〜第３色の画素値｛Ｂ，Ｇ，Ｒ｝との間の誤差を表す誤差評価値Ｅ（ｒ^Ｌ _Ｒ）を求める（上式（１０）〜（１５））。そして、誤差評価値Ｅ（ｒ^Ｌ _Ｒ）を最小にする未知数ｒ^Ｌ _Ｒを決定し、その決定した未知数ｒ^Ｌ _Ｒ及び関係式（上式（９））に基づいて、第１〜第４バンドＢＤ１〜ＢＤ４の成分値｛ｂ^Ｌ _Ｂ，ｂ^Ｒ _Ｂ，ｒ^Ｒ _Ｒ，ｒ^Ｌ _Ｒ｝を決定する。

このようにすれば、誤差評価値Ｅ（ｒ^Ｌ _Ｒ）により成分値｛ｂ^Ｌ _Ｂ，ｂ^Ｒ _Ｂ，ｒ^Ｒ _Ｒ，ｒ^Ｌ _Ｒ｝と画素値｛Ｂ，Ｇ，Ｒ｝の類似度を評価することができ、その類似度が最も高い場合の未知数ｒ^Ｌ _Ｒを決定できる。

また本実施形態では、マルチバンド推定部３０（２２０）は、第１瞳及び第２瞳の透過率特性｛ｂ^Ｒ，ｒ^Ｒ，ｂ^Ｌ，ｒ^Ｌ｝と、第１〜第３透過率特性｛Ｆ_Ｂ，Ｆ_Ｇ，Ｆ_Ｒ｝とにより設定されるパラメータ（上式（５）の係数α、β）を取得し、そのパラメータに基づいて第１〜第４バンドＢＤ１〜ＢＤ４の成分値｛ｂ^Ｌ _Ｂ，ｂ^Ｒ _Ｂ，ｒ^Ｒ _Ｒ，ｒ^Ｌ _Ｒ｝を推定する。

具体的には、パラメータは、第２バンドＢＤ２における第１、第２透過率特性｛Ｆ_Ｂ，Ｆ_Ｇ｝のゲイン比（係数β）、及び第３バンドＢＤ３における第２、第３透過率特性｛Ｆ_Ｇ，Ｆ_Ｒ｝のゲイン比（係数α）である。

このようにすれば、分光特性（透過率特性）に基づくパラメータ（係数α、β）を用いることで、画素値｛Ｂ，Ｇ｝共有する成分値ｂ^Ｒ _Ｂ（ｂ^Ｒ _Ｇ）及び画素値｛Ｇ，Ｒ｝が共有する成分値ｒ^Ｒ _Ｒ（ｒ^Ｒ _Ｇ）のゲイン比を調整できる。これにより、共有する成分値を減算により高精度に消去でき、４バンド成分値の推定精度を向上できる。

なお、本実施形態では、マルチバンド推定部３０（２２０）は、第１〜第３色の画素値｛Ｂ，Ｇ，Ｒ｝と第１〜第４バンドＢＤ１〜ＢＤ４の成分値｛ｂ^Ｌ _Ｂ，ｂ^Ｒ _Ｂ，ｒ^Ｒ _Ｒ，ｒ^Ｌ _Ｒ｝とを予め統計的に対応付けた既知情報（例えば、ルックアップテーブル）を取得してもよい。そして、マルチバンド推定部３０（２２０）は、撮像素子２０によって撮像された画像を構成する第１色〜第３色の画素値｛Ｂ，Ｇ，Ｒ｝に対応する第１〜第４バンドＢＤ１〜ＢＤ４の成分値｛ｂ^Ｌ _Ｂ，ｂ^Ｒ _Ｂ，ｒ^Ｒ _Ｒ，ｒ^Ｌ _Ｒ｝を、既知情報から求めてもよい。

このようにすれば、既知の画像から統計的に作成した既知情報に基づいて、４バンド成分値を推定することができる。例えば、顕微鏡等のように用途（撮像対象）が決まっている場合、その撮像対象に限れば、ＲＧＢ画素値に対する４バンド成分値の発生頻度に偏りがあると考えられる。このような場合には、統計的に発生頻度の高い４バンド成分値を各ＲＧＢ画素値について求めておくことで、精度の高いマルチバンド推定が可能となる。

１２．モニタ画像の生成処理
次に、モニタ画像生成部１１０、２３０が行う処理の詳細について説明する。

図１３に示すように、モニタ用のリアルタイム画像を、同一位相をなす右瞳通過光による画像のみ、又は左瞳通過光による画像のみを用いて生成する。即ち、下式（１６）に示すように、Ｇ画像を構成する成分値｛ｒ^Ｒ _Ｒ，ｂ^Ｒ _Ｂ｝のみを用いて、モニタ表示用のＲＧＢ画像｛Ｒ’Ｇ’Ｂ’｝を生成する。或は、下式（１７）に示すように、成分値｛ｒ^Ｌ _Ｒ，ｂ^Ｌ _Ｂ｝のみを用いて、モニタ表示用のＲＧＢ画像｛Ｒ’Ｇ’Ｂ’｝を生成する。なお、図１３は下式（１８）に対応する。
Ｒ’＝ｒ^Ｒ _Ｒ， Ｇ’＝ｒ^Ｒ _Ｇ＋ｂ^Ｒ _Ｇ， Ｂ’＝ｂ^Ｒ _Ｂ （１６）
Ｒ’＝ｒ^Ｌ _Ｒ， Ｇ’＝ｒ^Ｌ _Ｒ＋ｂ^Ｌ _Ｂ， Ｂ’＝ｂ^Ｌ _Ｂ （１７）

図１３は、撮像センサによりエッジ画像が取得される場合におけるモニタ用画像の原色プロファイルを示したものである。例えば、右瞳通過光による画像の場合では、Ｒ’Ｇ’Ｂ’は、右瞳画像のみで生成されるので、原色同士の色ずれ（位相ずれ）は発生しにくい。また、表現できる色の波長域が限定されるので表現色域が狭まるが、いずれも高品質画像が要求されないモニタ用としては用いることができる。

上式（１６）によるモニタ画像を表示するか、上式（１７）によるモニタ画像を表示するかの選択は、例えば次のように行ってもよい。即ち、取得する画像フレーム１枚毎に成分値｛ｒ^Ｒ _Ｒ，ｂ^Ｒ _Ｂ｝が平均的に大きい場合は上式（１６）を選択し、成分値｛ｒ^Ｌ _Ｒ，ｂ^Ｌ _Ｂ｝が平均的に大きい場合は上式（１７）を用いてもよい。

以上の実施形態によれば、表示画像生成部（モニタ画像生成部１１０）は、第１〜第４バンドＢＤ１〜ＢＤ４のうち第１瞳（フィルタＦＬ１）又は第２瞳（フィルタＦＬ２）を透過したバンドの成分値に基づいて表示画像を生成する（上式（１６）又は（１７））。

このようにすれば、第１瞳及び第２瞳のうち一方の瞳のみを通過したバンドの成分値で表示画像を生成できる。即ち、ＲＧＢの色間で位相差を持たない表示画像となるので、色ずれのない表示画像を表示できる。また、一方の瞳画像を取り出すだけなので、簡素な処理で実現でき、比較的処理能力が低い撮像装置であっても軽負荷でモニタ画像を生成できる。

１３．完備４バンド位相差画像の生成処理
次に、完備４バンド位相差画像生成部１７０、２８０が行う処理の詳細について説明する。

撮像センサにより取得された分光瞳分割の画像は、分割された分光において左瞳画像か右瞳画像かの一方の画像しか取得できていない。即ち、４つの分光において全ての左右瞳合成画像を得て完備なカラー画像を生成するには、欠如している対の瞳画像を復元する必要がある。

図１４に示すように、Ｒ画像を構成する右瞳の成分値ｒ^Ｒ _Ｒの対になる左瞳の成分値をｒ^Ｌ _Ｒ’とし、Ｒ画像を構成する左瞳の成分値ｒ^Ｌ _Ｒの対になる右瞳の成分値をｒ^Ｒ _Ｒ’とする。Ｇ画像を構成する右瞳の成分値ｒ^Ｒ _Ｇ＋ｂ^Ｒ _Ｇの対になる左瞳の成分値をｒ^Ｒ _Ｇ’＋ｂ^Ｒ _Ｇ’とする。Ｂ画像を構成する右瞳の成分値ｂ^Ｒ _Ｂの対になる左瞳の成分値をｂ^Ｌ _Ｂ’とし、Ｂ画像を構成する左瞳の成分値ｂ^Ｌ _Ｂの対になる右瞳の成分値をｂ^Ｌ _Ｂ’とする。

着目画素ｐ（ｘ，ｙ）において、ｒ^Ｒ _Ｒとｒ^Ｌ _Ｒの画像の相関演算により位相差（ずれ量）δ_Ｒが得られ、ｂ^Ｒ _Ｂとｂ^Ｌ _Ｂの画像の相関演算により位相差δ_Ｂが得られたとする。位相差δ_Ｒとδ_Ｂは左右それぞれ同一の瞳を通過した結果であるので、ほぼ同一の位相差のはずである。そこでＲＧＢ共通の位相差δを、下式（１８）に示すようにδ_Ｒとδ_Ｂとの平均値として求める。
δ＝（δ_Ｒ＋δ_Ｂ）／２ （１８）

位相差δを用いると、下式（１９）の関係が成り立つ。下式（１９）により、４バンドの全てについて左右瞳の完備な画像が得られる。
ｒ^Ｌ _Ｒ’（ｘ）＝ｒ^Ｒ _Ｒ（ｘ−δ），
ｒ^Ｒ _Ｒ’（ｘ）＝ｒ^Ｌ _Ｒ（ｘ＋δ），
ｒ^Ｌ _Ｇ’（ｘ）＋ｂ^Ｌ _Ｇ’（ｘ）＝ｒ^Ｒ _Ｇ（ｘ−δ）＋ｂ^Ｒ _Ｇ（ｘ−δ），
ｂ^Ｌ _Ｂ’（ｘ）＝ｂ^Ｒ _Ｂ（ｘ−δ），
ｂ^Ｒ _Ｂ’（ｘ）＝ｂ^Ｌ _Ｂ（ｘ＋δ） （１９）

上式（１９）の成分値を用いて、下式（２０）に示すように、完備に復元された画像の画素値｛Ｒ_ｈ，Ｇ_ｈ，Ｂ_ｈ｝を生成する。この完備に復元された画像は、図１５に示すように色間の位相差（色ずれ）がなく、エッジに対しての位相差もない。
Ｒ_ｈ＝（ｒ^Ｒ _Ｒ＋ｒ^Ｌ _Ｒ’）＋（ｒ^Ｒ _Ｒ’＋ｒ^Ｌ _Ｒ），
Ｇ_ｈ＝（ｒ^Ｒ _Ｇ＋ｂ^Ｒ _Ｇ）＋（ｒ^Ｒ _Ｇ’＋ｂ^Ｒ _Ｇ’），
Ｂ_ｈ＝（ｂ^Ｒ _Ｂ＋ｂ^Ｌ _Ｂ’）＋（ｂ^Ｒ _Ｂ’＋ｂ^Ｌ _Ｂ） （２０）

なお、上記位相差δ_Ｒ，δ_Ｂ，δは、いずれも撮像センサ上の任意の位置（ｘ，ｙ）ごとに求められる値であるが、ここではｘおよびｙの座標の表記を省略している。

以上の実施形態によれば、位相差検出部１６０（２７０）は、第１〜第４バンドＢＤ１〜ＢＤ４のうち第１瞳（右瞳）を透過したバンドの成分値｛ｒ^Ｒ _Ｒ，ｂ^Ｒ _Ｂ｝で構成される第１画像と、第１〜第４バンドＢＤ１〜ＢＤ４のうち第２瞳（左瞳）を透過したバンドの成分値｛ｒ^Ｌ _Ｒ，ｂ^Ｌ _Ｂ｝で構成される第２画像と、に基づいて第１画像と第２画像の位相差δを検出する。

このようにすれば、光学フィルタ１２による瞳分割を利用して位相差δを検出することが可能となり、その位相差δを例えば位相差ＡＦや３次元計測等の種々のアプリケーションに用いることが可能となる。

また本実施形態では、位相差δに基づいて第１画像（成分値｛ｒ^Ｒ _Ｒ，ｂ^Ｒ _Ｂ｝）をシフトした第３画像（成分値｛ｒ^Ｌ _Ｒ’，ｂ^Ｌ _Ｂ’｝）と、位相差δに基づいて第２画像（成分値｛ｒ^Ｌ _Ｒ，ｂ^Ｌ _Ｂ｝）をシフトした第４画像（成分値｛ｒ^Ｒ _Ｒ’，ｂ^Ｒ _Ｂ’｝）と、を生成する。これにより、第１〜第４バンドＢＤ１〜ＢＤ４の各バンドについて第１瞳を透過した場合に相当する画像及び第２瞳を透過した場合に相当する画像を生成する。

このようにすれば、それぞれ一方の瞳を通過した４バンドの画像から、４バンド全てについて両瞳の画像を生成することが可能となる。これにより、上式（２０）のような色ずれのない復元画像を生成することができる。また、これに限らず、例えば３Ｄ表示やマルチバンド画像表示、立体形状解析等、種々のアプリケーションに適用できる。

１４．位相差から距離を求める手法
次に、位相差から被写体までの距離を求める手法について説明する。この測距手法は、例えば測距演算部１８０、２９０の処理に用いる。或は、求めたデフォーカス量を用いて位相差ＡＦ制御を行ってもよい。

図１６に示すように、絞りを開放した時の開口径をＡとし、開口径Ａに対する左右の瞳の重心間の距離をｑ×Ａとし、光軸上における結像レンズ１４の中心から撮像素子のセンサ面ＰＳまでの距離をｓとし、センサ面ＰＳにおける右瞳画像Ｉ^Ｒ（ｘ）と左瞳画像Ｉ^Ｌ（ｘ）の位相差をδとすると、三角測量法により下式（２１）が成り立つ。
ｑ×Ａ：δ＝ｂ：ｄ，
ｂ＝ｓ＋ｄ （２１）

ここで、ｑは、０＜ｑ≦１を満たす係数であり、ｑ×Ａは、絞り量によっても変化する値である。ｓは、レンズ位置検出センサにより検出される値である。ｂは、光軸上における結像レンズ１４の中心からフォーカス位置ＰＦまでの距離を表す。δは、相関演算により求められる。上式（２１）よりデフォーカス量ｄは下式（２２）で与えられる。
ｄ＝（δ×ｓ）／｛（ｑ×Ａ）−δ｝ （２２）

距離ａは、フォーカス位置ＰＦに対応する距離であり、光軸上における結像レンズ１４から被写体までの距離である。一般的に結像光学系では、複数のレンズで構成される結像光学系の合成焦点距離をｆとすると、下式（２３）が成り立つ。
（１／ａ）＋（１／ｂ）＝１／ｆ （２３）

上式（２２）で求めたデフォーカス量ｄ及び検出可能な値ｓから、上式（２１）によりｂを求め、そのｂと、結像光学構成により決まる合成焦点距離ｆとを上式（２３）に代入し、距離ａを算出する。任意の画素位置に対応する距離ａを算出できるので、被写体までの距離計測や、被写体の３次元形状計測を行うことが可能である。

ＡＦ制御を行う場合には、次のようにする。図１６が、例えば撮像装置の上部（瞳分割方向に垂直な方向）から見た図である場合、ｘは水平方向（瞳分割方向）の座標軸である。座標軸ｘでの位相差δを、右瞳画像Ｉ^Ｒ（ｘ）及び左瞳画像Ｉ^Ｌ（ｘ）のいずれかを基準として正負の符号で表すように定義し、その位相差δの正負により、センサ面ＰＳがフォーカス位置ＰＦの前方にあるのか後方にあるのかを識別する。センサ面ＰＳとフォーカス位置ＰＦの前後関係が分かれば、フォーカス位置ＰＦにセンサ面ＰＳを一致させる際に、どちらの方向にフォーカスレンズを移動させれば良いのかが簡単に分る。

デフォーカス量ｄ及び位相差δの符号を求めた後、それらに基づいて、デフォーカス量ｄをゼロにするようにフォーカスレンズを駆動させ、フォーカシングを行う。本実施形態では、左右瞳により水平方向に色分割しているので、撮像画像の中のフォーカシングさせたい水平方向の領域を選択して相関演算を行えばよい。なお、瞳色分割の方向は水平方向とは限らないので、左右帯域分離光学フィルタの設定条件（分割方向）に合わせて適宜、相関演算を行う方向を設定すればよい。また、デフォーカス量ｄを求める対象領域は、撮像画像の一部領域に限らず、撮像画像の全領域を対象としてもよい。その場合は、複数のデフォーカス量ｄが求められるので、それらを所定の評価関数により最終的なデフォーカス量を決定するプロセスが必要である。

以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。また、撮像装置、画像処理装置の構成・動作や、それらの作動方法（撮像方法、画像処理方法）も、本実施形態で説明したものに限定されず、種々の変形実施が可能である。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。

１０ 撮像光学系、１２ 光学フィルタ、１４ 結像レンズ、
２０ 撮像素子、３０ マルチバンド推定部、４０ 撮像部、
５０ 画像処理部、５０ モニタ表示部、１００ 画像処理装置、
１１０ モニタ画像生成部、１２０ 画像処理部、１３０ 分光特性記憶部、
１４０ データ圧縮部、１５０ データ記録部、１６０ 位相差検出部、
１７０ 完備４バンド位相差画像生成部、１８０ 測距演算部、
２００ データ記録部、２１０ データ伸張部、２２０ マルチバンド推定部、
２３０ モニタ画像生成部、２４０ 画像処理部、２５０ モニタ表示部、
２６０ 分光特性記憶部、２７０ 位相差検出部、
２８０ 完備４バンド位相差画像生成部、２９０ 測距演算部、
Ｂ，Ｇ，Ｒ 第１色〜第３色の画素値、ＢＤ１〜ＢＤ４ 第１〜第４バンド、
Ｆ_Ｂ，Ｆ_Ｇ，Ｆ_Ｒ 第１〜第３透過率特性、
ＦＬ１ 右瞳フィルタ、ＦＬ２ 左瞳フィルタ、
Ｉ^Ｌ 左瞳画像、Ｉ^Ｒ 右瞳画像、
ＰＳＦ^Ｌ 左瞳のポイントスプレッドファンクション、
ＰＳＦ^Ｒ ：右瞳のポイントスプレッドファンクション、
ｂ^Ｌ，ｒ^Ｌ 左瞳の透過率特性、ｂ^Ｒ，ｒ^Ｒ 右瞳の透過率特性、
ｂ^Ｌ _Ｂ，ｂ^Ｒ _Ｂ，ｒ^Ｒ _Ｒ，ｒ^Ｌ _Ｒ 第１〜第４バンドの成分値、δ 位相差

Claims (16)

1. 撮像光学系の瞳を、第１瞳と、前記第１瞳とは透過波長帯域が異なる第２瞳と、に分割する光学フィルタと、
   第１透過率特性を有する第１色フィルタと、第２透過率特性を有する第２色フィルタと、第３透過率特性を有する第３色フィルタとを含む撮像素子と、
   前記第１瞳及び前記第２瞳の前記透過波長帯域と、前記第１〜第３透過率特性とにより設定される第１〜第４バンドの成分値を、前記撮像素子によって撮像された画像を構成する第１色〜第３色の画素値に基づいて推定するマルチバンド推定部と、
   を含むことを特徴とする撮像装置。
2. 請求項１において、
   前記第１、第２バンドは、前記第１透過率特性の帯域に対応し、前記第２、第３バンドは、前記第２透過率特性の帯域に対応し、前記第３、第４バンドは、前記第３透過率特性の帯域に対応し、
   前記第１瞳は、前記第２、第３バンドを透過し、前記第２瞳は、前記第１、第４バンドを透過することを特徴とする撮像装置。
3. 請求項２において、
   前記第２バンドは、前記第１透過率特性と前記第２透過率特性との重なり部分に対応し、前記第３バンドは、前記第２透過率特性と前記第３透過率特性との重なり部分に対応することを特徴とする撮像装置。
4. 請求項２又は３において、
   前記マルチバンド推定部は、
   前記第１、第２バンドの成分値を加算した値である前記第１色の画素値と、前記第２、第３バンドの成分値を加算した値である前記第２色の画素値と、前記第３、第４バンドの成分値を加算した値である前記第３色の画素値と、に基づいて、前記第１〜第４バンドの成分値の間の関係式を求め、
   前記関係式に基づいて、前記第１〜第４バンドの成分値を推定することを特徴とする撮像装置。
5. 請求項４において、
   前記マルチバンド推定部は、
   前記第１〜第４バンドの成分値のいずれかを未知数として前記関係式を求め、
   前記関係式で表した前記第１〜第４バンドの成分値と前記第１〜第３色の画素値との間の誤差を表す誤差評価値を求め、
   前記誤差評価値を最小にする前記未知数を決定し、
   決定した前記未知数及び前記関係式に基づいて、前記第１〜第４バンドの成分値を決定することを特徴とする撮像装置。
6. 請求項２乃至５のいずれかにおいて、
   前記マルチバンド推定部は、
   前記第１瞳及び前記第２瞳の透過率特性と、前記第１〜第３透過率特性とにより設定されるパラメータを取得し、
   前記パラメータに基づいて前記第１〜第４バンドの成分値を推定することを特徴とする撮像装置。
7. 請求項６において、
   前記パラメータは、前記第２バンドにおける前記第１、第２透過率特性のゲイン比、及び前記第３バンドにおける前記第２、第３透過率特性のゲイン比であることを特徴とする撮像装置。
8. 請求項１乃至３のいずれかにおいて、
   前記マルチバンド推定部は、
   前記第１〜第３色の画素値と前記第１〜第４バンドの成分値とを予め統計的に対応付けた既知情報を取得し、
   前記撮像素子によって撮像された前記画像を構成する前記第１色〜第３色の画素値に対応する前記第１〜第４バンドの成分値を、前記既知情報から求めることを特徴とする撮像装置。
9. 請求項１乃至８のいずれかにおいて、
   前記第１〜第４バンドのうち前記第１瞳を透過したバンドの成分値で構成される第１画像と、前記第１〜第４バンドのうち前記第２瞳を透過したバンドの成分値で構成される第２画像と、に基づいて前記第１画像と前記第２画像の位相差を検出する位相差検出部を含むことを特徴とする撮像装置。
10. 請求項９において、
    前記位相差に基づいて前記第１画像をシフトした第３画像と、前記位相差に基づいて前記第２画像をシフトした第４画像と、を生成することにより、前記第１〜第４バンドの各バンドについて前記第１瞳を透過した場合に相当する画像及び前記第２瞳を透過した場合に相当する画像を生成する位相差画像生成部を含むことを特徴とする撮像装置。
11. 請求項１乃至８のいずれかにおいて、
    前記第１〜第４バンドのうち前記第１瞳又は前記第２瞳を透過したバンドの成分値に基づいて表示画像を生成する表示画像生成部を含むことを特徴とする撮像装置。
12. 撮像光学系の瞳を、第１瞳と、前記第１瞳とは透過波長帯域が異なる第２瞳と、に分割する光学フィルタと、
    第１透過率特性を有する第１色フィルタと、第２透過率特性を有する第２色フィルタと、第３透過率特性を有する第３色フィルタとを含む撮像素子と、
    を含み、
    前記第１、第２バンドは、前記第１透過率特性の帯域に対応し、前記第２、第３バンドは、前記第２透過率特性の帯域に対応し、前記第３、第４バンドは、前記第３透過率特性の帯域に対応し、
    前記第１瞳は、前記第１、第４バンドを透過し、前記第２瞳は、前記第２、第３バンドを透過することを特徴とする撮像装置。
13. 第１透過率特性を有する第１色フィルタと、第２透過率特性を有する第２色フィルタと、第３透過率特性を有する第３色フィルタとを含む撮像素子により撮像した画像を取得する画像取得部と、
    前記画像を構成する第１色〜第３色の画素値に基づいて第１〜第４バンドの成分値を推定するマルチバンド推定部と、
    を含み、
    前記第１、第２バンドは、前記第１透過率特性の帯域に対応し、前記第２、第３バンドは、前記第２透過率特性の帯域に対応し、前記第３、第４バンドは、前記第３透過率特性の帯域に対応することを特徴とする画像処理装置。
14. 請求項１３において、
    前記画像取得部は、
    撮像光学系の瞳を、第１瞳と、前記第１瞳とは透過波長帯域が異なる第２瞳と、に分割する光学フィルタの透過光を前記撮像素子により撮像した前記画像を取得し、
    前記第１瞳は、前記第１、第４バンドを透過し、前記第２瞳は、前記第２、第３バンドを透過することを特徴とする画像処理装置。
15. 撮像光学系の瞳を、第１瞳と、前記第１瞳とは透過波長帯域が異なる第２瞳と、に分割する光学フィルタの透過光を、第１透過率特性を有する第１色フィルタと、第２透過率特性を有する第２色フィルタと、第３透過率特性を有する第３色フィルタとを含む撮像素子により撮像する処理を行い、
    前記第１瞳及び前記第２瞳の前記透過波長帯域と、前記第１〜第３透過率特性とにより設定される第１〜第４バンドの成分値を、前記撮像素子によって撮像された画像を構成する第１色〜第３色の画素値に基づいて推定する処理を行う、
    ことを特徴とする撮像方法。
16. 第１バンドと第２バンドは、第１透過率特性の帯域に対応し、前記第２バンドと第３バンドは、第２透過率特性の帯域に対応し、前記第３バンドと第４バンドは、第３透過率特性の帯域に対応する場合に、
    前記第１透過率特性を有する第１色フィルタと、前記第２透過率特性を有する第２色フィルタと、前記第３透過率特性を有する第３色フィルタとを含む撮像素子により撮像した画像を取得する処理を行い、
    前記画像を構成する第１色〜第３色の画素値に基づいて第１〜第４バンドの成分値を推定する処理を行う、
    ことを特徴とする画像処理方法。

Images