WO2019167571A1 - 画像処理装置及び画像処理方法 - Google Patents

Abstract

２つの撮像部により取得される２つの画像の間の視差に起因する問題が解消された高画質な画像を取得すること。　受光面を覆うカラーフィルタが、ホワイト領域及びフィルタ無し領域のいずれも含まない、第一のカラー画像撮像素子と、受光面を覆うカラーフィルタが、ホワイト領域又はフィルタ無し領域を含む、第二のカラー画像撮像素子と、前記第一のカラー画像撮像素子により撮像された第一のカラー画像と前記第二のカラー画像撮像素子により撮像された第二のカラー画像との間の視差に関する情報を取得する視差情報取得部と、前記視差情報取得部により取得された視差に関する情報に基づき、両画像の合成の仕方に関する情報を生成する合成情報生成部と、前記合成情報生成部により生成された合成情報に基づき、前記第二のカラー画像に、前記第一のカラー画像を合成する画像合成部と、を備えている画像処理装置が提供される。

Description

画像処理装置及び画像処理方法

　本技術は、画像処理装置及び画像処理方法に関する。より詳細には、本技術は、２つの画像を合成して１つの画像を取得するための画像処理装置及び画像処理方法に関する。

　近年、デュアルカメラを搭載したスマートフォンに注目が集まっている。当該スマートフォンには、例えばその背面に２つのカメラが設けられている。当該２つのカメラのそれぞれによって撮像された２つの画像データを用いて、１つの画像が取得されうる。

　例えば下記特許文献１に記載には、第１の画像を撮像する第１の撮像部と、第２の画像を撮像する第２の撮像部と、前記第１の画像および前記第２の画像の視差の有無を判定する視差判定部と、前記視差判定部の判定結果に応じて、前記第１の画像および前記第２の画像のそれぞれの画素を合成する合成部とを含む画像処理装置が記載されている。当該画像処理装置は、２枚の画像を視差に応じて適切に合成することができるので、複数の撮像部により同一の範囲を撮像して重ね合わせるといった合成により、適切な高画質化を実現できる。

特開２０１７－６９９２６号公報

　デュアルカメラは、例えばスマートフォンの背面などの１つの面に２つの撮像部が並んで配置されているという構成を有する。当該２つの撮像部の視点は異なるために、当該２つの撮像部により撮像された２つの画像の間には視差がある。そのため、当該２つの画像を合成する場合には、当該視差に起因する画質劣化が生じうる。そこで、当該２つの画像をより適切に合成してより高画質な画像を取得することが求められている。

　本技術は、新たな画像処理技術を提供することを目的とする。

　本発明者らは、特定の構成を有する画像処理装置によって、前記視差に起因する問題を解消し且つ高画質な画像を取得することができることを見出した。

　すなわち、本技術は、受光面を覆うカラーフィルタが、ホワイト領域及びフィルタ無し領域のいずれも含まない、第一のカラー画像撮像素子と、受光面を覆うカラーフィルタが、ホワイト領域又はフィルタ無し領域を含む、第二のカラー画像撮像素子と、前記第一のカラー画像撮像素子により撮像された第一のカラー画像と前記第二のカラー画像撮像素子により撮像された第二のカラー画像との間の視差に関する情報を取得する視差情報取得部と、前記視差情報取得部により取得された視差に関する情報に基づき、両画像の合成の仕方に関する情報を生成する合成情報生成部と、前記合成情報生成部により生成された合成情報に基づき、前記第二のカラー画像に、前記第一のカラー画像を合成する画像合成部と、を備えている画像処理装置を提供する。
　本技術の一つの実施態様に従い、前記第一のカラー画像撮像素子に含まれるカラーフィルタが、ベイヤ配列のカラーフィルタでありうる。
　本技術の一つの実施態様に従い、前記第二のカラー画像撮像素子に含まれるカラーフィルタが、ホワイト領域を含みうる。
　本技術の一つの実施態様に従い、前記第二のカラー画像撮像素子に含まれるカラーフィルタが、ＷＲＧＢ配列又はＷＲＧ配列の領域を含みうる。
　本技術の一つの実施態様に従い、前記視差情報取得部が、前記第一のカラー画像と前記第二のカラー画像との間で、画素毎又は画素ブロック毎の視差を取得しうる。
　本技術の一つの実施態様に従い、前記画像処理装置は、前記視差に関する情報に基づき、前記第一のカラー画像に対して視差補償を行う視差補償部をさらに備えていてよい。
　本技術の一つの実施態様に従い、前記合成情報生成部が、視差に関する情報に基づき作成された視差マップ内で所定の探索範囲より大きな視差値を有する領域を検出する探索範囲外領域検出部を含みうる。
　本技術の一つの実施態様に従い、前記合成情報生成部が、前記第一のカラー画像と前記第二のカラー画像とを対比してオクルージョン領域を検出するオクルージョン領域検出部を含みうる。
　本技術の一つの実施態様に従い、前記合成情報生成部が、前記第一のカラー画像又は前記第二のカラー画像内の所定の領域毎に色差分散値を輝度分散値で除した値を算出し、当該除した値が所定の値以上である領域を検出する色差／輝度判定部を含みうる。
　本技術の一つの実施態様に従い、前記合成情報生成部が、視差に関する情報に基づき作成された視差マップ内で所定の探索範囲より大きな視差値を有する画素又は画素ブロックを検出する探索範囲外領域検出部、前記第一のカラー画像と前記第二のカラー画像とを対比してオクルージョン領域を検出するオクルージョン領域検出部、及び前記第一のカラー画像又は前記第二のカラー画像内の所定の領域毎に色差分散値を輝度分散値で除した値を算出し、当該除した値が所定の値以上である領域を検出する色差／輝度判定部、から選ばれる少なくとも１つの構成要素を含み、いずれかの構成要素において検出された領域について、前記第二のカラー画像に前記第一のカラー画像を合成すべきでないとする合成情報を生成しうる。
　本技術の一つの実施態様に従い、前記合成情報生成部が、前記第二のカラー画像を構成する領域毎に、前記第一のカラー画像を合成すべきとする又は合成すべきでないとする合成情報を生成しうる。
　本技術の一つの実施態様に従い、前記合成情報生成部が、前記第二のカラー画像のうちの、前記第一のカラー画像を合成すべきでないとする領域の割合が所定の値を超えた場合に、前記第二のカラー画像の全ての領域について前記第一のカラー画像を合成すべきでないとする合成情報を生成しうる。
　本技術の一つの実施態様に従い、前記合成情報生成部が、前記第二のカラー画像を構成する領域毎に、前記第一のカラー画像を合成する合成率を付与しうる。

　また、本技術は、第一のカラー画像撮像素子と、前記第一のカラー画像撮像素子よりも感度が高い、第二のカラー画像撮像素子と、前記第一のカラー画像撮像素子により撮像された第一のカラー画像と前記第二のカラー画像撮像素子により撮像された第二のカラー画像との間の視差に関する情報を取得する視差情報取得部と、前記視差情報取得部により取得された視差に関する情報に基づき、両画像の合成の仕方に関する情報を生成する合成情報生成部と、前記合成情報生成部により生成された合成情報に基づき、前記第二のカラー画像に、前記第一のカラー画像を合成する画像合成部と、を備えている画像処理装置も提供する。

　また、本技術は、受光面を覆うカラーフィルタが、ホワイト領域及びフィルタ無し領域のいずれも含まない、第一のカラー画像撮像素子により第一のカラー画像を取得する第一画像取得工程と、受光面を覆うカラーフィルタが、ホワイト領域又はフィルタ無し領域を含む、第二のカラー画像撮像素子により第二のカラー画像を取得する第二画像取得工程と、前記第一のカラー画像と前記第二のカラー画像との間の視差に関する情報を取得する視差情報取得工程と、前記視差情報取得工程において取得された視差に関する情報に基づき、両画像の合成の仕方に関する情報を生成する合成情報生成工程と、前記合成情報生成工程において生成された合成情報に基づき、前記第二のカラー画像に、前記第一のカラー画像を合成する画像合成工程と、を含む画像処理方法を提供する。

　また、本技術は、第一のカラー画像撮像素子により第一のカラー画像を取得する第一画像取得工程と、前記第一のカラー画像撮像素子よりも感度が高い、第二のカラー画像撮像素子により第二のカラー画像を取得する第二画像取得工程と、前記第一のカラー画像と前記第二のカラー画像との間の視差に関する情報を取得する視差情報取得工程と、前記視差情報取得工程において取得された視差に関する情報に基づき、両画像の合成の仕方に関する情報を生成する合成情報生成工程と、前記合成情報生成工程において生成された合成情報に基づき、前記第二のカラー画像に、前記第一のカラー画像を合成する画像合成工程と、を含む画像処理方法も提供する。

　本技術により、２つの撮像部により取得される２つの画像の間の視差に起因する問題が解消された高画質な画像を取得することができる。なお、本技術により奏される効果は、ここに記載された効果に必ずしも限定されるものではなく、本明細書中に記載されたいずれかの効果であってもよい。

本技術に従う画像処理により得られる画像及び他の画像合成手法により得られる画像の例を示す図である。 本技術に従う画像処理装置に備えられる２つのカラー画像撮像素子の構成例を示す図である。 本技術に従う画像処理装置のブロック図の一例である。 本技術に従う画像処理装置に備えられる第一のカラー画像撮像素子及び第二のカラー画像撮像素子の受光面を覆うカラーフィルタの例と示す図である。 本技術に従う画像処理装置に備えられる第二のカラー画像撮像素子の受光面を覆うカラーフィルタの例と示す図である。 本技術に従う画像処理装置に含まれる合成情報生成部のブロック図の構成例を示す図である。 オクルージョン領域を説明するための図である。 オクルージョン領域の検出手法の一例を説明するための図である。 画質劣化が生じる可能性のある領域の例を示す図である。 本技術に従う画像処理方法のフローの一例を示す図である。 合成情報生成処理のフローの一例を示す図である。 探索範囲外領域検出処理のフローの一例を示す図である。 オクルージョン領域検出処理のフローの一例を示す図である。 色差／輝度判定処理のフローの一例を示す図である。 第一のカラー画像と第二のカラー画像との合成処理のフローの一例を示す図である。 合成画像の後処理のフローの一例を示す図である。 三層構造を有する撮像素子の一例を示す図である。 本技術に従う画像処理装置の構成例を示す図である。

　以下、本技術を実施するための好適な形態について説明する。なお、以下に説明する実施形態は、本技術の代表的な実施形態を示したものであり、本技術の範囲がこれらの実施形態に限定されることはない。なお、本技術の説明は以下の順序で行う。
１．第１の実施形態（画像処理装置）
（１）第１の実施形態の説明
（２）第１の実施形態の第１の例（画像処理装置）
２．第２の実施形態（画像処理装置）
３．第３の実施形態（画像処理方法）
（１）第３の実施形態の説明
（２）第３の実施形態の第１の例（画像処理方法）
４．第４の実施形態（画像処理方法）
５．装置の構成例

１．第１の実施形態（画像処理装置）

（１）第１の実施形態の説明

　本技術に従う画像処理装置は、受光面を覆うカラーフィルタがホワイト領域及びフィルタ無し領域のいずれも含まない第一のカラー画像撮像素子と、受光面を覆うカラーフィルタがホワイト領域又はフィルタ無し領域を含む第二のカラー画像撮像素子と含みうる。このように、本技術に従う画像処理装置は、異なる２つのカラー画像撮像素子を含みうる。
　さらに、本技術に従う画像処理装置は、前記第一のカラー画像撮像素子により撮像された第一のカラー画像と前記第二のカラー画像撮像素子により撮像された第二のカラー画像との間の視差に関する情報を取得する視差情報取得部と、前記視差情報取得部により取得された視差に関する情報に基づき、両画像の合成の仕方に関する情報を生成する合成情報生成部と、前記合成情報生成部により生成された合成情報に基づき、前記第二のカラー画像に、前記第一のカラー画像を合成する画像合成部と、を備えている。このように、本技術に従う画像処理装置は、前記２つのカラー画像撮像素子によって撮像された２つのカラー画像の間の視差情報を取得し、当該視差情報に基づき合成の仕方に関する情報を生成し、そして、生成された合成の仕方に関する情報に基づき、２つの画像を合成する。

　前記第一のカラー画像撮像素子の受光面を覆うカラーフィルタは、ホワイト領域及びフィルタ無し領域のいずれも含まないが、第二のカラー画像撮像素子の受光面を覆うカラーフィルタは、ホワイト領域又はフィルタ無し領域を含む。そのため、第二のカラー画像撮像素子は、第一のカラー画像撮像素子よりも感度が高い。
　また、前記画像合成部は、第一のカラー画像撮像素子により撮像された第一のカラー画像が、第一のカラー画像撮像素子よりも高い感度を有する第二のカラー画像撮像素子により撮像された第二のカラー画像に合成される。すなわち、第一のカラー画像よりも高画質な第二のカラー画像を基準として、当該第二のカラー画像に第一のカラー画像が合成される。その結果、例えば第二のカラー画像中の一部が、第一のカラー画像を合成されないとしても、当該一部は高画質である。
　このように、本技術によって、基準となる第二のカラー画像中に、第一のカラー画像が合成されない領域があったとしても、合成後の画像は高画質であるという効果を奏する。
　当該効果を、２つの画像の合成のために考えられる他の手法と本技術とを対比しながら、以下でさらに説明する。当該説明のために、以下では図１を参照する。

　２つの画像を合成する場合、例えば、基準とする画像を高感度とするために、白黒撮像画を基準として、当該白黒撮像画にカラー画像を合成することが考えられる。このような合成において、２つの画像を合成することによって画質劣化が生じると判定される領域が白黒撮像画中にある場合に、当該領域に関しては画像合成を行わないとすることが考えられる。しかしながら、画像合成が行われない当該領域に関して当該カラー画像を採用すると、当該カラー画像の撮像視点は、基準となる白黒撮像画の撮像視点とは異なるために、当該領域のみ視点移動が起こるという問題が生じる。また、視点移動が起こらないようにするためには、画像合成が行われない当該領域に関して白黒撮像画を採用することも考えられるが、合成された画像のうち当該領域のみが白黒となるという問題が生じるため、そのような画像は許容されない。また、これらの問題を解消するために画像を合成しない場合は、感度の低いカラー画像を選択して出力せざるを得ない。
　例えば図１の（ａ）に示されるとおり、白黒撮像画である画像ａ１とカラー画像である画像ａ２とを画像ａ１を基準として合成するに際して両画像中の人部分が合成できない場合を想定する。この場合、合成できない人部分についてカラー画像ａ２を採用すると、合成された画像中の人部分についてのみ視点移動が起こる。また、合成できない人部分について白黒画像ａ１を採用することは許容されない。また、画像を合成しない場合は、感度の低いカラー画像ａ２を選択して出力せざるを得ない。
　本技術では、画像合成の際に基準となる画像がカラー画像である。そのため、画像合成が行われない領域に関しては、基準となるカラー画像を採用することで、上記の視点移動の問題は生じない。また、基準となる画像がカラー画像であるので、画像合成が行われない領域は白黒でなくカラーである。
　例えば図１の（ｃ）に示されるとおり、カラー画像ｂ２とカラー画像ｂ２よりも高い感度で撮像されたカラー画像ｃ１とをカラー画像ｃ１を基準として合成するに際して両画像中の人部分が合成できない場合を想定する。合成により得られた画像がｃ３である。この場合、合成できない人部分ｃ１０について、カラー画像ｃ１が採用されるので、上記の視点移動の問題は生じない。また、合成の基準となる画像がカラー画像ｃ１であるので、画像合成が行われない領域はカラーである。

　また、２つの画像を合成する場合、例えば、白黒撮像画を採用せずに、同じ感度のカラー画像を合成することが考えられる。このような合成において、２つの画像を合成することによって画質劣化が生じると判定される領域が、基準となるカラー画像中にある場合に、当該領域に関して画像合成を行わないとすることが考えられる。画像合成を行わない領域については、基準となるカラー画像又は他方のカラー画像のいずれかを採用することになる。しかしながら、合成を行わない領域は、合成が行われる他の領域と比べて、画質が劣化する。
　例えば図１の（ｂ）に示されるとおり、カラー画像ｂ１とカラー画像ｂ１と同じ感度のカラー画像ｂ２とをカラー画像ｂ１を基準として合成するに際して両画像中の人部分が合成できない場合を想定する。合成により得られた画像がｂ３である。この場合、合成できない人部分についてカラー画像ａ１を採用することで、視点移動の問題は生じないが、合成を行わない人部分ｂ１０は、合成が行われる他の領域と比べて、画質が劣化する。
　本技術では、画像合成が行われる２つの画像のうち、基準となるカラー画像は、上記のとおり、他方のカラー画像を撮像した撮像素子よりも高感度の撮像素子により撮像された画像である。加えて、合成を行わない領域については、より高感度のカラー画像が採用される。その結果、本技術に従う画像合成では、同じ感度のカラー画像を合成する場合と比べて、合成を行わない領域における画質劣化の程度がより小さい。
　例えば図１の（ｃ）に示されるとおり、（ｂ）における場合と同様に２つのカラー画像を合成するに際して、カラー画像ｂ１の代わりに、カラー画像ｂ２よりも高感度で撮像されたカラー画像ｃ１を合成に用いる場合を想定する。すなわち、カラー画像ｂ２とカラー画像ｂ２よりも高感度のカラー画像ｃ１とをカラー画像ｃ１を基準として合成する場合を想定する。この場合、合成できない人部分についてカラー画像ｃ１を採用することで、視点移動の問題は生じない。加えて、基準となるカラー画像ｃ１は、カラー画像ｂ１よりも高感度の撮像素子で撮像された画像であるので、図１の（ｂ）の場合と比べて、合成を行わない領域における画質劣化の程度がより小さい。

　また、本技術において、視差情報取得部が、第一のカラー画像と第二のカラー画像との間の視差に関する情報を取得し、合成情報生成部が、当該視差に関する情報に基づき、両画像の合成の仕方に関する情報を生成し、画像合成部が、当該合成の仕方に関する情報に基づき、第二のカラー画像に第一のカラー画像を合成する。その結果、画像合成することによって画質劣化が生じる画像領域について画像合成をせず、且つ、その他の領域については合成をすることができる。さらに、合成の基準となる画像はより高画質の第二のカラー画像であるので、画像合成が行われない領域については、より高画質の第二のカラー画像が採用される。そのため、画像合成が行われない領域における画質劣化の程度が低い。

　本技術に従う画像処理装置は、２つのカラー画像撮像素子を少なくとも含む。当該２つのカラー画像撮像素子のうち、一方の撮像素子の受光面を覆うカラーフィルタが、ホワイト領域及びフィルタ無し領域のいずれも含まず、他方の撮像素子の受光面を覆うカラーフィルタが、ホワイト領域又はフィルタ無し領域を含む。前者を第一のカラー画像撮像素子といい、後者を第二のカラー画像撮像素子という。前記カラーフィルタの相違の故に、第二のカラー画像撮像素子は、第一のカラー画像撮像素子よりも感度が高い。

　本技術において、前記第一のカラー画像撮像素子及び前記第二のカラー画像撮像素子は、好ましくは画像処理装置の一つの面に並んで配置されている。好ましくは、前記第一のカラー画像撮像素子及び前記第二のカラー画像撮像素子は同じ方向を撮像できるように配置されていてよい。
　例えば、図２に示されるとおり、本技術に従う画像処理装置がスマートフォン１０である場合、スマートフォン１０のディスプレイ面１２とは反対側の面に、第一のカラー画像撮像素子１１－１及び第二のカラー画像撮像素子１１－２が、同じ方向を撮像できるように、並んで配置されている。第一のカラー画像撮像素子及び第二のカラー画像撮像素子は、前記反対側の面だけでなく、ディスプレイ面に設けられていてもよい。
　このように２つの撮像素子が配置されている場合、両撮像素子の視点は互いに異なるので、両撮像素子により撮像されたカラー画像の間には視差が生じる。本技術の画像処理装置は、当該視差に関する情報を視差情報取得部により取得する。当該視差に関する情報に基づき、合成情報生成部が、両画像の合成の仕方に関する情報を生成する。そして、当該合成の仕方に関する情報に基づき、画像合成部が２つの画像を合成する。

　本技術に従う画像処理装置は、例えば上記で述べたようにスマートフォンであってよい。また、本技術に従う画像処理装置は、スマートフォン以外の情報処理装置であってもよい。例えば、本技術に従う画像処理装置は、スマートフォン以外の携帯電話、映像処理装置（特には携帯用映像処理装置）、ゲーム機器（特には携帯用ゲーム機器）、ノートＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、又はタブレット型ＰＣであってもよい。すなわち、前記第一のカラー画像撮像素子及び前記第二のカラー画像撮像素子が設けられており且つ本技術に従い画像合成ができるように構成された情報処理装置が、本技術に従う画像処理装置に包含される。

（２）第１の実施形態の第１の例（画像処理装置）

　以下で、本技術に従う画像処理装置の例を、図３を参照しながら説明する。図３は、本技術に従う画像処理装置の一例のブロック図である。

　図３に示されるとおり、画像処理装置３００は、第一のカラー画像撮像素子３０１－１、第二のカラー画像撮像素子３０１－２、前処理部３０２－１、前処理部３０２－２、視差情報取得部３０３、視差補償部３０４、合成情報生成部３０５、画像合成部３０６、及び後処理部３０７を備えている。

　第一のカラー画像撮像素子３０１－１の受光面を覆うカラーフィルタは、ホワイト領域及びフィルタ無し領域のいずれも含まない。第一のカラー画像撮像素子３０１－１は、例えば、赤色（Ｒ）画素、青色（Ｂ）画素、及び緑色（Ｇ）画素から構成されうる。すなわち、第一のカラー画像撮像素子３０１－１の受光面を覆うカラーフィルタは、赤色（Ｒ）フィルタ、青色（Ｂ）フィルタ、及び緑色（Ｇ）フィルタからなる。より好ましい実施態様において、第一のカラー画像撮像素子３０１－１は、Ｒ画素、Ｂ画素、及びＧ画素のみから構成されうる。すなわち、第一のカラー画像撮像素子３０１－１の受光面を覆うカラーフィルタが、赤色（Ｒ）フィルタ、青色（Ｂ）フィルタ、及び緑色（Ｇ）フィルタのみからなる。
　第一のカラー画像撮像素子３０１－１中のＧ画素の数は、Ｒ画素及びＢ画素の数よりも多いことが好ましい。また、Ｒ画素及びＢ画素の数は等しくてよい。より好ましくは、ベイヤ配列の画素配列が、第一のカラー画像撮像素子３０１－１に採用されうる。
　すなわち、本技術において、第一のカラー画像撮像素子３０１－１の受光面を覆うカラーフィルタは、好ましくはベイヤ配列のカラーフィルタでありうる。ベイヤ配列の例を、図４（ｂ）に示す。図４（ｂ）に示されるとおり、ベイヤ配列におけるＲ画素、Ｂ画素、及びＧ画素の数は、Ｒ：Ｂ：Ｇ＝１：１：２でありうる。
　また、本技術において、第一のカラー画像撮像素子３０１－１は、ベイヤ配列を有するものに限られず、図１７に示されるとおり、三層構造を有する撮像素子であってもよい。
　第一のカラー画像撮像素子３０１－１を構成するカラーフィルタ以外の構成要素として、当技術分野で既知の撮像素子において用いられる構成要素が採用されてよく、例えば既知のＣＭＯＳイメージセンサ又はＣＣＤイメージセンサにおいて用いられる構成要素が採用されてよい。

　第二のカラー画像撮像素子３０１－２の受光面を覆うカラーフィルタは、ホワイト領域又はフィルタ無し領域を含み、好ましくはホワイト領域を含む。すなわち、第二のカラー画像撮像素子３０１－２は、ホワイト（Ｗ）画素又はフィルタ無し（Ｃ）画素を含み、好ましくはＷ画素を含む。Ｗ画素は、透明画素とも呼ばれる。
　ホワイト領域及びフィルタ無し領域に該当する画素の総数は、全画素のうち例えば１／８以上を占めてよく、好ましくは１／４以上又は１／２以上を占めてよい。
　例えば、図４（ａ）に示されるように、Ｗ画素、Ｒ画素、Ｇ画素、及びＢ画素が１：１：１：１で設けられている撮像素子が、第二のカラー画像撮像素子３０１－２として用いられうる。すなわち、ＷＲＧＢセンサが第二のカラー画像撮像素子３０１－２として用いられうる。この場合、第二のカラー画像撮像素子に含まれるカラーフィルタは、ＷＲＧＢ配列の領域を含むものであってよい。
　代替的には、図５（ａ）に示されるように、Ｗ画素、Ｒ画素、及びＧ画素が、２：１：１で設けられている撮像素子が、第二のカラー画像撮像素子３０１－２として用いられうる。すなわち、ＷＲＧセンサが第二のカラー画像撮像素子３０１－２として用いられうる。この場合、第二のカラー画像撮像素子に含まれるカラーフィルタは、ＷＲＧ配列の領域を含むものであってよい。
　代替的には、図５（ｂ）に示されるとおり、黄色（Ｙ）画素、Ｃ画素、マゼンタ（Ｍ）画素、及びＧ画素が、１：１：１：１で設けられている撮像素子が、第二のカラー画像撮像素子３０１－２として用いられうる。すなわち、ＹＣＭＧセンサが第二のカラー画像撮像素子３０１－２として用いられうる。この場合、第二のカラー画像撮像素子に含まれるカラーフィルタは、ＹＣＭＧ配列の領域を含むものであってよい。
　代替的には、図５（ｃ）に示されるとおり、Ｗ画素、Ｙ画素、及びシアン（Ｃｙ）画素が、２：１：１で設けられている撮像素子が、第二のカラー画像撮像素子３０１－２として用いられうる。すなわち、ＷＹＣｙセンサが第二のカラー画像撮像素子３０１－２として用いられうる。この場合、第二のカラー画像撮像素子に含まれるカラーフィルタは、ＷＹＣｙ配列の領域を含むものであってよい。
　代替的には、図５（ｄ）に示されるように、Ｗ画素、Ｒ画素、及びＢ画素から構成される撮像素子が、第二のカラー画像撮像素子３０１－２として用いられうる。図５（ｄ）に示される画素構成は、クリアビット配列にＷ画素が組み込まれている。すなわち、Ｗクリアビットセンサが第二のカラー画像撮像素子３０１－２として用いられうる。クリアビット配列では、画素の配列方向が、通常の配列方向に対して４５度回転されている。
　本技術の好ましい実施態様に従い、第二のカラー画像撮像素子に含まれるカラーフィルタは、ＷＲＧＢ配列又はＷＲＧ配列の領域を含む。すなわち、第二のカラー画像撮像素子は、好ましくはＷＲＧＢセンサ又はＷＲＧセンサでありうる。
　第二のカラー画像撮像素子３０１－２を構成するカラーフィルタ以外の構成要素として、当技術分野で既知の撮像素子において用いられる構成要素が採用されてよく、例えば既知のＣＭＯＳイメージセンサ又はＣＣＤイメージセンサにおいて用いられる構成要素が採用されてよい。

　本技術の好ましい実施態様に従い、第一のカラー画像撮像素子３０１－１により撮像される第一のカラー画像と、前記第二のカラー画像撮像素子３０１－２により撮像される第二のカラー画像とは、同時に撮像されたものである。同時に撮像された２つの画像を合成することによって、より適切な画像合成が可能となる。

　前処理部３０２－１及び３０２－２は、通常の撮像装置において行われる前処理を行いうる。当該前処理の例として、例えば、ゲイン調整、ホワイトバランス補正、ノイズリダクション、デモザイク処理、スケーリング、及びモジュールズレ補正処理を挙げることができる。前処理部３０２－１及び３０２－２は、これらの処理のうち１つ又は２つ以上を行いうる。

　視差情報取得部３０３は、第一のカラー画像撮像素子３０１－１により撮像された第一のカラー画像と第二のカラー画像撮像素子３０１－２により撮像された第二のカラー画像との間の視差に関する情報を取得する。当該視差に関する情報は、画像中の各領域の視差、例えば画素毎の視差及び／又は画素ブロック毎の視差、を含みうる。画素ブロックとは、複数の画素から構成されるブロックをいう。当該視差に関する情報は、例えばブロックマッチングなどの対応点検出処理によって取得されうる。
　本技術に従う画像処理装置は、上記で述べたとおり、より高感度である第二のカラー画像撮像素子３０１－２により撮像された第二のカラー画像を基準として合成されうる。そのため、視差情報取得部３０３は、第二のカラー画像を基準とした第一のカラー画像の視差に関する情報を取得することが好ましい。
　また、視差情報取得部３０３は、視差マップを生成してもよい。視差マップとは、２つのカラー画像間の視差の分布を示すマップである。当該視差マップは、例えば、以下で説明する合成情報生成部３０５、特には合成情報生成部３０５に含まれる探索範囲外領域検出部６０１及び／又はオクルージョン領域検出部６０２によって利用されうる。
　視差情報取得部３０３は、例えば合成の基準となる第二のカラー画像に対する第一のカラー画像の視差の分布を示す視差マップを取得しうる。視差情報取得部３０３は、合成の基準となる第二のカラー画像に対する第一のカラー画像の視差の分布を示す視差マップに加えて、第一のカラー画像に対する第二のカラー画像の視差の分布を示す視差マップを取得してもよい。このように２つの視点からの画像に基づく２つの視差マップを利用して、以下で説明するオクルージョン領域検出部６０２がオクルージョン領域を検出することもできる。
　視差情報取得部３０３は、視差に関する情報を、視差補償部３０４及び／又は合成情報生成部３０５に出力する。

　視差補償部３０４は、視差情報取得部３０３により取得された視差に関する情報に基づき、第一のカラー画像の視差補償を行いうる。例えば、視差補償部３０４は、第一のカラー画像の画像データに対して、前記視差に関する情報に基づき、画素又は画素ブロックの位置の移動を行いうる。画素又は画素ブロックの位置の移動は、例えば第一のカラー画像と第二のカラー画像との間の視差が解消されるように行われてよい。特には、視差補償部３０４は、第一のカラー画像の画素又は画素ブロックを、当該画素又は画素ブロックに対応する第二のカラー画像中の画素又は画素ブロックの位置へ移動させうる。視差補償部３０４は、視差補償によって、視差補償された第一のカラー画像を生成する。視差補償により、第一のカラー画像の各領域が、第二のカラー画像中の対応する各領域へ移動され、その結果、適切な画像合成が可能となる。
　視差補償部３０４は、視差補償された第一のカラー画像を、画像合成部３０６に出力する。

　合成情報生成部３０５は、第一のカラー画像及び第二のカラー画像の合成の仕方に関する情報を生成する。より好ましくは、合成情報生成部３０５は、視差補償された第一のカラー画像と第二のカラー画像の合成の仕方に関する情報を生成する。例えば、合成情報生成部３０５は、前記第二のカラー画像を構成する領域毎に、前記第一のカラー画像（特には前記視差補償された第一のカラー画像）を合成すべきとする又は合成すべきでないとする合成情報を生成しうる。当該合成情報は、画素毎に又は画素ブロック毎に生成されうる。当該判定の結果、合成情報生成部３０５は、画素毎に又は画素ブロック毎に、合成すべきである又は合成すべきでないとする情報を生成してよい。
　合成情報生成部３０５は、合成の仕方に関する情報を、画像合成部３０６に出力する。

　合成情報生成部３０５のより詳細な構成例のブロック図を、図６に示す。図６に示されるとおり、合成情報生成部３０５は、探索範囲外領域検出部６０１、オクルージョン領域検出部６０２、及び色差／輝度判定部６０３を含みうる。合成情報生成部３０５は、探索範囲外領域検出部６０１、オクルージョン領域検出部６０２、及び色差／輝度判定部６０３のうちのいずれか１つ、２つ、又は３つを含んでもよい。また、合成情報生成部３０５は、図６に示されるとおり、総合判定部６０４を含みうる。
　以下で、合成情報生成部３０５に含まれうる上記構成要素について、それぞれ説明する。

　探索範囲外領域検出部６０１は、視差に関する情報に基づき作成された視差マップ内で所定の探索範囲より大きな視差値を有する領域を検出しうる。探索範囲外領域について画像合成を行う場合、画質劣化の可能性が高くなる。そのため、探索範囲外領域において画像合成を行わないことが好ましい。当該領域は、所定の探索範囲より大きな視差値を有する画素又は画素ブロックでありうる。探索範囲外領域検出部６０１は、例えば、視差情報取得部３０３によって生成された視差マップ内で、所定の探索範囲より大きな視差値を有する領域を検出してもよい。
　探索範囲外領域検出部６０１が利用する視差に関する情報は、視差情報取得部３０３により生成された視差マップに限られない。例えば、探索範囲外領域検出部６０１は、例えば測距センサにより得られる視差に関する情報（特には視差）を利用して、所定の探索範囲より大きな視差値を有する画素又は画素ブロックを検出してもよい。測距センサの例として、例えばＴｏＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）方式の測距センサを挙げることができる。
　探索範囲外領域検出部６０１は、所定の探索範囲より大きな視差値を有する領域を例えば総合判定部６０４に出力しうる。

　オクルージョン領域検出部６０２は、第一のカラー画像と第二のカラー画像とを対比してオクルージョン領域を検出しうる。オクルージョン領域とは、第一のカラー画像撮像素子及び第二のカラー画像撮像素子の２つの撮像素子のうち、一方の撮像素子によって撮像されているが、他方の撮像素子によって撮像されていない領域をいう。例えば、図７に示されるとおり、撮像素子７０１から点線方向に向かって撮像した場合、背景Ｂのうち領域Ａは、前景Ｆによって遮られていないので、撮像される。一方で、撮像素子７０２から一点鎖線方向に向かって撮像した場合、背景Ｂのうち領域Ａは、前景Ｆによって遮られているので、撮像されない。領域Ａがオクルージョン領域である。オクルージョン領域について画像合成を行う場合、画質劣化の可能性が高くなる。そのため、オクルージョン領域において画像合成を行わないことが好ましい。
　オクルージョン領域の検出は、双方向の視差マップを用いて、左画像を右画像の位置に移動させ、そして次に、左画像に再度移動させたときに同じ位置に戻ってこない領域を検出することによって行われてよい。代替的には、一視点の視差マップから隣接視差値どうしを比較し、その差分が所定の範囲を超える領域がオクルージョン領域として検出されうる。これによってより簡易にオクルージョン領域が検出されうる。
　オクルージョン領域検出部６０２は、検出したオクルージョン領域を例えば総合判定部６０４に出力しうる。

　より具体的には、オクルージョン領域の検出は、例えば第一のカラー画像に対する第二のカラー画像の第一視差マップ及び第二のカラー画像に対する第一のカラー画像の第二視差マップの２つの視差マップを用いて行われてよい。この場合、オクルージョン領域検出部６０２は、第一視差マップに基づき第一のカラー画像を移動させそして次に当該移動後の第一のカラー画像を第二視差マップに基づき移動させた場合に、元の第一のカラー画像の位置に戻ってこない画素又は画素ブロックをオクルージョン領域として検出しうる。又は、オクルージョン領域検出部６０２は、第二視差マップに基づき第二のカラー画像を移動させそして次に当該移動後の第二のカラー画像を第一視差マップに基づき移動させた場合に、元の第二のカラー画像の位置に戻ってこない画素又は画素ブロックをオクルージョン領域として検出しうる。

　２つの視差マップを用いるオクルージョン領域の検出手法の一例を、図８を参照して説明する。図８は、左側撮像素子により撮像された左画像Ｌと右側撮像素子により撮像された右画像Ｒとを用いてオクルージョン領域を検出する例を示す。図８の（ａ）に示されるとおり、オクルージョン領域でない領域は、左画像Ｌを、左画像Ｌに対する右画像Ｒの視差マップに基づき移動させ、次に、移動後の左画像Ｌを、右画像Ｒに対する左画像Ｌの視差マップに基づき移動させた場合、これらの移動前の位置に戻る。一方で、図８の（ｂ）に示されるとおり、オクルージョン領域は、前記２つの移動を行った場合、これらの移動を行う前の位置に戻らない。このように、オクルージョン領域検出部６０２は、２つの視差マップに基づきオクルージョン領域を検出しうる。

　色差／輝度判定部６０３は、前記第一のカラー画像又は前記第二のカラー画像内の所定の領域毎に色差分散値を輝度分散値で除した値を算出し、当該除した値が所定の値以上である領域を検出しうる。例えば、色差／輝度判定部６０３は、輝度差はないが色差がある領域を検出しうる。
　例えば図９に示されるような、赤領域Ａｒ及び青領域Ａｂが隣接している領域９０１を想定する。赤領域Ａｒ及び青領域Ａｂは、輝度信号は同じであるが色差信号は異なる。輝度ベースの対応点検出により視差を求める場合、赤領域Ａｒ及び青領域Ａｂの間の視差値は正確に求めることができず、その結果、色エッジを正確に同定できない場合がある。そのため、赤領域Ａｒ及び青領域Ａｂの境界領域９０２は、第一のカラー画像及び第二のカラー画像を合成した場合に、画質劣化が生じる可能性がある。領域９０１の色差分散値／輝度分散値は、赤領域Ａｒのみからなる領域と比べて、この値は大きくなる。そこで、色差／輝度判定部６０３は、領域毎の色差分散値／輝度分散値を求め、この値が所定の値より大きい領域を検出しうる。色差／輝度判定部６０３は、検出した領域を総合判定部に出力しうる。

　総合判定部６０４は、画像合成をすべきである又はすべきでない領域を検出する構成要素から出力された情報に基づき、画像内の各領域について合成すべきかを判定しうる。総合判定部６０４は、当該判定の結果に基づき、第一のカラー画像及び第二のカラー画像の合成の仕方に関する合成情報を生成しうる。当該構成要素は、合成情報生成部３０５に含まれるものであってよく、例えば、上記で述べた探索範囲外領域検出部６０１、オクルージョン領域検出部６０２、及び色差／輝度判定部６０３のいずれか１つ、２つ、又は３つでありうる。総合判定部６０４は、これらの構成要素の少なくとも一つによって検出された領域を、第二のカラー画像に第一のカラー画像を合成すべきでない領域であると判定しうる。そして、当該領域に関して、第二のカラー画像に第一のカラー画像を合成しないとする合成情報を生成しうる。

　好ましくは、合成情報生成部３０５は、探索範囲外領域検出部６０１、オクルージョン領域検出部６０２、及び色差／輝度判定部６０３の全てを含む場合、これらの構成要素のいずれかによって検出された領域に関して、第二のカラー画像に第一のカラー画像を合成すべきでないとする合成情報を生成しうる。

　合成情報生成部３０５は、第二のカラー画像のうちの、第一のカラー画像を合成すべきでないとする領域の割合が所定の値を超えた場合に、前記第二のカラー画像の全ての領域について前記第一のカラー画像を合成すべきでないとする合成情報を生成してもよい。当該合成情報が生成された場合、前記第二のカラー画像に前記第一のカラー画像は合成されない。その結果、前記第二のカラー画像自体が出力される。本技術では、このような場合であっても、第二のカラー画像自体が高画質であるので、画質劣化の程度が抑制されうる。例えば第一のカラー画像撮像素子に異常が生じていることによって、第一のカラー画像が第二のカラー画像と全く異なる場合に、このような合成情報を生成することによって、画質劣化を回避することができる。

　本技術の他の実施態様に従い、合成情報生成部３０５は、第二のカラー画像中の領域毎に、合成率α［０≦α≦１］を判定してもよい。合成率α＝０の場合は、第二のカラー画像に第一のカラー画像を合成しない。合成率α＝１の場合は、例えば第二のカラー画像に対する第一のカラー画像が、最大の割合で合成されうる。当該最大の割合は、当業者により又は例えば合成される２つの画像の種類などの要因によって、適宜設定されてよい。当該最大の割合は、例えば３０％～７０％、特には４０％～６０％であってよい。例えば、α＝１の場合、第一のカラー画像と第二のカラー画像とは１：１の割合（すなわち５０％）で合成されてよい。合成情報生成部３０５は、領域毎に判定した合成率αを合成情報として画像合成部３０６に出力しうる。

　画像合成部３０６は、合成情報生成部３０５によって生成された合成情報に基づき、第二のカラー画像を基準として、第二のカラー画像に第一のカラー画像を合成しうる。例えば、前記第二のカラー画像を構成する領域のうち、前記第一のカラー画像を合成すべきとする領域については第二のカラー画像に対して第一のカラー画像を合成し、且つ、前記第一のカラー画像を合成すべきでないとする領域については第一のカラー画像を合成せずに、第二のカラー画像自体を採用する。
　合成情報が合成率αを含む場合は、画像合成部３０６は、画像中の領域毎に合成率に応じて画像合成を行いうる。

　後処理部３０７は、第一のカラー画像撮像素子と第二のカラー画像撮像素子との間の差を軽減するための処理を行いうる。後処理部３０７により行われる後処理は、第二のカラー画像に第一のカラー画像が合成された領域に対して後処理部３０７により行われる後処理は、当該合成が行われなかった領域に対して後処理部３０７により行われる後処理と異なりうる。
　例えば、両カラー画像撮像素子の間の分光差に起因して第一のカラー画像及び第二のカラー画像の間に色味の違いがある場合は、後処理部３０７は、色味の違いを補うためにＭａｔｒｉｘ変換処理及び／又は多軸色変換処理を領域毎に行いうる。第一のカラー画像及び第二のカラー画像の間にＳＮ差がある場合は、後処理部３０７は、ＳＮ差を補うために、領域毎にＮＲ強度の異なるＮＲを行いうる。
　また、合成情報が合成率αを含む場合は、後処理部３０７は、合成率に応じた後処理を領域毎に行いうる。

　本技術に従う画像処理装置により行われる具体的な画像処理は、以下「３．第３の実施形態（画像処理方法）」において説明する。

２．第２の実施形態（画像処理装置）

　本技術に従う画像処理装置は、第一のカラー画像撮像素子と、前記第一のカラー画像撮像素子よりも感度が高い、第二のカラー画像撮像素子とを含みうる。このように、本技術に従う画像処理装置は、感度の異なる２つのカラー画像撮像素子を含みうる。
　さらに本技術に従う画像処理装置は、前記第一のカラー画像撮像素子により撮像された第一のカラー画像と前記第二のカラー画像撮像素子により撮像された第二のカラー画像との間の視差に関する情報を取得する視差情報取得部と、前記視差情報取得部により取得された視差に関する情報に基づき、両画像の合成の仕方に関する情報を生成する合成情報生成部と、前記合成情報生成部により生成された合成情報に基づき、前記第二のカラー画像に、前記第一のカラー画像を合成する画像合成部と、を備えている。このように、本技術に従う画像処理装置は、前記２つのカラー画像撮像素子によって撮像された２つのカラー画像の間の視差情報を取得し、当該視差情報に基づき合成の仕方に関する情報を生成し、そして、生成された合成の仕方に関する情報に基づき、２つの画像を合成する。

　当該画像処理装置によって、上記「１．第１の実施形態（画像処理装置）」で述べた効果が奏される。
　また、前記２つのカラー画像撮像素子の間の感度の差は、例えば各撮像素子の受光面を覆うカラーフィルタの種類を選択することによって導入されうる。各撮像素子のカラーフィルタは、例えば上記「１．第１の実施形態（画像処理装置）」で述べたとおりのものであってよい。そのため、カラーフィルタの具体例として、上記「１．第１の実施形態（画像処理装置）」で述べたカラーフィルタが、本実施形態においても採用されてよい。例えば、第一のカラー画像撮像素子の受光面を覆うカラーフィルタは、ホワイト領域及びフィルタ無し領域のいずれも含まず、且つ、第二のカラー画像撮像素子の受光面を覆うカラーフィルタは、ホワイト領域又はフィルタ無し領域を含み、好ましくはホワイト領域を含む。
　前記２つのカラー画像撮像素子の配置、画像処理装置の具体例、画像処理装置を構成する各構成要素（例えば撮像素子、前処理部、視差情報取得部、視差補償部、合成情報生成部、画像合成部、及び後処理部など）、及び画像処理装置の具体的な処理に関しても、上記「１．第１の実施形態（画像処理装置）」で述べた説明が、本実施形態に当てはまる。そのため、これらについての説明は省略する。

３．第３の実施形態（画像処理方法）

（１）第３の実施形態の説明

　本技術に従う画像処理方法は、受光面を覆うカラーフィルタが、ホワイト領域及びフィルタ無し領域のいずれも含まない、第一のカラー画像撮像素子により第一のカラー画像を取得する第一画像取得工程と、受光面を覆うカラーフィルタが、ホワイト領域又はフィルタ無し領域を含む、第二のカラー画像撮像素子により第二のカラー画像を取得する第二画像取得工程とを含む。このように、本技術に従う画像処理方法は、異なる２つのカラー画像撮像素子によるカラー画像撮像工程を含む。
　さらに、本技術に従う画像処理方法は、前記第一のカラー画像と前記第二のカラー画像との間の視差に関する情報を取得する視差情報取得工程と、前記視差情報取得工程において取得された視差に関する情報に基づき、両画像の合成の仕方に関する情報を生成する合成情報生成工程と、前記合成情報生成工程において生成された合成情報に基づき、前記第二のカラー画像に、前記第一のカラー画像を合成する画像合成工程とを含む。このように、本技術に従う画像処理方法は、前記２つのカラー画像撮像工程において撮像された２つのカラー画像の間の視差情報を取得し、当該視差情報に基づき合成の仕方に関する情報を生成し、そして、生成された合成の仕方に関する情報に基づき、２つの画像を合成する。

　本技術に従う画像処理方法によって、上記「１．第１の実施形態（画像処理装置）」で述べた効果が奏される。本技術に従う画像処理方法を行うための画像処理装置として、例えば上記「１．第１の実施形態（画像処理装置）」又は上記「２．第２の実施形態（画像処理装置）」で述べたとおりの画像処理装置が用いられてよい。

（２）第３の実施形態の第１の例（画像処理方法）

　以下で、本技術に従う画像処理方法を、図３及び図１０を参照して説明する。図３は、上記１．の「（２）第１の実施形態の第１の例（画像処理装置）」で説明したとおりである。図１０は、本技術に従う画像処理方法のフローの一例を示す図である。

　ステップＳ１０１において、画像処理装置３００は、本技術に従う画像処理を開始する。

　ステップＳ１０２において、画像処理装置３００は、第一のカラー画像撮像素子３０１－１及び第二のカラー画像撮像素子３０１－２による撮像を行う。これらの撮像素子による撮像は、好ましくは同時に行われる。これらの撮像素子による撮像の結果、第一のカラー画像（より特には第一のカラー画像データ）及び第二のカラー画像（より特には第二のカラー画像データ）が取得される。

　ステップＳ１０３において、画像処理装置３００は、前記第一のカラー画像及び前記第二のカラー画像の夫々について、必要に応じて前処理を行いうる。より特には、前処理部３０２－１及び３０２－２のそれぞれによって、前処理が行われうる。当該前処理は、上記１．の「（２）第１の実施形態の第１の例（画像処理装置）」において前処理部３０２－１及び３０２－２に関して述べた前処理例のうちの１つ又は２つ以上であってよい。前記第一のカラー画像及び前記第二のカラー画像に対して行われる前処理は、異なる処理であってよく、又は、同じであってもよい。

　ステップＳ１０４において、画像処理装置３００は、第一のカラー画像撮像素子３０１－１により撮像された第一のカラー画像と第二のカラー画像撮像素子３０１－２により撮像された第二のカラー画像との間の視差に関する情報を取得する。より特には、視差に関する情報の取得は、視差情報取得部３０３により行われうる。例えば上記１．の「（２）第１の実施形態の第１の例（画像処理装置）」において述べたとおりに、視差情報が視差情報取得部３０３により取得されうる。当該視差に関する情報は、画像中の各領域の視差、例えば画素毎の視差及び／又は画素ブロック毎の視差、を含みうる。
　当該視差に関する情報は、例えば視差マップを含んでもよい。視差情報取得部３０３は、例えば合成の基準となる第二のカラー画像に対する第一のカラー画像の視差の分布を示す視差マップを取得しうる。視差情報取得部３０３は、合成の基準となる第二のカラー画像に対する第一のカラー画像の視差の分布を示す視差マップに加えて、第一のカラー画像に対する第二のカラー画像の視差の分布を示す視差マップを取得してもよい。

　ステップＳ１０５において、画像処理装置３００は、ステップＳ１０４において取得された視差に関する情報に基づき、前記第一のカラー画像の視差補償を行いうる。当該視差補償は、例えば上記１．の「（２）第１の実施形態の第１の例（画像処理装置）」において述べたとおりに、視差補償部３０４により行われうる。
　ステップＳ１０５において、第一のカラー画像の画像データに対して、当該視差に関する情報に基づき、画素又は画素ブロックの位置が移動されうる。当該位置の移動は、例えば前記第一のカラー画像と前記第二のカラー画像との間の視差が解消されるように行われてよい。特には、前記第一のカラー画像の各領域（特には画素及び／又は画素ブロック）を、当該各領域に対応する第二のカラー画像中の各領域の位置へ移動させうる。視差補償によって、視差補償された第一のカラー画像が生成される。視差補償により、第一のカラー画像の各領域が、第二のカラー画像中の対応する各領域へ移動され、その結果、適切な画像合成が可能となる。

　ステップＳ１０６において、画像処理装置３００は、第一のカラー画像及び第二のカラー画像の合成の仕方に関する情報を生成する。より好ましくは、ステップＳ１０６において、画像処理装置３００は、視差補償された第一のカラー画像と第二のカラー画像の合成の仕方に関する情報を生成する。合成の仕方に関する情報の生成は、例えば上記１．の「（２）第１の実施形態の第１の例（画像処理装置）」において述べたとおりに、合成情報生成部３０５により行われうる。ステップＳ１０６のより具体的な処理は、別途以下で図１１を参照して説明する。

　ステップＳ１０７において、画像処理装置３００は、ステップＳ１０６において生成された合成の仕方に関する情報に基づき、視差補償された第一のカラー画像を、基準となる第二のカラー画像に合成する。当該合成は、例えば上記１．の「（２）第１の実施形態の第１の例（画像処理装置）」において述べたとおりに、画像合成部３０６により行われる。ステップＳ１０７のより具体的な処理は、別途以下で図１５を参照して説明する。

　ステップＳ１０８において、画像処理装置３００は、ステップＳ１０７における合成の結果得られた画像に対して後処理を行う。当該後処理は、例えば上記１．の「（２）第１の実施形態の第１の例（画像処理装置）」において述べたとおりに、後処理部３０７により行われうる。ステップＳ１０８のより具体的な処理は、別途以下で図１６を参照して説明する。

　ステップＳ１０９において、画像処理装置３００は、本技術に従う画像処理を終了する。

＜合成情報生成処理＞

　上記ステップＳ１０６における合成情報生成部による合成情報生成処理の一例を、以下で図１１を参照して説明する。図１１は、合成情報生成処理のフローの一例である。

　ステップＳ２０１において、合成情報生成部３０５は、合成情報生成処理を開始する。

　ステップＳ２０２において、合成情報生成部３０５は、探索範囲外領域を検出する。当該検出は、特には探索範囲外領域検出部６０１により行われうる。ステップＳ２０２において、例えば、前記ステップＳ１０４において取得された視差に関する情報が利用されうる。探索範囲外領域検出部６０１による探索範囲外領域検出処理のより具体的な処理は、別途以下で図１２を参照して説明する。

　ステップＳ２０３において、合成情報生成部３０５は、オクルージョン領域を検出する。当該検出は、特にはオクルージョン領域検出部６０２により行われうる。ステップＳ２０３において、例えば、前記ステップＳ１０４において取得された視差に関する情報が利用されうる。オクルージョン領域検出部６０２によるオクルージョン領域検出処理のより具体的な処理は、別途以下で図１３を参照して説明する。

　ステップＳ２０４において、合成情報生成部３０５は、前記第一のカラー画像又は前記第二のカラー画像内の所定の領域毎に色差分散値を輝度分散値で除した値を算出し、当該除した値が所定の値以上である領域を検出する。当該検出は、特には色差／輝度判定部６０３により行われうる。色差／輝度判定部６０３による色差／輝度判定処理のより具体的な処理は、別途以下で図１４を参照して説明する。

　ステップＳ２０５において、合成情報生成部３０５は、ステップＳ２０２～ステップＳ２０４における処理の結果に基づき、画像内の各領域について合成すべきかを判定する。例えば、画像内の各領域について、ステップＳ２０２～Ｓ２０４の少なくとも一つにおいて検出された領域を画像合成すべきでないと判定する。合成情報生成部３０５は、判定結果を、両画像の合成の仕方に関する情報として出力する。

　ステップＳ２０６において、合成情報生成部３０５は、合成情報生成工程を終了する。

＜探索範囲外領域検出処理＞

　上記ステップＳ２０２における探索範囲外領域検出部６０１による探索範囲外領域検出処理の一例を、以下で図１２を参照して説明する。図１２は、探索範囲外領域検出処理のフローの一例である。

　図１２におけるステップＳ３０１において、探索範囲外領域検出部６０１は、探索範囲外領域検出処理を開始する。

　ステップＳ３０２において、探索範囲外領域検出部６０１は、例えば視差情報取得部３０３により生成された視差マップ中の注目領域を決定する。

　ステップＳ３０３において、探索範囲外領域検出部６０１は、前記注目領域の視差値を取得する。

　ステップＳ３０４において、探索範囲外領域検出部６０１は、取得された視差値が所定の閾値以上であるかを判定する。取得された視差値が所定の閾値以上である場合、探索範囲外領域検出部６０１は、処理をステップＳ３０５に進める。取得された視差値が所定の閾値未満である場合、探索範囲外領域検出部６０１は、処理をステップＳ３０６に進める。

　ステップＳ３０４において、探索範囲外領域検出部６０１は、取得された視差値が所定の閾値以上である領域を、探索範囲外領域として総合判定部６０４に出力する。

　ステップＳ３０６において、探索範囲外領域検出部６０１は、前記視差マップ内に、探索範囲外領域検出処理が行われていない領域があるかを判定する。当該処理が行われていない領域がある場合、探索範囲外領域検出部６０１は、処理をステップＳ３０２に戻し、当該領域に対して探索範囲外領域検出処理を行う。当該処理が行われていない領域が無い場合、探索範囲外領域検出部６０１は、処理をステップＳ３０７に進める。

　ステップＳ３０７において、探索範囲外領域検出部６０１は、探索範囲外領域検出を終了する。

＜オクルージョン領域検出処理＞

　上記ステップＳ２０３におけるオクルージョン領域検出部６０２によるオクルージョン領域検出処理の一例を、以下で図１３を参照して説明する。図１３は、オクルージョン領域検出処理のフローの一例である。

　図１３におけるステップＳ４０１において、オクルージョン領域検出部６０２は、オクルージョン領域検出処理を開始する。

　ステップＳ４０２において、オクルージョン領域検出部６０２は、第一のカラー画像に対する第二のカラー画像の第一視差マップに基づき、第一のカラー画像の各領域を移動させる。

　ステップＳ４０３において、オクルージョン領域検出部６０２は、第二のカラー画像に対する第一のカラー画像の第二視差マップに基づき、ステップＳ４０２における移動後の第一のカラー画像の各領域を再度移動させる。

　ステップＳ４０４において、オクルージョン領域検出部６０２は、元の第一のカラー画像の位置に戻ってこない領域をオクルージョン領域として検出する。オクルージョン領域検出部６０２は、検出されたオクルージョン領域を、総合判定部６０４に出力する。

　ステップＳ４０５において、オクルージョン領域検出部６０２は、オクルージョン領域検出処理を終了する。

＜色差／輝度判定処理＞

　上記ステップＳ２０４における色差／輝度判定部６０３による色差／輝度判定処理の一例を、以下で図１４を参照して説明する。図１４は、色差／輝度判定処理のフローの一例である。

　図１４におけるステップＳ５０１において、色差／輝度判定部６０３は、色差／輝度判定処理を開始する。

　ステップＳ５０２において、色差／輝度判定部６０３は、例えば前記第二のカラー画像内の注目領域を決定する。

　ステップＳ５０３において、色差／輝度判定部６０３は、前記注目領域の色差分散値／輝度分散値の値を算出する。

　ステップＳ５０４において、色差／輝度判定部６０３は、算出された色差分散値／輝度分散値の値が所定の閾値以上であるかを判定する。算出された値が所定の閾値以上である場合、色差／輝度判定部６０３は、処理をステップＳ５０５に進める。算出された値が所定の閾値未満である場合、色差／輝度判定部６０３は、処理をステップＳ５０６に進める。

　ステップＳ５０５において、色差／輝度判定部６０３は、算出された値が所定の閾値以上である領域を、画質劣化が生じる可能性がある領域として総合判定部６０４に出力する。

　ステップＳ５０６において、色差／輝度判定部６０３は、前記第二カラー画像内に、ステップＳ５０２～Ｓ５０５の処理が行われていない領域があるかを判定する。当該処理が行われていない領域がある場合、色差／輝度判定部６０３は、処理をステップＳ５０２に戻し、当該領域に対して色差／輝度判定処理を行う。当該処理が行われていない領域が無い場合、色差／輝度判定部６０３は、処理をステップＳ５０７に進める。

　ステップＳ５０７において、色差／輝度判定部６０３は、色差／輝度判定処理を終了する。

＜画像合成処理＞

　上記ステップＳ１０７における画像合成部３０６による画像合成処理の一例を、以下で図１５を参照して説明する。図１５は、画像合成処理のフローの一例である。

　図１５におけるステップＳ６０１において、画像合成部３０６は、視差補償された第一のカラー画像と第二のカラー画像との合成処理を開始する。

　ステップＳ６０２において、画像合成部３０６は、例えば前記第二のカラー画像内の注目領域（例えば注目画素又は注目画素ブロック）を決定する。

　ステップＳ６０３において、画像合成部３０６は、合成情報生成部３０５により生成された合成情報を参照する。

　ステップＳ６０４において、画像合成部３０６は、合成情報生成部３０５により生成された合成情報の参照の結果、前記注目領域において前記第二のカラー画像に前記視差補償された第一のカラー画像を合成すべき場合は、処理をステップＳ６０５に進める。合成すべきでない場合は、処理をステップＳ６０６に進める。

　ステップＳ６０５において、画像合成部３０６は、前記注目領域において前記第二のカラー画像に前記視差補償された第一のカラー画像を合成する。前記注目領域に関して、画像合成部３０６は、当該合成により得られた画像を出力する。

　ステップＳ６０６において、画像合成部３０６は、前記注目領域に関して、前記第二のカラー画像を出力する。

　ステップＳ６０７において、画像合成部３０６は、前記第二カラー画像内に、ステップＳ６０２～Ｓ６０６の処理が行われていない領域があるかを判定する。当該処理が行われていない領域がある場合、画像合成部３０６は、処理をステップＳ６０２に戻し、当該領域に対して画像合成処理を行う。当該処理が行われていない領域が無い場合、画像合成部３０６は、処理をステップＳ６０８に進める。

　ステップＳ６０８において、画像合成部３０６は、画像合成処理を終了する。

＜後処理＞

　上記ステップＳ１０８における後処理部３０７による後処理の一例を、以下で図１６を参照して説明する。図１６は、後処理のフローの一例である。

　図１６におけるステップＳ７０１において、後処理部３０７は、画像合成部３０６による合成の結果得られた合成画像の後処理を開始する。

　ステップＳ７０２において、後処理部３０７は、例えば前記合成画像内の注目領域（例えば注目画素又は注目画素ブロック）を決定する。

　ステップＳ７０３において、後処理部３０７は、合成情報生成部３０５により生成された合成情報を参照する。

　ステップＳ７０４において、後処理部３０７は、合成情報生成部３０５により生成された合成情報の参照の結果、前記注目領域において前記第二のカラー画像に前記視差補償された第一のカラー画像を合成すべき場合は、処理をステップＳ７０５に進める。合成すべきでない場合は、処理をステップＳ７０６に進める。

　ステップＳ７０５において、後処理部３０７は、合成された画像に適した信号処理を前記注目領域に対して行う。

　ステップＳ７０６において、後処理部３０７は、合成されていない画像に適した信号処理を前記注目領域に対して行う。

　ステップＳ７０７において、後処理部３０７は、前記合成画像内に、後処理が行われていない領域があるかを判定する。後処理が行われていない領域がある場合、後処理部３０７は、処理をステップＳ７０２に戻し、当該領域に対して後処理を行う。後処理が行われていない領域が無い場合、後処理部３０７は、処理をステップＳ７０８に進める。

　ステップＳ７０８において、後処理部３０７は、後処理を終了する。

４．第４の実施形態（画像処理方法）

　本技術に従う画像処理方法では、第一のカラー画像撮像素子と、前記第一のカラー画像撮像素子よりも感度が高い、第二のカラー画像撮像素子とを用いて２つのカラー画像が取得される。このように、本技術に従う画像処理方法では、感度の異なる２つのカラー画像撮像素子が用いて２つのカラー画像が取得される。
　さらに本技術に従う画像処理方法は、前記第一のカラー画像撮像素子により撮像された第一のカラー画像と前記第二のカラー画像撮像素子により撮像された第二のカラー画像との間の視差に関する情報を取得する視差情報取得工程と、前記視差情報取得工程において取得された視差に関する情報に基づき、両画像の合成の仕方に関する情報を生成する合成情報生成工程と、前記合成情報生成工程において生成された合成情報に基づき、前記第二のカラー画像に、前記第一のカラー画像を合成する画像合成工程と、を含む。このように、本技術に従う画像処理方法では、前記２つのカラー画像撮像素子によって撮像された２つのカラー画像の間の視差情報が取得され、当該視差情報に基づき合成の仕方に関する情報が生成され、そして、生成された合成の仕方に関する情報に基づき、２つの画像が合成される。

　当該画像処理方法によって、上記「１．第１の実施形態（画像処理装置）」で述べた効果が奏される。
　また、当該画像処理方法における各工程における具体的な処理は、例えば上記「３．第３の実施形態（画像処理方法）」において述べたとおりのものであってよい。そのため、各工程における具体的な処理についての説明は省略する。

５．装置の構成例

　以下で、図１８を参照しながら、本技術に従う画像処理装置の構成の一例を説明する。図１８は、本技術に従う画像処理装置の概略的な構成の一例を示す図である。

　図１８に示される画像処理装置１００１は、ＣＰＵ（中央演算処理装置）１００２及びＲＡＭ１００３を備えている。ＣＰＵ１００２及びＲＡＭ１００３は、バス１００５を介して相互に接続されており、また、画像処理装置１００１の他の構成要素ともバス１００５を介して接続されている。画像処理装置１００１には、撮像装置１０１１が備えられている。撮像装置１０１１も、同様に他の構成要素と接続されていてよい。撮像装置１０１１は、上記「１．第１の実施形態（画像処理装置）」又は「２．第２の実施形態（画像処理装置）」で述べた第一のカラー画像撮像素子及び第二のカラー画像撮像素子を含む。撮像装置１０１１により、本技術に従う画像処理方法が行われてよい。
　ＣＰＵ１００２は、画像処理装置１００１の制御及び演算を行う。ＣＰＵ１００２として、任意のプロセッサを用いることができ、その例としてＸｅｏｎ（登録商標）シリーズ、Ｃｏｒｅ（商標）シリーズ、又はＡｔｏｍ（商標）シリーズのプロセッサを挙げることができる。本技術に従う画像処理は、例えばＣＰＵ１００２により実現されてもよい。
　ＲＡＭ１００３は、例えばキャッシュ・メモリ及びメイン・メモリを含み、ＣＰＵ１００２により使用されるプログラム、例えば本技術に従う画像処理方法を装置に実行させるためのプログラムなどを一時記憶しうる。

　画像処理装置１００１は、ディスク１００４、通信装置１００６、出力装置１００７、及びドライブ１００９を備えていてもよい。これらの構成要素はいずれもバス１００５に接続されうる。
　ディスク１００４には、オペレーティング・システム（例えば、ＷＩＮＤＯＷＳ（登録商標）、ＵＮＩＸ（登録商標）、又はＬＩＮＵＸ（登録商標）など）、本技術に従う画像処理方法を実行するためのプログラム、並びに各種データ（例えば画像データ）が格納されうる。
　通信装置１００６は、画像処理装置１００１をネットワーク１０１０に有線又は無線で接続する。通信装置１００６は、画像処理装置１００１を、ネットワーク１０１０を介して各種データ（例えば画像データなど）を取得することができる。取得したデータは、例えばディスク１００４に格納されうる。通信装置１００６の種類は当業者により適宜選択されてよい。
　出力装置１００７は、本技術に従う画像処理によって得られた画像を出力しうる。出力装置１００７は、例えばディスプレイであってよい。
　入力装置１００８は、ユーザが画像処理装置１００１を操作するための装置である。例えば画像処理装置１００１がスマートフォンである場合、ディスプレイが入力装置１００８として機能してよい。
　ドライブ１００９は、記録媒体に記録されている情報を読み出して、ＲＡＭ１００３に出力することができる。記録媒体は、例えば、ＳＤメモリカード又はフラッシュメモリであるが、これらに限定されない。

　以上で説明した本技術に関して、当業者は、本技術の範囲内又はその均等物の範囲内において、種々の変更、コンビネーション、サブコンビネーション、又は代替が、例えば設計上の要請又は他の要因などに応じて可能であることを理解する。

　なお、本技術は、以下のような構成をとることもできる。
〔１〕受光面を覆うカラーフィルタが、ホワイト領域及びフィルタ無し領域のいずれも含まない、第一のカラー画像撮像素子と、
　受光面を覆うカラーフィルタが、ホワイト領域又はフィルタ無し領域を含む、第二のカラー画像撮像素子と、
　前記第一のカラー画像撮像素子により撮像された第一のカラー画像と前記第二のカラー画像撮像素子により撮像された第二のカラー画像との間の視差に関する情報を取得する視差情報取得部と、
　前記視差情報取得部により取得された視差に関する情報に基づき、両画像の合成の仕方に関する情報を生成する合成情報生成部と、
　前記合成情報生成部により生成された合成情報に基づき、前記第二のカラー画像に、前記第一のカラー画像を合成する画像合成部と、
　を備えている画像処理装置。
〔２〕前記第一のカラー画像撮像素子に含まれるカラーフィルタが、ベイヤ配列のカラーフィルタである、〔１〕に記載の画像処理装置。
〔３〕前記第二のカラー画像撮像素子に含まれるカラーフィルタが、ホワイト領域を含む、〔１〕又は〔２〕に記載の画像処理装置。
〔４〕前記第二のカラー画像撮像素子に含まれるカラーフィルタが、ＷＲＧＢ配列又はＷＲＧ配列の領域を含む、〔１〕～〔３〕のいずれか一つに記載の画像処理装置。
〔５〕前記視差情報取得部が、前記第一のカラー画像と前記第二のカラー画像との間で、画素毎又は画素ブロック毎の視差を取得する、〔１〕～〔４〕のいずれか一つに記載の画像処理装置。
〔６〕前記視差に関する情報に基づき、前記第一のカラー画像に対して視差補償を行う視差補償部をさらに備えている、〔１〕～〔５〕のいずれか一つ１に記載の画像処理装置。
〔７〕前記合成情報生成部が、視差に関する情報に基づき作成された視差マップ内で所定の探索範囲より大きな視差値を有する領域を検出する探索範囲外領域検出部を含む、〔１〕～〔６〕のいずれか一つに記載の画像処理装置。
〔８〕前記合成情報生成部が、前記第一のカラー画像と前記第二のカラー画像とを対比してオクルージョン領域を検出するオクルージョン領域検出部を含む、〔１〕～〔７〕のいずれか一つに記載の画像処理装置。
〔９〕前記合成情報生成部が、前記第一のカラー画像又は前記第二のカラー画像内の所定の領域毎に色差分散値を輝度分散値で除した値を算出し、当該除した値が所定の値以上である領域を検出する色差／輝度判定部を含む、〔１〕～〔８〕のいずれか一つに記載の画像処理装置。
〔１０〕前記合成情報生成部が、
　視差に関する情報に基づき作成された視差マップ内で所定の探索範囲より大きな視差値を有する画素又は画素ブロックを検出する探索範囲外領域検出部、
　前記第一のカラー画像と前記第二のカラー画像とを対比してオクルージョン領域を検出するオクルージョン領域検出部、及び
　前記第一のカラー画像又は前記第二のカラー画像内の所定の領域毎に色差分散値を輝度分散値で除した値を算出し、当該除した値が所定の値以上である領域を検出する色差／輝度判定部、
　から選ばれる少なくとも１つの構成要素を含み、
　いずれかの構成要素において検出された領域について、前記第二のカラー画像に前記第一のカラー画像を合成すべきでないとする合成情報を生成する、
　〔１〕～〔９〕のいずれか一つに記載の画像処理装置。
〔１１〕前記合成情報生成部が、前記第二のカラー画像を構成する領域毎に、前記第一のカラー画像を合成すべきとする又は合成すべきでないとする合成情報を生成する、〔１〕～〔１０〕のいずれか一つに記載の画像処理装置。
〔１２〕前記合成情報生成部が、前記第二のカラー画像のうちの、前記第一のカラー画像を合成すべきでないとする領域の割合が所定の値を超えた場合に、前記第二のカラー画像の全ての領域について前記第一のカラー画像を合成すべきでないとする合成情報を生成する、〔１〕～〔１１〕のいずれか一つに記載の画像処理装置。
〔１３〕前記合成情報生成部が、前記第二のカラー画像を構成する領域毎に、前記第一のカラー画像を合成する合成率を付与する、〔１〕～〔１２〕のいずれか一つに記載の画像処理装置。
〔１４〕第一のカラー画像撮像素子と、
　前記第一のカラー画像撮像素子よりも感度が高い、第二のカラー画像撮像素子と、
　前記第一のカラー画像撮像素子により撮像された第一のカラー画像と前記第二のカラー画像撮像素子により撮像された第二のカラー画像との間の視差に関する情報を取得する視差情報取得部と、
　前記視差情報取得部により取得された視差に関する情報に基づき、両画像の合成の仕方に関する情報を生成する合成情報生成部と、
　前記合成情報生成部により生成された合成情報に基づき、前記第二のカラー画像に、前記第一のカラー画像を合成する画像合成部と、
　を備えている画像処理装置。
〔１５〕受光面を覆うカラーフィルタが、ホワイト領域及びフィルタ無し領域のいずれも含まない、第一のカラー画像撮像素子により第一のカラー画像を取得する第一画像取得工程と、
　受光面を覆うカラーフィルタが、ホワイト領域又はフィルタ無し領域を含む、第二のカラー画像撮像素子により第二のカラー画像を取得する第二画像取得工程と、
　前記第一のカラー画像と前記第二のカラー画像との間の視差に関する情報を取得する視差情報取得工程と、
　前記視差情報取得工程において取得された視差に関する情報に基づき、両画像の合成の仕方に関する情報を生成する合成情報生成工程と、
　前記合成情報生成工程において生成された合成情報に基づき、前記第二のカラー画像に、前記第一のカラー画像を合成する画像合成工程と、
　を含む画像処理方法。
〔１６〕第一のカラー画像撮像素子により第一のカラー画像を取得する第一画像取得工程と、
　前記第一のカラー画像撮像素子よりも感度が高い、第二のカラー画像撮像素子により第二のカラー画像を取得する第二画像取得工程と、
　前記第一のカラー画像と前記第二のカラー画像との間の視差に関する情報を取得する視差情報取得工程と、
　前記視差情報取得工程において取得された視差に関する情報に基づき、両画像の合成の仕方に関する情報を生成する合成情報生成工程と、
　前記合成情報生成工程において生成された合成情報に基づき、前記第二のカラー画像に、前記第一のカラー画像を合成する画像合成工程と、
　を含む画像処理方法。

３００　画像処理装置
３０１－１　第一のカラー画像撮像素子
３０１－２　第二のカラー画像撮像素子
３０２－１　前処理部
３０２－２　前処理部
３０３　視差情報取得部
３０４　視差補償部
３０５　合成情報生成部
３０６　画像合成部
３０７　後処理部

Claims (16)

1. 　受光面を覆うカラーフィルタが、ホワイト領域及びフィルタ無し領域のいずれも含まない、第一のカラー画像撮像素子と、
   　受光面を覆うカラーフィルタが、ホワイト領域又はフィルタ無し領域を含む、第二のカラー画像撮像素子と、
   　前記第一のカラー画像撮像素子により撮像された第一のカラー画像と前記第二のカラー画像撮像素子により撮像された第二のカラー画像との間の視差に関する情報を取得する視差情報取得部と、
   　前記視差情報取得部により取得された視差に関する情報に基づき、両画像の合成の仕方に関する情報を生成する合成情報生成部と、
   　前記合成情報生成部により生成された合成情報に基づき、前記第二のカラー画像に、前記第一のカラー画像を合成する画像合成部と、
   　を備えている画像処理装置。
2. 　前記第一のカラー画像撮像素子に含まれるカラーフィルタが、ベイヤ配列のカラーフィルタである、請求項１に記載の画像処理装置。
3. 　前記第二のカラー画像撮像素子に含まれるカラーフィルタが、ホワイト領域を含む、請求項１に記載の画像処理装置。
4. 　前記第二のカラー画像撮像素子に含まれるカラーフィルタが、ＷＲＧＢ配列又はＷＲＧ配列の領域を含む、請求項１に記載の画像処理装置。
5. 　前記視差情報取得部が、前記第一のカラー画像と前記第二のカラー画像との間で、画素毎又は画素ブロック毎の視差を取得する、請求項１に記載の画像処理装置。
6. 　前記視差に関する情報に基づき、前記第一のカラー画像に対して視差補償を行う視差補償部をさらに備えている、請求項１に記載の画像処理装置。
7. 　前記合成情報生成部が、視差に関する情報に基づき作成された視差マップ内で所定の探索範囲より大きな視差値を有する領域を検出する探索範囲外領域検出部を含む、請求項１に記載の画像処理装置。
8. 　前記合成情報生成部が、前記第一のカラー画像と前記第二のカラー画像とを対比してオクルージョン領域を検出するオクルージョン領域検出部を含む、請求項１に記載の画像処理装置。
9. 　前記合成情報生成部が、前記第一のカラー画像又は前記第二のカラー画像内の所定の領域毎に色差分散値を輝度分散値で除した値を算出し、当該除した値が所定の値以上である領域を検出する色差／輝度判定部を含む、請求項１に記載の画像処理装置。
10. 　前記合成情報生成部が、
    　視差に関する情報に基づき作成された視差マップ内で所定の探索範囲より大きな視差値を有する画素又は画素ブロックを検出する探索範囲外領域検出部、
    　前記第一のカラー画像と前記第二のカラー画像とを対比してオクルージョン領域を検出するオクルージョン領域検出部、及び
    　前記第一のカラー画像又は前記第二のカラー画像内の所定の領域毎に色差分散値を輝度分散値で除した値を算出し、当該除した値が所定の値以上である領域を検出する色差／輝度判定部、
    　から選ばれる少なくとも１つの構成要素を含み、
    　いずれかの構成要素において検出された領域について、前記第二のカラー画像に前記第一のカラー画像を合成すべきでないとする合成情報を生成する、
    　請求項１に記載の画像処理装置。
11. 　前記合成情報生成部が、前記第二のカラー画像を構成する領域毎に、前記第一のカラー画像を合成すべきとする又は合成すべきでないとする合成情報を生成する、請求項１に記載の画像処理装置。
12. 　前記合成情報生成部が、前記第二のカラー画像のうちの、前記第一のカラー画像を合成すべきでないとする領域の割合が所定の値を超えた場合に、前記第二のカラー画像の全ての領域について前記第一のカラー画像を合成すべきでないとする合成情報を生成する、請求項１に記載の画像処理装置。
13. 　前記合成情報生成部が、前記第二のカラー画像を構成する領域毎に、前記第一のカラー画像を合成する合成率を付与する、請求項１に記載の画像処理装置。
14. 　第一のカラー画像撮像素子と、
    　前記第一のカラー画像撮像素子よりも感度が高い、第二のカラー画像撮像素子と、
    　前記第一のカラー画像撮像素子により撮像された第一のカラー画像と前記第二のカラー画像撮像素子により撮像された第二のカラー画像との間の視差に関する情報を取得する視差情報取得部と、
    　前記視差情報取得部により取得された視差に関する情報に基づき、両画像の合成の仕方に関する情報を生成する合成情報生成部と、
    　前記合成情報生成部により生成された合成情報に基づき、前記第二のカラー画像に、前記第一のカラー画像を合成する画像合成部と、
    　を備えている画像処理装置。
15. 　受光面を覆うカラーフィルタが、ホワイト領域及びフィルタ無し領域のいずれも含まない、第一のカラー画像撮像素子により第一のカラー画像を取得する第一画像取得工程と、
    　受光面を覆うカラーフィルタが、ホワイト領域又はフィルタ無し領域を含む、第二のカラー画像撮像素子により第二のカラー画像を取得する第二画像取得工程と、
    　前記第一のカラー画像と前記第二のカラー画像との間の視差に関する情報を取得する視差情報取得工程と、
    　前記視差情報取得工程において取得された視差に関する情報に基づき、両画像の合成の仕方に関する情報を生成する合成情報生成工程と、
    　前記合成情報生成工程において生成された合成情報に基づき、前記第二のカラー画像に、前記第一のカラー画像を合成する画像合成工程と、
    　を含む画像処理方法。
16. 　第一のカラー画像撮像素子により第一のカラー画像を取得する第一画像取得工程と、
    　前記第一のカラー画像撮像素子よりも感度が高い、第二のカラー画像撮像素子により第二のカラー画像を取得する第二画像取得工程と、
    　前記第一のカラー画像と前記第二のカラー画像との間の視差に関する情報を取得する視差情報取得工程と、
    　前記視差情報取得工程において取得された視差に関する情報に基づき、両画像の合成の仕方に関する情報を生成する合成情報生成工程と、
    　前記合成情報生成工程において生成された合成情報に基づき、前記第二のカラー画像に、前記第一のカラー画像を合成する画像合成工程と、
    　を含む画像処理方法。

Images