JP6693530B2 - 画像処理装置と画像処理方法 - Google Patents

Description

この技術は、画像処理装置と画像処理方法に関し、画像から被写体の偏光特性を高感度に求められるようにする。

従来、偏光を利用して反射成分等の分離が行われている。例えば特許文献１では、偏光子の領域が複数の偏光方向に分かれている偏光子ユニットを透過した透過光の強度を、偏光特性モデルであるコサインカーブにフィッティングすることで、無偏光成分と反射成分である偏光成分に分離することが行われている。

特許第４９７４５４３号公報

ところで、透過光の強度をコサインカーブにフィッティングする場合、被写体から強い反射光（例えば太陽反射光）が上述の偏光子ユニットを透過してイメージセンサに入射すると、イメージセンサから出力される画像信号は入射光が強いため飽和した信号となる。このため、偏光成分毎の輝度を偏光特性モデルにフィッティングさせることが困難となる。また、イメージセンサから出力される信号が飽和しないように、入射光量の制限や露光時間の短縮化を行うと、偏光成分毎の輝度が低下するため偏光特性モデルは低感度の偏光特性モデルとなり例えば無偏光成分のレベルが低下する。このため、被写体の無偏光成分画像は、メージセンサにおけるノイズや信号処理における丸め誤差等の影響によって画質の低下した画像となってしまうおそれがある。

そこで、この技術では、画像から被写体の偏光特性を高感度に求めることができる画像処理装置と画像処理方法を提供する。

この技術の第１の側面は、
複数偏光方向の低感度偏光画像と前記低感度偏光画像よりも高感度である高感度画像に基づいて前記高感度画像の偏光特性を求めて、前記高感度画像の偏光特性に基づき被写体の無偏光成分または偏光成分を取得する偏光画像処理部
を有する画像処理装置にある。

この技術において、偏光画像処理部は、複数偏光方向の低感度偏光画像と低感度偏光画像よりも高感度である高感度画像に基づいて高感度画像の偏光特性を求める。例えば偏光画像処理部は、低感度偏光画像に基づいて低感度偏光特性モデルを算出して、低感度偏光特性モデルと高感度偏光画像における飽和を生じていない偏光方向の画像に基づき、または、低感度偏光特性モデルの平均値と高感度無偏光画像の輝度との比および低感度偏光特性モデルに基づき高感度偏光特性モデルを算出する。

低感度偏光特性モデルと高感度偏光画像における飽和を生じていない偏光方向の画像に基づき高感度偏光特性モデルを算出する場合、偏光画像処理部は、低感度偏光特性モデルの位相情報と高感度偏光画像における飽和を生じていない複数偏光方向の画像に基づき、偏光成分の偏光方向と輝度の関係を示す低感度偏光特性モデルと同じ位相成分を持つ高感度偏光特性モデルを、高感度偏光画像における飽和を生じていない複数偏光方向の輝度から算出する。または、偏光画像処理部は、高感度偏光画像における飽和を生じていない偏光方向の輝度と同一偏光方向の低感度偏光画像における輝度との関係に基づき、偏光成分の偏光方向と輝度の関係を示す低感度偏光特性モデルと同じ位相成分を持ち、低感度偏光特性モデルと高感度偏光特性モデルにおける振幅とオフセットの和との比が、高感度偏光画像と低感度偏光画像の対応する輝度の比と等しくなる高感度偏光特性モデルを算出する。また、偏光画像処理部は、複数偏光方向の高感度偏光画像の全てが非飽和状態である場合、高感度偏光画像に基づいて高感度偏光特性モデルを算出する。

偏光画像処理部は、高感度画像として無偏光画像を用いる場合、低感度偏光特性モデルの平均値と高感度画像の輝度との比に基づいて、低感度偏光特性モデルから高感度偏光特性モデルを算出する。

偏光画像処理部は、高感度偏光特性モデルに基づき例えば高感度偏光特性モデルの振幅を被写体の偏光成分、高感度偏光特性モデルの最小値を被写体の無偏光成分として取得する。偏光画像処理部は、複数偏光方向の高感度偏光画像の全てが飽和状態である場合、低感度偏光特性モデルに基づいて被写体の無偏光成分または偏光成分を取得する。

また、画像処理装置に撮像制御部を設けて、撮像制御部で撮像部の露光時間を換えて低感度偏光画像と高感度画像を生成させる。例えば撮像制御部は、低感度偏光画像において偏光方向が３方向以上で非飽和状態となり、高感度画像において偏光方向が１方向以上で非飽和状態となるように露光時間を制御する。

また、画像処理装置に低感度偏光画像と高感度画像を生成する撮像部を設ける。撮像部は、画素単位で偏光方向が設定されており、複数偏光方向の画素からなる低感度偏光画像を生成する。また、撮像部は、露光時間を変えて低感度偏光画像と高感度画像を生成する構成、または、低感度偏光画像を生成する低感度撮像部と入射光量を低感度撮像部よりも制限して高感度画像を生成する高感度撮像部とを有する構成、あるいは、低感度偏光画像を生成する低感度画素と、入射光量を低感度画素よりも制限して高感度画像を生成する高感度画素を有する構成とする。

この技術の第２の側面は、
複数偏光方向の低感度偏光画像と前記低感度偏光画像よりも高感度である高感度画像に基づき前記高感度画像の偏光特性を求めることと、
前記高感度画像の偏光特性に基づき被写体の無偏光成分または偏光成分を取得することと
を含む画像処理方法にある。

この技術によれば、複数偏光方向の低感度偏光画像と低感度偏光画像よりも高感度である高感度画像とに基づいて高感度画像の偏光特性が求められて、この高感度画像の偏光特性に基づき被写体の無偏光成分または偏光成分が取得される。このため、画像から被写体の偏光特性を高感度に求めることができるようになり、高感度の無偏光成分または偏光成分を取得できる。なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また付加的な効果があってもよい。

第１の実施の形態の構成を示す図である。 撮像部の構成を例示した図である。 注目画素における偏光方向毎の輝度を例示した図である。 偏光特性モデルを示す図である。 第１の実施の形態の動作を示すフローチャートである。 偏光方向毎の輝度が全て飽和状態または非飽和状態である場合を例示した図である。 第１の実施の形態の他の動作を示すフローチャートである。 第２の実施の形態の構成を示す図である。 偏光特性モデルを示す図である。 第２の実施の形態の動作を示すフローチャートである。 第３の実施の形態の構成を示す図である。 注目画素における偏光方向毎の輝度を例示した図である。 偏光特性モデルを示す図である。 第３の実施の形態の動作を示すフローチャートである。 撮像制御部を設けた場合の構成を例示している。 露光時間を調整して低感度偏光画像と高感度偏光画像（または高感度無偏光画像）を取得する場合の動作を例示した図である。 露光時間を切り換えて低感度偏光画像と高感度偏光画像を交互に生成する場合の動作を例示した図である。 低感度偏光画像と高感度偏光画像を同時に生成する撮像部の構成を例示した図である。 カラーモザイクフィルタと偏光パターンを例示した図である。 画像処理装置を用いた車両制御システムの概略構成を例示したブロック図である。 撮像部の設置例を示した図である。

以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
４．他の実施の形態
５．適用例

＜１．第１の実施の形態＞
図１は、本技術の第１の実施の形態の構成を示している。画像処理装置１０-1は、撮像部２０-1と偏光画像処理部３０-1を有している。

撮像部２０-1は、低感度撮像部２１と、低感度撮像部２１よりも高感度である高感度撮像部２２を有している。

低感度撮像部２１と高感度撮像部２２は、複数の偏光成分毎の画素からなる偏光画像の画像信号を生成する。図２は、撮像部の構成を例示している。撮像部２０-1において、低感度撮像部２１は、イメージセンサ２１０の入射面に、３方向以上の偏光方向の画素構成とされた偏光フィルタ２１１を配置した構成とされている。なお、図２では、偏光フィルタ２１１が例えば２×２画素の偏光子ユニットを隣接して複数設けた構成とされている。または、偏光子ユニットは、例えば偏光方向が画素単位で偏光方向θ0（例えば偏光角０°），θ1（例えば４５°），θ2（例えば９０°），θ3（例えば１３５°）の４方向とされている。

低感度撮像部２１は、入射光が高輝度であってもイメージセンサ２１０から出力される画像信号は、飽和しないように構成されている。例えば、イメージセンサ２１０または偏光フィルタ２１１の入射面側に入射光量を制限する光量制限部２１２（例えばＮＤフィルタ）を設けて、各画素で画像信号が飽和しないように構成されている。低感度撮像部２１は、生成した偏光画像の画像信号を偏光画像処理部３０-1へ出力する。

高感度撮像部２２は、低感度撮像部２１と同様に、イメージセンサ２１０の入射面に、３方向以上の偏光方向の画素構成とされた偏光フィルタ２１１を配置した構成とされている。高感度撮像部２２は、例えば光量制限部を設けない構成として、低感度撮像部２１よりも高感度とされている。高感度撮像部２２は、生成した偏光画像の画像信号を偏光画像処理部３０-1へ出力する。

偏光画像処理部３０-1は、被写体を低感度撮像部２１で撮像して得られた複数偏光方向の低感度偏光画像と、低感度偏光画像より高感度である高感度撮像部２２で得られた高感度画像すなわち低感度偏光画像と等しい複数偏光方向の高感度偏光画像に基づいて高感度画像の偏光特性を求める。また、偏光画像処理部３０-1は、求めた高感度画像の偏光特性に基づき被写体の無偏光成分または偏光成分を取得する。

偏光画像処理部３０-1は、低感度偏光特性モデル算出部３１と非飽和偏光画像抽出部３２および高感度成分取得部３３-1を有している。偏光画像処理部３０-1は、低感度偏光画像に基づいて低感度偏光画像の偏光特性モデル（以下「低感度偏光特性モデル」という）を算出して、低感度偏光特性モデルと高感度画像に基づき高感度画像の偏光特性モデル（以下「高感度偏光特性モデル」という）を算出して、高感度偏光特性モデルに基づいて被写体の無偏光成分または偏光成分を取得する。

低感度偏光特性モデル算出部３１は、低感度撮像部２１で生成された偏光方向が４方向である低感度偏光画像の注目画素(i,j)の輝度Ｆm(i,j)から低感度偏光特性モデルを算出する。なお、「ｍ」は偏光方向を示すインデックスであり、偏光方向θ0〜θ3をｍ＝０〜３とする。また、低感度偏光画像の注目画素(i,j)と高感度画像の注目画素(i,j)は被写体の同一位置を示す画素である。

偏光特性モデルは、式（１）で示せることが知られている。したがって、低感度偏光特性モデル算出部３１は、注目画素(i,j)の偏光成分毎の輝度Ｆm(i,j)に基づき、係数Ａf(i,j)，Ｂf(i,j),θf(i,j)を算出する。
Ｆm(i,j)＝Ａf(i,j)［１＋ｃｏｓ（２θm＋２θf(i,j)）］＋Ｂf(i,j)
・・・（１）

非飽和偏光画像抽出部３２は、高感度撮像部２２で生成された偏光方向が例えば４方向である高感度偏光画像の注目画素(i,j)の輝度Ｇm(i,j)から、式（２）に基づき非飽和状態である偏光方向の輝度を抽出して高感度非飽和集合を生成する。なお、式（２）において、閾値Ｔｈは、輝度が飽和しているか否かを判定するための値であり、例えば高感度撮像部２２における飽和レベルに予め設定されており、輝度が閾値Ｔｈと等しいと飽和していると判定する。
Ｇ(i,j)＝［Ｇn(i,j)：n≦３，Ｇn(i,j)＜Ｔｈ］ ・・・（２）

高感度成分取得部３３-1は、低感度偏光特性モデルの位相情報と高感度偏光画像における飽和を生じていない複数偏光方向の輝度から高感度偏光特性モデルを算出する。低感度偏光画像の注目画素(i,j)と高感度画像の注目画素(i,j)は被写体の同一位置を示す画素であることから、低感度偏光特性モデルと高感度偏光特性モデルの位相は一致する。したがって、高感度成分取得部３３-1は、偏光成分の偏光方向と輝度の関係を示す低感度偏光特性モデルと同じ位相成分を持つ高感度偏光特性モデルを、高感度偏光画像における飽和を生じていない複数偏光方向の輝度を用いて算出する。具体的には、高感度成分取得部３３-1は、高感度非飽和集合ＳＧ(i,j)の複数要素を用いて、高感度偏光特性モデルを示す式（３）の係数Ａg(i,j)，Ｂg(i,j)を算出する。
Ｇm(i,j)＝Ａg(i,j)［１＋ｃｏｓ（２θm＋２θf(i,j)）］＋Ｂg(i,j)
・・・（３）

式（３）において、「θf(i,j)」は低感度偏光特性モデル算出部３１で算出されている。したがって、係数Ａg(i,j)，Ｂg(i,j)を算出するには、高感度非飽和集合ＳＧ(i,j)に複数の要素が含まれていればよい。高感度成分取得部３３-1は、算出した係数Ａg(i,j)，Ｂg(i,j)を用いた高感度偏光特性モデルに基づき偏光成分を取得する。

例えば後述する図３のように、注目画素(i,j)における偏光方向θ2（ｍ＝２），θ3（ｍ＝３）で輝度が非飽和状態である場合（Ｇ2(i,j)＝ｇ2，Ｇ3(i,j)＝ｇ3）、式（４）の二元連立方程式を解くことで係数Ａg(i,j)，Ｂg(i,j)を算出できる。
Ｇ2(i,j)＝Ａg(i,j)［１＋ｃｏｓ（２θ2＋２θf(i,j)）］＋Ｂg(i,j)
Ｇ3(i,j)＝Ａg(i,j)［１＋ｃｏｓ（２θ3＋２θf(i,j)）］＋Ｂg(i,j)
・・・（４）

高感度成分取得部３３-1は、算出した係数Ａg(i,j)，Ｂg(i,j)を式（３）に代入することで、高感度偏光特性モデルの算出を行う。また、高感度成分取得部３３-1は、高感度偏光特性モデルから例えば振幅を算出して高感度偏光画像における偏光成分とする。また、高感度成分取得部３３-1は、高感度偏光特性モデルから例えば最小値を算出して高感度偏光画像における無偏光成分とする。なお、高感度成分取得部３３-1は、高感度偏光特性モデルの平均値を算出して高感度無偏光画像を生成してもよい。

次に、第１の実施の形態の動作について説明する。図３は注目画素における偏光方向毎の輝度を例示している。低感度撮像部２１では例えば入射光量が制限されるため、入射光が強くても輝度は飽和することがない。しかし、高感度撮像部２２では入射光量が制限されないため、入射光が強いと注目画素の輝度は飽和してしまう。例えば図３では、偏光方向θ0と偏光方向θ1で輝度が飽和した場合を例示している。図３において、注目画素における偏光方向θ0の輝度ｇ0は飽和して輝度ｇ'0、偏光方向θ1の輝度ｇ1は飽和して輝度ｇ'1となっている。なお、飽和レベルを閾値Ｔｈとする場合、輝度ｇ'0，ｇ'1は閾値Ｔｈと等しい。

偏光画像処理部３０-1の低感度偏光特性モデル算出部３１は、低感度偏光画像の注目画素における偏光方向毎の輝度ｆ0，ｆ1，ｆ2，ｆ3に基づき係数Ａf，Ｂf，θfを算出する。すなわち、低感度偏光特性モデル算出部３１は、図４に示す低感度偏光特性モデルＦf（θ）を算出する。

非飽和偏光画像抽出部３２は、高感度偏光画像の注目画素における偏光方向毎の輝度と閾値Ｔｈを比較して、飽和していない偏光方向の輝度からなる高感度非飽和集合を生成する。例えば、高感度偏光画像の注目画素における偏光方向毎の輝度がｇ0，ｇ1，ｇ2，ｇ3であり、ｇ2，ｇ3が閾値Ｔｈよりも小さい場合、高感度非飽和集合は、偏光方向θ2の輝度ｇ2と偏光方向θ3の輝度ｇ3で構成される。

高感度成分取得部３３-1は、高感度偏光画像の注目画素における高感度非飽和集合の輝度ｇ2，ｇ3に基づき係数Ａf，Ｂfを算出する。すなわち、低感度偏光特性モデルと高感度偏光特性モデルの位相は一致していることから、高感度成分取得部３３-1は、係数Ａf，Ｂfを算出して式（３）に代入することで、図４に示す高感度偏光特性モデルＦg（θ）を算出する。さらに、高感度成分取得部３３-1は、高感度偏光特性モデルＦg（θ）の振幅を偏光成分として出力する。また、高感度成分取得部３３-1は、高感度偏光特性モデルＦg（θ）の最小値を無偏光成分として出力する。

偏光画像処理部３０-1は、注目画素の位置を順次移動して、低感度偏光特性モデル算出部３１と非飽和偏光画像抽出部３２および高感度成分取得部３３-1で上述の処理を繰り返すことで、高感度画像の偏光特性に基づいた被写体の無偏光成分または偏光成分の画像を出力する。

図５は、第１の実施の形態の動作を示すフローチャートである。ステップＳＴ１で画像処理装置１０-1は低感度偏光画像と高感度偏光画像を取得する。画像処理装置１０-1は、複数偏光方向の画素例えば３方向以上の偏光方向の画素からなる低感度偏光画像と、この低感度偏光画像よりも高感度である高感度偏光画像を取得してステップＳＴ２に進む。

ステップＳＴ２で画像処理装置１０-1は、低感度偏光特性モデルを算出する。画像処理装置１０-1は、複数偏光方向の低感度偏光画像の輝度を用いて偏光特性モデルへのフィッティングを行い、低感度偏光特性モデルを算出してステップＳＴ３に進む。

ステップＳＴ３で画像処理装置１０-1は、高感度非飽和集合を生成する。画像処理装置１０-1は、高感度偏光画像から非飽和状態の偏光方向の輝度を抽出して高感度非飽和集合を生成してステップＳＴ４に進む。

ステップＳＴ４で画像処理装置１０-1は、高感度非飽和集合を用いて高感度偏光特性モデルを算出する。画像処理装置１０-1は、高感度非飽和集合に含まれている複数偏光方向の輝度を用いて上述のように係数Ａf，Ｂfを算出する。画像処理装置１０-1は、ステップＳＴ２で算出した低感度偏光特性モデルにおける係数Ａf，Ｂfに替えて、算出した係数Ａg，Ｂgを用いることで高感度偏光特性モデルの算出を行いステップＳＴ５に進む。

ステップＳＴ５で画像処理装置１０-1は、高感度成分を取得する。画像処理装置１０-1は、高感度偏光特性モデルの振幅値を偏光成分、高感度偏光特性モデルの最小値を無偏光成分として取得する。また、画像処理装置１０-1は、高感度偏光特性モデルに基づいて取得した偏光成分および／または無偏光成分を出力する。

画像処理装置１０-1は、注目画素の位置を順次移動して、上述の処理を注目画素毎に行い、高感度画像の偏光特性に基づいた被写体の無偏光成分または偏光成分の画像を出力する。

また、高感度成分取得部３３-1は、高感度偏光画像において偏光方向毎の輝度が全て飽和状態または非飽和状態である場合、それぞれの状態に応じた偏光特性モデルから偏光成分や無偏光成分を取得する。図６は、偏光方向毎の輝度が全て飽和状態または非飽和状態である場合を例示している。図６の（ａ）に示すように、高感度偏光画像において各偏光方向の輝度が全て飽和していない場合、高感度非飽和集合に含まれる各偏光方向の輝度から係数Ａg(i,j)，Ｂg(i,j)，θf(i,j)を算出して、高感度偏光特性モデルを算出してもよい。さらに、高感度成分取得部３３-1は、図６の（ｂ）に示すように、高感度偏光画像において各偏光方向の輝度が全て飽和している場合、低感度偏光特性モデルから、偏光成分や無偏光成分を取得する。

図７は、第１の実施の形態の他の動作を示すフローチャートである。ステップＳＴ１１で画像処理装置１０-1は低感度偏光画像と高感度偏光画像を取得する。画像処理装置１０-1は、複数の異なる偏光方向の画素例えば３方向以上の偏光方向の画素からなる低感度偏光画像と、この低感度偏光画像よりも高感度である高感度偏光画像を取得してステップＳＴ１２に進む。

ステップＳＴ１２で画像処理装置１０-1は、高感度偏光画像の偏光方向毎の輝度が全て飽和状態または非飽和状態か判別する。画像処理装置１０-1は、輝度が全て飽和状態または非飽和状態である場合にステップＳＴ１７に進み、飽和状態と非飽和状態の輝度を含む場合にステップＳＴ１３に進む。

ステップＳＴ１３で画像処理装置１０-1は、非飽和状態の輝度が複数偏光方向であるか判別する。画像処理装置１０-1は、非飽和状態の輝度が複数偏光方向である場合にステップＳＴ１４に進み、非飽和状態の輝度が１つの偏光方向のみである場合にステップＳＴ１８に進む。

ステップＳＴ１４で画像処理装置１０-1は、低感度偏光特性モデルを算出する。画像処理装置１０-1は、複数偏光方向の低感度偏光画像の輝度を用いて偏光特性モデルへのフィッティングを行い、低感度偏光特性モデルを算出してステップＳＴ１５に進む。

ステップＳＴ１５で画像処理装置１０-1は、高感度非飽和集合を生成する。画像処理装置１０-1は、高感度偏光画像から非飽和状態の輝度を抽出して高感度非飽和集合を生成してステップＳＴ１６に進む。

ステップＳＴ１６で画像処理装置１０-1は、高感度非飽和集合を用いて高感度偏光特性モデルを算出する。画像処理装置１０-1は、高感度非飽和集合に含まれている複数偏光方向の輝度を用いて上述のように係数Ａf，Ｂfを算出する。画像処理装置１０-1は、ステップＳＴ１４で算出した低感度偏光特性モデルにおける係数Ａf，Ｂfに替えて、算出した係数Ａg，Ｂgを用いることで高感度偏光特性モデルの算出を行いステップＳＴ２０に進む。

ステップＳＴ１２からステップＳＴ１７に進むと画像処理装置１０-1は、全て飽和状態であるか判別する。画像処理装置１０-1は、偏光方向毎の輝度が全て飽和状態であると判別した場合にステップＳＴ１８に進み、全て非飽和状態と判別した場合にステップＳＴ１９に進む。

ステップＳＴ１３またはステップＳＴ１７からステップＳＴ１８に進むと、画像処理装置１０-1は、低感度偏光特性モデルを算出する。画像処理装置１０-1は、複数偏光方向の低感度偏光画像を用いて偏光特性モデルへのフィッティングを行い、低感度偏光特性モデルを算出してステップＳＴ２０に進む。

ステップＳＴ１７からステップＳＴ１９に進むと、画像処理装置１０-1は、高感度偏光特性モデルを算出する。画像処理装置１０-1は、複数偏光方向の高感度偏光画像を用いて偏光特性モデルへのフィッティングを行い、高感度偏光特性モデルを算出してステップＳＴ２０に進む。

ステップＳＴ２０で画像処理装置１０-1は、高感度成分を取得する。画像処理装置１０-1は、ステップＳＴ１６またはステップＳＴ１８あるいはステップＳＴ１９で作成した偏光特性モデルの振幅を偏光成分、偏光特性モデルの最小値を無偏光成分として取得する。また、画像処理装置１０-1は、偏光特性モデルに基づいて取得した偏光成分および／または無偏光成分を出力する。

画像処理装置１０-1は、図７に示す処理を行うことで、各偏光方向の輝度が全て飽和状態あるいは非飽和状態であっても、偏光成分および／または無偏光成分を偏光に関する成分として出力できる。

このように、第１の実施の形態によれば、高感度偏光画像において一部の偏光方向の偏光画像が飽和を生じても、低感度偏光特性モデルと高感度偏光画像に基づき高感度偏光特性モデルを算出できる。このため、被写体の偏光特性を高感度に求めることができるようになる。また、高感度偏光特性モデルに基づき偏光成分や無偏光成分を高感度に取得できることから、例えば画質の良好な無偏光画像を得られるようになる。

＜２．第２の実施の形態＞
次に第２の実施の形態について説明する。図８は、本技術の第２の実施の形態の構成を示している。画像処理装置１０-2は、撮像部２０-2と偏光画像処理部３０-2を有している。

撮像部２０-2は、第１の実施の形態と同様に、低感度撮像部２１と低感度撮像部２１よりも高感度である高感度撮像部２２を有しており、低感度撮像部２１と高感度撮像部２２は、第１の実施の形態と同様に構成されている。

低感度撮像部２１は、入射光が高輝度であってもイメージセンサから出力される画像信号は、飽和しないように構成されている。例えば、イメージセンサまたは偏光フィルタの入射面側に入射光量を制限する光量制限部を設けて、画像信号が飽和しないように構成されている。低感度撮像部２１は、生成した偏光画像の画像信号を偏光画像処理部３０-2へ出力する。

高感度撮像部２２は、低感度撮像部２１と同様に、イメージセンサの入射面に、３方向以上の偏光方向の画素構成とされた偏光フィルタを配置した構成とされている。高感度撮像部２２は、例えば光量制限部を設けない構成として、低感度撮像部２１よりも高感度とされている。高感度撮像部２２は、生成した偏光画像の画像信号を偏光画像処理部３０-2へ出力する。

偏光画像処理部３０-2は、被写体を低感度撮像部２１で撮像して得られた複数偏光方向の低感度偏光画像と、低感度偏光画像より高感度である高感度撮像部２２で得られた高感度画像例えば複数偏光方向の高感度偏光画像に基づいて高感度画像の偏光特性を求める。また、偏光画像処理部３０-2は、求めた高感度画像の偏光特性に基づき被写体の無偏光成分または偏光成分を取得する。

偏光画像処理部３０-2は、低感度偏光特性モデル算出部３１と非飽和偏光画像抽出部３２と高感度成分取得部３３-2を有している。偏光画像処理部３０-2は、偏光成分の偏光方向と輝度の関係を示す低感度偏光特性モデルと同じ位相成分を持ち、低感度偏光特性モデルと高感度偏光特性モデルにおける振幅とオフセットの和との比が、高感度偏光画像と低感度偏光画像の対応する輝度の比と等しくなる高感度偏光特性モデルを算出する。

低感度偏光特性モデル算出部３１は、第１の実施の形態と同様に、低感度撮像部２１で生成された偏光方向が４方向である低感度偏光画像の注目画素(i,j)の輝度Ｆm(i,j)から偏光特性モデルの係数Ａf(i,j)，Ｂｆ(i,j),θf(i,j)を算出する。

非飽和偏光画像抽出部３２は、第１の実施の形態と同様に、高感度撮像部２２で生成された偏光方向が４方向である高感度偏光画像の注目画素(i,j)の輝度Ｇm(i,j)から、非飽和状態である偏光方向の輝度を抽出して高感度非飽和集合を生成する。

高感度成分取得部３３-2は、高感度偏光画像における飽和していない偏光方向の輝度と、低感度偏光画像において対応する偏光方向の輝度との関係を利用して、高感度偏光特性モデルを算出する。

ここで、低感度偏光特性モデルと高感度偏光特性モデルにおける振幅とオフセットの和との比、すなわち高感度偏光画像における飽和していない輝度Ｇm(i,j)と、低感度偏光画像において対応する位相の輝度Ｆm(i,j)との比は、式（５）のように表される。
Ｇm(i,j)＝ＣfgＦm(i,j) ・・・（５）

したがって、高感度成分取得部３３-2は、式（５）に示す関係を利用して、式（１）に示す低感度偏光特性モデルから式（６）に示す高感度偏光特性モデルを算出する。
Ｇm(i,j)＝Ｃfg［Ａg(i,j)［１＋ｃｏｓ（２θm＋２θf(i,j)）］＋Ｂg(i,j)]
・・・（６）

高感度成分取得部３３-2は、高感度偏光特性モデルから例えば振幅を算出して高感度偏光画像における偏光成分とする。また、高感度成分取得部３３-2は、高感度偏光特性モデルから例えば最小値を算出して高感度偏光画像における無偏光成分とする。なお、高感度成分取得部３３-2は、高感度偏光特性モデルの平均値を算出して高感度無偏光画像を生成してもよい。

次に、第２の実施の形態の動作について説明する。低感度偏光画像における注目画像の偏光方向と輝度の関係、および高感度偏光画像における注目画像の偏光方向と輝度の関係は、第１の実施の形態と同様に図３に例示した関係とする。

偏光画像処理部３０-2の低感度偏光特性モデル算出部３１は、低感度偏光画像の注目画素における偏光方向毎の輝度ｆ0，ｆ1，ｆ2，ｆ3に基づき係数Ａf，Ｂf,θfを算出する。すなわち、低感度偏光特性モデル算出部３１は、図９に示す低感度偏光特性モデルＦf（θ）を算出する。

非飽和偏光画像抽出部３２は、高感度偏光画像の注目画素における偏光方向毎の輝度と閾値Ｔｈを比較して、飽和していない偏光方向の輝度からなる高感度非飽和集合を生成する。例えば、図３に示すように、高感度偏光画像の注目画素における偏光方向毎の輝度がｇ0，ｇ1，ｇ2，ｇ3であり、ｇ2，ｇ3が閾値Ｔｈよりも小さい場合、高感度非飽和集合は、偏光方向θ2の輝度ｇ2と偏光方向θ3の輝度ｇ3で構成される。

高感度成分取得部３３-2は、低感度偏光特性モデルと高感度偏光特性モデルにおける振幅とオフセットの和との比を利用して、高感度偏光画像における飽和していない輝度と低感度偏光特性モデルに基づき高感度偏光特性モデルを算出する。

ここで、図９において、高感度偏光画像における飽和していない例えば輝度ｇ3と、低感度偏光画像において対応する位相の輝度ｆ3との関係を示す係数Ｃfgは「Ｃfg＝ｇ3／ｆ3」となる。高感度成分取得部３３-2は、係数Ｃfgと式（１）に基づき図９に示す高感度偏光特性モデルＦg（θ）の算出を行う。さらに、高感度成分取得部３３-2は、高感度偏光特性モデルＦg（θ）の振幅を偏光成分として出力する。また、高感度成分取得部３３-2は、高感度偏光特性モデルＦg（θ）の最小値を無偏光成分として出力する。

偏光画像処理部３０-2は、注目画素の位置を順次移動して、低感度偏光特性モデル算出部３１と非飽和偏光画像抽出部３２および高感度成分取得部３３-2で上述の処理を繰り返すことで、高感度画像の偏光特性に基づいた被写体の無偏光成分または偏光成分の画像を出力する。

図１０は、第２の実施の形態の動作を示すフローチャートである。ステップＳＴ３１で画像処理装置１０-2は低感度偏光画像と高感度偏光画像を取得する。画像処理装置１０-2は、複数の異なる偏光方向の画素例えば３方向以上の偏光方向の画素からなる低感度偏光画像と、この低感度偏光画像よりも高感度である高感度偏光画像を取得してステップＳＴ３２に進む。

ステップＳＴ３２で画像処理装置１０-2は、低感度偏光特性モデルを算出する。画像処理装置１０-2は、複数偏光方向の低感度偏光画像の輝度を用いて偏光特性モデルへのフィッティングを行い、低感度偏光特性モデルを算出してステップＳＴ３３に進む。

ステップＳＴ３３で画像処理装置１０-2は、高感度非飽和集合を生成する。画像処理装置１０-2は、高感度偏光画像から非飽和状態の偏光方向の輝度を抽出して高感度非飽和集合を生成してステップＳＴ３４に進む。

ステップＳＴ３４で画像処理装置１０-2は、非飽和状態である１つの偏光方向の輝度を用いて高感度偏光特性モデルを算出する。画像処理装置１０-2は、非飽和状態である１つの偏光方向の輝度を用いて上述のように係数Ｃfgを算出する。画像処理装置１０-2は、ステップＳＴ３２で算出した低感度偏光特性モデルに係数Ｃfgを乗算することで高感度偏光特性モデルの算出を行いステップＳＴ３５に進む。

ステップＳＴ３５で画像処理装置１０-2は、高感度成分を取得する。画像処理装置１０-2は、高感度偏光特性モデルの振幅値を偏光成分、高感度偏光特性モデルの最小値を無偏光成分として取得する。また、画像処理装置１０-2は、偏光特性モデルに基づき取得した偏光成分および／または無偏光成分を出力する。

画像処理装置１０-2は、注目画素の位置を順次移動して、上述の処理を注目画素毎に行い、高感度画像の偏光特性に基づいた被写体の無偏光成分または偏光成分の画像を出力する。

また、高感度成分取得部３３-2は、高感度偏光画像において各偏光方向の輝度が全て飽和していない場合、高感度非飽和集合に含まれる各偏光方向の輝度から係数Ａg(i,j)，Ｂg(i,j)，θf(i,j)を算出することで、高感度偏光特性モデルを求めてもよい。さらに、高感度成分取得部３３-2は、高感度偏光画像において各偏光方向の輝度が全て飽和している場合、低感度偏光特性モデルから、偏光成分や無偏光成分を取得する。この場合、画像処理装置１０-2は、図７に示す第１の実施の形態の他の動作を同様な処理を行う。なお、第２の実施の形態では非飽和状態の輝度が１つの偏光方向であっても高感度偏光特性モデルを算出できることから、図７におけるステップＳＴ１３と同様な処理を行う必要がない。

このように、第２の実施の形態によれば、第１の実施の形態と同様に、高感度偏光画像において一部の偏光方向の偏光画像が飽和を生じても、低感度偏光特性モデルと高感度偏光画像に基づき高感度偏光特性モデルを算出できる。このため、被写体の偏光特性を高感度に求めることができるようになる。また、高感度偏光特性モデルに基づき偏光成分や無偏光成分を高感度に取得できることから、例えば画質の良好な無偏光画像を得られるようになる。さらに、第２の実施の形態では、高感度偏光画像における１つ偏光方向の画像で非飽和状態の輝度が得られていれば高感度偏光特性モデルを算出できるので、第１の実施の形態に比べて適用範囲を広くできる。

＜３．第３の実施の形態＞
次に第３の実施の形態について説明する。図１１は、本技術の第３の実施の形態の構成を示している。画像処理装置１０-3は、撮像部２０-3と偏光画像処理部３０-3を有している。

撮像部２０-3は、低感度撮像部２１と、低感度撮像部２１よりも高感度である高感度撮像部２３を有している。

低感度撮像部２１は、第１の実施の形態と同様に構成されている。低感度撮像部２１は、入射光が高輝度であってもイメージセンサから出力される画像信号は、飽和しないように構成されている。例えば、イメージセンサまたは偏光フィルタの入射面側に入射光量を制限する光量制限部を設けて、画像信号が飽和しないように構成されている。低感度撮像部２１は、生成した偏光画像の画像信号を偏光画像処理部３０-3へ出力する。

高感度撮像部２３は、光量制限部や偏光フィルタを用いることなく撮像を行い、低感度撮像部２１よりも高感度の無偏光画像を生成する。高感度撮像部２３は、生成した高感度無偏光画像の画像信号を偏光画像処理部３０-3へ出力する。

偏光画像処理部３０-3は、被写体を低感度撮像部２１で撮像して得られた複数偏光方向の低感度偏光画像と、低感度偏光画像よりも高感度である高感度撮像部２３で得られた高感度画像例えば高感度無偏光画像に基づいて高感度画像の偏光特性を求める。また、偏光画像処理部３０-3は、求めた高感度画像の偏光特性に基づき被写体の無偏光成分または偏光成分を取得する。

偏光画像処理部３０-3は、低感度偏光特性モデル算出部３１と高感度成分取得部３３-3を有している。偏光画像処理部３０-3は、低感度偏光特性モデルの平均値と高感度画像の輝度との比に基づいて、低感度偏光特性モデルから高感度偏光特性モデルを算出する。

低感度偏光特性モデル算出部３１は、第１の実施の形態と同様に、低感度撮像部２１で生成された偏光方向が４方向である低感度偏光画像の注目画素(i,j)の輝度Ｆm(i,j)から低感度偏光特性モデルの係数Ａf(i,j)，Ｂf(i,j),θf(i,j)を算出する。

高感度成分取得部３３-3は、低感度偏光画像における偏光方向毎の輝度の平均値を利用して、高感度偏光特性モデルを算出する。低感度偏光画像における偏光方向毎の輝度を平均化して得られる画像は低感度輝度無偏光画像に相当する。したがって、注目画素(i,j)において高感度無偏光画像の輝度Ｈ(i,j)と低感度無偏光画像の平均値Ｆavg(i,j)との関係は式（７）として表すことができる。
Ｈ(i,j)＝ＣfhＦavg(i,j) ・・・（７）

したがって、高感度成分取得部３３-3は、低感度偏光特性モデルと位相が等しい偏光特性モデルであって、低感度偏光特性モデルの平均値Ｆavg(i,j)の位相で輝度Ｈ(i,j)を示す偏光特性モデルを高感度偏光特性モデルとして算出する。すなわち、式（８）に示す偏光特性モデルを高感度偏光特性モデルとする。
Ｈ(i,j)＝Ｃfh［Ａf(i,j)｛１＋ｃｏｓ（２θm＋２θf(i,j)）｝＋Ｂf(i,j)］
・・・（８）

高感度成分取得部３３-3は、高感度特性モデルの例えば振幅を偏光成分とする。また、高感度成分取得部３３-3は、高感度特性モデルの例えば最小値を無偏光成分とする。

次に、第３の実施の形態の動作について説明する。図１２は、低感度偏光画像における注目画像の偏光方向毎の輝度を例示している。なお、輝度ｈqは、高感度無偏光画像における注目画素の輝度を示している。

偏光画像処理部３０-3の低感度偏光特性モデル算出部３１は、低感度偏光画像の注目画素における偏光方向毎の輝度ｆ0，ｆ1，ｆ2，ｆ3に基づき係数Ａf，Ｂf,θfを算出する。すなわち、低感度偏光特性モデル算出部３１は、図１３に示す低感度偏光特性モデルＦf（θ）の算出を行う。

高感度成分取得部３３-3は、低感度偏光特性モデルの平均値と高感度無偏光画像の輝度との関係を利用して、高感度偏光特性モデルを取得する。

ここで、図１３に示すように、注目画素について、低感度偏光画像に基づく平均値がｆavgであり、高感度無偏光画像の輝度がｈqであるから、係数Ｃfhは、「Ｃfh＝ｈq／ｆavg」となる。高感度成分取得部３３-3は、係数Ｃfhと式（１）に基づき図１３に示す高感度偏光特性モデルＦg（θ）の算出を行う。さらに、高感度成分取得部３３-3は、高感度偏光特性モデルＦg（θ）の振幅を偏光成分として出力する。また、高感度成分取得部３３-3は、高感度偏光特性モデルＦg（θ）の最小値を無偏光成分として出力する。

偏光画像処理部３０-3は、注目画素の位置を順次移動して、低感度偏光特性モデル算出部３１と高感度成分取得部３３-3で上述の処理を繰り返すことで、高感度画像の偏光特性に基づいた被写体の無偏光成分または偏光成分の画像を出力する。

図１４は、第３の実施の形態の動作を示すフローチャートである。ステップＳＴ４１で画像処理装置１０-3は低感度偏光画像と高感度無偏光画像を取得する。画像処理装置１０-3は、複数の異なる偏光方向の画素例えば３方向以上の偏光方向の画素からなる低感度偏光画像と、この低感度偏光画像よりも高感度で無偏光の高感度無偏光画像を取得してステップＳＴ４２に進む。

ステップＳＴ４２で画像処理装置１０-3は、低感度偏光特性モデルを算出する。画像処理装置１０-3は、複数偏光方向の低感度偏光画像の輝度を用いて偏光特性モデルへのフィッティングを行い、低感度偏光特性モデルを算出してステップＳＴ４３に進む。

ステップＳＴ４３で画像処理装置１０-3は、低感度偏光画像から平均値画像を生成する。画像処理装置１０-3は、低感度偏光画像において、異なる偏光方向の輝度を平均化して平均値画像を生成してステップＳＴ４４に進む。

ステップＳＴ４４で画像処理装置１０-3は、高感度偏光特性モデルを算出する。画像処理装置１０-3は、平均値画像の輝度を高感度無偏光画像の輝度と等しくする係数Ｃfhを算出する。画像処理装置１０-3は、算出した係数ＣfhをステップＳＴ４２で作成した低感度偏光特性モデルに乗算することで高感度偏光特性モデルの算出を行いステップＳＴ４５に進む。

ステップＳＴ４５で画像処理装置１０-3は、高感度成分を取得する。画像処理装置１０-3は、高感度偏光特性モデルの振幅値を偏光成分、高感度偏光特性モデルの最小値を無偏光成分として取得する。また、画像処理装置１０-3は、偏光特性モデルに基づき取得した偏光成分および／または無偏光成分を出力する。

画像処理装置１０-3は、注目画素の位置を順次移動して、上述の処理を注目画素毎に行い、高感度画像の偏光特性に基づいた被写体の無偏光成分または偏光成分の画像を出力する。

このように、第３の実施の形態によれば、低感度偏光特性モデルと高感度無偏光画像に基づき高感度偏光特性モデルを算出できる。このため、被写体の偏光特性を高感度に求めることができるようになる。また、高感度偏光特性モデルに基づき偏光成分や無偏光成分を高感度に取得できることから、例えば画質の良好な無偏光画像を得られるようになる。さらに、第３の実施の形態では、高感度画像として偏光画像を用いることなく高感度偏光特性モデルを算出できるので、第１の実施の形態や第２の実施の形態に比べて撮像部を容易に構成できる。

＜４．他の実施の形態＞
ところで上述の実施の形態の撮像部では、低感度撮像部に光量制限部を設けて低感度偏光画像を生成する場合について説明したが、撮像部は低感度偏光画像と高感度偏光画像（または高感度無偏光画像）を取得できる構成であれば、上述の構成に限られない。例えば露光時間を調整して、低感度偏光画像と高感度偏光画像（または高感度無偏光画像）を取得してもよい。

図１５は、画像処理装置に撮像部の露光時間を制御して低感度偏光画像と高感度画像を生成させる撮像制御部を設けた場合の構成を例示している。画像処理装置１０-4は、撮像部２０-4と偏光画像処理部３０-4を有している。

撮像部２０-4は、第１および第２の実施の形態と同様に構成された低感度撮像部２１-4と、低感度撮像部２１-4よりも高感度である高感度撮像部２２-4を有している。低感度撮像部２１-4と高感度撮像部２２-4は、偏光画像処理部３０-4の撮像制御部３５から露光時間が制御可能とされている。

低感度撮像部２１-4は、入射光が高輝度であってもイメージセンサから出力される画像信号は、偏光方向が３方向で非飽和状態となるように、撮像制御部３５で露光時間が調整されている。低感度撮像部２１-4は、生成した偏光画像の画像信号を偏光画像処理部３０-2へ出力する。

高感度撮像部２２-4は、入射光が高輝度であってもイメージセンサから出力される画像信号は、偏光方向が１方向以上で非飽和状態となるように、撮像制御部３５で露光時間が調整されている。高感度撮像部２２-4は、生成した偏光画像の画像信号を偏光画像処理部３０-4へ出力する。

偏光画像処理部３０-4は、被写体を低感度撮像部２１で撮像して得られた複数偏光方向の低感度偏光画像と、低感度偏光画像より高感度である高感度撮像部２２で得られた高感度画像例えば複数偏光方向の高感度偏光画像に基づいて高感度画像の偏光特性を求める。また、偏光画像処理部３０-4は、求めた高感度画像の偏光特性に基づき被写体の無偏光成分または偏光成分を取得する。さらに、偏光画像処理部３０-4は、撮像部２０-4の露光制御を行う。偏光画像処理部３０-4は、低感度偏光特性モデル算出部３１-4と非飽和偏光画像抽出部３２-4と高感度成分取得部３３-4および撮像制御部３５を有している。

低感度偏光特性モデル算出部３１-4は、第１の実施の形態と同様に、低感度撮像部２１-4で生成された低感度偏光画像に基づき低感度偏光特性モデルを算出する。また、低感度偏光特性モデル算出部３１-4は、非飽和状態である偏光方向を撮像制御部３５へ通知する。

非飽和偏光画像抽出部３２-4は、第１の実施の形態と同様に、高感度撮像部２２-4で生成された高感度偏光画像から高感度非飽和集合を算出する。非飽和偏光画像抽出部３２-4は、算出した高感度非飽和集合を高感度成分取得部３３-4へ出力する。また、非飽和偏光画像抽出部３２-4は、非飽和状態である偏光方向を撮像制御部３５へ通知する。

高感度成分取得部３３-4は、第１の実施の形態の高感度成分取得部３３-1または第２の実施の形態の高感度成分取得部３３-2と同様な処理を行い、高感度偏光画像の偏光特性を示す偏光特性モデルを算出する。

撮像制御部３５は、低感度偏光特性モデル算出部３１-4と非飽和偏光画像抽出部３２-4から通知された非飽和状態の偏光方向が、低感度偏光画像では３方向以上で非飽和状態となり、高感度偏光画像では１方向以上で非飽和状態となるように露光時間を制御する。

図１６は、露光時間を調整して低感度偏光画像と高感度偏光画像（または高感度無偏光画像）を取得する場合の動作を例示している。なお、図１６の（ａ）は低感度撮像部の露光期間、図１６の（ｂ）は高感度撮像部の露光期間を例示している。低感度撮像部と高感度撮像部は、例えばフレーム毎に撮像を行い、低感度撮像部は、高感度撮像部よりも露光時間を短くして、輝度が非飽和状態となる偏光方向を３方向以上とする。また、高感度撮像部は、高感度撮像部よりも露光時間を長くして、輝度が非飽和状態となる偏光方向を１方向以上とする。このように露光時間を制御すれば、複数偏光方向の低感度偏光画像と低感度偏光画像よりも高感度である高感度画像に基づいて高感度画像の偏光特性を、反射光の強度等にかかわらず求めることができる。

また、上述の実施の形態では、低感度撮像部と高感度撮像部を別個に設ける場合を示したが、１つの撮像部で低感度偏光画像と高感度偏光画像を生成してもよい。１つの撮像部で低感度偏光画像と高感度偏光画像を生成する場合、撮像制御部は例えばフレーム毎に露光時間を切り換える。図１７は、露光時間を切り換えて低感度偏光画像と高感度偏光画像を交互に生成する場合の動作を例示している。奇数フレームでは、輝度が非飽和状態となる偏光方向を３方向以上とする露光時間で低感度偏光画像を生成する。また、偶数フレームでは、低感度偏光画像の生成時における露光時間よりも長い露光時間、例えば輝度が非飽和状態となる偏光方向を１方向以上とする露光期間で高感度偏光画像を生成する。このように、露光時間を切り換えることで、１つの撮像部で低感度偏光画像と高感度偏光画像を交互に生成できる。また、１つの撮像部で低感度偏光画像と高感度偏光画像を交互に生成すると、低感度偏光画像と高感度偏光画像は、位置の等しい画素が被写体の同一位置を示すことになる。このため、等しい画素位置の低感度偏光画像と高感度偏光画像を用いて高感度偏光特性モデルの算出が可能となり、例えば低感度撮像部と高感度撮像部で被写体を画像上の同一位置とする設定等を行う必要がなく、容易に高感度偏光特性モデルを算出できる。

また、１つの撮像部で低感度偏光画像と高感度偏光画像を生成する場合、画素毎に異なる感度を有する構成として、低感度偏光画像と高感度偏光画像を同時に生成できるようにしてもよい。図１８は、低感度偏光画像と高感度偏光画像を同時に生成する撮像部の構成を例示している。撮像部２０ａにおいて、イメージセンサ２１０の入射面には偏光フィルタ２１１と光量制限部（ＮＤフィルタ）２１３が設けられている。偏光フィルタ２１１は、３方向以上の偏光方向の画素構成とされた偏光フィルタ２１１を配置した構成とされている。なお、図１８では、偏光方向が画素単位で偏光方向θ0（例えば０°），θ1（例えば４５°），θ2（例えば９０°），θ3（例えば１３５°）の４方向とされている２×２画素のブロックを隣接して複数設けた偏光フィルタ２１１を用いる場合を例示している。光量制限部２１３は、偏光子ユニット単位で光量を制限するように構成されている。また、光量制限部は第１光量制限部ＮＤ1と第１光量制限部よりも光量の制限量が大きい第２光量制限部ＮＤ2を千鳥状に配置した構成とされている。このような撮像部２０ａを用いることで、低感度偏光画像と高感度偏光画像を生成できる。なお、この場合、低感度偏光画像と高感度偏光画像は、画素の位置が一致していないことから、補間処理等を行い画素毎に低感度偏光画像と高感度偏光画像の輝度を得るようにしてもよい。

ところで、上述の実施の形態では、低感度偏光画像や高感度偏光画像および高感度無偏光画像が白黒画像である場合を例示したが、偏光画像や無偏光画像としてカラー画像を生成してもよい。この場合、撮像部ではカラーモザイクフィルタを用いて、例えば赤色画素と緑色画素と青色画素の画素信号を生成する。図１９は、カラーモザイクフィルタと偏光パターンを例示している。なお、図１９の（ａ）〜（ｆ）はカラーパターン、図１９の（ｇ），（ｈ）は偏光パターンを例示しており、図１９の（ｇ），（ｈ）では矢印で偏光方向を示している。

カラーパターンは、図１９の（ａ）に示すように，２×２画素を１つの色成分単位として、２×２色成分単位を１つの赤色成分単位と青色成分単位および２つの緑色成分単位で構成して繰り返し設けた配列や、色成分単位が１画素である図１９の（ｂ）に示すＢａｙｅｒ配列を用いる。また、図１９の（ｃ）に示すように、図１９の（ａ）に示す２つの緑色成分単位の１つを白色画素とした構成であってもよく、図１９の（ｄ）に示すようにＢａｙｅｒ配列に白色画素を混載した構成であってもよい。さらに、夜間等でも高感度な撮像を可能するため、図１９の（ｅ）に示すように例えばＢａｙｅｒ配列に赤外（ＩＲ）画素を混在した構成であってもよい。また、図１９の（ｆ）は白色画素で構成した場合を示している。なお、図１９では、赤色画素を「Ｒ」、緑色画素を「Ｇ」、青色画素を「Ｂ」、白色画素を「Ｗ」、赤外画素を「ＩＲ」として示している。

偏光パターンは、図１９の（ｇ）に示すように２×２画素の画素単位を異なる偏光方向の画素で構成してもよく、図１９の（ｈ）に示すように２×２画素の画素単位を偏光単位として、２×２偏光単位を異なる偏光方向で構成してもよい。

カラーパターンと偏光パターンは、色成分毎に４つの偏光成分が得られるように組み合わせて用いる。例えば、カラーモザイクフィルタが図１９の（ａ），（ｃ）の場合、図１９の（ｇ）に示す偏光パターンを用いる。また、カラーモザイクフィルタが図１９の（ｂ），（ｄ），（ｅ）の場合、図１９の（ｈ）に示す偏光パターンを用いる。さらに、カラーモザイクフィルタが図１９の（ａ），（ｃ）の場合、左右および上下方向に１画素分だけ位相をずらして図１９の（ｈ）に示す偏光パターンを用いるようにしてもよい。また、カラーデモザイクフィルタを用いた場合、同じ色成分で同じ偏光方向の輝度を用いて補間処理等を行えば、それぞれの画素位置で各偏光成分の輝度を色成分毎に生成できる。したがって、色成分毎に上述の実施の形態の処理を行い、高感度偏光特性モデルを作成して、色成分毎に偏光成分と無偏光成分を取得することが可能となり、高画質の色成分毎の無偏光画像や、高画質の色成分毎の無偏光画像からカラー無偏光画像を生成できる。

また、上述の第１乃至第２の実施の形態で示したフローチャートの処理は、ステップ順に処理を行う順序処理に限らず、低感度偏光特性モデルと高感度非飽和集合の生成を並列して行うようにしてもよい。また、パイプライン処理によって、低感度偏光画像と高感度光画像を例えばフレーム単位で順次取得するに伴い、偏光成分および／または無偏光成分が取得されるように構成してもよい。さらに、上述の第１乃至第３の実施の形態では、画像処理装置に撮像部を含む構成を示しているが、撮像部は画像処理装置と別個に設けられた構成であってもよい。

＜５．適用例＞
次に、画像処理装置（画像処理方法）の適用例について説明する。図２０は、この技術の画像処理装置を用いた車両制御システムの概略構成を例示した図である。車両制御システム９０は、通信ネットワーク９２０を介して接続された複数の制御部や検出部を備える。図２０に示した例では、車両制御システム９０は、駆動系制御部９３１、ボディ系制御部９３２、バッテリ制御部９３３、車外情報検出部９３４、無線通信部９３５および統合制御部９４０を備える。通信ネットワーク９２０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）またはＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。また、統合制御部９４０には、入力部９５１、音声出力部９５２、表示部９５３が接続されている。

各制御部は、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラムまたは各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。

駆動系制御部９３１は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御部９３１は、内燃機関または駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構として機能する。また、駆動系制御部９３１は、車両の制動力を発生させる制動装置等の制御装置としての機能、ＡＢＳ（Antilock Brake System）またはＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。

駆動系制御部９３１には、車両状態検出部９３１１が接続される。車両状態検出部９３１１には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数または走行速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御部９３１は、車両状態検出部９３１１から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置またはブレーキ装置等を制御する。

ボディ系制御部９３２は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御部９３２は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカーまたはフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御部９３２には、鍵を代替する携帯機から発信される電波または各種スイッチの信号が入力され得る。ボディ系制御部９３２は、これらの電波または信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

バッテリ制御部９３３は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池９３３１を制御する。例えば、バッテリ制御部９３３には、二次電池９３３１を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧またはバッテリの残存容量等の情報が入力される。バッテリ制御部９３３は、これらの信号を用いて演算処理を行い、二次電池９３３１の温度調節制御またはバッテリ装置に備えられた冷却装置等の制御を行う。

車外情報検出部９３４は、車両制御システム９０を搭載した車両の外部の情報を検出する。車外情報検出部９３４には、この技術の画像処理装置１０-1（または１０-2，１０-3，１０-4）を利用する。

図２１は、撮像部の設置例を示した図である。画像処理装置１０-1（１０-2，１０-3，１０-4）の撮像部２０-1（または２０-2，２０-3，２０-4）は、例えば、車両８０のフロントノーズ、サイドミラー、リアバンパ、バックドアおよび車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部２０-Ａおよび車室内のフロントガラスの上部に備えられる撮像部２０-Ｂは、主として車両８０の前方の画像を取得する。サイドミラーに備えられる撮像部２０-Ｃ，２０-Ｄは、主として車両８０の側方の画像を取得する。リアバンパまたはバックドアに備えられる撮像部２０-Ｅは、主として車両８０の後方の画像を取得する。また、図２１では、それぞれの撮像部２０-Ａ乃至２０-Ｅの撮影範囲の一例を示している。撮像範囲ＡＲ-ａは、フロントノーズに設けられた撮像部２０-Ａの撮像範囲を示し、撮像範囲ＡＲ-ｃ，ＡＲ-ｄは、それぞれサイドミラーに設けられた撮像部２０-Ｃ，２０-Ｄの撮像範囲を示し、撮像範囲ＡＲ-ｅは、リアバンパまたはバックドアに設けられた撮像部２０-Ｅの撮像範囲を示す。

図２０に戻り、車外情報検出部９３４は、車両の周辺領域を撮像して偏光画像を取得する。また、車外情報検出部９３４は、取得した偏光画像から被写体の偏光特性を取得する。さらに、車外情報検出部９３４は、取得した偏光特性を利用して、車両制御等に利用可能な情報の生成等を行う。

無線通信部９３５は、ＤＳＲＣ（登録商標）（Dedicated Short Range Communication）等の無線通信網を介して車外、例えば他車両や道路状況等を管理する管理センタと通信を行い、受信した情報を統合制御部９４０に出力する。また、無線通信部９３５は車外情報検出部９３４で取得した偏光特性等を他車両や管理センタ等へ送信する。なお、無線通信部９３５は、無線ＬＡＮの無線通信網、３Ｇ，ＬＴＥ，４Ｇなどの携帯電話用の無線通信網等の無線通信網を介して管理センタとの通信を行ってもよい。また、無線通信部９３５は、全地球測位システム（GNSS：Global Navigation Satellite System）の信号等を受信して測位を行い、測位結果を統合制御部９４０へ出力してもよい。

統合制御部９４０には、入力部９５１、音声出力部９５２、表示部９５３が接続されている。入力部９５１は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチまたはレバー等、搭乗者によって入力操作され得る装置によって実現される。入力部９５１は、搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御部９４０に出力する。

音声出力部９５２は、統合制御部９４０からの音声信号に基づいた音声を出力することで、車両の搭乗者に対して聴覚的に情報を通知する。表示部９５３は、統合制御部９４０からの画像信号に基づいて画像表示を行い、車両の搭乗者に対して視覚的に情報を通知する。

統合制御部９４０は、ＣＰＵ(Central Processing Unit)，ＲＯＭ(Read Only Memory)，ＲＡＭ(Random Access Memory)等を有している。ＲＯＭ（Read Only Memory）は、ＣＰＵ(Central Processing Unit)により実行される各種プログラムを記憶する。ＲＡＭ（Random Access Memory）は、各種パラメータ、演算結果またはセンサ信号等の情報を記憶する。ＣＰＵは、ＲＯＭに記憶されている各種プログラムを実行して、入力部９５１からの入力信号および通信ネットワーク９２０を介した各制御部や車外情報検出部および無線通信部との通信によって取得した情報、およびＲＡＭに記憶されている情報等に応じて車両制御システム９０内の動作全般を制御する。また、統合制御部９４０は、車両の搭乗者に対して、聴覚的に通知する情報を示す音声信号を生成して音声出力部９５２へ出力して、視覚的に情報を通知する画像信号を生成して表示部９５３へ出力する。また、統合制御部９４０は、無線通信部９３５を用いて他車両や管理センタ等の車外に存在する様々な機器と通信を行う。また、統合制御部９４０は、ＲＯＭまたはＲＡＭに記憶されている地図情報と無線通信部９３５から取得した測位結果に基づき、車両の走行支援を行う。

なお、図２０に示した例において、通信ネットワーク９２０を介して接続された少なくとも二つの制御部が一つの制御部として一体化されてもよい。あるいは、個々の制御部が、複数の制御部により構成されてもよい。さらに、車両制御システム９０が、図示されていない別の制御部を備えてもよい。また、上記の説明において、何れかの制御部が担う機能の一部または全部を、他の制御部に持たせてもよい。つまり、通信ネットワーク９２０を介して情報の送受信がされるようになっていれば、所定の演算処理が、何れかの制御部で行われるようになってもよい。

このような車両制御システムにおいて、本技術の画像処理装置を例えば車外情報検出部に適用した場合、車外情報検出部では、反射光が強くとも反射成分が除去された良好な画質の画像を取得することが可能となる。このため、車外情報検出部で取得された画像を用いて、障害物の検出等を精度よく容易に行うことができるようになり、より安全な走行を可能とする車両制御システムを構築できる。

また、上述の画像処理装置は、監視システムに適用してもよい。監視システムに適用した場合、反射光の影響で対象物が見えにくい場合でも、上述の画像処理装置を用いることで、反射成分が除去された良好な画質の対象物画像を得ることができることから、対象物を容易に監視できるようになる。さらに、上述の画像処理装置は、車両制御システムや監視システムに限らず、撮像装置や撮像機能を有した電子機器等に適用してもよい。さらに、明細書中において説明した一連の処理は、ハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。

また、本技術の画像処理装置は以下のような構成も取ることができる。
（１） 複数偏光方向の低感度偏光画像と前記低感度偏光画像よりも高感度である高感度画像に基づいて前記高感度画像の偏光特性を求めて、前記高感度画像の偏光特性に基づき被写体の無偏光成分または偏光成分を取得する偏光画像処理部を有する画像処理装置。
（２） 前記偏光画像処理部は、前記低感度偏光画像に基づいて低感度偏光特性モデルを算出して、前記低感度偏光特性モデルと前記高感度画像に基づき前記高感度画像の偏光特性を示す高感度偏光特性モデルを算出して、前記高感度偏光特性モデルに基づいて前記被写体の無偏光成分または偏光成分を取得する（１）に記載の画像処理装置。
（３） 前記高感度画像は偏光画像であり、
前記偏光画像処理部は、前記低感度偏光特性モデルと前記高感度偏光画像における飽和を生じていない偏光方向の画像に基づいて前記高感度偏光特性モデルを算出する（２）に記載の画像処理装置。
（４） 前記偏光画像処理部は、前記低感度偏光特性モデルの位相情報と前記高感度偏光画像における飽和を生じていない複数偏光方向の画像から前記高感度偏光特性モデルを算出する（３）に記載の画像処理装置。
（５） 前記偏光画像処理部は、偏光成分の偏光方向と輝度の関係を示す前記低感度偏光特性モデルと同じ位相成分を持つ前記高感度偏光特性モデルを、前記高感度偏光画像における飽和を生じていない複数偏光方向の輝度から算出する（４）に記載の画像処理装置。
（６） 前記偏光画像処理部は、前記飽和を生じていない偏光方向の高感度偏光画像の輝度と同一偏光方向の前記低感度偏光画像における輝度との関係に基づいて、前記低感度偏光特性モデルから前記高感度偏光特性モデルを算出する（３）に記載の画像処理装置。
（７） 前記偏光画像処理部は、偏光成分の偏光方向と輝度の関係を示す前記低感度偏光特性モデルと同じ位相成分を持ち、前記低感度偏光特性モデルと前記高感度偏光特性モデルにおける振幅とオフセットの和との比が、前記高感度偏光画像と前記低感度偏光画像の対応する輝度の比と等しくなるように前記高感度偏光特性モデルを算出する（６）に記載の画像処理装置。
（８） 前記偏光画像処理部は、前記複数偏光方向の高感度偏光画像の全てが飽和状態である場合、前記低感度偏光特性モデルに基づいて前記被写体の無偏光成分または偏光成分を取得する（３）乃至（７）の何れかに記載の画像処理装置。
（９） 前記偏光画像処理部は、前記複数偏光方向の高感度偏光画像の全てが非飽和状態である場合、前記高感度偏光画像に基づいて前記高感度偏光特性モデルを算出する（３）乃至（７）の何れかに記載の画像処理装置。
（１０） 前記高感度画像は無偏光画像であり、
前記偏光画像処理部は、前記低感度偏光特性モデルの平均値と前記高感度画像の輝度との比に基づいて、前記低感度偏光特性モデルから前記高感度偏光特性モデルを算出する（２）に記載の画像処理装置。
（１１） 前記偏光画像処理部は、前記高感度偏光特性モデルの振幅を前記偏光成分、前記高感度偏光特性モデルの最小値を前記無偏光成分とする（２）乃至（１０）の何れかに記載の画像処理装置。
（１２） 撮像部の露光時間を換えて前記低感度偏光画像と前記高感度画像を生成させる撮像制御部をさらに有する（１）乃至（１１）の何れかに記載の画像処理装置。
（１３） 前記撮像制御部は、前記低感度偏光画像において偏光方向が３方向以上で非飽和状態となり、前記高感度画像において偏光方向が１方向以上で非飽和状態となるように前記露光時間を制御する（１２）に記載の画像処理装置。
（１４） 前記低感度偏光画像と前記高感度画像を生成する撮像部をさらに有する（１）乃至（１３）の何れかに記載の画像処理装置。
（１５） 前記撮像部は、画素単位で偏光方向が設定されており、前記複数偏光方向の画素からなる前記低感度偏光画像を生成する（１）乃至（１４）の何れかに記載の画像処理装置。
（１６） 前記撮像部は、露光時間を変えて前記低感度偏光画像と前記高感度画像を生成する（１４）に記載の画像処理装置。
（１７） 前記撮像部は、前記低感度偏光画像を生成する低感度撮像部と、入射光量を前記低感度撮像部よりも制限して前記高感度画像を生成する高感度撮像部とを有する（１４）に記載の画像処理装置。
（１８） 前記撮像部は、前記低感度偏光画像を生成する低感度画素と、入射光量を前記低感度画素よりも制限して前記高感度画像を生成する高感度画素を有する（１４）に記載の画像処理装置。

この技術の画像処理装置と画像処理方法では、複数偏光方向の低感度偏光画像と低感度偏光画像よりも高感度である高感度画像とに基づいて高感度画像の偏光特性が求められて、高感度画像の偏光特性に基づき被写体の無偏光成分または偏光成分が取得される。このため、画像から被写体の偏光特性を高感度に求めることができるようになり、高感度な無偏光成分または偏光成分を取得できる。したがって、例えば撮像画から反射光の影響を除去することが好ましいシステム例えば車両制御システムや監視システム等に適している。

１０，１０-1〜１０-4・・・画像処理装置
２０，２０-1〜２０-4，２０ａ，２０−Ａ〜２０−Ｅ・・・撮像部
２１，２１-4・・・低感度撮像部
２２，２２-4，２３・・・高感度撮像部
３０-1〜３０-4・・・偏光画像処理部
３１，３１-4・・・低感度偏光特性モデル算出部
３２，３２-4・・・非飽和偏光画像抽出部
３３-1，３３-2，３３-3，３３-4・・・高感度成分取得部
３５・・・撮像制御部
８０・・・車両
２１０・・・イメージセンサ
２１１・・・偏光フィルタ
２１２，２１３・・・光量制限部（ＮＤフィルタ）

Claims (19)

1. 複数偏光方向の低感度偏光画像と前記低感度偏光画像よりも高感度である高感度画像に基づいて前記高感度画像の偏光特性を求めて、前記高感度画像の偏光特性に基づき被写体の無偏光成分または偏光成分を取得する偏光画像処理部
   を有する画像処理装置。
2. 前記偏光画像処理部は、前記低感度偏光画像に基づいて低感度偏光特性モデルを算出して、前記低感度偏光特性モデルと前記高感度画像に基づき前記高感度画像の偏光特性を示す高感度偏光特性モデルを算出して、前記高感度偏光特性モデルに基づいて前記被写体の無偏光成分または偏光成分を取得する
   請求項１に記載の画像処理装置。
3. 前記高感度画像は偏光画像であり、
   前記偏光画像処理部は、前記低感度偏光特性モデルと前記高感度偏光画像における飽和を生じていない偏光方向の画像に基づいて前記高感度偏光特性モデルを算出する
   請求項２に記載の画像処理装置。
4. 前記偏光画像処理部は、前記低感度偏光特性モデルの位相情報と前記高感度偏光画像における飽和を生じていない複数偏光方向の画像から前記高感度偏光特性モデルを算出する
   請求項３に記載の画像処理装置。
5. 前記偏光画像処理部は、偏光成分の偏光方向と輝度の関係を示す前記低感度偏光特性モデルと同じ位相成分を持つ前記高感度偏光特性モデルを、前記高感度偏光画像における飽和を生じていない複数偏光方向の輝度から算出する
   請求項４に記載の画像処理装置。
6. 前記偏光画像処理部は、前記飽和を生じていない偏光方向の高感度偏光画像の輝度と同一偏光方向の前記低感度偏光画像における輝度との関係に基づいて、前記低感度偏光特性モデルから前記高感度偏光特性モデルを算出する
   請求項３に記載の画像処理装置。
7. 前記偏光画像処理部は、偏光成分の偏光方向と輝度の関係を示す前記低感度偏光特性モデルと同じ位相成分を持ち、前記低感度偏光特性モデルと前記高感度偏光特性モデルにおける振幅とオフセットの和との比が、前記高感度偏光画像と前記低感度偏光画像の対応する輝度の比と等しくなるように前記高感度偏光特性モデルを算出する
   請求項６に記載の画像処理装置。
8. 前記偏光画像処理部は、前記複数偏光方向の高感度偏光画像の全てが飽和状態である場合、前記低感度偏光特性モデルに基づいて前記被写体の無偏光成分または偏光成分を取得する
   請求項３に記載の画像処理装置。
9. 前記偏光画像処理部は、前記複数偏光方向の高感度偏光画像の全てが非飽和状態である場合、前記高感度偏光画像に基づいて前記高感度偏光特性モデルを算出する
   請求項３に記載の画像処理装置。
10. 前記高感度画像は無偏光画像であり、
    前記偏光画像処理部は、前記低感度偏光特性モデルの平均値と前記高感度画像の輝度との比に基づいて、前記低感度偏光特性モデルから前記高感度偏光特性モデルを算出する請求項２に記載の画像処理装置。
11. 前記偏光画像処理部は、前記高感度偏光特性モデルの振幅を前記偏光成分、前記高感度偏光特性モデルの最小値を前記無偏光成分とする
    請求項２に記載の画像処理装置。
12. 撮像部の露光時間を換えて前記低感度偏光画像と前記高感度画像を生成させる撮像制御部をさらに有する
    請求項１に記載の画像処理装置。
13. 前記撮像制御部は、前記低感度偏光画像において偏光方向が３方向以上で非飽和状態となり、前記高感度画像において偏光方向が１方向以上で非飽和状態となるように前記露光時間を制御する
    請求項１２に記載の画像処理装置。
14. 前記低感度偏光画像と前記高感度画像を生成する撮像部をさらに有する
    請求項１に記載の画像処理装置。
15. 前記撮像部は、画素単位で偏光方向が設定されており、前記複数偏光方向の画素からなる前記低感度偏光画像を生成する
    請求項１４に記載の画像処理装置。
16. 前記撮像部は、露光時間を変えて前記低感度偏光画像と前記高感度画像を生成する
    請求項１４に記載の画像処理装置。
17. 前記撮像部は、前記低感度偏光画像を生成する低感度撮像部と、入射光量を前記低感度撮像部よりも制限して前記高感度画像を生成する高感度撮像部とを有する
    請求項１４に記載の画像処理装置。
18. 前記撮像部は、前記低感度偏光画像を生成する低感度画素と、入射光量を前記低感度画素よりも制限して前記高感度画像を生成する高感度画素を有する
    請求項１４に記載の画像処理装置。
19. 複数偏光方向の低感度偏光画像と前記低感度偏光画像よりも高感度である高感度画像に基づき前記高感度画像の偏光特性を求めることと、
    前記高感度画像の偏光特性に基づき被写体の無偏光成分または偏光成分を取得することと
    を含む画像処理方法。

Images