JP7040447B2 - 画像処理装置および情報生成装置と情報生成方法 - Google Patents

Description

この技術は、画像処理装置および情報生成装置と情報生成方法に関し、高画質の偏光画像を得られるようにする。

従来、撮像部と偏光子を用いて偏光画像を生成する方法が開示されている。例えば、特許文献１では、撮像部の前に偏光子を配置して、この偏光子を回して撮影することで複数偏光方向の偏光画像が生成する方法が開示されている。また、画素毎に異なる偏光方向の偏光子を設けることで、１回の撮像で異なる複数の偏光方向の偏光画像を生成する方法が開示されている。

さらに、複数の偏光方向の偏光画像から被写体の法線情報を生成することが行われている。例えば、非特許文献１や非特許文献２では、複数の偏光方向の偏光画像を偏光モデル式に当てはめることによって法線情報が生成されている。

国際公開第２００８／０９９５８９号

Lawrence B.Wolff and Terrance E.Boult :"Constraining Object Features Using a Polarization Reflectance Model",IEEE Transaction on pattern analysis and machine intelligence,Vol.13、No.7,July 1991 Gary A. Atkinson and Edwin R. Hancock :"Recovery of surface orientation from diffuse polarization",IEEE Transactions of Image Processing, Vol.15, Issue.6, pp.1653-1664, 2006

ところで、画素毎に偏光子を設けた画像センサで偏光画像を生成する場合、微細な画素に偏光子を形成する難しさ等によって感度のばらつきを生じて、例えば輝度が均一である無偏光の被写体を撮像しても偏光画像は輝度のばらつきを生じた画像となってしまう場合がある。

そこで、この技術では、高画質の偏光画像を得るための画像処理装置および情報生成装置と情報生成方法を提供することを目的とする。

この技術の第１の側面は、
偏光画像に対して、予め生成されている補正情報を用いて偏光方向の違いによって生じた感度ばらつきを補正する補正処理部を備え、
前記偏光画像は、偏光子が配された偏光撮像素子を有する偏光画像取得部によって取得される複数偏光方向の偏光方向毎の画素を含む画像であり、
前記補正情報は、計測光照射部から前記偏光画像取得部に強度が一様の計測光を照射して前記偏光画像取得部で取得された偏光画像と前記偏光画像取得部における前記計測光の入射方向に基づき生成されて、前記偏光画像に生じた偏光方向の違いによる感度ばらつきを補正する補正ゲインである
画像処理装置にある。

この技術においては、偏光子が配された偏光撮像素子を有する偏光画像取得部に計測光照射部から強度が一様の計測光を照射して偏光画像取得部で取得された複数偏光方向の画素を含む偏光画像に基づき、該偏光画像に生じた偏光方向の違いによる感度ばらつきを補正する補正ゲインが、感度ばらつきを補正する補正情報として、予め補正情報記憶部に記憶される。補正情報は、例えば偏光方向毎または偏光画像の画素毎に生成されている。また、補正情報には、偏光画像に生じたシェーディングを補正する情報が含められる。また、偏光画像はカラー画像であるとき、補正情報は、偏光画像の色成分毎に生成されて、補正情報には、偏光画像のホワイトバランスを補正する情報が含まれる。補正処理部では、偏光画像に対して、予め生成されて補正情報記憶部に記憶されている補正情報を用いて偏光方向の違いによって生じた感度ばらつきの補正が行われる。

この技術の第２の側面は、
偏光子が配された偏光撮像素子を有して複数偏光方向の偏光方向毎の画素を含む偏光画像を取得する偏光画像取得部に、強度が一様の計測光を照射する計測光照射部と、
前記計測光照射部から前記偏光画像取得部に計測光を照射して前記偏光画像取得部で取得された偏光画像と前記偏光画像取得部における前記計測光の入射方向に基づき、該偏光画像に生じた偏光方向の違いによる感度ばらつきを補正する補正情報を生成する補正情報生成処理部とを備える
情報生成装置にある。

この技術において、計測光照射部は、偏光画像を取得する偏光画像取得部に強度が一様の計測光を照射する。例えば、計測光照射部は無偏光光を偏光画像取得部に照射する。または、計測光照射部は球状拡散板を介して計測光を偏光画像取得部に照射する。補正情報生成部は、計測光照射部から計測光を所定の撮像光学系を用いた偏光画像取得部に照射して、この偏光画像取得部で取得された偏光画像に基づき、この偏光画像に生じた偏光方向の違いによる感度ばらつきを補正する補正情報を生成する。

また、計測光照射部は板状拡散板を介して計測光を偏光画像取得部に照射して、補正情報生成部は、板状拡散板に対する偏光画像取得部の向きを移動させる。あるいは、計測光照射部は、板状拡散板を介して計測光を偏光画像取得部に照射して、補正情報生成部は、偏光画像取得部の焦点距離と光軸中心に基づいて、画素毎に補正情報を生成する。

この技術の第３の側面は、
偏光子が配された偏光撮像素子を有して複数偏光方向の偏光方向毎の画素を含む偏光画像を取得する偏光画像取得部に、計測光照射部から強度が一様の計測光を照射することと、
前記計測光照射部から前記偏光画像取得部に前記計測光を照射して前記偏光画像取得部で取得された偏光画像と前記偏光画像取得部における前記計測光の入射方向に基づき、該偏光画像に生じた偏光方向の違いによる感度ばらつきを補正する補正情報を補正情報生成処理部で生成することと
を含む情報生成方法にある。

この技術によれば、偏光画像に対して、予め生成されている補正情報を用いて偏光方向の違いによって生じた感度ばらつきを補正する補正処理が行われる。このため高画質の偏光画像を取得できるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また付加的な効果があってもよい。

偏光画像の取得について説明するための図である。 輝度と偏光角との関係を例示した図である。 偏光度と天頂角の関係を例示した図である。 画像処理装置を用いた偏光画像システムの構成を例示した図である。 偏光画像取得部の構成を例示した図である。 偏光子およびカラーフィルタを例示した図である。 偏光子とカラーフィルタの組み合わせを例示した図である。 補正処理部の動作を例示したフローチャートである。 補正処理部の処理結果を例示した図である。 補正処理部の処理結果を例示した図である。 偏光画像取得部で取得される計測偏光画像の一部を例示した図である。 補正情報生成部の第１の実施の形態を説明するための図である。 第１の実施の形態の動作を示すフローチャートである。 補正情報生成部の第２の実施の形態を説明するための図である。 第２の実施の形態の動作を示すフローチャートである。 補正情報生成部の第３の実施の形態を説明するための図である。 第３の実施の形態の動作を示すフローチャートである。 偏光画像取得部で平面拡散板を撮像する場合を示した図である。 法線の算出を説明するための図である。 補正情報生成部の第４の実施の形態を説明するための図である。 第４の実施の形態の動作を示すフローチャートである。 車両制御システムの概略的な構成例を示すブロック図である。 撮像部および車外情報検出部の設置位置の一例を示す説明図である。

以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．偏光画像の取得について
２．偏光画像システムの構成
３．補正処理部の動作
４．ばらつき補正情報の生成について
４－１．補正情報生成部の第１の実施の形態
４－２．補正情報生成部の第２の実施の形態
４－３．補正情報生成部の第３の実施の形態
４－４．補正情報生成部の第４の実施の形態
５．他の構成および動作について
６．応用例

＜１．偏光画像の取得について＞
図１は、偏光画像の取得について説明するための図である。例えば図１に示すように、光源ＬＴを用いて被写体ＯＢの照明を行い、撮像部ＣＭは偏光子ＰＬを介して被写体ＯＢの撮像を行う。この場合、撮像画像は、偏光子ＰＬの偏光方向に応じて被写体ＯＢの輝度が変化する。なお、説明を容易とするため、例えば偏光方向を回転したとき、最も高い輝度をＩmax，最も低い輝度をＩminとする。また、２次元座標におけるｘ軸とｙ軸を偏光子の平面上としたとき、偏光子の偏光方向を回転させたときのｘ軸に対するｙ軸方向の角度を偏光角υpolとする。偏光子の偏光方向は、ｚ軸方向を軸として１８０度回転させると元の偏光状態に戻り１８０度の周期を有している。また、偏光方向を回転させたときに観測される輝度Ｉは式（１）のように表すことができる。なお、図２は、輝度と偏光角との関係を例示している。

式（１）では、偏光角υpolが偏光画像の生成時に明らかであり、最大輝度Ｉmaxと最小輝度Ｉminおよび方位角φが変数となる。したがって、偏光方向が３方向以上の偏光画像の輝度を用いて、式（１）に示す偏光モデル式へのフィッティングを行うことにより、輝度と偏光角の関係を示す偏光モデル式に基づいて、所望の方位角φの輝度を推定できる。

また、物体表面の法線は、極座標系を用いて方位角φと天頂角θで示すことができる。なお、天頂角θはｚ軸から法線に向かう角度、方位角φは、上述のようにｘ軸に対するｙ軸方向の角度とする。ここで、最小輝度Ｉminと最大輝度Ｉmaxから、式（２）に基づき偏光度ρを算出できる。

偏光度と天頂角の関係は、例えば拡散反射の場合は図３の（ａ）に示す特性、鏡面反射の場合は図３の（ｂ）に示す特性を有することが知られており、例えば天頂角θが「θ＝０」である場合、偏光度ρは「ρ＝０」となる。すなわち、最小輝度Ｉmin＝最大輝度Ｉmaxとなり、方位角φに係らず輝度は一定となる。

＜２．偏光画像システムの構成＞
図４は、本技術の画像処理装置を用いた偏光画像システムの構成を例示している。偏光画像システム１０は、偏光画像取得部２０、補正情報記憶部３０、補正処理部４０を有している。また、偏光画像システム１０では、ばらつき補正情報を生成して補正情報記憶部３０に記憶させる補正情報生成部５０を用いることができる。

偏光画像取得部２０は、複数偏光方向の偏光方向毎の画素を含む偏光画像を取得する。図５は、偏光画像取得部の構成を例示している。偏光画像取得部２０は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等のイメージセンサ２００と、偏光子２０１または偏光子２０１とカラーフィルタ２０２を用いて構成される。イメージセンサ２００は、偏光子２０１または偏光子２０１とカラーフィルタ２０２を介して入射された被写体光の光電変換を行い、被写体光に応じた画像信号、すなわち偏光画像の画像信号を生成する。偏光画像取得部２０は、偏光画像の画像信号を補正処理部４０へ出力する。また、補正情報生成部５０を用いる場合、偏光画像取得部２０は、偏光画像の画像信号を補正情報生成部５０へ出力する。

図６は偏光子およびカラーフィルタを例示している。図６の（ａ），（ｂ）は偏光子２０１の偏光パターンを例示している。偏光子２０１は、被写体光から直線偏光光を取り出せればよく、例えばワイヤーグリッドやフォトニック液晶等を用いる。図６の（ａ）は、１画素を偏光成分単位として、例えば式（１）に示す偏光モデル式へのフィッティングを行うことができるように複数偏光方向（例えば０°，４５°，９０°，１３５°の４方向）の画素を設けた場合を例示している。また、図６の（ｂ）は、例えばカラーフィルタの色成分配列単位が２×２画素単位であり、２×２画素単位を偏光単位として、上述のように複数偏光方向（例えば０°，４５°，９０°，１３５°の４方向）の画素を設けた場合を例示している。

図６の（ｃ）～（ｇ）はカラーフィルタを例示している。カラーフィルタは、色成分例えば赤と青と緑（ＲＧＢ）の色成分からなるカラーデモザイクフィルタである。カラーフィルタは、図６の（ｃ）に示すように１画素を１つの色成分単位として、ＲＧＢ色成分をＢａｙｅｒ配列とした場合に限らず、図６の（ｄ）に示すように２×２画素を１つの色成分単位として繰り返した構成であってもよい。また、図６の（ｅ）に示すようにＢａｙｅｒ配列に白色画素を混載して繰り返した構成であってもよく、図６の（ｆ）に示すように２×２画素を１つの色成分単位とした２×２色成分単位の配列に白色画素を混載して繰り返した構成であってもよい。さらに、夜間等でも高感度な撮像を可能するため、図６の（ｇ）に示すように例えば赤外（ＩＲ）画素を混在して繰り返した構成であってもよい。

カラーフィルタと偏光子は、色成分毎に４つの偏光成分が得られるように組み合わせて用いる。図７は、偏光子とカラーフィルタの組み合わせを例示している。

図７の（ａ）は、カラーフィルタが図６の（ｄ）の構成であり、図６の（ａ）に示す構成の偏光子を用いた場合を示している。この組み合わせは、色成分単位毎に偏光方向毎の画素が含まれて、色成分毎に４つの偏光成分が得られるようになる。

図７の（ｂ）は、カラーフィルタが図６の（ｄ）の構成であり、図６の（ｂ）に示す構成のカラーフィルタを用いた場合を示している。この組み合わせでは、カラーフィルタの色成分単位に対して偏光子の偏光成分単位を左右および上下方向に１画素分だけ位相をずらして用いることで、色成分単位毎に偏光方向毎の画素が含まれて、色成分毎に４つの偏光成分が得られるようになる。

偏光子の偏光成分単位が２×２画素である場合、偏光成分単位毎に得られた偏光成分における隣接する異なる偏光成分単位の領域からの偏光成分の漏れ込み分の割合は１×１画素に比べて少なくなる。また、偏光子がワイヤーグリッドである場合、格子の方向（ワイヤー方向）に対して電場成分が垂直方向である偏光光が透過されて、透過率はワイヤーが長いほど高くなる。このため、偏光成分単位が２×２画素である場合は１×１画素に比べて透過率が高くなる。したがって、偏光画像取得部は、図７の（ｂ）に示す組み合わせを用いることで、図７の（ａ）に示す組み合わせを用いた場合に比べて消光比を良くすることができる。また、偏光成分単位が２×２画素である場合、１×１画素に比べて偏光方向の画素の配置の偏りが大きい。したがって、偏光画像取得部は、図７の（ａ）に示す組み合わせを用いることで、図７の（ｂ）に示す組み合わせを用いた場合に比べて法線の精度を高くできる。

図７の（ｃ）は、カラーフィルタが図６の（ｃ）の構成であり、図６の（ｂ）に示す構成の偏光パターンを用いた場合を示している。この組み合わせによれば、偏光成分単位毎に色成分毎の画素が含まれて、色成分毎に４つの偏光成分が得られるようになる。さらに、色成分単位が１×１画素であることから、２×２画素に比べて色成分画素の配置の偏りが小さい。したがって、偏光画像取得部は、図７の（ｃ）に示す組み合わせを用いることで、例えば図７の（ａ）に示す組み合わせを用いた場合に比べて画質を良くすることができる。

図７の（ｄ）は、カラーフィルタが図６の（ｆ）の構成であり、図６（ｂ）に示す構成の偏光パターンを用いた場合を示している。この組み合わせでは、カラーフィルタの色成分単位に対して偏光パターンの偏光成分単位を左右および上下方向に１画素分だけ位相をずらして用いることで、色成分単位毎に偏光方向毎の画素が含まれて、色成分毎に４つの偏光成分が得られるようになる。さらに、色成分単位に白色画素が含まれていることから、白色画素を含まないカラーフィルタを用いた場合例えば図７の（ｂ）に示す組み合わせを用いた場合に比べて感度を良くすることができる。

図４の補正情報記憶部３０は、予め補正情報生成部５０によって算出されたばらつき補正情報を記憶している。ばらつき補正情報は、例えば後述するように、偏光画像を取得する偏光画像取得部２０に補正情報生成部の計測光照射部から強度が一様の計測光を照射して偏光画像取得部２０で取得された偏光画像に基づき、偏光画像に生じた偏光方向の違いによる感度ばらつきを補正する補正ゲインである。また、偏光画像がカラー画像である場合は、色成分毎のばらつき補正情報が記憶されている。

補正処理部４０は、補正情報記憶部３０に記憶されているばらつき補正情報を用いて偏光画像補正情報を設定して、設定した偏光画像補正情報を用いて偏光画像取得部２０で取得された偏光画像の補正処理を行う。

補正情報生成部５０は偏光画像取得部２０の感度ばらつきや感度ばらつきとシェーディングの補正に用いるばらつき補正情報を生成する。補正情報生成部５０は、偏光画像における偏光方向毎にばらつき補正情報を生成する処理、または偏光画像における画素毎にばらつき補正情報を生成する処理を行う。補正情報生成部５０は、生成したばらつき補正情報を補正情報記憶部３０に記憶させる。

＜３．補正処理部の動作＞
次に、補正処理部４０の動作について説明する。補正処理部４０では、偏光画像補正情報に基づいて各画素のゲイン調整を行い、偏光画像取得部２０で取得した偏光画像の補正処理を行う。式（３）は、偏光画像の補正処理で用いる補正式を示している。式（３）において、画素値Ｉijは、偏光画像取得部２０で取得された偏光画像における画素位置（ｉ，ｊ）の画素値である。画素値ＢＫは、黒レベルを示している。黒レベルの画素値ＢＫは、画面全体で同じ値を用いてもよく、あらかじめ画素毎に計測した画素値ＢＫを用いてもよい。偏光画像補正情報ＧＡijは、画素位置（ｉ，ｊ）の画素に対する補正ゲインであり、例えば、式（４）に示すように、予め感度ばらつきの計測結果に基づいて生成されて補正情報記憶部３０に記憶されているばらつき補正情報ＧＶijとする。
Ｃij＝（Ｉij－ＢＫ）×ＧＡij ・・・（３）
ＧＡij＝ＧＶij ・・・（４）

補正処理部４０は、偏光画像における画素位置（ｉ，ｊ）の画素に対して、偏光画像補正情報ＧＡijと画素値Ｉijを用いて式（３）の演算を行い、感度ばらつきが補正された画素値Ｃijを算出する。

また、偏光画像補正情報は、感度ばらつき補正を行うための補正情報に限らず、シェーディング補正やホワイトバランス補正を行うための補正情報を含めてもよい。

シェーディング補正のための情報（以下「シェーディング補正情報」という）ＧＳは、偏光画像取得部２０で用いられる撮像光学系の個体毎に計測を行い、計測結果に基づいて生成したシェーディング補正情報を用いてもよく、レンズ設計データなどから算出したシェーディング補正情報を用いてもよい。なお、シェーディング補正情報ＧＳは補正情報記憶部３０に記憶させる。

補正処理部４０は、感度ばらつき補正とシェーディング補正を行う場合、偏光画像における画素位置（ｉ，ｊ）の画素に対するばらつき補正情報ＧＶijとシェーディング補正情報ＧＳijを補正情報記憶部３０から取得して、式（５）に基づき偏光画像補正情報ＧＡijを設定する。さらに、補正処理部４０は、偏光画像における画素位置（ｉ，ｊ）の画素に対して、画素値Ｉijと設定された偏光画像補正情報ＧＡijを用いて式（３）の演算を行い、感度ばらつき補正とシェーディング補正が行われた画素値Ｃijを算出する。
ＧＡij＝ＧＶij × ＧＳij ・・・（５）

なお、補正情報生成部５０において、後述するように画素毎にばらつき補正情報の生成を行うことで、感度ばらつき補正だけでなくシェーディング補正を含めたばらつき補正情報を生成できる。この場合、補正処理部４０は、ばらつき補正情報ＧＶijを偏光画像補正情報ＧＡijとして設定することで、感度ばらつき補正とシェーディング補正を行うことができる。

ホワイトバランス補正のための情報（以下「ホワイトバランス補正情報」という）ＧＷは、例えばホワイトバランス検出機構を設けてホワイトバランス補正情報を生成してもよく、ユーザー等の照明設定に応じたホワイトバランス補正情報を用いてもよい。また、ホワイトバランス補正情報は、偏光画像に基づいて生成してもよい。例えば、４つの偏光方向の画素の輝度値を用いて、図２に示すように、偏光角に対する輝度変化を示す偏光モデル式（例えばｃｏｓ関数）にフィッティングさせた場合、フィッティング後の偏光モデル式における振幅変化分は鏡面反射成分に相当しており、各色成分で輝度が最も高い画素位置を検出すれば、照明の画素位置を検出できる。さらに、検出した照明の画素位置を白色とする補正情報を生成してホワイトバランス補正情報とする。

補正処理部４０は、感度ばらつき補正とホワイトバランス補正を行う場合、偏光画像における画素位置（ｉ，ｊ）の画素に対するばらつき補正情報ＧＶijとホワイトバランス補正情報ＧＷijを用いて、式（６）に基づき偏光画像補正情報ＧＡijを設定する。さらに、補正処理部４０は、偏光画像における画素位置（ｉ，ｊ）の画素に対して、画素値Ｉijと設定された偏光画像補正情報ＧＡijを用いて式（３）の演算を行い、感度ばらつき補正とホワイトバランス補正が行われた画素値Ｃijを算出する。
ＧＡij＝ＧＶij × ＧＷij ・・・（６）

さらに。補正処理部４０は、感度ばらつき補正とシェーディング補正とホワイトバランス補正を行う場合、偏光画像における画素位置（ｉ，ｊ）の画素に対するばらつき補正情報ＧＶijとシェーディング補正情報ＧＳijとホワイトバランス補正情報ＧＷijを用いて、式（７）に基づき偏光画像補正情報ＧＡijを算出する。さらに、補正処理部４０は、偏光画像における画素位置（ｉ，ｊ）の画素に対して、画素値Ｉijと設定された偏光画像補正情報ＧＡijを用いて式（３）の演算を行い、感度ばらつき補正とシェーディング補正とホワイトバランス補正が行われた画素値Ｃijを算出する。
ＧＡij＝ＧＶij × ＧＳij × ＧＷij ・・・（７）

図８は、補正処理部の動作を例示したフローチャートである。ステップＳＴ１で補正処理部は偏光画像を取得する。補正処理部４０は、偏光画像取得部２０から偏光画像を取得してステップＳＴ５に進む。また、ステップＳＴ２で補正処理部はばらつき補正情報を取得する。補正処理部４０は、補正情報記憶部３０に偏光方向毎のばらつき補正情報が記憶されている場合、補正対象画素の偏光方向に対応するばらつき補正情報を取得する。補正処理部４０は、補正情報記憶部３０に画素毎のばらつき補正情報が記憶されている場合、補正対象画素の画素位置に対応するばらつき補正情報を取得する。補正処理部４０は、補正対象画素に対応するばらつき補正情報を取得してステップＳＴ３に進む。

ステップＳＴ３で、補正処理部４０はシェーディング補正情報を取得する。補正処理部４０は補正情報記憶部３０から補正対象画素に対応するシェーディング補正情報を取得してステップＳＴ４に進む。

ステップＳＴ４で補正処理部はホワイトバランス補正情報を取得する。補正処理部４０は、ホワイトバランス検出機構で生成されたホワイトバランス補正情報、またはユーザー等の照明設定に応じたホワイトバランス補正情報、あるいは偏光画像に基づいて生成したホワイトバランス補正情報を取得してステップＳＴ５に進む。

ステップＳＴ５で補正処理部は補正演算処理を行う。補正処理部４０はステップＳＴ２乃至ステップＳＴ４の処理で取得した補正情報を用いて偏光画像補正情報ＧＡijを設定する。さらに、補正処理部４０は設定した偏光画像補正情報ＧＡijを用いて式（３）の演算を行い、感度ばらつき補正等が行われた偏光画像を生成する。

なお、ステップＳＴ２からステップＳＴ４の処理は、いずれの補正情報を優先して取得してもよい。また、ステップＳＴ３またはステップＳＴ４の処理は、必要に応じて行うようにしてもよい。例えば、ばらつき補正情報にシェーディング補正を行える情報が含まれている場合、ステップＳＴ３の処理を省くようにする。また、偏光画像がカラー画像の場合にステップＳＴ４の処理を行うようにする。また、補正処理部４０は、図８の処理を偏光画像の画素毎に繰り返してもよい。

図９，図１０は、補正処理部の処理結果を例示している。図９の（ａ）は、例えば無偏光光を偏光画像取得部２０に照射して取得された偏光画像の輝度ヒストグラムを偏光方向毎に示している。偏光方向毎の輝度ヒストグラムは、偏光子を形成する難しさ等によって生じた感度のばらつきのために輝度平均値が異なる場合がある。

ここで、偏光画像補正情報が、例えば後述する補正情報生成部の第１の実施の形態で示すように偏光方向毎に算出されている場合、輝度平均値が最も高い偏光方向に対して、他の偏光方向の輝度平均値が等しくなるように画素値が補正される。したがって、処理後の偏光画像における偏光方向の輝度ヒストグラムは、図９の（ｂ）に示すように、偏光方向毎の輝度平均値が一致する。

また、偏光画像補正情報が、例えば後述する補正情報生成部の実施の形態で示すように全画素の平均値に基づいて画素毎に算出されている場合、各画素の画素値が全画素の平均値となるように画素値が補正される。したがって、処理後の偏光画像における偏光方向の輝度ヒストグラムは、図９の（ｃ）に示すように、偏光方向に係らず図９の（ａ）や図９の（ｂ）に比べてばらつきが少なく最頻値が輝度平均値を示すヒストグラムとなる。

図１０の（ａ）は、輝度が均一である被写体を撮像したときに、感度ばらつきと画面左上にシェーディングが生じているときの偏光画像を例示している。補正処理部４０は、例えば上述の式（５）に基づき偏光画像補正情報ＧＡijを算出して、算出した偏光画像補正情報ＧＡijを用いて補正処理を行い、感度ばらつきとシェーディングを補正する。したがって、補正処理部４０から出力される補正処理後の偏光画像は、図１０の（ｂ）に示すように感度ばらつきとシェーディングが補正された高画質の偏光画像となる。

以上のように、本技術によれば、偏光画像取得部２０で取得された偏光画像における感度ばらつき等を補正できるので、高画質の偏光画像を得られるようになる。また、高画質の偏光画像が得られるようになるので、例えば偏光画像を用いた処理において感度ばらつきによる処理性能の劣化を防止できる。

＜４．ばらつき補正情報の生成について＞
次に、ばらつき補正情報の生成について説明する。補正情報生成部５０は計測光照射部と補正情報生成処理部を有している。計測光照射部は、偏光画像を取得する偏光画像取得部２０に強度が一様の計測光を照射する。補正情報生成処理部は、計測光照射部から計測光を照射して偏光画像取得部で取得された偏光画像に基づき、この偏光画像に生じた偏光方向の違いによる感度ばらつきを補正するばらつき補正情報を生成する。さらに、補正情報生成処理部は、生成したばらつき補正情報を補正情報記憶部３０に記憶させる。なお、ばらつき補正情報の生成では、ノイズによる悪影響を生じないように十分に明るい計測光を用いて露光時間を長くして計測偏光画像を取得することが望ましい。また、複数枚の偏光画像を取得して平均化処理を行い、平均化処理後の偏光画像を用いることで、計測偏光画像におけるノイズを低減させてもよい。このように、ノイズの少ない計測偏光画像を用いることで、偏光画像取得部２０に応じたばらつき補正情報を正しく生成できる。

図１１は、偏光画像取得部で取得される計測偏光画像の一部を例示しており、図１１の（ａ）は計測偏光画像が白黒画像である場合、図１１の（ｂ）は計測偏光画像がカラー画像である場合を示している。また、「Ｃ１」は、計測偏光画像における第１偏光方向である当該画素の画素値を示している。「Ｃ２」は計測偏光画像における第２偏光方向の当該画素の画素値、「Ｃ３」は計測偏光画像における第３偏光方向の当該画素の画素値、「Ｃ４」は計測偏光画像における第４偏光方向の当該画素の画素値を示している。「Ｒ１」は計測偏光画像における第１偏光方向の赤色画素である当該画素の画素値を示している。「Ｒ２」は計測偏光画像における第２偏光方向の赤色画素である当該画素の画素値、「Ｒ３」は計測偏光画像における第３偏光方向の赤色画素である当該画素の画素値、「Ｒ４」は計測偏光画像における第４偏光方向の赤色画素である当該画素の画素値を示している。同様に、「Ｇ１」～「Ｇ４」は各偏光方向の緑色画素である当該画素の画素値、「Ｂ１」～「Ｂ４」は各偏光方向の青色画素である当該画素の画素値を示している。なお、「Ｃ１」～「Ｃ４」「Ｒ１」～「Ｒ４」「Ｇ１」～「Ｇ４」「Ｂ１」～「Ｂ４」は、黒レベルの画素値ＢＫを除いた画素値である。また、第１偏光方向～第４偏光方向は、偏光モデル式へのフィッティングを行うことができる偏光方向に設定されている。また、後述する第３の実施の形態では、９０°の角度差を有するように偏光方向を設定する。

＜４－１．補正情報生成部の第１の実施の形態＞
図１２は、補正情報生成部の第１の実施の形態を説明するための図である。補正情報生成部５０-1の計測光照射部５１-1は、計測光として平行無偏光光を出射する光源を用いて構成されている。補正情報生成処理部５２-1は、計測光照射部５１-1から偏光画像取得部２０に計測光を照射して生成された偏光画像からばらつき補正情報を生成する。

図１３は、第１の実施の形態の動作を示すフローチャートである。ステップＳＴ１１で補正情報生成部は平行無偏光光を用いて計測偏光画像を取得する。補正情報生成部５０-1は、計測光照射部５１-1から平行無偏光光を偏光画像取得部２０に照射して、偏光画像取得部２０で生成された計測偏光画像を補正情報生成処理部５２-1で取得してステップＳＴ１２に進む。

ステップＳＴ１２で補正情報生成部はばらつき補正情報を生成する。補正情報生成部５０-1の補正情報生成処理部５２-1は、取得した計測偏光画像に基づいて、後述するように偏光方向毎または画素毎に補正値を示したばらつき補正情報を生成してステップＳＴ１３に進む。

ステップＳＴ１３で補正情報生成部はばらつき補正情報を記憶させる。補正情報生成部５０-1の補正情報生成処理部５２-1は生成したばらつき補正情報を補正情報記憶部３０に記憶させる。

次に、ばらつき補正情報の生成について説明する。照明光が平行無偏光光である場合の理想計測偏光画像は、偏光方向や画素位置に係らず画素値が等しくなる。しかし、偏光子の偏光方向に応じて感度ばらつきを生じると、画素の偏光方向に応じた画素値のばらつきを生じる。したがって、補正情報生成部５０-1の補正情報生成処理部５２-1は、計測偏光画像における画素値のばらつきを補正するための偏光方向毎または画素毎の補正値を示したばらつき補正情報を生成する。

計測偏光画像が白黒画像である場合、補正情報生成処理部５２-1は、図１１の（ａ）に示す計測偏光画像の全領域または中央領域における偏光方向毎の画素平均値（Ｃ１mean，Ｃ２mean，Ｃ３mean，Ｃ４mean）に基づき、式（８）または式（９）の演算を行い基準画素値Ｃbaseを算出する。
Ｃbase＝（Ｃ１mean＋Ｃ２mean＋Ｃ３mean＋Ｃ４mean）／４ ・・・（８）
Ｃbase＝Ｍａｘ（Ｃ１mean，Ｃ２mean，Ｃ３mean，Ｃ４mean） ・・・（９）

次に、補正情報生成処理部５２-1は、式（１０）～（１３）の演算を行い、偏光方向毎のばらつき補正情報を生成する。なお、「ＧＶd1」は第１偏光方向に対する補正ゲイン、「ＧＶd2」～「ＧＶd4」は第２～第４偏光方向に対する補正ゲインを示している。また、式（８）を用いて基準画素値Ｃbaseを算出すれば、式（９）を用いる比べてノイズ等の影響を受けにくい基準画素値Ｃbaseを算出できる。また、式（９）を用いて基準画素値Ｃbaseを算出すれば、補正ゲインは「１」以上の値となるので、ばらつき補正情報を用いた補正処理によって画素値が低下することや、飽和している画素値が非飽和状態となってしまうことがない。
ＧＶd1＝Ｃbase／Ｃ１mean ・・・（１０）
ＧＶd2＝Ｃbase／Ｃ２mean ・・・（１１）
ＧＶd3＝Ｃbase／Ｃ３mean ・・・（１２）
ＧＶd4＝Ｃbase／Ｃ４mean ・・・（１３）

計測偏光画像がカラー画像である場合、補正情報生成処理部５２-1は、図１１の（ｂ）に示す計測偏光画像に基づき、色毎に同様な処理を行う。例えば赤色画素についてのばらつき補正情報を生成する場合、補正情報生成処理部５２-1は、計測偏光画像の全領域または中央領域における赤色画素の偏光方向毎の画素平均値（Ｒ１mean，Ｒ２mean，Ｒ３mean，Ｒ４mean）に基づき、式（１４）または式（１５）に基づき基準画素値Ｃbaseを算出する。
Ｒbase＝（Ｒ１mean＋Ｒ２mean＋Ｒ３mean＋Ｒ４mean）／４ ・・・（１４）
Ｒbase＝Ｍａｘ（Ｒ１mean，Ｒ２mean，Ｒ３mean，Ｒ４mean） ・・・（１５）

次に、補正情報生成処理部５２-1は、式（１６）～（１９）の演算を行い、赤色画素における偏光方向毎にばらつき補正情報を生成する。なお、「ＧＶd1R」は赤色画素の第１偏光方向に対する補正ゲイン、「ＧＶd2R」～「ＧＶd4R」は赤色画素の第２～第４偏光方向に対する補正ゲインを示している。
ＧＶd1R＝Ｒbase／Ｒ１mean ・・・（１６）
ＧＶd2R＝Ｒbase／Ｒ２mean ・・・（１７）
ＧＶd3R＝Ｒbase／Ｒ３mean ・・・（１８）
ＧＶd4R＝Ｒbase／Ｒ４mean ・・・（１９）

また、補正情報生成処理部５２-1は、緑色画素および青色画素についても赤色画素の場合と同様な処理を行うことで、緑色画素における偏光方向毎にばらつき補正情報と青色画素における偏光方向毎にばらつき補正情報を生成する。

また、補正情報生成処理部５２-1は、画素毎にばらつき補正情報を生成する場合、式（２０）の演算を画素毎に行う。
ＧＶij＝Ｃbase／Ｃij ・・・（２０）

計測偏光画像がカラー画像である場合、補正情報生成処理部５２-1は、図１１の（ｂ）に示す計測偏光画像に基づき、色毎に同様な処理を行う。例えば赤色画素についてのばらつき補正情報を画素毎に生成する場合、式（２１）の演算を画素毎に行う。
ＧＶRij＝Ｒbase／Ｒij ・・・（２１）

また、補正情報生成処理部５２-1は、緑色画素および青色画素についても赤色画素の場合と同様な処理を行うことで、緑色画素における画素毎にばらつき補正情報ＧＶGijと青色画素における偏光方向毎にばらつき補正情報ＧＶBijを生成する。補正情報生成処理部５２-1は、生成したばらつき補正情報を補正情報記憶部３０に記憶させる。

＜４－２．補正情報生成部の第２の実施の形態＞
図１４は、補正情報生成部の第２の実施の形態を説明するための図である。補正情報生成部５０-2の計測光照射部５１-2は、球状拡散板ＤＢａと光源ＬＴを用いて構成されている。計測光照射部５１-2の球状拡散板ＤＢａは、球の中心が偏光画像取得部２０の主点となるように配置されて、球状拡散板ＤＢａを介して偏光画像取得部２０に入射する計測光は、球状拡散板ＤＢａのいずれの位置でも天頂角θが「θ＝０」となるように構成されている。補正情報生成処理部５２-2は、計測光照射部５１-2から偏光画像取得部２０に計測光を照射して生成された偏光画像に基づいてばらつき補正情報を生成する。

図１５は、第２の実施の形態の動作を示すフローチャートである。ステップＳＴ２１で補正情報生成部は球状拡散板を用いて計測偏光画像を取得する。補正情報生成部５０-2における計測光照射部５１-2は、球状拡散板ＤＢａを介して補正情報生成部５０-2に計測光を照射する。補正情報生成部５０-2の補正情報生成処理部５２-2は、偏光画像取得部２０で生成された計測偏光画像を取得してステップＳＴ２２に進む。

ステップＳＴ２２で補正情報生成部はばらつき補正情報を生成する。天頂角θが「θ＝０」となるように照明が行われる場合、上述したように、最小輝度Ｉmin＝最大輝度Ｉmaxとなる。すなわち、感度ばらつきを生じていない場合は、偏光方向に係らず画素値が等しくなる。したがって、補正情報生成部５０-2の補正情報生成処理部５２-2は、取得した計測偏光画像に基づいて、後述するように偏光方向毎または画素毎に補正値を示したばらつき補正情報を生成してステップＳＴ２３に進む。

ステップＳＴ２３で補正情報生成部はばらつき補正情報を記憶させる。補正情報生成部５０-2の補正情報生成処理部５２-2は生成したばらつき補正情報を補正情報記憶部３０に記憶させる。

次に、ばらつき補正情報の生成について説明する。天頂角θが「θ＝０」となるように照明が行われる場合、偏光画像取得部２０で取得された理想計測偏光画像は、偏光方向や画素位置に係らず画素値が等しくなる。しかし、偏光子の偏光方向に応じて感度ばらつきを生じると、画素の偏光方向に応じた画素値のばらつきを生じる。したがって、補正情報生成部５０-2の補正情報生成処理部５２-2は、計測偏光画像における画素値のばらつきを補正するための偏光方向毎または画素毎の補正値を示したばらつき補正情報を生成する。

計測偏光画像が白黒画像である場合、補正情報生成処理部５２-2は、図１１の（ａ）に示す計測偏光画像に基づき、第１の実施の形態と同様に式（８）乃至式（１３）の演算を行うことで、偏光方向毎にばらつき補正情報を生成する。また、計測偏光画像がカラー画像である場合、補正情報生成処理部５２-2は、図１１の（ｂ）に示す計測偏光画像に基づき、色毎に同様な処理を行う。例えば赤色画素についてのばらつき補正情報を生成する場合、補正情報生成処理部５２-2は、第１の実施の形態と同様に式（１４）乃至式（１９）の演算を行うことで、赤色画素の偏光方向毎のばらつき補正情報を生成する。また、補正情報生成処理部５２-2は、緑色画素および青色画素についても赤色画素の場合と同様な処理を行うことで、緑色画素における偏光方向毎にばらつき補正情報と青色画素における偏光方向毎にばらつき補正情報を生成する。

また、補正情報生成処理部５２-2は、画素毎にばらつき補正情報を生成する場合、計測偏光画像が白黒画像であるときは式（２０）の演算を画素毎に行い、計測偏光画像がカラー画像であるときは式（２１）の演算を画素毎に行う。さらに、補正情報生成処理部５２-2は、緑色画素および青色画素についても赤色画素の場合と同様な処理を行うことで、緑色画素における画素毎にばらつき補正情報と青色画素における偏光方向毎にばらつき補正情報を生成する。

＜４－３．補正情報生成部の第３の実施の形態＞
図１６は、補正情報生成部の第３の実施の形態を説明するための図である。補正情報生成部５０-3の計測光照射部５１-3は、平面拡散板ＤＢｂと光源ＬＴを用いて構成されている。補正情報生成処理部５２-3は、計測光照射部５１-3から偏光画像取得部２０に平面拡散板を介して計測光を照射して生成された偏光画像を用いて、偏光画像取得部２０の焦点距離情報と光軸中心情報に基づいて補正情報を生成する。

図１７は、第３の実施の形態の動作を示すフローチャートである。ステップＳＴ３１で補正情報生成部は平面拡散板を用いて計測偏光画像を取得する。補正情報生成部５０-3の補正情報生成処理部５２-3は、平面拡散板ＤＢｂを介して補正情報生成部５０-3に計測光を照射する。補正情報生成部５０-3の補正情報生成処理部５２-3は、偏光画像取得部２０で生成された計測偏光画像を取得してステップＳＴ３３に進む。

ステップＳＴ３２で補正情報生成部は光軸中心情報と焦点距離情報を取得する。補正情報生成部５０-3の補正情報生成処理部５２-3は、光軸中心の位置を示す光軸中心情報と平面拡散板を撮像したときの焦点距離を示す焦点距離情報を取得してステップＳＴ３３に進む。なお、光軸中心情報と焦点距離情報は、偏光画像取得部２０で用いている撮像光学系の特性からあらかじめ取得されている情報を補正情報生成処理部５２-3に記憶させてもよく、ユーザーが入力してもよい。また、キャリブレーションによって光軸中心情報と焦点距離情報を取得してもよい。なお、ステップＳＴ３２の処理は、画素毎に補正情報を生成する場合にのみ行うようにしてもよい。

ステップＳＴ３３で補正情報生成部は、ばらつき補正情報を生成する。補正情報生成部５０-2の補正情報生成処理部５２-2は、取得した計測偏光画像に基づいて、後述するように偏光方向毎または画素毎に補正値を示したばらつき補正情報を生成してステップＳＴ３４に進む。

ステップＳＴ３４で補正情報生成部はばらつき補正情報を記憶させる。補正情報生成部５０-3の補正情報生成処理部５２-3は生成したばらつき補正情報を補正情報記憶部３０に記憶させる。

次に、ばらつき補正情報の生成について説明する。計測偏光画像において、光軸中心の近傍領域では、天頂角θが「θ≒０」となり、光軸から離れた画角端では天頂角θが大きくなる。また、天頂角θが「θ≒０」である場合、最小輝度Ｉminと最大輝度Ｉmaxは略等しいと見なすことができる。すなわち、感度ばらつきを生じていない場合は、偏光方向に係らず画素値が略等しくなる。したがって、補正情報生成部５０-3の補正情報生成処理部５２-3は、計測画像における光軸中心の近傍領域の画像に基づいて、偏光方向毎に補正値を示したばらつき補正情報を生成する。

計測偏光画像が白黒画像である場合、補正情報生成処理部５２-3は、図１１の（ａ）に示す計測偏光画像に基づき、第１の実施の形態と同様に式（８）乃至式（１３）の演算を行うことで、偏光方向毎にばらつき補正情報を生成する。また、計測偏光画像がカラー画像である場合、補正情報生成処理部５２-3は、図１１の（ｂ）に示す計測偏光画像に基づき、色毎に同様な処理を行う。例えば赤色画素についてのばらつき補正情報を生成する場合、補正情報生成処理部５２-3は、第１の実施の形態と同様に式（１４）乃至式（１９）の演算を行うことで、赤色画素の偏光方向毎のばらつき補正情報を生成する。また、補正情報生成処理部５２-3は、緑色画素および青色画素についても赤色画素の場合と同様な処理を行うことで、緑色画素における偏光方向毎にばらつき補正情報と青色画素における偏光方向毎にばらつき補正情報を生成する。

次に、画素毎にばらつき補正情報を生成する場合について説明する。図１８は、偏光画像取得部で平面拡散板を撮像する場合を示している。計測偏光画像において、偏光画像取得部２０の光軸中心から画素位置が離れると法線の傾き（天頂角θ）が大きくなる。図１８の（ａ）は、偏光画像取得部２０における撮像光学系の中心である主点と平面拡散板ＤＢｂの関係を、偏光画像取得部２０における撮像光学系の光軸方向に対して直交する方向からの視点で示している。また、図１８の（ｂ）は、光軸方向の視点で示している。なお、図１８の（ｃ）は、計測偏光画像における各画素の視点方向を平行としたときの法線方向を示している。

このように、計測偏光画像における画素に応じて法線の傾きが変化して、光軸中心から画素位置が外側に離れるに伴い法線の傾きが大きくなる。すなわち、天頂角θは、画素位置が光軸中心から外側に離れるに伴い、図１８の（ｄ）に示すように、最小輝度Ｉminと最大輝度Ｉmaxの差が大きくなる。

したがって、補正情報生成処理部５２-3は、光軸中心位置と焦点距離および補正対象画素位置から、その補正対象画素位置で観測されるべき法線を算出して、法線を偏光モデル式に適用する。さらに、光軸中心近傍の画素値から基準値（Ｉmax＋Ｉmin）／２を設定して偏光モデル式に当てはめることで、理想輝度値を算出して補正対象画素位置に対応するばらつき補正情報を生成する。

図１９は法線の算出を説明するための図である。図１９の（ａ）は、偏光画像取得部２０と平面拡散板ＤＢｂの配置、図１９の（ｂ）は方位角φ、図１９の（ｃ）は天頂角θを示している。また、図１９において、光軸中心ＬＣを座標（Ｃｘ，Ｃｙ）、補正対象画素ＨＰを座標（Ｈｘ，Ｈｙ）とする。焦点距離ｆm（単位は「ｍｍ」）は、式（２２）に基づき画素単位の焦点距離ｆに変換できる。なお、式（２２）において「ｐｓ」は１画素の画素サイズ（単位は「ｍｍ／ピクセル」）を示している。

ｆ＝ｆm／ｐｓ ・・・（２２）
補正対象画素ＨＰの方位角φは、式（２３）に基づき算出できる。また、補正対象画素ＨＰの天頂角θは式（２４）に基づき算出できる。

また、平面拡散板の裏側から照明を行うことで計測光を偏光画像取得部２０に照射する場合、原理的には鏡面反射が発生しない拡散反射光と見なすことができる。補正情報生成処理部５２-3は、計測光を照射して偏光画像取得部２０で取得された偏光画像の画素値を用いて式（１）に示す偏光モデル式へのフィッティングを行う。また、式（１）は式（２５）として示すことができ、式（２５）における偏光度ρは、式（２）に基づき算出できる。

また、式（２４）に基づき天頂角θが算出されていることから、式（２６）に基づき偏光度ρを算出する。なお、式（２６）は、拡散反射光における偏光度を示す式として知られており、屈折率ｎは使用する平面拡散板の屈折率とする。

以上の演算処理を行うと、偏光モデル式において、補正対象画素ＨＰの偏光方向を示す偏光角υpol、方位角φ、偏光度ρが既知となる。したがって、（（Ｉmax＋Ｉmin）／２）を推定して、補正対象画素ＨＰの理想輝度Ｉpolを算出できるようにする。

（（Ｉmax＋Ｉmin）／２）の推定では、偏光方向が９０度異なる画素値の平均値を推定値とする。式（２７）は、偏光方向が９０度異なる２つの画素値Ｉpol，Ｉpol+90の加算式を示している。画素値Ｉpolと画素値Ｉpol+90の加算結果は、（Ｉmax＋Ｉmin）となることが式（２７）に基づき明らかである。

したがって、補正情報生成処理部５２-3は、偏光方向が９０度異なる画素の画素平均値を（（Ｉmax＋Ｉmin）／２）の推定値として用いることができる。また、（（Ｉmax＋Ｉmin）／２）の推定では、天頂角θによる影響が無くなるように、光軸中心の近傍領域における偏光方向が９０度異なる画素を用いる。

補正情報生成処理部５２-3は、具体的には光軸中心の近傍領域から偏光方向毎に等しい数（ｉ，ｊ方向のそれぞれｍ個）の画素値を用いて式（２８）の演算を行い、算出した平均値を推定値（（Ｉmax＋Ｉmin）／２）baseとする。

さらに、補正情報生成処理部５２-3は、補正対象画素ＨＰの偏光方向を示す偏光角υpol、補正対象画素ＨＰの方位角φ、偏光度ρおよび推定した（（Ｉmax＋Ｉmin）／２）baseを用いて式（２９）の演算を行うことで、理想輝度値ＩＤを算出する。

また、補正情報生成処理部５２-3は、画素位置（ｉ，ｊ）である補正対象画素ＨＰの画素値Ｃijと理想輝度値ＩＤijに基づき、式（３０）を用いてばらつき補正情報ＧＶijを生成する。
ＧＶij＝ＩＤij／Ｃij ・・・（３０）

このようにして、補正情報生成処理部５２-3は、偏光画像の各画素を補正対象画素として画素毎にばらつき補正情報ＧＶを生成して補正情報記憶部３０に記憶させる。

なお、偏光画像取得部２０の撮像光学系としてテレセントリック光学系を用いた場合、各画素は、平面拡散板を用いても球状拡散板を用いた場合と同様に拡散板と正対した状態となる。したがって、平面拡散板とテレセントリック光学系を用いた場合には、第２の実施の形態と同様にしてばらつき補正情報を生成すればよい。

＜４－４．補正情報生成部の第４の実施の形態＞
図２０は、補正情報生成部の第４の実施の形態を説明するための図である。補正情報生成部５０-4の計測光照射部５１-4は、平面拡散板ＤＢｂを介して光源ＬＴからの照明光を偏光画像取得部２０に照射する。補正情報生成処理部５２-4は、偏光画像取得部２０の向きをパン方向またはチルト方向に回動させる回動部５３を制御して、補正対象画素を平面拡散板ＤＢｂと正対させる。また、補正情報生成処理部５２-4は、平面拡散板ＤＢｂと正対する補正対象画素および周辺画素の画素値を用いて、第１または第２の実施の形態と同様にして補正対象画素に対するばらつき補正情報を生成する。

図２１は、第４の実施の形態の動作を示すフローチャートである。ステップＳＴ４１で補正情報生成部は補正対象画素を平面拡散板に正対させる。補正情報生成部５０-4は、偏光画像取得部２０をパン方向やチルト方向に駆動して、偏光画像取得部２０の補正対象画素を平面拡散板と正対させてステップＳＴ４２に進む。

ステップＳＴ４２で補正情報生成部５０-4は、平面拡散板を用いて計測偏光画像を取得する。補正情報生成部５０-1は、計測光照射部５１-1から平面拡散板を介して照明光を偏光画像取得部２０に照射して、偏光画像取得部２０で生成された計測偏光画像を補正情報生成処理部５２-4で取得してステップＳＴ４３に進む。

ステップＳＴ４３で補正情報生成部は、ばらつき補正情報を生成する。補正情報生成部５０-4の補正情報生成処理部５２-4は、取得した計測偏光画像に基づいて、第１乃至第２の実施の形態と同様に、補正対象画素の偏光方向または補正対象画素に対する補正値を示したばらつき補正情報を生成してステップＳＴ４４に進む。

ステップＳＴ４４で補正情報生成部はばらつき補正情報の生成処理を終了するか判別する。補正情報生成部５０-4は、所望の画素のばらつき補正情報の生成が完了したか判別する。補正情報生成部５０-4は、ばらつき補正情報の生成が完了していない画素がある場合はステップＳＴ４５に進む。また、補正情報生成部５０-4は、所望の画素についてばらつき補正情報の生成が完了した場合はステップＳＴ４６に進む。

ステップＳＴ４５で補正情報生成部は補正対象画素を更新する。補正情報生成部５０-4は、ばらつき補正情報の生成が完了していない画素を新たな補正対象画素としてステップＳＴ４１に戻り、新たな補正対象画素を平面拡散板と正対させる。

ステップＳＴ４６で補正情報生成部はばらつき補正情報を記憶させる。補正情報生成部５０-4の補正情報生成処理部５２-4は生成したばらつき補正情報を補正情報記憶部３０に記憶させる。

また、補正対象画素を平面拡散板と正対するように偏光画像取得部２０の向きをパン方向またはチルト方向に調整する場合に、画素毎に平面拡散板と正対するように調整するためには、高精度の向き調整機構が必要となる。このため、複数画素からなる領域毎に、領域内のいずれかの画素を補正対象画素としてばらつき補正情報の生成を行い、生成したばらつき補正情報と当該領域内の各画素のばらつき補正情報としてもよい。

上述の第１乃至第３の実施の形態では、偏光方向毎にばらつき補正情報を生成する場合と画素毎にばらつき補正情報を生成する場合について説明した。また、第４の実施の形態では、画素毎にばらつき補正情報を生成する場合について説明したが、補正情報生成部は、偏光方向毎または画素毎のばらつき補正情報のいずれかを生成して補正情報記憶部３０に記憶させてばよい。例えば、偏光画像取得部２０において、同一偏光方向の画素の感度ばらつきが閾値よりも少ないことが明らかな場合には偏光方向毎のばらつき補正情報を生成する。また、同一偏光方向の画素の感度ばらつきが閾値以上であることが明らかな場合には画素毎のばらつき補正情報を生成する。なお、偏光方向毎にばらつき補正情報を生成する場合は、画素毎にばらつき補正情報を生成する場合に比べてばらつき補正情報のデータ量が少なくなるので、補正情報記憶部３０の記憶容量を少なくできる。また、補正処理部４０では、画素毎にばらつき補正情報を補正情報記憶部３０から読み出す必要がないので、効率よく補正処理を行える。さらに、画素毎にばらつき補正情報を生成する場合は、偏光方向毎にばらつき補正情報を生成する場合に比べてばらつきが大きくても高精度に補正処理を行うことが可能となる。

＜５．他の構成および動作について＞
ところで、ばらつき補正情報の生成において、偏光画像取得部２０は、偏光画像取得部２０を各種装置等に搭載する際に使用する所定の撮像光学系を装着する。この場合、イメージセンサ２００には、所定の撮像光学系の特性に応じた計測光が偏光子やカラーフィルタを介して入射される。したがって、補正情報生成部５０では、画素毎にばらつき補正情報の生成を行うことで、所定の撮像光学系によって生じるシェーディングと偏光子のばらつき等によって生ずる感度ばらつきを共に補正するばらつき補正情報を生成できる。

また、撮像光学系を用いることなく画素毎にばらつき補正情報の生成を行うようにすれば、補正情報生成部では、偏光子のばらつき等によって生ずる感度ばらつきのみを補正するばらつき補正情報を生成できる。また、撮像光学系を装着して取得した偏光画像に対して、感度ばらつきのみを補正する画素毎のばらつき補正情報を用いて画素値を補正した場合、補正後の偏光画像に生じている画素値のばらつきは、撮像光学系の特性によって生じたばらつきを示す。したがって、感度ばらつきのみを補正する画素毎のばらつき補正情報を用いれば、撮像光学系における偏光画像を取得する際の特性を測定することも可能となる。

＜６．応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。

図２２は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図２２に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図２２では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。

駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。

環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

ここで、図２３は、撮像部７４１０及び車外情報検出部７４２０の設置位置の一例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図２３には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。

車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

図２２に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。

記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（Global System of Mobile communications）、ＷｉＭＡＸ、ＬＴＥ（Long Term Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。

専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。

ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。

車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。

車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。

マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２２の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

なお、図２２に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。

以上説明した車両制御システム７０００において、撮像部７４１０，７９１０，７９１２，７９１４，７９１６，７９１８は、偏光画像取得部２０を用いる構成とする。また、図２２に示した応用例の統合制御ユニット７６００に補正情報記憶部３０と補正処理部４０を設ける。このような構成とすれば、撮像部７４１０，７９１０，７９１２，７９１４，７９１６，７９１８では感度ばらつきの少ない偏光画像を取得できるので、取得した偏光画像を運転支援や運転制御等に利用できる。なお、補正情報記憶部３０と補正処理部４０は、図２２に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。

明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。

また、本技術の画像処理装置は以下のような構成も取ることができる。
（１） 偏光画像に対して、予め生成されている補正情報を用いて偏光方向の違いによって生じた感度ばらつきを補正する補正処理部を備える画像処理装置。
（２） 前記偏光画像は、偏光子が配された偏光撮像素子を有する偏光画像取得部によって取得される複数偏光方向の偏光方向毎の画素を含む画像である（１）に記載の画像処理装置。
（３） 前記補正情報は、偏光方向毎に生成されている（１）または（２）に記載の画像処理装置。
（４） 前記補正情報は、前記偏光画像の画素位置毎に生成されている（１）乃至（３）のいずれかに記載の画像処理装置。
（５） 前記補正情報は、前記偏光画像に生じたシェーディングを補正する情報を含む（１）乃至（４）のいずれかに記載の画像処理装置。
（６） 前記偏光画像はカラー画像であり、前記補正情報は、前記偏光画像の色成分毎に生成されている（１）乃至（５）のいずれかに記載の画像処理装置。
（７） 前記補正情報は、前記偏光画像のホワイトバランスを補正する情報を含む（６）に記載の画像処理装置。
（８） 前記補正情報は、前記偏光画像取得部に計測光照射部から強度が一様の計測光を照射して前記偏光画像取得部で取得された偏光画像に基づき、該偏光画像に生じた偏光方向の違いによる感度ばらつきを補正する補正ゲインである（２）に記載の画像処理装置。
（９） 前記補正情報を記憶する補正情報記憶部をさらに備える（１）乃至（８）のいずれかに記載の画像処理装置。

また、本技術の情報生成装置は以下のような構成も取ることができる。
（１） 偏光画像を取得する偏光画像取得部に強度が一様の計測光を照射する計測光照射部と、
前記計測光照射部から計測光を照射して前記偏光画像取得部で取得された偏光画像に基づき、該偏光画像に生じた偏光方向の違いによる感度ばらつきを補正する補正情報を生成する補正情報生成部と
を備える情報生成装置。
（２） 前記計測光照射部は、前記計測光として無偏光光を照射する（１）に記載の情報生成装置。
（３） 前記計測光照射部は、球状拡散板を介して前記計測光を前記偏光画像取得部に照射する（１）に記載の情報生成装置。
（４） 前記計測光照射部は、板状拡散板を介して前記計測光を前記偏光画像取得部に照射して、
前記補正情報生成部は、前記板状拡散板に対する前記偏光画像取得部の向きを移動させて、前記補正情報を生成する（１）に記載の情報生成装置。
（５） 前記計測光照射部は、板状拡散板を介して前記計測光を前記偏光画像取得部に照射して、
前記補正情報生成部は、前記偏光画像取得部の焦点距離と光軸中心に基づいて、画素毎に補正情報を生成する（１）に記載の情報生成装置。

この技術の画像処理装置および情報生成装置と情報生成方法によれば、 偏光画像を取得する偏光画像取得部に強度が一様の計測光を照射して取得した偏光画像に基づき、この偏光画像に生じた偏光方向の違いによる感度ばらつきを補正する補正情報が予め生成されて、この予め生成されている補正情報を用いて、偏光画像に対して、偏光方向の違いによって生じた感度ばらつきを補正する補正処理が行われる。このため、高画質の偏光画像を取得できるようになり、偏光画像を用いて例えば三次元形状の認識等を行う機器に適している。

１０・・・偏光画像システム
２０・・・偏光画像取得部
３０・・・補正情報記憶部
４０・・・補正処理部
５０，５０-1，５０-2，５０-3，５０-4・・・補正情報生成部
５１-1，５１-2，５１-3，５１-4・・・計測光照射部
５２-1，５２-2，５２-3，５２-4・・・補正情報生成処理部
５３・・・回動部
２００・・・イメージセンサ
２０１・・・偏光子
２０２・・・カラーフィルタ

Claims (13)

1. 偏光画像に対して、予め生成されている補正情報を用いて偏光方向の違いによって生じた感度ばらつきを補正する補正処理部を備え、
   前記偏光画像は、偏光子が配された偏光撮像素子を有する偏光画像取得部によって取得される複数偏光方向の偏光方向毎の画素を含む画像であり、
   前記補正情報は、計測光照射部から前記偏光画像取得部に強度が一様の計測光を照射して前記偏光画像取得部で取得された偏光画像と前記偏光画像取得部における前記計測光の入射方向に基づき生成されて、前記偏光画像に生じた偏光方向の違いによる感度ばらつきを補正する補正ゲインである
   画像処理装置。
2. 前記補正情報は、偏光方向毎に生成されている
   請求項１に記載の画像処理装置。
3. 前記補正情報は、前記偏光画像の画素位置毎に生成されている
   請求項１に記載の画像処理装置。
4. 前記補正情報は、前記偏光画像に生じたシェーディングを補正する情報を含む
   請求項１に記載の画像処理装置。
5. 前記偏光画像はカラー画像であり、前記補正情報は、前記偏光画像の色成分毎に生成されている
   請求項１に記載の画像処理装置。
6. 前記補正情報は、前記偏光画像のホワイトバランスを補正する情報を含む
   請求項５に記載の画像処理装置。
7. 前記補正情報を記憶する補正情報記憶部をさらに備える
   請求項１に記載の画像処理装置。
8. 偏光子が配された偏光撮像素子を有して複数偏光方向の偏光方向毎の画素を含む偏光画像を取得する偏光画像取得部に、強度が一様の計測光を照射する計測光照射部と、
   前記計測光照射部から前記偏光画像取得部に前記計測光を照射して前記偏光画像取得部で取得された偏光画像と前記偏光画像取得部における前記計測光の入射方向に基づき、該偏光画像に生じた偏光方向の違いによる感度ばらつきを補正する補正情報を生成する補正情報生成処理部とを備える
   情報生成装置。
9. 前記計測光照射部は、拡散板を介して前記計測光を前記偏光画像取得部に照射する
   請求項８に記載の情報生成装置。
10. 前記計測光照射部は、前記拡散板として球状拡散板を用いる
    請求項９に記載の情報生成装置。
11. 前記計測光照射部は、前記拡散板として板状拡散板を用いて、
    前記補正情報生成処理部は、前記板状拡散板に対する前記偏光画像取得部の向きを移動させて、前記補正情報を生成する
    請求項９に記載の情報生成装置。
12. 前記計測光照射部は、板状拡散板を介して前記計測光を前記偏光画像取得部に照射して、
    前記補正情報生成処理部は、前記偏光画像取得部の焦点距離と光軸中心に基づいて、画素毎に補正情報を生成する
    請求項８に記載の情報生成装置。
13. 偏光子が配された偏光撮像素子を有して複数偏光方向の偏光方向毎の画素を含む偏光画像を取得する偏光画像取得部に、計測光照射部から強度が一様の計測光を照射することと、
    前記計測光照射部から前記偏光画像取得部に前記計測光を照射して前記偏光画像取得部で取得された偏光画像と前記偏光画像取得部における前記計測光の入射方向に基づき、該偏光画像に生じた偏光方向の違いによる感度ばらつきを補正する補正情報を補正情報生成処理部で生成することと
    を含む情報生成方法。

Images