JP2015115041A - 画像処理装置と画像処理方法 - Google Patents

Abstract

【課題】被写体表面形状に基づいた画像処理を行えるようにする。
【解決手段】偏光画像取得部１１は、偏光方向が３方向以上の偏光画像を取得する。特徴量算出部１５は、取得された偏光画像に基づいて画像特徴量の算出を行う。例えば、画素毎に各偏光画像の輝度を正規化して、正規化後の偏光画像の輝度を画像特徴量として用いる。偏光画像の輝度は被写体の表面形状に応じて輝度レベルが変化する。したがって、偏光画像に基づいて算出した画像特徴量は、被写体の表面形状に応じた特徴量となる。このような画像特徴量を用いることで、画像処理例えば画像認識や特徴点検出、特徴点マッチング等を被写体の表面形状に基づいて行うことが可能となる。
【選択図】 図１

Description

この技術は、画像処理装置と画像処理方法に関し、被写体表面形状に基づいた画像処理を行えるようにする。

従来、複数の偏光方向の偏光画像から被写体の法線情報を取得することが行われている。例えば、非特許文献１や非特許文献２では、複数の偏光方向の偏光画像をモデル式に当てはめることによって法線情報の算出が行われている。また、偏光画像を用いて被写体の認識等も行われている。例えば特許文献１は、照明光が所定の基準面に対してｐ偏光となるよう照明手段を配置して被写体の照明を行う。さらに、特許文献１は、基準面からの反射光をｓ偏光とｐ偏光に分離して偏光成分毎の光強度の測定を行い、被測定物を基準面に沿って移動させながら得られた光強度の測定結果に基づき、被写体の識別が行われている。

特開２０１１−１５０６８９号公報

Lawrence B.Wolff and Terrance E.Boult :"Constraining Object Features Using a Polarization Reflectance Model",IEEE Transaction on pattern analysis and machine intelligence，Vol.13，No.7，July 1991 Gary A. Atkinson and Edwin R. Hancock :"Recovery of surface orientation from diffuse polarization",IEEE Transactions of Image Processing, Vol.15, Issue.6, pp.1653-1664, 2006

ところで、複数の偏光方向の偏光画像をモデル式に当てはめることによって法線情報を算出する場合、偏光方向と偏光画像の輝度との関係は１８０度の周期性を有する。例えば０度と１８０度の場合は偏光画像の輝度が等しくなり、４５度の場合は２２５度の場合と偏光画像と輝度が等しくなる。したがって、法線方向の方位角を求める場合に所謂１８０度の不定性の問題が残ってしまう。また、ｓ偏光とｐ偏光を用いた識別では、被写体の表面素材の違いを識別することはできるが、原理上２偏光方向から被写体の表面形状を識別できない。

そこで、この技術では、被写体の表面形状に基づいた画像処理を行うことができる画像処理装置と画像処理方法を提供することを目的とする。

この技術の第１の側面は、偏光画像を取得する偏光画像取得部と、前記偏光画像取得部で取得された偏光画像に基づいて算出された画像特徴量を用いて画像処理を行う画像処理部とを備える画像処理装置にある。

この技術においては、例えば、偏光方向が３方向以上の偏光画像が取得されて、この取得された偏光画像の輝度に基づいて画素毎に算出された画像特徴量を用いて、被写体の認識処理や特徴点を検出、被写体の特徴点とのマッチング処理等の画像処理が行われる。画像特徴量の算出では輝度の正規化が行われて、正規化後の偏光方向毎の輝度が画像特徴量として用いられる。また、画素毎に画像特徴量の算出を行い、特徴量算出対象画素の画像特徴量の算出では、特徴量算出対象画素の周囲に位置する画素の画像特徴量を用いることも行われる。さらに、画像特徴量の算出では、偏光画像における被写体の反射特性に基づき、拡散反射成分と鏡面反射成分の割合に応じた画像特徴量の算出が行われる。また、画像特徴量の算出では、偏光画像と偏光画像における被写体の屈折率に基づいた画像特徴量の算出が行われる。また、取得された偏光画像から無偏光画像を生成して、この無偏光画像に基づいて特徴量の算出を行う無偏光特徴量算出部をさらに設けて、無偏光特徴量算出部で特徴量の算出時に判別された勾配強度と勾配方向に基づく情報を用いて画像特徴量の算出が行われる。また、算出された画像特徴量に無偏光特徴量算出部で算出された画像特徴量を含めることも行われる。

この技術の第２の側面は、偏光画像取得部で、偏光画像を取得する工程と、画像処理部で、前記偏光画像取得部で取得された偏光画像に基づいて算出された画像特徴量を用いて画像処理を行う工程とを含む画像処理方法にある。

この技術によれば、偏光画像が取得されて、取得された偏光画像に基づいて算出した画像特徴量を用いて画像処理が行われる。このように、偏光画像に基づいて画像特徴量が算出されることから、画像特徴量によって被写体の表面形状の特徴を示すことが可能となり、この画像特徴量を用いることで、被写体の表面形状に基づいた画像処理を行うことができるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

画像特徴量算出装置の構成を示す図である。 偏光画像取得部で取得される偏光画像について説明するための図である。 画像特徴量の算出を説明するための図である。 被写体表面形状と偏光画像について説明するための図である。 輝度と偏光角との関係を例示した図である。 偏光度と天頂角の関係を例示した図である。 画像特徴量算出装置の動作を示すフローチャートである。 空間方向の情報を用いる場合の特徴量算出部の動作を説明するための図である。 屈折率に応じて画像特徴量を場合を例示した図である。 画像特徴量算出装置の他の構成を示す図である。 無偏光画像特徴量算出部でＳＩＦＴ特徴量の算出処理を行う場合の特徴量算出部の動作を説明するための図である。 ＳＩＦＴ特徴量を画像特徴量に含める場合を説明するための図である。 無偏光画像特徴量算出部でＳＵＲＦ特徴量の算出処理を行う場合の特徴量算出部の動作を説明するための図である。 ＳＵＲＦ特徴量を画像特徴量に含める場合を説明するための図である。 無偏光画像特徴量算出部でバイナリ特徴量の算出処理を行う場合の特徴量算出部の動作を説明するための図である。 画像特徴量算出装置の他の構成の動作を示すフローチャートである。 偏光画像の他の例を示す図である。 画像処理装置で認識処理を行う場合の構成を例示した図である。 画像処理装置の動作を説明するための図である。 認識処理の動作を示すフローチャートである。 認識処理を例示した図である。 画像処理装置で特徴点検出を行う場合の構成を例示した図である。 特徴点検出部の動作を説明するための図である。 特徴点検出処理の動作を示すフローチャートである。 画像処理装置で特徴点マッチングを行う場合の構成を例示した図である。 マッチング処理部の動作を説明するための図である。 特徴点マッピング処理の動作を示すフローチャートである。

以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．画像特徴量算出装置の構成と動作
１−１．画像特徴量算出装置の構成
１−２．画像特徴量算出装置の動作
１−３．画像特徴量算出装置の他の動作
２．画像特徴量算出装置の他の構成と動作
２−１．画像特徴量算出装置の他の構成
２−２．画像特徴量算出装置の他の構成の動作
３．画像処理装置の構成と動作
３−１．認識処理
３−２．特徴点検出
３−３．特徴点マッチング

＜１．画像特徴量算出装置の構成と動作＞
［１−１．画像特徴量算出装置の構成］
図１は、画像特徴量の算出を行う画像特徴量算出装置の構成を例示している。画像特徴量算出装置１０は、偏光画像取得部１１と特徴量算出部１５を有している。

偏光画像取得部１１は、偏光方向が３方向以上である偏光画像を取得する。偏光画像取得部１１は、偏光方向が３方向以上の偏光画像を生成する撮像部を有する構成であってもよく、外部機器や記録媒体等から偏光方向が３方向以上の偏光画像を取得する構成であってもよい。

特徴量算出部１５は、偏光画像取得部１１で取得された偏光画像に基づいて画像特徴量を算出する。

［１−２．画像特徴量算出装置の動作］
図２は、偏光画像取得部で取得される偏光画像について説明するための図である。例えば図２の（Ａ）に示すように、偏光画像は、撮像部ＣＭの前に設けた偏光板ＰＬを回転させて３方向以上の偏光方向でそれぞれ撮像を行うことで生成する。また、図２の（Ｂ）に示すように、偏光画像は、イメージセンサ１１０に３方向以上の偏光方向の画素構成とされた偏光フィルタ１１１を配置して撮像を行うことで生成してもよい。なお、図２の（Ｂ）では、各画素が異なる４種類の偏光方向（偏光方向を矢印で示す）の何れかの画素となる偏光フィルタ１１１をイメージセンサ１１０の前面に配置した場合を例示している。さらに、図２の（Ｃ）に示すように、偏光画像は、偏光方向が異なる偏光板ＰＬ１〜ＰＬ４を撮像部ＣＭ１〜ＣＭ４の前に設けて、撮像部ＣＭ１〜ＣＭ４で順次同じ位置から撮像を行うことで生成してもよい。

また、撮像部でカラーフィルタを使用しない場合、偏光画像取得部１１では輝度偏光画像を取得できる。ここで、図２の（Ａ）および（Ｃ）の場合、画素毎に偏光方向が異なる輝度偏光画像の輝度を平均することで、無偏光である通常輝度画像と同等の画像を取得できる。また、図２の（Ｂ）の場合、偏光方向が異なる方向であって隣接している４画素の輝度を平均することで、無偏光の通常輝度画像と同等の画像を取得することができる。また、偏光画像取得部１１は、輝度偏光画像だけでなく、撮像部にカラーフィルタを設けることで三原色画像を同時に生成してもよく、赤外画像等を同時に生成してもよい。

特徴量算出部１５は、偏光画像取得部１１で取得された偏光画像に基づいて画像特徴量を算出する。特徴量算出部１５は、偏光画像に基づいて例えば画素毎に、偏光画像における被写体の表面形状に応じた画像特徴量を算出する。図３は、画像特徴量の算出を説明するための図である。図３の（Ａ）（Ｂ）は、偏光画像における画像特徴量の特徴量算出対象画素（以下単に「対象画素」という）における偏光方向の角度と輝度の関係を例示しており、図３の（Ｂ）は、図３の（Ａ）に比べて例えば照明光が明るい場合を示している。なお、図３は、偏光画像取得部１１において、偏光方向の角度（以下「偏光角」という）が０度，４５度，９０度，１３５度の偏光画像を取得した場合を例示している。また、対象画素における偏光角が０度の時の輝度をＩ_０°，Ｉ'_０°、偏光角が４５度の時の輝度をＩ_４５°，Ｉ'_４５°、偏光角が９０度の時の輝度をＩ_９０°，Ｉ'_９０°、偏光角が１３５度の時の輝度をＩ_１３５°，Ｉ'_１３５°とする。このように、偏光画像の輝度は照明等によって変化する。したがって、特徴量算出部１５は、輝度が異なる場合でも同じ特徴を持つ点とみなすことが可能となるように、輝度の正規化を行う。特徴量算出部１５は、各偏光角の輝度の平均を算出して、算出された平均輝度で各偏光角の輝度を除算して、正規化された輝度を算出する。なお、図３の（Ｃ）は、正規化後の輝度を示しており、正規化基準レベルは平均輝度に相当する。

特徴量算出部１５は、正規化後の各偏光角の輝度を画像特徴量とする。なお、式（１）は、偏光角が０度，４５度，９０度，１３５度の偏光画像を取得した場合の画像特徴量を例示している。

このようにして算出される画像特徴量は、対象画素に対応する被写***置の表面形状を示す情報となる。

ここで、被写体表面形状と偏光画像について図４を用いて説明する。例えば図４に示すように、光源ＬＴを用いて被写体ＯＢの照明を行い、撮像部ＣＭは偏光板ＰＬを介して被写体ＯＢの撮像を行う。この場合、撮像画像は、偏光板ＰＬの回転に応じて被写体ＯＢの輝度が変化する。なお、偏光板ＰＬを回転させたとき、最も高い輝度をＩmax，最も低い輝度をＩminとする。また、２次元座標におけるｘ軸とｙ軸を偏光板ＰＬの平面上としたとき、偏光板ＰＬを回転させたときのｘ軸に対するｙ軸方向の角度を偏光角υとする。偏光板ＰＬは、１８０度回転させると元の偏光状態に戻り１８０度の周期を有している。また、最大輝度Ｉmaxが観測されたときの偏光角υを方位角φとする。このような定義を行うと、偏光板ＰＬを回転させたときに観測される輝度Ｉは式（２）のように表すことができる。なお、図５は、輝度と偏光角との関係を例示している。なお、この例は拡散反射のモデルを示しており、鏡面反射の場合は方位角が偏光角に比べて９０度ずれる。

式（２）では、偏光角υが偏光画像の生成時に明らかであり、最大輝度Ｉmaxと最小輝度Ｉminおよび方位角φが変数となる。したがって、偏光方向が３方向以上の偏光画像の輝度を用いて、式（２）に示す関数へのフィッティングを行うことにより、輝度と偏光角の関係を示す関数に基づき最大輝度となる偏光角である方位角φを判別することができる。

また、物体表面法線を極座標系で表現して、法線情報を方位角φと天頂角θとする。なお、天頂角θはｚ軸から法線に向かう角度、方位角φは、上述のようにｘ軸に対するｙ軸方向の角度とする。ここで、偏光板ＰＬを回したときに最小輝度Ｉminと最大輝度Ｉmaxが得られたとき、式（３）に基づき偏光度ρを算出できる。

偏光度ρと天頂角θの関係は、拡散反射の場合、フレネルの式から例えば図６に示す特性を有することが知られている。したがって、図６に示す特性から偏光度ρに基づき天頂角θを判別できる。なお、図６に示す特性は例示であって、被写体の屈折率等に依存して特性は変化する。例えば屈折率が大きくなるに伴い偏光度が大きくなる。

以上にように、対象画素の画像特徴量は、輝度の振幅が天頂角、輝度と偏光角の関係を示す関数の位相が方位角の特徴を有することから、対象画素に対応する被写***置の表面形状を示す情報である。

特徴量算出部１５は、上述のように偏光方向が３方向以上の偏光画像の輝度を正規化して、各偏光方向の偏光画像における正規化後の輝度を画像特徴量とする。

また、画像特徴量の算出では、偏光角υが「０度≦υ＜１８０度」の範囲において、偏光角の差分が等しい全ての偏光画像を用いることが望ましい。例えば偏光角υが「０度，６０度，１２０度」の偏光画像を用いてもよく「０度，３０度，６０度，９０度，１２０度，１５０度」等の偏光角υの偏光画像を用いてもよい。さらに、偏光角の差分が異なる偏光画像が含まれている場合、式（４）を満たすような偏光角υにおける偏光画像を選択的に用いて画像特徴量を算出することが望ましい。例えば、偏光画像の偏光角υが「０度，６０度，１２０度，１５０度」の場合、偏光角υが「０度，６０度，１２０度」の偏光画像を用いて正規化を行う。このように偏光角の差分が等しい偏光画像を用いることで、正規化をより精度よく行うことができる。

図７は、画像特徴量算出装置の動作を示すフローチャートである。ステップＳＴ１で画像特徴量算出装置１０は偏光画像を取得する。画像特徴量算出装置１０は、偏光方向が３方向以上の偏光画像を生成してステップＳＴ２に進む。

ステップＳＴ２で画像特徴量算出装置１０は、画像特徴量を算出する。画像特徴量算出装置１０は、偏光方向が３方向以上の偏光画像の輝度を正規化する。さらに、画像特徴量算出装置１０は、正規化後の各偏光画像の輝度を画素毎に用いて画像特徴量とする。

このように、画像特徴量算出装置は、偏光方向が３方向以上の偏光画像を取得して、取得した偏光画像に基づいて画像特徴量の算出を行う。偏光画像は、上述のように偏光方向と被写体の表面形状に応じて輝度が変化することから、偏光画像に基づいて画像特徴量の算出を行うことにより、被写体の表面形状に応じた画像特徴量を算出できる。さらに、画像特徴量は法線方向に関係した情報であるが、法線方向の算出結果を示す情報ではないことから１８０度の不定性を考慮しなくてもよい。また、画像特徴量は、被写体表面形状に応じた特徴量であることから、単一の三原色画像や輝度画像の勾配情報に基づいた特徴量よりも光源の影響を受けにくい。

また、画像特徴量算出装置は、偏光画像の輝度を正規化して、正規化後の輝度を用いることで、照明光の輝度の違い等に対して頑強な画像特徴量を算出できる。さらに正規化後の輝度を用いることから、法線情報の生成のように式（２）に示す関数へのフィッティング等の処理を行う必要がなく、容易に画像特徴量を算出できる。また、被写体が平坦な形状であっても、画像特徴量を算出できる。

［１−３．画像特徴量算出装置の他の動作］
次に画像特徴量算出装置の他の動作として、例えば空間方向の情報を用いる場合の動作と反射成分や屈折率が明らかな場合の動作について説明する。

図８は、空間方向の情報を用いる場合の特徴量算出部の動作を説明するための図である。特徴量算出部１５は、上述のように、偏光画像の正規化後の輝度を用いて各画素位置の画像特徴量を算出する。その後、特徴量算出部１５は、対象画素の周囲に位置する画素の画像特徴量を用いて対象画素の画像特徴量とする。なお、図８の（Ａ）は、対象画素に隣接する８画素の画像特徴量を用いる場合を例示しており、図８の（Ｂ）は、対象画素を中心とした円周状の位置にある斜線で示す画素の画像特徴量を用いる場合を例示している。

図８の（Ａ）に示すように、対象画素Ｐ^５、隣接する画素をＰ^１〜Ｐ^４，Ｐ^６〜Ｐ^９とすると、対象画素の画像特徴量は式（５）に示すように９×４の３６次元特徴量となる。

図８の（Ｂ）に示すように、対象画素がクロスハッチで示す画素である場合、対象画素を中心とした円周状の位置にある斜線で示す画素の画像特徴量を用いる。ここで、斜線で示す周囲の画素は１６画素であることから、偏光方向を４方向とすると、対象画素の画像特徴量は、１６×４の６４次元特徴量となる。また、対象画素の画像特徴量は、斜線で示す画素の画像特徴量とクロスハッチで示す対象画素の画像特徴量を用いて、１７×４の６８次元特徴量としてもよい。

このように、対象画素を基準として空間方向の画素の画像特徴量を用いるようにすれば、対象画素の周囲の形状を考慮した画像特徴量を算出できるようになる。

次に、反射成分が明らかな場合について説明する。反射成分は、拡散反射成分と鏡面反射成分を有しており、拡散反射と鏡面反射では、方位角が９０度の位相差を生じる。そこで、特徴量算出部１５は、反射成分が明らかな場合、反射成分を考慮して画像特徴量を算出する。

反射成分が明らかな場合とは、拡散反射成分と鏡面反射成分の割合が不明であるが何れの成分が支配的であるか明らかな場合、および拡散反射成分と鏡面反射成分の割合が明らかな場合である。

特徴量算出部１５は、拡散反射成分と鏡面反射成分の割合が不明であるが何れの成分が支配的であるか明らかな場合、偏光画像において拡散反射成分が支配的な領域と鏡面反射成分が支配的な領域とで、９０度の位相差を生じた画像特徴量とする。例えば偏光画像取得部１１によって偏光角が０度，４５度，９０度，１３５度である４方向の偏光画像が取得されたとする。この場合、特徴量算出部１５は、拡散反射成分が支配的な領域では式（６）に示す画像特徴量を用いて、鏡面反射成分が支配的な領域では、９０度の位相差を生じている式（７）に示す画像特徴量を用いる。

特徴量算出部１５は、拡散反射成分と鏡面反射成分の割合が明らかである場合、割合を考慮した画像特徴量を算出する。特徴量算出部１５は、例えば拡散反射成分と鏡面反射成分の割合が「ｄ：ｓ」である場合、偏光画像の輝度をｄ倍（または「ｄ／（ｄ＋ｓ）」倍）して拡散反射光の成分の画像特徴量を求める。また、特徴量算出部１５は、偏光画像の輝度をｓ倍（または「ｓ／（ｄ＋ｓ）」倍）して、鏡面反射光の成分の画像特徴量を求める。さらに、特徴量算出部１５は、それぞれの成分の特徴量を用いて、式（８）に示す８次元特徴量を画像特徴量とする。

このように、特徴量算出部１５は、反射成分を考慮して画像特徴量を算出できるので、被写体の反射成分の違いに応じた画像特徴量を算出できる。

次に、被写体の屈折率が明らかな場合について説明する。偏光度ρと天頂角θと関係は、上述の図６に示すように、天頂角が等しい場合例えば屈折率が小さくなるに伴い偏光度が小さくなる。また、正規化基準レベル（平均輝度）が一定である場合、偏光度ρの算出に用いた式（３）の分母は一定である。したがって、屈折率が小さくなるに伴い、輝度変化の振幅（式（３）の分子に相当）が小さくなる。そこで、屈折率が明らかである場合、屈折率に応じて画像特徴量を算出する。図９は、屈折率に応じて画像特徴量を場合を例示した図である。特徴量算出部１５は、例えば正規化輝度レベルを基準として、各偏光画像の輝度を（１／屈折率比）倍とする。なお、屈折率比は、予め設定した所定の屈折率に対する被写体の屈折率の割合を示しており、所定の屈折率よりも被写体の屈折率が小さい場合は振幅が大きくされる。したがって、図９に示すように、輝度を黒丸から四角印のレベルに調整して、調整後の輝度を画像特徴量として用いる。なお、図９は、偏光画像の偏光角が０度，４５度，９０度，１３５度の場合を例示している。

画像特徴量算出装置１０は、このように屈折率に基づいて画像特徴量を算出することで、被写体の屈折率の違いに応じた画像特徴量を算出できる。例えば、被写体の表面形状が同じでも、被写体の素材が異なり屈折率が相違する場合は、異なる値の画像特徴量を算出できる。

＜２．画像特徴量算出装置の他の構成と動作＞
ところで、画像特徴量の算出は、偏光画像から算出する場合に限らず他の特徴量算出手法で算出された特徴量も用いるようにしてもよい。次に、他の特徴量算出手法で算出された特徴量、例えば無偏光の画像から算出された特徴量を用いる場合の画像特徴量算出装置の構成と動作について説明する。

［２−１．画像特徴量算出装置の他の構成］
図１０は、画像特徴量算出装置の他の構成を示している。画像特徴量算出装置２０は、偏光画像取得部２１と無偏光画像特徴量算出部２３および特徴量算出部２５を有している。

偏光画像取得部２１は、偏光方向が３方向以上の偏光画像を取得する。偏光画像取得部２１は、例えば偏光方向が３方向以上の偏光画像を生成する撮像部を有する構成であってもよく、外部機器や記録媒体等から偏光方向が３方向以上の偏光画像を取得する構成であってもよい。

無偏光画像特徴量算出部２３は、偏光画像取得部２１で取得された偏光画像から無偏光画像を生成して、無偏光画像に基づいて特徴量を算出する。

特徴量算出部２５は、偏光画像取得部２１で取得された偏光画像と、無偏光画像特徴量算出部２３で算出された特徴量を用いて画像特徴量を算出する。

［２−２．画像特徴量算出装置の他の構成の動作］
無偏光画像特徴量算出部２３は、偏光方向が３方向以上の偏光画像から無偏光の輝度画像を生成する。例えば、無偏光画像特徴量算出部２３は、画素毎に偏光方向が３方向以上の偏光画像の輝度を平均化して、無偏光の輝度画像を生成する。次に、無偏光画像特徴量算出部２３は、生成した輝度画像を用いて例えば輝度の勾配情報に基づいた特徴量の算出処理を行う。無偏光画像特徴量算出部２３は、勾配情報に基づいた特徴量算出手法であるＳＩＦＴ（Scale-Invariant Feature Transform），ＳＵＲＦ（Speeded-Up Robust Features），ＦＡＳＴ（Features from Accelerated Segment Test），Hessian，Harris等の特徴量の算出処理やバイナリコード化された特徴量の算出を行う。無偏光画像特徴量算出部２３は、特徴量算出処理によって得られる情報や算出された特徴量を特徴量算出部２５へ出力する。

特徴量算出部２５は、偏光画像と無偏光画像特徴量算出部２３から供給された情報または特徴量を用いて画像特徴量を算出する。
図１１は、無偏光画像特徴量算出部でＳＩＦＴ特徴量の算出処理を行う場合の特徴量算出部の動作を説明するための図である。無偏光画像特徴量算出部２３は、図１１の（Ａ）に示すように、無偏光画像から検出したキーポイントＫＰに対して、キーポイントＫＰの周辺領域である記述領域ＡＲｋをオリエンテーションＲｋの向きに正規化（方向の正規化）して特徴量を算出する。したがって、無偏光画像特徴量算出部２３は、回転に対して頑強なＳＩＦＴ特徴量を算出できる。なお、オリエンテーションＲｋの向きは、キーポイントＫＰが検出された平滑化画像から算出した勾配強度と勾配方向をヒストグラム化して得られる勾配方向ヒストグラムに基づいて判別された向きである。特徴量算出部２５は、無偏光画像特徴量算出部２３から勾配強度と勾配方向に基づく情報すなわちオリエンテーションＲｋの向きを示す情報を取得して、図１１の（Ｂ）に示すように、オリエンテーションの向きに対応する角度の輝度を補間等によって作成する。例えばオリエンテーションの向きがＨkpである場合、「Ｈkp」の輝度Ｉ_１、「Ｈkp＋４５度」の輝度Ｉ_２、「Ｈkp＋９０度」の輝度Ｉ_３、「Ｈkp＋１３５度」の輝度Ｉ_４を算出して、方向の正規化が行われた画像特徴量とする。このように、特徴量算出部２５は、オリエンテーションＲｋの向きを示す情報を用いることで、回転に対して頑強な画像特徴量を算出できる。

また、特徴量算出部２５は、ＳＩＦＴ特徴量を用いて画像特徴量の次元を増やしてもよい。例えば特徴量算出部２５は、記述領域ＡＲｋを複数ブロックに分割して、オリエンテーションＲｋの向きに正規化された記述領域ＡＲｋのブロック毎に所定の複数方向毎の勾配強度を算出して画像特徴量に加える。

図１２は、ＳＩＦＴ特徴量を画像特徴量に含める場合を説明するための図である。特徴量算出部２５は、図１２の（Ａ）に示すように、記述領域ＡＲｋをオリエンテーションＲｋの向きに正規化して、図１２の（Ｂ）に示すように例えば４ブロック×４ブロックに分割する。また、特徴量算出部２５は、オリエンテーションＲｋの向きに正規化された記述領域ＡＲｋの分割後のブロック毎に、図１２の（Ｃ）に示すように８方向の特徴ベクトルを求めて、８方向（８次元）の勾配強度とする。このような処理を行うと「４ブロック×４ブロック×８次元＝１２８次元」となり、特徴量算出部２５は１２８次元の特徴量を算出ができる。また、この特徴量を偏光画像毎に輝度の正規化を行って算出した画像特徴量（４次元）に加えると「４ブロック×４ブロック×（８次元＋４次元）＝１９２次元」となり、特徴量算出部２５は１９２次元の画像特徴量を算出できる。なお、偏光画像の輝度に応じた正規化は、オリエンテーションの向きに応じた正規化の前または後の何れで行うようにしてもよい。

図１３は、無偏光画像特徴量算出部でＳＵＲＦ特徴量の算出処理を行う場合の特徴量算出部の動作を説明するための図である。無偏光画像特徴量算出部２３は、図１３の（Ａ）に示すように、無偏光画像から検出したキーポイントＫＰに対して、キーポイントＫＰの周辺領域である記述領域ＡＲｋをオリエンテーションＲｋの向きに正規化（方向の正規化）して特徴量を算出する。したがって、無偏光画像特徴量算出部２３は、回転に対して頑強なＳＵＲＦ特徴量を算出できる。特徴量算出部２５は、無偏光画像特徴量算出部２３から勾配強度と勾配方向に基づく情報すなわちオリエンテーションＲｋの向きを示す情報を取得して、図１３の（Ｂ）に示すように、オリエンテーションの向きに対応する角度の輝度を補間等によって作成する。例えばオリエンテーションの向きがＨkpである場合、「Ｈkp」の輝度Ｉ_１、「Ｈkp＋４５度」の輝度Ｉ_２、「Ｈkp＋９０度」の輝度Ｉ_３、「Ｈkp＋１３５度」の輝度Ｉ_４を算出して、方向の正規化が行われた画像特徴量とする。このように、特徴量算出部２５は、オリエンテーションＲｋの向きを示す情報を用いることで、回転に対して頑強な画像特徴量を算出できる。

また、特徴量算出部２５は、ＳＵＲＦ特徴量を用いて画像特徴量の次元を増やしてもよい。例えば特徴量算出部２５は、キーポイントの周辺領域である記述領域ＡＲｋを複数ブロックに分割して、ブロック毎にＨａａｒ−Ｗａｖｅｌｅｔ応答を算出して、応答値から算出した特徴量を画像特徴量に加える。

図１４は、ＳＵＲＦ特徴量を画像特徴量に含める場合を説明するための図である。特徴量算出部２５は、図１４の（Ａ）に示すように、記述領域ＡＲｋをオリエンテーションＲｋの向きに正規化して、図１４の（Ｂ）に示すように例えば４ブロック×４ブロックに分割する。また、特徴量算出部２５は、分割ブロック毎に、ブロック内からサンプリングした５×５の各点のＨａａｒ−Ｗａｖｅｌｅｔの応答を算出する。さらに、特徴量算出部２５は、算出された応答値から図１４の（Ｃ）に示す４次元の特徴量を算出する。このような処理を行うことで「４ブロック×４ブロック×４次元＝６４次元と特徴量を求めることができる。この特徴量を４次元の画像特徴量に加えると、「４ブロック×４ブロック×（４次元＋４次元）＝１２８次元」となり、特徴量算出部２５は１２８次元の画像特徴量を算出できる。なお、偏光画像の輝度に応じた正規化は、オリエンテーションの向きに応じた正規化の前または後の何れで行うようにしてもよい。

図１５は、無偏光画像特徴量算出部でバイナリ特徴量の算出処理を行う場合の特徴量算出部の動作を説明するための図である。バイナリ特徴量の算出処理例えばＢＲＩＥＦ（Binary Robust Independent Elementary Features）は、パッチ内においてランダムに選択された２点の画素値を比較してバイナリ列の生成が行われる。ここで、パッチＡＰのバイナリテストτは、パッチＡＰ内の２点（点ｘと点ｙのペア）の画素値の比較結果により、式（９）に示すバイナリ値を示す。なお、図１５ではパッチＡＰ内のバイナリテストの空間配置を線分で示している。したがって、無偏光輝度画像に対して、１２８ペアに対して処理を行えば１２８ビットの特徴量、２５６ペアに対して処理を行えば２５６ビットの特徴量を得ることができる。

特徴量算出部２５は、例えば４次元である画像特徴量のそれぞれに対して、バイナリ特徴量の算出対象の画素を基準としたパッチの設定を行い、パッチ内においてランダムに選択された画像特徴量のペアについて式（９）と同様に比較を行う。ここで、各次元の特徴量に対して、パッチ内に１２８ペアを設定する場合は１２８×４ビットの画像特徴量、２５６ペアを設定する場合は２５６×４ビットの画像特徴量を算出できる。

なお、バイナリ特徴量の算出処理は、他の方法を用いるようにしてもよい。例えば、ＢＲＩＳＫ（Binary Robust Invariant Scalable Keypoints）を用いることでスケール不変性と回転不変性を有した画像特徴量を算出できる。

このように、勾配情報に基づいた特徴量算出手法も用いて特徴量の算出を行えば、さらに高次元の画像特徴量を算出できる。また、ＳＩＦＴやＳＵＲＦ等を用いて特徴量の算出を行えば、回転に対して頑強な画像特徴量を算出できるようになる。

図１６は、画像特徴量算出装置の他の構成の動作を示すフローチャートである。ステップＳＴ１１で画像特徴量算出装置２０は偏光画像を取得する。画像特徴量算出装置２０は、偏光方向が３方向以上の偏光画像を生成してステップＳＴ１２に進む。

ステップＳＴ１２で画像特徴量算出装置２０は勾配情報に基づく特徴量を算出する。画像特徴量算出装置２０は、偏光方向が３方向以上の偏光画像から無偏光の輝度画像を生成する。画像特徴量算出装置２０は、生成した無偏光の輝度画像に基づき、勾配情報に基づいた特徴量例えばＳＩＦＴ特徴量またはＳＵＲＦ特徴量やバイナリコード化された特徴量等の算出を行い、ステップＳＴ１３に進む。

ステップＳＴ１３で画像特徴量算出装置２０は、画像特徴量を算出する。画像特徴量算出装置２０は、偏光方向が３方向以上の偏光画像の輝度の正規化を行い、正規化後の輝度を画像特徴量とする。画像特徴量算出装置２０は、ステップＳＴ１２で算出された特徴量を画像特徴量に含めてもよい。また、画像特徴量算出装置２０は、ステップＳＴ１２での特徴量算出において得られた情報に基づいて回転方向の正規化等を行い、輝度の違いや回転に対して頑強な画像特徴量を算出してもよい。

このように、画像特徴量算出装置の他の構成では、無偏光画像の勾配情報に基づいて特徴量を算出する際に判別された勾配強度と勾配方向に基づく情報を用いて画像特徴量の算出が行われることから、回転に対して頑強な画像特徴量を算出することが可能となる。また、無偏光画像の勾配情報に基づいて算出された特徴量を偏光画像に基づいて算出された画像特徴量に含めることで、高次元の画像特徴量を生成できる。さらに、勾配情報に基づく特徴量を偏光画像に基づく画像特徴量に含めることで、画像特徴量は被写体の表面の形状と被写体の輝度の特徴を示す情報となる。したがって、例えば被写体の表面の形状と被写体の輝度のいずれか一方が類似しても他方が相違すれば、異なる値の画像特徴量を生成できる。

さらに、無偏光画像特徴量算出部２３でＳＩＦＴ、ＳＵＲＦ、ＦＡＳＴ、Hessian、Harris等の特徴量が算出されることから、この特徴量に基づいて特徴点検出を行い、検出された特徴点を含む領域についてのみ、偏光画像を用いて画像特徴量の算出を行ってもよい。

また、偏光画像取得部１１，２１で取得する偏光画像は、図１７の（Ａ）に示すように白色画素の偏光画像を取得してもよく、カラーフィルタを用いて、図１７の（Ｂ）に示すように赤外画像の偏光画像を取得してもよい。さらに、図１７の（Ｃ）に示すように三原色（Ｒ，Ｇ，Ｂ）の偏光画像を取得してもよい。このようにすれば、偏光画像だけでなく三原色画像や赤外画像を同時に取得できる。さらに、画像特徴量算出装置１０，２０では、輝度画像や三原色画像あるいは赤外画像を同時に取得できることから、特徴量算出部１５，２５は、輝度値や三原色画素値・赤外画素値などの情報を画像特徴量に含めて次元を増やすことも可能である。

＜３．画像処理装置の構成と動作＞
次に、画像特徴量算出装置で算出された画像特徴量を用いて種々の処理を行う画像処理装置について説明する。画像処理装置は、画像特徴量算出装置で算出された画像特徴量を用いて種々の処理、例えば認識処理や特徴点検出処理、マッチング処理等を行う。次に、各処理について説明する。

［３−１．認識処理］
図１８は、画像処理装置で認識処理を行う場合の構成を例示している。画像処理装置３０は、偏光画像取得部１１と特徴量算出部１５および画像特徴量を用いて画像処理を行う画像処理部例えば認識処理を行う画像認識部３１を有している。

上述のように、偏光画像取得部１１は、偏光方向が３方向以上の偏光画像を取得して、特徴量算出部１５と画像認識部３１へ出力する。また、特徴量算出部１５は、偏光画像取得部１１で取得された偏光画像に基づいて画像特徴量を算出する。

画像認識部３１は、偏光画像取得部１１から供給された偏光画像に基づき領域分割を行う。画像認識部３１は、例えば偏光方向が３方向以上の偏光画像の輝度を平均して無偏光の通常輝度画像と同等の画像を生成する。画像認識部３１は、生成した無偏光輝度画像を用いてテクスチャ解析や輪郭抽出等を行い、偏光画像取得部１１で取得された画像を被写体毎の領域に分割する。また、画像認識部３１は、偏光画像取得部１１から供給された偏光画像がカラー画像である場合、色分析等を行い、分析結果に基づき偏光画像取得部１１で取得された画像を被写体毎の領域に分割する。画像認識部３１は、分割後の領域を認識対象領域として、認識対象領域内の画像特徴量と学習装置４０で予め生成されている教師データを用いて、認識対象領域に対する被写体認識を行う。例えば画像認識部３１は、認識対象領域内の画像特徴量と最も類似している教師データに対応する被写体を、認識対象領域の被写体と判別する。

学習装置４０は、偏光画像取得部４１と特徴量算出部４５および画像特徴量を用いて教師データを生成する教師データ生成部４７を有している。

偏光画像取得部４１は、学習用被写体例えば顔，車，飛行機等を撮像することにより得られた偏光方向が３方向以上の教師偏光画像を取得する。偏光画像取得部４１は、例えば偏光方向が３方向以上の教師偏光画像を生成する撮像部を有する構成であってもよく、外部機器や記録媒体等から偏光方向が３方向以上の教師偏光画像を取得する構成であってもよい。偏光画像取得部４１は、取得した教師偏光画像を特徴量算出部４５と教師データ生成部４７へ出力する。

特徴量算出部４５は、偏光画像取得部４１で取得された教師偏光画像に基づいて画像特徴量を算出する。

教師データ生成部４７は、画像認識部３１と同様に、偏光画像取得部４１から供給された偏光画像に基づき領域分割を行う。教師データ生成部４７は、例えば偏光方向が異なる教師偏光画像の輝度を平均して無偏光の通常輝度画像と同等の画像を生成する。教師データ生成部４７は、生成した無偏光輝度画像を用いてテクスチャ解析や輪郭抽出等を行い、偏光画像取得部４１で取得された教師偏光画像を被写体毎の領域に分割する。また、教師データ生成部４７は、偏光画像取得部４１から供給された教師偏光画像がカラー画像である場合、色分析等を行い、分析結果に基づき偏光画像取得部４１で取得された教師偏光画像を被写体毎の領域に分割する。教師データ生成部４７は、分割後の被写体領域内の画像特徴量を被写体領域に対応する被写体の教師データとする。学習装置４０は、このような処理を予め被写体毎に行い被写体毎の教師データを生成しておく。さらに、学習装置４０は、認識処理を行う場合、予め生成されている教師データを画像認識部３１へ出力する。したがって、種々の被写体の教師データを予め生成しておき、認識対象領域の画像特徴量に対応する教師データが明らかとなれば、認識対象領域の画像は何れの被写体を撮像した画像であるか認識できる。

なお、認識処理では、画像特徴量だけでなく複数の偏光画像自体も用いてもよい。例えば、複数の偏光画像を用いて同じ画素位置毎に画素値を足し合わせて平均化すると、無偏光の輝度画像や三原色画像と同様な画像を得ることができる。したがって、画像特徴量と複数の偏光画像から生成した無偏光画像も用いて認識処理を行うことで、精度よく認識処理を行うことが可能となる。

図１９は、画像処理装置の動作を説明するための図である。なお、図１９は、例えばＢａｇ−ｏｆ−Ｆｅａｔｕｒｅｓによる認識を行う場合を例示している。Ｂａｇ−ｏｆ−Ｆｅａｔｕｒｅｓにおいて、学習装置４０では、教師偏光画像から画像特徴量を算出して、算出した画像特徴量をベクトル量子化する。ベクトル量子化に用いるコードブックは、「visual word dictionary」と呼ばれており、予め教師偏光画像から作成される。また、学習装置４０はベクトル量子化された画像特徴量を用いて、ベクトル量子化ヒストグラムを作成する。得られたベクトル量子化ヒストグラムは教師データとする。画像処理装置３０は、認識対象の被写体が含まれた認識対象偏光画像を取得して、認識対象偏光画像から画像特徴量を算出して、予め作成されているコードブックを用いて画像特徴量をベクトル量子化する。また、画像処理装置３０はベクトル量子化された画像特徴量の「visual word」毎の頻度を示すベクトル量子化ヒストグラムを作成する。画像処理装置３０は、得られたベクトル量子化ヒストグラムと最も類似する教師データ（教師偏光画像のベクトル量子化ヒストグラム）を識別して、識別された教師データに対応するの被写体を、認識対象偏光画像の被写体とする。このように、Ｂａｇ−ｏｆ−Ｆｅａｔｕｒｅｓによる認識では、画像特徴量に基づいて作成されたベクトル量子化ヒストグラムを用いて被写体の認識が行われる。

図２０は、認識処理の動作を示すフローチャートである。ステップＳＴ２１で画像処理装置３０は偏光画像を取得する。画像処理装置３０は、偏光方向が３方向以上の偏光画像を生成してステップＳＴ２２に進む。

ステップＳＴ２２で画像処理装置３０は、画像特徴量を算出する。画像処理装置３０は、偏光方向が３方向以上の偏光画像の輝度の正規化を行い、正規化後の輝度を画像特徴量とする。

ステップＳＴ２３で画像処理装置３０は、被写体認識を行う。画像処理装置３０は、例えば、ステップＳＴ２１で取得した偏光画像に基づき、被写体毎の領域に画像領域を分割する。また、画像処理装置３０は、分割後の領域を認識対象領域として、認識対象領域内の画像特徴量と学習装置で予め生成されている教師データを用いて、認識対象領域に対する被写体認識を行う。

図２１は、偏光画像に基づいて算出した画像特徴量を用いた認識処理を例示している。例えば認識処理では、物体認識、顔認識、手認識、人認識等を行う。物体認識は、様々な物体を認識する一般物体認識に限らず、材質や表面形状の認識や、金属の認識等を行うことができる。顔認識では、個人認証や表情認識、視線方向推定等を行うことができる。手認識では、指形状検出や指さし方向推定等を行うことができる。さらに、人認識では、全身の体型認証やｐｏｓｅ認識等を行うことができる。

画像処理装置３０は、以上のような処理を行うことで精度よく認識処理を行うことができるようになる。例えば、勾配情報に基づいた特徴量を用いる場合、実際の顔と写真に写った顔の識別は、勾配情報が類似している場合に困難である。しかし、偏光方向が３方向以上の偏光画像を用いて算出された画像特徴量は、被写体の表面形状に応じた特徴量であることから、実際の顔と写真に写った顔を正しく識別することができるようになる。したがって、セキュリティ用の認識技術として応用することが可能である。

なお、画像処理装置３０と学習装置４０は、上述のように無偏光画像の勾配情報に基づいて特徴量を算出する無偏光画像特徴量算出部を設けて画像特徴量の算出を行ってもよい。

［３−２．特徴点検出］
図２２は、画像処理装置で特徴点検出を行う場合の構成を例示している。画像処理装置５０は、偏光画像取得部１１と特徴量算出部１５および画像特徴量を用いて画像処理を行う画像処理部例えば特徴点検出を行う特徴点検出部５１を有している。

上述のように、偏光画像取得部１１は、偏光方向が３方向以上の偏光画像を取得する。また、特徴量算出部１５は、偏光画像取得部１１で取得された偏光画像に基づいて画像特徴量を算出する。

特徴点検出部５１は、偏光画像取得部１１から供給された偏光画像に基づき領域分割を行う。特徴点検出部５１は、上述の画像認識部３１と同様にして、偏光画像取得部１１で取得された画像を被写体毎の領域に分割する。また、特徴点検出部５１は、分割後の領域を特徴点検出対象領域として、特徴点検出対象領域における処理対象画素の画像特徴量と処理対象画素の周辺に位置する周辺画素の画像特徴量との差分に基づき、処理対象画素が特徴点であるか否かを判別する。

図２３は、特徴点検出部の動作を説明するための図である。特徴点検出部５１は、処理対象画素Ｐｔの周囲に隣接する８画素の画像特徴量を用いて、処理対象画素Ｐｔが特徴点であるか判別する場合を示している。ここで、図２３の（Ａ）に示すように、処理対象画素Ｐｔ＝Ｐ^５、周囲の画素をＰ^１〜Ｐ^４，Ｐ^６〜Ｐ^９とする。また、特徴量算出部１５は、偏光角υが０度，４５度，９０度，１３５度の輝度に基づいて画像特徴量を算出しているとする。例えば、画素Ｐ^１の画像特徴量を［Ｆ^１ _０°，Ｆ^１ _４５°，Ｆ^１ _９０°，Ｆ^１ _１３５°］、・・・画素Ｐ^９の画像特徴量を［Ｆ^９ _０°，Ｆ^９ _４５°，Ｆ^９ _９０°，Ｆ^９ _１３５°］とする。

特徴点検出部５１は、式（１０）の演算を行い判定値Ｓを算出する。ここで、判定値Ｓが予め設定した閾値よりも大きい場合は、特徴点とする。

また、特徴点検出部５１は、図２３の（Ｂ）に示すように、処理対象画素Ｐｔを中心とした円周状の位置にある斜線で示す画素の画像特徴量を用いてもよい。この場合、判定値Ｓは、処理対象画素Ｐｔと斜線で示す各画素との画像特徴量の差分二乗和を算出する。

図２４は、特徴点検出処理の動作を示すフローチャートである。ステップＳＴ３１で画像処理装置５０は偏光画像を取得する。画像処理装置５０は、偏光方向が３方向以上の偏光画像を生成する。

ステップＳＴ３２で画像処理装置５０は、画像特徴量を算出する。画像処理装置５０は、偏光方向が３方向以上の偏光画像の輝度の正規化を行い、正規化後の輝度を画像特徴量とする。

ステップＳＴ３３で画像処理装置５０は、特徴点を検出する。画像処理装置５０は、例えば、ステップＳＴ３１で取得した偏光画像に基づき領域分割を行い、被写体毎の領域に画像を分割する。また、画像処理装置５０は、分割後の領域を特徴点検出対象領域として、特徴点検出対象領域の画像特徴量に基づき特徴点を検出する。

画像処理装置５０は、以上のような処理を行うことで、偏光画像から算出した画像特徴量に基づき特徴点を検出できるようになる。

また、無偏光画像から算出した特徴量に基づいて特徴点検出を行い、検出された特徴点を含む領域についてのみ偏光画像を用いて画像特徴量の算出を行い、算出された画像特徴量に基づき特徴点検出を行うようにしてもよい。このようにすれば、勾配情報に特徴を有する特徴点からさらに表面形状に特徴を有する特徴点を抽出できる。したがって、顔における鼻の頭など顔の形状として特徴がある部分の検出が容易となる。被写体の表面形状に基づいて特徴点を検出できるので、被写体を撮像した場合と被写体の写真を撮像した場合とで区別して特徴点の検出を行うことができるようになる。

［３−３．特徴点マッチング］
図２５は、画像処理装置で特徴点マッチングを行う場合の構成を例示している。なお、図２５では、２つの偏光画像取得部を用いて取得された偏光画像間で対応点探索を行う場合である。

画像処理装置６０は、偏光画像取得部１１ａ，１１ｂと特徴量算出部１５ａ，１５ｂおよび画像特徴量を用いてを用いて画像処理を行う画像処理部、例えば特徴点検出処理を行う特徴点検出部５１ａ，５１ｂと検出した特徴点を用いてマッチング処理を行うマッチング処理部６１を有している。

上述のように、偏光画像取得部１１ａ，１１ｂは、偏光方向が３方向以上の偏光画像を取得する。また、偏光画像取得部１１ａは、マッチングに用いる一方の偏光画像を取得して、偏光画像取得部１１ｂは、マッチングに用いる他方の偏光画像を取得する。特徴量算出部１５ａは、偏光画像取得部１１ａで取得された偏光画像に基づいて画像特徴量を算出する。また、特徴量算出部１５ｂは、偏光画像取得部１１ｂで取得された偏光画像に基づいて画像特徴量を算出する。特徴点検出部５１ａは、上述の特徴点検出部５１と同様な処理を行い、特徴量算出部１５ａで算出された画像特徴量に基づいて特徴点を検出する。特徴点検出部５１ｂは、上述の特徴点検出部５１と同様な処理を行い、特徴量算出部１５ｂで算出された画像特徴量に基づいて特徴点を検出する。

マッチング処理部６１は、特徴点検出部５１ａ，５１ｂの一方で検出された特徴点が他方で検出された特徴点の何れと一致するか判別する。図２６は、マッチング処理部６１の動作を説明するための図である。特徴点検出部５１ａで検出された特徴点の画像特徴量と、特徴点検出部５１ｂで検出された特徴点の画像特徴量を用いて、マッチング対象の特徴点（以下「対象特徴点」という）と一致する特徴点を他方の特徴点から判別する。特徴点検出部５１ａ，５１ｂは、例えば偏光角υが０度，４５度，９０度，１３５度の輝度に基づいて算出された画像特徴量に基づいて特徴点を検出する。ここで、対象特徴点ＴＰ０の画像特徴量を［Ｆ^ｏ _０°，Ｆ^ｏ _４５°，Ｆ^ｏ _９０°，Ｆ^ｏ _１３５°］とする。また、他方の特徴点ＴＱｊの画像特徴量を［Ｆ^ｊ _０°，Ｆ^ｊ _４５°，Ｆ^ｊ _９０°，Ｆ^ｊ _１３５°］とする。なお、「ｊ」は他方の特徴点におけるｊ番目の特徴点を示す変数である。

マッチング処理部６１は、画像特徴量のベクトル同士の距離が最小となる点を判別してマッチング点とする。例えば、マッチング処理部６１は、式（１１）の演算を行うことで、対象特徴点の画像特徴量との差分二乗和が最小となる特徴点ｊを、他方の特徴点から判別してマッチング点とする。

図２７は、特徴点マッピング処理の動作を示すフローチャートである。ステップＳＴ４１で画像処理装置６０は第１偏光画像を取得する。画像処理装置６０は、偏光方向が３方向以上の第１偏光画像を生成する。

ステップＳＴ４２で画像処理装置６０は第２偏光画像を取得する。画像処理装置６０は、第１偏光画像とのマッチングを行う第２偏光画像を生成する。なお、第２偏光画像は、第１偏光画像と同様に偏光方向が３方向以上の偏光画像である。

ステップＳＴ４３で画像処理装置６０は、第１画像特徴量を算出する。画像処理装置６０は、第１偏光画像の輝度の正規化を行い、正規化後の輝度を第１画像特徴量とする。

ステップＳＴ４４で画像処理装置６０は、第２画像特徴量を算出する。画像処理装置６０は、第２偏光画像の輝度の正規化を行い、正規化後の輝度を第２画像特徴量とする。

ステップＳＴ４５で画像処理装置６０は、第１偏光画像の特徴点を検出する。画像処理装置５０は、例えば、ステップＳＴ４１で取得した偏光画像に基づき、被写体毎の領域に画像領域を分割する。また、画像処理装置６０は、分割後の領域を特徴点検出対象領域として、特徴点検出対象領域の画像特徴量に基づき特徴点を検出する。

ステップＳＴ４６で画像処理装置６０は、第２偏光画像の特徴点を検出する。画像処理装置６０は、例えば、ステップＳＴ４２で取得した偏光画像に基づき、被写体毎の領域に画像領域を分割する。また、画像処理装置６０は、分割後の領域を特徴点検出対象領域として、特徴点検出対象領域の画像特徴量に基づき特徴点を検出する。

ステップＳＴ４７で画像処理装置６０は、マッチング処理を行う。画像処理装置６０は、第１偏光画像と第２偏光画像の何れか一方の偏光画像におけるマッチング検出領域の特徴点が他方の偏光画像における何れの領域の特徴点と一致するか判別する。画像処理装置６０は、画像特徴量の差がマッチング検出領域の特徴点と最も小さくなる特徴点を他方の偏光画像の領域から判別してマッチング点とする。

画像処理装置６０は、以上のような処理を行うことで、精度よくマッチング点を検出できるようになる。このようにして得られたマッチング点の検出結果を用いることで、奥行情報を算出するための視差の計算や２つの画像のステッチング等を容易に行えるようになる。

また、画像処理装置６０は、無偏光画像から算出した特徴量に基づいて特徴点検出を行い、検出された特徴点について偏光画像を用いて画像特徴量の算出を行い、算出された画像特徴量を用いてマッチングを行うようにしてもよい。

明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、所謂パッケージソフトウェアとして提供することができる。

また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

また、本技術は、上述した実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

なお、本技術の画像特徴量算出装置は以下のような構成も取ることができる。
（１） 偏光画像を取得する偏光画像取得部と、
前記偏光画像取得部で取得された偏光画像に基づいて算出された画像特徴量を用いて画像処理を行う画像処理部とを備える画像処理装置。
（２） 前記画像処理部は、前記画像特徴量を用いて前記偏光画像における被写体の認識処理を、前記画像処理として行う（１）に記載の画像処理装置。
（３） 前記画像処理部は、前記画像特徴量を用いて前記偏光画像における被写体の特徴点を検出する処理を、前記画像処理として行う（１）または（２）の何れかに記載の画像処理装置。
（４） 前記画像処理部は、前記画像特徴量を用いて前記偏光画像における被写体の特徴点とのマッチング処理を、前記画像処理として行う（１）乃至（３）の何れかに記載の画像処理装置。
（５） 前記偏光画像取得部で取得された偏光画像を用いて画像特徴量を算出する特徴量算出部を更に備える（１）乃至（４）の何れかに記載の画像処理装置。
（６） 前記特徴量算出部は、画素毎に前記偏光画像の輝度を用いて前記画像特徴量を算出する（５）に記載の画像処理装置。
（７） 前記特徴量算出部は、前記輝度の正規化を行い、正規化後の偏光方向毎の輝度を前記画像特徴量とする（６）に記載の画像処理装置。
（８） 前記特徴量算出部は、前記画像特徴量の算出において、特徴量算出対象画素の周囲に位置する画素の特徴量を用いる（５）乃至（７）の何れかに記載の画像処理装置。
（９） 前記特徴量算出部は、前記偏光画像における被写体の反射特性に基づいて前記画像特徴量を算出する（５）乃至（８）の何れかに記載の画像処理装置。
（１０） 前記特徴量算出部は、拡散反射成分と鏡面反射成分の割合に基づいて前記画像特徴量を算出する（９）に記載の画像処理装置。
（１１） 前記特徴量算出部は、前記偏光画像における被写体の屈折率に基づいて前記画像特徴量を算出する（５）乃至（１０）の何れかに記載の画像処理装置。
（１２） 前記偏光画像取得部で取得された偏光画像から無偏光画像を生成して、該無偏光画像に基づいて特徴量の算出を行う無偏光特徴量算出部をさらに備え、
前記特徴量算出部は、前記無偏光特徴量算出部で前記特徴量の算出時に判別された情報を用いて前記画像特徴量を算出する（５）乃至（１１）の何れかに記載の画像処理装置。
（１３） 前記無偏光特徴量算出部は、前記無偏光画像の勾配情報に基づいて特徴量の算出を行い、
前記特徴量算出部は、前記無偏光特徴量算出部で前記特徴量の算出時に判別された勾配強度と勾配方向に基づく情報を用いて前記画像特徴量を算出する（１２）に記載の画像処理装置。
（１４） 前記特徴量算出部は、前記偏光画像を用いて算出された画像特徴量に前記無偏光特徴量算出部で算出された特徴量を含める（１２）乃至（１３）の何れかに記載の画像処理装置。
（１５） 前記偏光画像取得部は、偏光方向が３方向以上の偏光画像を取得する（１）乃至（１４）の何れかに記載の画像処理装置。

この技術の画像処理装置と画像処理方法では、偏光方向が取得されて、取得された偏光画像に基づいて算出した画像特徴量を用いて画像処理が行われる。このように、偏光画像に基づいて画像特徴量が算出されることから、画像特徴量によって被写体の表面形状の特徴を示すことが可能となり、この画像特徴量を用いることで、被写体の表面形状に基づいた画像処理を行うことができるようになる。したがって、立体的な被写体に関する画像処理を行う画像処理装置等に適している。

１０，２０・・・画像特徴量算出装置
１１，１１ａ，１１ｂ，２１，４１・・・偏光画像取得部
１５，１５ａ，１５ｂ，２５，４５・・・特徴量算出部
２３・・・無偏光画像特徴量算出部
３０，５０，６０・・・画像処理装置
３１・・・画像認識部
４０・・・学習装置
４７・・・教師データ生成部
５１，５１ａ，５１ｂ・・・特徴点検出部
６１・・・マッチング処理部
１１０・・・イメージセンサ
１１１・・・偏光フィルタ

Claims (16)

1. 偏光画像を取得する偏光画像取得部と、
   前記偏光画像取得部で取得された偏光画像に基づいて算出された画像特徴量を用いて画像処理を行う画像処理部と
   を備える画像処理装置。
2. 前記画像処理部は、前記画像特徴量を用いて前記偏光画像における被写体の認識処理を、前記画像処理として行う
   請求項１記載の画像処理装置。
3. 前記画像処理部は、前記画像特徴量を用いて前記偏光画像における被写体の特徴点を検出する処理を、前記画像処理として行う
   請求項１記載の画像処理装置。
4. 前記画像処理部は、前記画像特徴量を用いて前記偏光画像における被写体の特徴点とのマッチング処理を、前記画像処理として行う
   請求項１記載の画像処理装置。
5. 前記偏光画像取得部で取得された偏光画像を用いて画像特徴量を算出する特徴量算出部を更に備える
   請求項１記載の画像処理装置。
6. 前記特徴量算出部は、画素毎に前記偏光画像の輝度を用いて前記画像特徴量を算出する
   請求項５記載の画像処理装置。
7. 前記特徴量算出部は、前記輝度の正規化を行い、正規化後の偏光方向毎の輝度を前記画像特徴量とする
   請求項６記載の画像処理装置。
8. 前記特徴量算出部は、前記画像特徴量の算出において、特徴量算出対象画素の周囲に位置する画素の特徴量を用いる
   請求項５記載の画像処理装置。
9. 前記特徴量算出部は、前記偏光画像における被写体の反射特性に基づいて前記画像特徴量を算出する
   請求項５記載の画像処理装置。
10. 前記特徴量算出部は、拡散反射成分と鏡面反射成分の割合に基づいて前記画像特徴量を算出する
    請求項９記載の画像処理装置。
11. 前記特徴量算出部は、前記偏光画像における被写体の屈折率に基づいて前記画像特徴量を算出する
    請求項５記載の画像処理装置。
12. 前記偏光画像取得部で取得された偏光画像から無偏光画像を生成して、該無偏光画像に基づいて特徴量の算出を行う無偏光特徴量算出部をさらに備え、
    前記特徴量算出部は、前記無偏光特徴量算出部で前記特徴量の算出時に判別された情報を用いて前記画像特徴量を算出する
    請求項５記載の画像処理装置。
13. 前記無偏光特徴量算出部は、前記無偏光画像の勾配情報に基づいて特徴量の算出を行い、
    前記特徴量算出部は、前記無偏光特徴量算出部で前記特徴量の算出時に判別された勾配強度と勾配方向に基づく情報を用いて前記画像特徴量を算出する
    請求項１２記載の画像処理装置。
14. 前記特徴量算出部は、前記偏光画像を用いて算出された画像特徴量に前記無偏光特徴量算出部で算出された特徴量を含める
    請求項１２記載の画像処理装置。
15. 前記偏光画像取得部は、偏光方向が３方向以上の偏光画像を取得する
    請求項１記載の画像処理装置。
16. 偏光画像取得部で、偏光画像を取得する工程と、
    画像処理部で、前記偏光画像取得部で取得された偏光画像に基づいて算出された画像特徴量を用いて画像処理を行う工程と
    を含む画像処理方法。

Images