JP6556013B2

JP6556013B2 - 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体

Info

Publication number: JP6556013B2
Application number: JP2015200032A
Authority: JP
Inventors: 祐一楠美; 智暁井上; 義明井田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2015-10-08
Filing date: 2015-10-08
Publication date: 2019-08-07
Anticipated expiration: 2035-10-08
Also published as: US20170103280A1; JP2017072499A

Description

本発明は、処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体に関する。

被写体に関するより多くの物理情報を取得しておくことで、撮像後の画像処理において、物理モデルに基づく画像生成を行うことができる。例えば、被写体の見えを変更した画像を生成することが可能となる。被写体の見えは、被写体の形状情報、被写体の反射率情報、光源情報等で決定される。光源から出た光が被写体によって反射された反射光の物理的な振る舞いは局所的な面法線に依存するため、形状情報としては３次元形状ではなく被写体の面法線を用いることが特に有効である。

面法線を取得する方法として、被写体からの反射光の偏光情報（偏光度および偏光方位）から面法線を推定する方法が知られている。しかしながら、偏光情報から推定された面法線には解の不定性が存在し、一意に面法線を求めることが困難である。特許文献１では、視点位置の異なる偏光情報を用いて、一意に面法線を求める方法が開示されている。また、特許文献２では、被写体形状に関する事前情報が既知である条件下において、一意に面法線を求める方法が開示されている。

国際公開第２００９／１４７８１４号特開２０１０−２７９０４４号公報

しかしながら、特許文献１で開示されている方法では、各視差画像における被写体の各位置に対応する画素の対応点を抽出する必要があり、対応点の抽出方法が問題となる。また、特許文献２で開示されている方法では、事前に被写体形状が分からないような場合に面法線を求めることが困難である。

このような課題に鑑みて、本発明は、被写体形状に関する事前情報がない条件下で、単視点での偏光情報から算出される法線情報の解の不定性を解消可能な処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体を提供することを目的とする。

本発明の一側面としての処理装置は、被写体を照明する光源の配置を互いに異ならせて撮像された複数の撮像画像ごとに輝度情報を取得する輝度情報取得部と、互いに偏光状態が異なる３つ以上の偏光画像を用いて算出される複数の法線候補から、前記輝度情報に基づいて、前記被写体の法線情報を決定する法線情報決定部と、を有することを特徴とする。

また、本発明の他の側面としての処理システムは、被写体を照明する光源と、前記光源の配置を互いに異ならせて撮像された複数の撮像画像ごとに輝度情報を取得する輝度情報取得部と、互いに偏光状態が異なる３つ以上の偏光画像を用いて算出される複数の法線候補から、前記輝度情報に基づいて、前記被写体の法線情報を決定する法線情報決定部と、を備える処理装置と、を有することを特徴とする。

また、本発明の他の側面としての撮像装置は、被写体を照明する光源の配置を互いに異ならせて撮像された複数の撮像画像ごとに輝度情報を取得する輝度情報取得部と、互いに偏光状態が異なる３つ以上の偏光画像を用いて算出される複数の法線候補から、前記輝度情報に基づいて、前記被写体の法線情報を決定する法線情報決定部と、を備える処理装置と、前記被写体を撮像する撮像素子と、を有することを特徴とする。

また、本発明の他の側面としての処理方法は、被写体を照明する光源の配置を互いに異ならせて撮像された複数の撮像画像ごとに輝度情報を取得するステップと、互いに偏光状態が異なる３つ以上の偏光画像を用いて算出される複数の法線候補から、前記輝度情報に基づいて、前記被写体の法線情報を決定するステップと、を有することを特徴とする。

本発明によれば、被写体形状に関する事前情報がない条件下で、単視点での偏光情報から算出される法線情報の解の不定性を解消可能な処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体を提供することができる。

実施例１の撮像装置の外観図である。実施例１の撮像装置のブロック図である。処理装置を示す図である。処理システムを示す図である。実施例１の法線情報算出処理を示すフローチャートである。実施例２の法線情報算出処理を示すフローチャートである。実施例３の法線情報取得システムの外観図である。偏光情報の取得方法を示す図である。偏光方位と入射面の関係図である。面法線と撮像装置の視線方向ベクトルがなす角の関係図である。鏡面反射成分の偏光度の入射角依存性を示す図である。拡散反射成分の偏光度の射出角依存性を示す図である。Ｔｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗモデルの説明図である。パターン偏光子を配置した撮像素子の模式図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

一般に、光の偏光状態は、例えばストークスパラメータのように、４つのパラメータで表現できる。本実施形態では、光の偏光状態に関する情報を偏光情報という。偏光情報には、偏光度や偏光方位、または偏光状態の測定誤差など偏光情報から２次的に求まる量が含まれる。偏光情報を取得するには、独立な４つの偏光成分を測定すればよい。しかしながら、自然界においては、円偏光成分が現れることは少なく、被写体の偏光情報としては直線偏光成分のみで十分な場合も多い。つまり、無偏光と円偏光を区別しないで取得する。この場合、少なくとも３つの異なる直線偏光成分の強度や輝度値を取得すればよい。偏光子を透過した光は偏光主軸方向に偏光した直線偏光光となるため、主軸角の異なる３つ以上の偏光子を透過した光の強度や輝度値を測定すればよい。

図６は、偏光情報の取得方法を示す図である。図６において、横軸は偏光子の主軸角であり、縦軸は光の輝度値である。偏光子の主軸角をν、光の輝度値をＩ（ν）とすると、光の輝度値Ｉ（ν）は、図６に示される正の定数Ａ，Ｂ，Ｃを用いて式（１）で表される。

定数Ａ〜Ｃを求めることで、偏光情報を取得することができる。なお、定数Ｂは、余弦関数の周期性から０°から１８０°までの値で表すことができる。

主軸角の異なる３つの偏光子を透過した光の輝度値を測定した場合、未知の定数も定数Ａ〜Ｃの３つであるため、定数Ａ〜Ｃを一意に求めることができる。４つ以上の偏光条件で輝度値を測定する場合は、フィッティングを用いて定数Ａ〜Ｃを求める。具体的には、第ｉ番目の偏光条件から得られる観測値（νｉ，Ｉｉ）と式（１）で表される理論値との差分を評価関数として用い、最小二乗法などの既知の方法でフィッティングすればよい。また、撮像装置を用いて輝度値を測定する場合、実際の光の輝度値と撮像系を介して得られた出力信号がリニアになるように、出力信号を補正することが望ましい。

以上の方法により求めた定数Ａ〜Ｃを用いて、様々な偏光情報を取得することができる。例えば、偏光子の主軸角に対する輝度値の振幅は定数Ａ、偏光子の主軸角に対する平均輝度値Ｉａｖｅは定数Ｃである。また、最大輝度値Ｉｍａｘ、最小輝度値（輝度値の非偏光成分）Ｉｍｉｎ、偏光方位ψ（輝度値が最大となる偏光子の位相角）、偏光度ρ、および偏光推定誤差Ｅｐはそれぞれ、以下の式（２）〜（６）で表される。なお、式（６）のＩｉは、i番目の異なる偏光状態における輝度値を示す。

Ｉｍａｘ＝Ａ＋Ｃ（２）
Ｉｍｉｎ＝Ｃ−Ａ（３）
ψ＝Ｂ（４）
ρ＝（Ｉｍａｘ−Ｉｍｉｎ）／（Ｉｍａｘ＋Ｉｍｉｎ）＝Ａ／Ｃ（５）

次に、偏光情報から被写体の面法線を取得する方法について説明する。被写体の単位面法線ベクトルは、２自由度を有する。上述の偏光情報から２自由度が満たす条件式を得ることができる。

図７は、偏光方位と入射面の関係図である。図７に示されるように、偏光方位から入射面または射出面の角度情報が得られる。被写体からの反射光が偏光する主な理由は、ｓ偏光とｐ偏光に対するフレネル反射率が異なるからである。鏡面反射では、ｓ偏光で反射率が大きくなるため、偏光方位は入射面と直交する。また、鏡面反射では、入射面と射出面が等しい。一方、拡散反射では、物体内部で散乱した光が外に出てくるときの透過率がｐ偏光で大きくなり、偏光方位は射出面と一致する。したがって、撮像装置の視線方向ベクトルに直交する面内で、面法線の方位角φは、以下の条件式（７），（８）で表される。ただし、方位角φは、１８０度の不定性を持つ。

φ＝ψ＋π／２（鏡面反射）（７）
φ＝ψ （拡散反射）（８）
図８は、面法線と撮像装置の視線方向ベクトルがなす角の関係図である。図９Ａは鏡面反射成分の偏光度の入射角依存性を示す図であり、図９Ｂは拡散反射成分の偏光度の射出角依存性を示す図である。鏡面反射では、入射角は被写体の面法線と撮像装置の視線方向ベクトルがなす角に等しいが、１つの偏光度に対して２つの入射角をとりうる。つまり、解の候補が２つに絞られる。拡散反射では、偏光度と射出角が１対１の関係にあり、被写体の面法線と撮像装置の視線方向ベクトルがなす角は射出角そのものであるため偏光度から求まる。

以上のように、偏光情報から被写体の面法線が満たす条件を取得することができる。この条件を複数組み合わせることで、面法線を推定することができる。例えば、単視点からの偏光方位と偏光度を組み合わせても面法線を推定できる。具体的には、計測された反射光が拡散反射成分である場合、偏光方位から面法線の方位角が決まり、偏光度から面法線の天頂角が１つ求まる。このとき、方位角がφとφ＋１８０°の不定性を持つため、面法線の解が２つ得られる。

計測された反射光が鏡面反射成分である場合、偏光度から面法線の天頂角が２つ求まる。この場合、方位角の不定性と合わせて面法線の解の候補が４つ求まる。計測された反射光が拡散反射成分であるか、鏡面反射成分であるか、またはその混合であるかを特定しない場合は、偏光方位と入射面の関係に９０°の不定性が生じ、さらに面法線の解の候補が増える。したがって、面法線を推定する際には、既存の鏡面反射分離手法を用いてもよい（例えば、「Ｌ．Ｂ．Ｗｏｌｆｆ，ＣｏｎｓｔｒａｉｎｉｎｇＯｂｊｅｃｔＦｅａｔｕｒｅｓＵｓｉｎｇａＰｏｌａｒｉｚａｔｉｏｎＲｅｆｌｅｃｔａｎｃｅＭｏｄｅｌ，ＩＥＥＥＴｒａｎｓ．Ｐａｔｔ．Ａｎａｌ．Ｍａｃｈ．Ｉｎｔｅｌｌ．，Ｖｏｌ．１３，Ｎｏ．７，ｐｐ．６３５−６５７（１９９１）」、「Ｇ．Ｊ．Ｋｌｉｎｋｅｒ，ＴｈｅＭｅａｓｕｒｅｍｅｎｔｏｆＨｉｇｈｌｉｇｈｔｓｉｎＣｏｌｏｒＩｍａｇｅｓ，ＩＪＣＶ，Ｖｏｌ．２，Ｎｏ．１，ｐｐ．７−３２（１９８８）」）。これによって、面法線の解の候補を減らすことができ、より高精度に面法線を取得することができる。

本実施例では、偏光情報を用いた面法線の推定における解の不定性の解消のために、光源位置による輝度情報を用いる。以下、光源位置による輝度情報の変化から被写体の法線情報を取得する照度差ステレオ法について説明する。

照度差ステレオ法は、被写体の面法線と被写体から光源への方向（光源方向）に基づく被写体の反射特性を仮定し、複数の光源位置での被写体の輝度情報と仮定した反射特性から面法線を算出する方法である。反射特性は、所定の面法線と光源の位置が与えられたときに反射率が一意に定まらない場合、ランバートの余弦則に従うランバート反射モデルで近似すればよい。また、鏡面反射成分は、図１０に示されるように、光源ベクトルｓと視線方向ベクトルｖの２等分線と、面法線ｎのなす角αに依存する。したがって、反射特性は、視線方向に基づく特性としてもよい。また、輝度情報は、光源が点灯している場合と消灯している場合のそれぞれの被写体を撮像し、これらの差分をとることで環境光等の光源以外の光源による影響を除いてもよい。

以下、ランバート反射モデルで反射特性を仮定した場合について説明する。反射光の輝度値をｉ、物体のランバート拡散反射率をρｄ、入射光の強さをＥ、物体から光源への方向を示す単位ベクトル(光源方向ベクトル)をｓ、物体の単位面法線ベクトルをｎとすると、輝度ｉはランバートの余弦則から以下の式（９）で示される。

異なるＭ個（Ｍ≧３）の光源ベクトルの各成分をｓ_１、ｓ_２、・・・、ｓ_Ｍ、光源ベクトルの各成分ごとの輝度値をｉ_１、ｉ_２、・・・ｉ_Ｍとすると、式（９）は以下の式（１０）で示される。

式（１０）の左辺はＭ行１列の輝度ベクトル、右辺の［ｓ_１ ^Ｔ、・・・ｓ_Ｍ ^Ｔ］はＭ行３列の光源方向を示す入射光行列Ｓ、ｎは３行１列の単位面法線ベクトルである。Ｍ＝３の場合は、入射光行列Ｓの逆行列Ｓ^−１を用いて、Ｅρ_ｄｎは以下の式（１１）で示される。

式（１０）の左辺のベクトルのノルムが入射光の強さＥとランバート拡散反射率ρ_ｄの積であり、正規化したベクトルが物体の面法線ベクトルとして算出される。すなわち、入射光の強さＥとランバート拡散反射率ρ_ｄは積の形でのみ条件式に現れるので、Ｅρ_ｄを１つの変数とみなすと、式（１０）は単位面法線ベクトルｎの２自由度と合わせて未知の３変数を決定する連立方程式とみなせる。したがって、少なくとも３つの光源を用いて輝度情報を取得することで、各変数を決定することができる。なお、入射光行列Ｓが正則行列でない場合は逆行列が存在しないため、入射光行列Ｓが正則行列となるように入射光行列Ｓの各成分ｓ_１〜ｓ_３を選択する必要がある。すなわち、成分ｓ３を成分ｓ１，ｓ２に対して線形独立に選択することが望ましい。

また、Ｍ＞３の場合は求める未知変数より多い条件式が得られるので、任意に選択した３つの条件式からＭ＝３の場合と同様の方法で単位面法線ベクトルｎを算出すればよい。４つ以上の条件式を用いる場合は、入射光行列Ｓが正則行列ではなくなるため、例えば、Ｍｏｏｒｅ−Ｐｅｎｒｏｓｅ疑似逆行列を使って近似解を算出すればよい。また、フィッティング手法や最適化手法によって単位面法線ベクトルｎを算出してもよい。

被写体の反射特性をランバート反射モデルとは異なるモデルで仮定した場合は、条件式が単位面法線ベクトルｎの各成分に対する線形方程式と異なる場合がある。その場合、未知変数以上の条件式が得られれば、フィッティング手法や最適化手法を用いることができる。

図１は本実施例の撮像装置１の外観図であり、図２Ａは撮像装置１のブロック図である。撮像装置１は、撮像部１００および光源部２００を備える。撮像部１００は、撮像光学系１０１を備える。光源部２００は、撮像光学系１０１の光軸を中心とした同心円状に等間隔で配置された８個の光源から構成される。なお、照度差ステレオ法を実施する際に必要な光源は少なくとも３個であるため、光源部２００は３個以上の光源を備えていればよい。また、本実施例では光源部２００は複数の光源を撮像光学系１０１の光軸を中心とした同心円状に等間隔で配置しているが、本発明はこれに限定されない。また、本実施例では、光源部２００は、撮像装置１に内蔵されているが、着脱可能に取り付けられる構成としてもよい。

撮像光学系１０１は、絞り１０１ａを備え、被写体からの光を撮像素子１０２上に結像させる。撮像素子１０２はＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子により構成され、被写体を撮像する。撮像素子１０２の光電変換によって生成されたアナログ電気信号は、Ａ／Ｄコンバータ１０３でデジタル信号に変換されて画像処理部１０４に入力される。

画像処理部１０４は、デジタル信号に対して一般的に行われる画像処理を行う部分と、被写体の法線情報を算出する処理部１０４ａを備える。本実施形態において、法線情報とは、被写体の面法線だけでなく、形状データや面の傾き等の被写体の形状に関する情報も含む。処理部１０４は、偏光画像取得部１０４ａ１、法線候補算出部１０４ａ２、輝度情報取得部１０４ａ３、参照法線算出部１０４ａ４、および法線情報決定部１０４ａ５を備える。偏光画像取得部１０４ａ１は、偏光画像を取得する。法線候補算出部１０４ａ２は、偏光画像取得部１０４ａ１により取得される偏光画像から法線候補を算出する。輝度情報取得部１０４ａ３は、複数の光源位置での輝度情報を取得する。参照法線算出部１０４ａ４は、輝度情報取得部１０４ａ３により取得される輝度情報から参照法線を算出する。法線情報決定部１０４ａ５は、法線候補から法線情報を決定する。画像処理部１０４で処理される出力画像は、半導体メモリや光ディスク等の画像記録部１０９に保存される。また、出力画像を、表示部１０５に表示してもよい。なお、処理部１０４ａは、後述するように撮像装置１とは別に構成されてもよい。

情報入力部１０８は、ユーザーによって選択された撮影条件（絞り値、露出時間、および焦点距離など）をシステムコントローラ１１０に供給する。画像取得部１０７は、システムコントローラ１１０からの情報に基づいて、ユーザーが選択した所望の撮影条件で画像を取得する。照射光源制御部１０６は、システムコントローラ１１０からの指示に応じて光源部２００の発光状態を制御する。なお、撮像光学系１０１は、撮像装置１に内蔵される構成であってもよいし、一眼レフカメラのように撮像装置１に着脱可能に取り付けられる構成であってもよい。

図３は、本実施例の法線情報算出処理を示すフローチャートである。本実施例の法線情報算出処理は、システムコントローラ１１０および処理部１０４ａにより、コンピュータプログラムとしての処理プログラムにしたがって実行される。処理プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録してもよい。

ステップＳ１０１では、偏光画像取得部１０４ａ１は、偏光状態が異なる３つ以上の偏光画像を取得する。偏光画像とは、被写体からの反射光のうち一部の偏光成分のみの輝度情報を取得した画像である。偏光画像の取得方法としては、撮像光学系の前後もしくは撮像光学系中に偏光子を挿入し、偏光子の主軸角方向を変えながら撮像すればよい。

また、偏光画像の取得方法として、撮像素子の前にパターン偏光子を配置してもよい（例えば、特開２００７−８６７２０）。図１１は、パターン偏光子を配置した撮像素子の模式図である。パターン偏光子は、入射光のうち特定の偏光成分のみを撮像素子の画素に入射させる。パターン偏光子には、例えば、透過軸が４５度ずつ異なる４つの偏光子１３１〜１３４を一組とする偏光子群が複数配列される。パターン偏光子では、近傍の画素では同じ被写体上の点からの反射光を観測していると近似することで、偏光子の主軸角方向を変えながら撮像した場合に得られる偏光情報と同様の偏光情報を取得することができる。

また、偏光画像は、少なくとも一つの光源を照射した状態で取得してもよいし、複数の光源位置ごとに取得してもよい。

ステップＳ１０２では、法線候補算出部１０４ａ２は、ステップＳ１０１で取得される偏光画像から上述した方法によって偏光情報を算出する。偏光情報のうち平均輝度値は被写体からの反射光の輝度値に等しいため、後述するように、ステップＳ１０４で取得する輝度情報として平均輝度値を用いてもよい。

ステップＳ１０３では、法線候補算出部１０４ａ２は、ステップＳ１０２で算出される偏光情報を用いて、上述した方法により複数の法線候補を算出する。拡散反射では偏光情報である偏光度と偏光方位を用いることで２つの法線候補が算出され、鏡面反射では４つの法線候補が算出される。偏光度または偏光方位のいずれか一方を用いて、複数の法線候補を算出してもよい。

ステップＳ１０４では、輝度情報取得部１０４ａ３は、複数の光源位置で被写体の撮像を行うことで取得される複数の撮像画像から、複数の光源位置での輝度情報を取得する。複数の撮像画像は、単一の光源の位置を変更することで取得してもよいし、それぞれ位置の異なる複数の光源を用いて取得してもよい。また、偏光画像を取得する際の撮像光学系や撮像素子とは異なる撮像光学系や撮像素子を用いて、輝度情報を取得してもよい。なお、ステップＳ１０１で複数の光源位置ごとに偏光画像を取得し、ステップＳ１０２で平均輝度値を算出した場合、ステップＳ１０４で平均輝度値を輝度情報として取得してもよい。

ステップＳ１０５では、参照法線算出部１０４ａ４は、ステップＳ１０４で取得される輝度情報から参照法線を算出する。参照法線は、照度差ステレオ法を用いて、光源位置による輝度情報の変化に基づいて算出される。照度差ステレオ法では、被写体がランバート反射モデルとは異なる場合、参照法線に誤差が生じるが、偏光情報から算出される複数の法線候補としての解の不定性を解消するには問題ない誤差である。

ステップＳ１０６では、法線情報決定部１０４ａ５は、ステップＳ１０５で取得される参照法線に基づいて、ステップＳ１０３で算出される複数の法線候補から法線情報を決定する。具体的には、複数の法線候補のうち、参照法線との距離が最も近い法線候補を法線情報として決定する。

偏光情報である偏光度と偏光方位を用いて法線候補を算出する場合、拡散反射部分では法線情報の方位角に２つの解が存在するため、参照法線の方位角に最も近い方位角を持つ法線候補を法線情報として決定すればよい。また、鏡面反射部分では法線情報の天頂角および方位角の両方に２つの解が存在するため、参照法線の天頂角および方位角に最も近い法線候補を法線情報として決定すればよい。

また、偏光度のみを用いて法線候補を算出する場合、拡散反射部分では法線情報の方位角に複数の解が存在するため、参照法線の方位角に最も近い方位角を持つ法線候補を法線情報として決定すればよい。また、鏡面反射部分では法線情報の天頂角に２つの解が存在し、方位角に複数の解が存在するため、参照法線の天頂角および方位角に最も近い法線候補を法線情報として決定すればよい。

さらに、偏光方位のみを用いて法線候補を算出する場合、拡散反射部分および鏡面反射部分では法線情報の天頂角に複数の解が存在し、方位角に２つの解が存在するため、参照法線の天頂角および方位角に最も近い法線候補を法線情報として決定すればよい。

また、少なくとも１つの輝度情報から陰や鏡面反射が検出される場合、ステップＳ１０５で陰領域や鏡面反射部分において算出される参照法線に大きな誤差が生じる場合がある。そこで、陰や鏡面反射が検出される部分においては、陰や鏡面反射が検出される輝度情報を取得した際の光源位置の情報を用いて複数の法線候補から法線情報を決定してもよい。例えば、陰領域の法線は、被写体に光を照射する光源の位置とは反対の方を向いていると推測できる。したがって、輝度情報を取得した際の光源ベクトルから最も遠い法線候補を法線情報として選択すればよい。複数の光源位置で陰が生じている部分では、それぞれの光源ベクトルから最も遠い法線候補の平均値を法線情報として決定してもよい。

鏡面反射している領域の法線は、被写体に光を照射する光源の位置とカメラ方向から推測できる。例えば、光源ベクトルと視線ベクトルのハーフベクトル（光源ベクトルと視線ベクトルの始点をそろえたときの該始点と、光源ベクトルと視線ベクトルの各終点の中間点とを結ぶベクトル）に最も近い法線候補を法線情報として決定する。あるいは、光源ベクトルと視線ベクトルのハーフベクトルを基準とした一定範囲内に存在する法線候補（複数ある場合は法線候補の平均値）を法線情報として決定することができる。

本実施例では撮像装置１内で被写体の法線情報を算出しているが、図２Ｂに示されるように、撮像装置１とは異なる構成である処理装置５００を用いて被写体の法線情報を算出してもよい。処理装置５００は、輝度情報取得部５００ａ、参照法線算出部５００ｂ、および法線情報取得部５００ｃを備える。処理装置５００を用いて面法線を算出する場合、まず、輝度情報取得部５００ａが複数の光源位置で被写体の撮像を行うことで取得される複数の撮像画像から複数の光源位置での輝度情報を取得する。次に、参照法線算出部５００ｂが、輝度情報取得部５００ａにより取得される複数の光源位置での輝度情報に基づいて参照法線を算出する。そして、法線情報取得部５００ｃが、偏光画像から法線候補算出部５０１によって算出される複数の法線候補から、参照法線算出部５００ｂにより取得される参照法線に基づいて法線情報を決定する。なお、法線候補算出部５０１は、処理装置５００と別に構成されてもよいし、処理装置５００に内蔵されてもよい。また、実施例２で説明するように、参照法線を算出せずに法線情報を決定する場合、処理装置５００は参照法線算出部５００ｂを備える必要はない。

図２Ｂで示される処理装置５００は、図２Ｃで示されるように、被写体を照明する光源部５０２と被写体を撮像する撮像部５０３の少なくとも一方と処理システム２として使用される。光源部５０２は、１つの光源が位置を変更するために移動可能な構成であってもよいし、それぞれ位置の異なる少なくとも３つ以上の光源を備える構成であってもよい。また、光源部５０２が移動する場合、処理装置５００が光源部５０２を移動させる構成であってもよいし、撮像部５０３が光源部５０２を移動させる構成であってもよい。

以上説明したように、本実施例では、被写体形状に関する事前情報がない条件下で、単視点での偏光情報から算出される法線情報の解の不定性を解消し、被写体の法線情報を算出することができる。

本実施例では、参照法線を算出せずに、複数光源位置での輝度情報を用いて複数の法線候補から法線情報を決定する方法について説明する。本実施例の撮像装置は、実施例１と同様の撮像装置であるが、本実施例では参照法線を算出しないため、参照法線算出部１０４ａ４を備える必要はない。

図４は、本実施例の法線情報算出処理を示すフローチャートである。本実施例の法線情報算出処理は、システムコントローラ１１０および画像処理部１０４によりコンピュータプログラムとしての処理プログラムにしたがって実行される。処理プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録してもよい。

ステップＳ２０１〜Ｓ２０４はそれぞれ、図３のステップＳ１０１〜Ｓ１０４と同様であるため、詳細な説明は省略する。

ステップＳ２０５では、ステップＳ２０４で取得される複数の光源位置での輝度情報に基づいて、ステップＳ２０３で取得される複数の法線候補から法線情報を決定する。ランバート反射モデルに代表される拡散反射モデルでは、法線ベクトルの方向と光源方向が近いほど反射光の輝度が大きくなる。したがって、複数の光源位置での輝度情報のうち最も輝度が高い光源ベクトルに近い法線候補を法線情報として決定すればよい。また、実施例１と同様に、陰や鏡面反射が検出される場合、光源位置の情報を用いて複数の法線候補から法線情報を決定してもよい。

実施例１および２では、光源を内蔵した撮像装置について説明したが、本実施例では撮像装置と光源ユニットから構成される法線情報取得システムについて説明する。

図５は、法線情報取得システムの外観図である。法線情報取得システムは、被写体３０３を撮像する撮像装置３０１、および複数の光源ユニット３０２を備える。本実施例の撮像装置３０１は、実施例１と同様の撮像装置であるが、複数の光源を内蔵する構成である必要はない。

光源ユニット３０２は、撮像装置３０１と有線または無線で接続され、撮像装置３０１からの情報に基づいて制御できることが好ましい。また、照度差ステレオ法では少なくとも３光源で撮像した画像が必要であるが、光源位置が可変な光源ユニットを使用する場合、少なくとも一つの光源ユニットがあればよい。ただし、光源ユニットの位置を変えることで、最低３つの光源位置で撮影を行う必要がある。なお、光源ユニット３０２が自動で光源位置を変更できない場合や光源ユニット３０２が撮像装置３０１により制御できない場合には、撮像装置３０１の表示部に表示される光源位置になるようにユーザーに光源ユニット３０２を調整させてもよい。

以上説明したように、被写体形状に関する事前情報がない条件下で、単視点での偏光情報から算出される法線情報の解の不定性を解消し、被写体の法線情報を算出することができる。本実施例の法線情報算出処理は、実施例１または実施例２の処理と同様であるため詳細な説明は省略する。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

５００処理装置
５００ａ輝度情報取得部
５００ｃ法線情報取得部

Claims

被写体を照明する光源の配置を互いに異ならせて撮像された複数の撮像画像ごとに輝度情報を取得する輝度情報取得部と、
互いに偏光状態が異なる３つ以上の偏光画像を用いて算出される複数の法線候補から、前記輝度情報に基づいて、前記被写体の法線情報を決定する法線情報決定部と、を有することを特徴とする処理装置。
前記３つ以上の偏光画像を用いて前記複数の法線候補を算出する法線候補算出部を更に有することを特徴とする請求項１に記載の処理装置。
前記輝度情報を用いて前記被写体の参照法線を算出する参照法線算出部を更に有し、
前記法線情報決定部は、前記複数の法線候補から、前記被写体の参照法線に基づいて前記被写体の法線情報を決定することを特徴とする請求項１または２に記載の処理装置。
前記法線情報決定部は、前記複数の法線候補のうち前記参照法線との距離が最も近い法線候補を前記被写体の法線情報として決定することを特徴とする請求項３に記載の処理装置。
前記法線情報決定部は、前記複数の法線候補から、前記被写体の参照法線の方位角と天頂角の少なくとも一方に基づいて、前記被写体の法線情報を決定することを特徴とする請求項３に記載の処理装置。
前記法線情報決定部は、前記複数の法線候補から、前記輝度情報における輝度値が最も高い光源方向に基づいて、前記被写体の法線情報を決定することを特徴とする請求項１または２に記載の処理装置。
前記法線情報決定部は、前記輝度情報から所定の輝度値より低い輝度値を有する陰領域を検出する場合、前記複数の法線候補から、前記陰領域が検出された輝度情報を取得した際に使用された光源の光源方向に基づいて、前記被写体の法線情報を決定することを特徴とする請求項１から６のいずれか１項に記載の処理装置。
前記法線情報決定部は、前記輝度情報から鏡面反射している領域を検出する場合、前記複数の法線候補から、前記領域が検出された輝度情報を取得した際に使用された光源の光源方向に基づいて、前記被写体の法線情報を決定することを特徴とする請求項１から７のいずれか１項に記載の処理装置。
被写体を照明する光源と、
前記光源の配置を互いに異ならせて撮像された複数の撮像画像ごとに輝度情報を取得する輝度情報取得部と、互いに偏光状態が異なる３つ以上の偏光画像を用いて算出される複数の法線候補から、前記輝度情報に基づいて、前記被写体の法線情報を決定する法線情報決定部と、を備える処理装置と、を有することを特徴とする処理システム。
前記光源は、移動可能であることを特徴とする請求項９に記載の処理システム。
互いに位置が異なる３つ以上の光源を備えることを特徴とする請求項９に記載の処理システム。
前記被写体を撮像する撮像部を更に有することを特徴とする請求項９から１１のいずれか１項に記載の処理システム。
被写体を照明する光源の配置を互いに異ならせて撮像された複数の撮像画像ごとに輝度情報を取得する輝度情報取得部と、互いに偏光状態が異なる３つ以上の偏光画像を用いて算出される複数の法線候補から、前記輝度情報に基づいて、前記被写体の法線情報を決定する法線情報決定部と、を備える処理装置と、
前記被写体を撮像する撮像素子と、を有することを特徴とする撮像装置。
被写体を照明する光源の配置を互いに異ならせて撮像された複数の撮像画像ごとに輝度情報を取得するステップと、
互いに偏光状態が異なる３つ以上の偏光画像を用いて算出される複数の法線候補から、前記輝度情報に基づいて、前記被写体の法線情報を決定するステップと、を有することを特徴とする処理方法。
請求項１４に記載の処理方法をコンピュータに実行させるためのプログラム。
請求項１５に記載のプログラムを記録したコンピュータが読み取り可能な記録媒体。