JP2019082955A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】 物体の反射特性を高精度に取得するための処理を提供することを目的とする。【解決手段】 画像から、光源と撮像装置と物体における対象領域との位置によって決まる幾何条件が互いに異なる複数の画素の画素値を取得する第１取得手段と、前記対象領域の表面における法線方向を表す法線情報を取得する第２取得手段と、前記複数の画素の画素値のうち少なくとも２つ以上の画素値と、前記２つ以上の画素値それぞれに対応する前記幾何条件及び前記法線方向に基づいて算出される反射率と、を用いた処理によって、前記対象領域における反射特性を決定する決定手段と、を有し、前記処理は、前記複数の画素が対応する前記対象領域の位置と前記物体において前記光源からの光が前記撮像装置に対して正反射する位置との距離に応じることを特徴とする画像処理装置。【選択図】 図４

Description

本発明は、物体の反射特性を取得するための画像処理技術に関する。

照明方向や観測（撮像）方向に応じた物体の反射率の変化（反射特性）を、双方向反射率分布関数ＢＲＤＦ（Ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ Ｒｅｆｌｅｃｔａｎｃｅ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｆｕｎｃｔｉｏｎ）を用いて表す方法が一般的に知られている。ＢＲＤＦについての情報を利用することにより、任意の照明条件・視線方向における自然な陰影やハイライトの再現が可能になる。特許文献１は、光源方向又は観測方向を変えながらの撮像によって得られた複数の画像データを用いることによって、物体のＢＲＤＦの推定を行う技術を開示している。

特開２００３−２０３２２０号公報

一般的なデジタルカメラには、露出時間や絞り値の設定に応じて、取得可能な明るさの範囲に限界がある。ある露出の設定に対して被写体が所定の輝度値より明るい場合、撮像画像の画素値が飽和し、輝度を識別できなくなる。一方、ある露出の設定に対して被写体が暗すぎる場合、画素値のＳ／Ｎ比が低下するため、輝度の識別が困難となる。

特許文献１の方法を用いる場合、撮像画像において光源からの光の当たり方が領域ごとに異なる。このため、明るすぎて飽和した画素や暗すぎてＳ／Ｎ比が低下した画素を含む画像に基づいてＢＲＤＦを決定することになる。この場合、高精度にＢＲＤＦを取得することは困難である。

本発明は、上記課題に鑑みてなされたものであり、物体の反射特性を高精度に取得するための処理を提供することを目的とする。

上記課題を解決するために、本発明に係る画像処理装置は、光源を用いて照明した物体を撮像装置が撮像することによって得られた画像を用いて前記物体の対象領域における反射特性を決定するための画像処理装置であって、前記画像から、前記光源と前記撮像装置と前記対象領域との位置によって決まる幾何条件が互いに異なる複数の画素の画素値を取得する第１取得手段と、前記対象領域の表面における法線方向を表す法線情報を取得する第２取得手段と、前記複数の画素の画素値のうち少なくとも２つ以上の画素値と、前記２つ以上の画素値それぞれに対応する前記幾何条件及び前記法線方向に基づいて算出される反射率と、を用いた処理によって、前記対象領域における反射特性を決定する決定手段と、を有し、前記処理は、前記複数の画素が対応する前記対象領域の位置と前記物体において前記光源からの光が前記撮像装置に対して正反射する位置との距離に応じることを特徴とする。

本発明によれば、物体の反射特性を高精度に取得することができる。

反射特性取得システムの構成の一例を示す図 画像処理装置の論理構成の一例を示すブロック図 幾何条件θ、ρを説明するための図 画像処理装置が実行する処理の一例を示すフローチャート ＢＲＤＦを決定する処理の一例を示すフローチャート 光源、撮像装置、撮像領域、正反射点の位置関係の一例を示す図 撮像領域内の輝度の分布の一例を示す図 多視点撮像を行う際の撮像領域と測定点との位置関係の一例を示す図。 輝度値、角度ρ、ＢＲＤＦの係数の関係を示す図 撮像画像の端部を含む測定点において得られたＢＲＤＦの一例を示す図 撮像画像の端部を含まない測定点において得られたＢＲＤＦの一例を示す図 ＢＲＤＦを決定する処理の一例を示すフローチャート 参照点の画素値と角度ρとの関係の一例を示した図 角度ρと重み係数との関係の一例を示した図

以下、本発明の実施形態を図面を参照して詳細に説明する。尚、以下の実施形態は本発明を必ずしも限定するものではない。また、以下の実施形態において説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。尚、同一の構成については、同一の符号を付して説明する。

［第１実施形態］
＜反射特性取得システムの構成＞
図１は、本実施形態に係る反射特性取得システムの構成の一例を示す図である。反射特性取得システムは、多視点撮像システム１０１と、画像処理装置１０２とを有する。多視点撮像システム１０１は、光源１０４と、撮像装置１０５と、可動ステージ１０６と、を有する。本実施形態における光源１０４はプロジェクタである。また、本実施形態における撮像装置１０５はカラーデジタルカメラである。撮像装置１０５は、可動ステージ１０６により撮像位置を移動しながら、光源１０４からの光が当てられている被写体１０３を複数回撮像する。この複数回の撮像によって、複数の画像データが得られる。撮像装置１０５は、各画素にＲ、Ｇ、Ｂの３つのチャンネルを有する画像データを生成する。本実施形態においては、画像データの画素値として、１６ビットで表されるＲ値、Ｇ値、Ｂ値が各チャンネルに記録されているが、画素値を表すためのビット数は１６に限らず、８ビットなどで表される画素値であってもよい。

被写体１０３は、油彩画のような平面に近い形状のものとする。可動ステージ１０６は、図１に示すＸ軸、Ｙ軸、Ｚ軸を軸とする３次元空間において、ＸＹ平面を移動可能なステージである。光源１０４と撮像装置１０５とは、可動ステージ１０６に固定されており、互いの相対位置を保ったまま、被写体１０３と概ね平行な面上を移動する。被写体１０３は、ＸＹ平面に凡そ平行に設置されており、測定対象となる面が可動ステージ１０６側に向いている。光源１０４は被写体１０３に正対する向きで設置されており、撮像装置１０５は光源１０４の正面を撮像するため、やや光源１０４側に傾いた向きで設置されている。

尚、被写体１０３の形状や多視点撮像システム１０１の構成は上記一例に限定されない。被写体は平面でなくてもよく、例えば球体のような３次元形状であってもよい。この場合は、被写体の全面を撮像するために、可動ステージ１０６の代わりとして、３次元空間における全ての方向に移動可能なロボットアームを用いても良い。あるいは、撮像装置１０５を固定し、被写体を回転台の上に乗せて回転させることによって、被写体１０３の全面を撮像しても良い。また、撮像装置１０５と被写体１０３との両方が動く形態であっても良い。更には、複数の光源や複数の撮像装置を使用することによって、幾何条件が異なる複数回の撮像を行っても良い。また、光源１０４が単一の点光源であると近似できるような照明条件において撮像できれば、光源１０４はプロジェクタに限らず、ＬＥＤの点光源などであってもよい。

画像処理装置１０２は、例えばコンピュータであり、ＣＰＵ１０７、ＲＯＭ１０８、ＲＡＭ１０９を備える。ＣＰＵ１０７は、ＲＡＭ１０９をワークメモリとして、ＲＯＭ１０８、ＨＤＤ（ハードディスクドライブ）１１０などに格納されたＯＳ（オペレーティングシステム）や各種プログラムを実行する。また、ＣＰＵ１０７は、システムバス１１１を介して各構成を制御する。尚、後述するフローチャートによる処理は、ＲＯＭ１０８やＨＤＤ１１０などに格納されたプログラムコードがＲＡＭ１０９に展開され、ＣＰＵ１０７によって実行される。汎用Ｉ／Ｆ（インターフェース）１１２には、シリアルバスを介して、マウスやキーボードなどの入力デバイス１１３や多視点撮像システム１０１が接続される。画像処理装置１０２は、シリアルバスを介して、光源１０４、撮像装置１０５及び可動ステージ１０６と接続されているため、照明条件、撮像、視点位置等の制御が可能である。ＳＡＴＡ（シリアルＡＴＡ）Ｉ／Ｆ１１４には、シリアルバスを介して、ＨＤＤ１１０や各種記録メディアの読み書きを行う汎用ドライブ１１５が接続される。ＣＰＵ１０７は、ＨＤＤ１１０や汎用ドライブ１１５にマウントされた各種記録メディアを各種データの格納場所として使用する。ビデオＩ／Ｆ１１６には、ディスプレイ１１７が接続される。ＣＰＵ１０７は、プログラムによって提供されるＵＩ（ユーザインターフェース）をディスプレイ１１７に表示し、入力デバイス１１３を介して受け付けるユーザ指示などの入力を受信する。

＜ＢＲＤＦの決定における課題＞
図６〜図１１を参照して、物体のＢＲＤＦを決定する際の課題を説明する。図６は、被写体１０３、光源１０４、撮像装置１０５を、可動ステージ１０６の背後側から見た場合の、それぞれの位置関係を示す図である。台形の撮像領域は、被写体１０３上において、撮像装置１０５の画角内に入る範囲（すなわち、撮像画像に映る範囲）を示している。正反射点は、被写体１０３の表面の法線がＺ軸の負の方向と一致している場合に、光源１０４からの光の正反射光が撮像装置１０５に到達するおおよその位置を示している。尚、正反射点は、光源１０４及び撮像装置１０５よりもＺ軸の正の方向にある。図７は、撮像画像内の輝度の分布を示す図である。実際の撮像によって得られる反射光の強度は被写体１０３の材質や凹凸（高さ及び法線の分布）の影響を受けるが、正反射点に近い位置ほど強い反射光が取得される傾向にある。図７の例においては、正反射点は撮像領域の右側の外部に位置するため、撮像領域の右端の中央付近にある領域Ａが最も明るく、撮像領域の左端の上下端にある領域Ｊが最も暗くなる。

図８は、可動ステージ１０６をＸ軸方向に移動させながら８回撮像を行った場合の、各撮像画像の撮像範囲を示した図である。実際に被写体１０３の反射特性（ＢＲＤＦ）を取得する場合は、Ｙ軸方向における移動も含めた移動によって、撮像領域が被写体１０３全体を覆うように多くの視点で撮像する。しかし、ここでは説明の簡便のために、Ｘ軸方向における移動に伴う撮像によって得られた８視点の撮像画像を扱う。図８における測定点ａ〜ｄは、ＢＲＤＦを決定する対象となる被写体１０３上の測定点を示している。測定点ａ、ｃは撮像領域の左右端に近い領域を含み、測定点ｂ、ｄは撮像領域の左右端に近い領域を含まない。以下の説明においては、測定点ａ〜ｄの各測定点近傍の凹凸は考慮せず、法線はＺ軸の負の方向に等しいものとする。

図９は、得られたＢＲＤＦの係数（Ｃｄ_Ｒ，Ｃｓ_Ｒ，σ_Ｒ）と、ＢＲＤＦをガウス曲線にフィッティングした結果との関係を示す図である。ここでは、Ｒチャンネルに対応する波長帯を一例としている。グラフの縦軸はＲの輝度であり、グラフの横軸は観測方向ベクトルと光源ベクトルとの中間のベクトル（ハーフベクトル）と、法線ベクトルと、のなす角度ρである。図１０は、図８の測定点ａあるいはｃにおける、撮像画像の各画素から取得された画素値と角度ρとの組み合わせと、得られたＢＲＤＦを示すガウス曲線と、の関係を示した図である。実線の曲線は、後述する本実施形態の方法により決定されたＢＲＤＦを示すガウス曲線である。点線の曲線は、ＢＲＤＦを決定する際の最適化処理において、重み係数を設定しない場合に得られるＢＲＤＦを示すガウス曲線である。尚、重み係数を設定しないことは、重み係数を一定の値に設定することに言い換えることができる。プロットＡ〜Ｉは、取得されたＲの画素値と角度ρとの組み合わせを示しており、各アルファベットは図７に示した画像内の領域と対応している。

ここで、プロットＡは、領域Ａが正反射点に近いために画素値が飽和し、真の輝度値に対して低い画素値を示している。一方、プロットＩは、画像内の最も暗い領域であり、画素値に対して相対的に大きなノイズを含んでいる可能性がある。特に、測定点の拡散反射光の光量（Ｃｄ_Ｒｃｏｓθ）が小さい場合にＳ／Ｎ比は大きく低下する。このような条件下において、重み係数を設定せずにＢＲＤＦ係数の最適化を行う場合、プロットＡやプロットＩの影響を強く受け、得られたＢＲＤＦは真値に対して誤差が大きくなってしまう。そこで、本実施形態においては、画像内の位置に応じて最適化処理における重み係数を設定する。つまり、プロットＥの重み係数を最も大きくし、プロットＡ及びＩの重み係数を０又は０に近い値とする。これにより、画素値の飽和やノイズの影響を低減し、より真値に近いＢＲＤＦを得ることができる。

図１１は、測定点ｂあるいはｄにおける、各画素から取得されたＲの画素値と幾何条件ρとの組み合わせと、得られたＢＲＤＦを示すガウス曲線と、の関係を示した図である。測定点ｂあるいはｄにおいては、画素値の飽和したプロットやノイズの影響が大きいプロットを含まないため、重み係数を設定しない場合でも、測定点ａやｃと比較して真値に近いＢＲＤＦが得られる。つまり、ＢＲＤＦ係数の最適化処理を行う際に、重み係数を設定しない場合、測定点ａ及びｃにおいて得られるＢＲＤＦと測定点ｂ及びｄにおいて得られるＢＲＤＦとの間に差が生じる。この差は、コンピュータグラフィックス（ＣＧ）等により被写体１０３のＢＲＤＦを再現した場合に、各撮像画像の撮像領域に沿った段差として観察者に知覚される。

一方、本実施形態の方法により重み係数を設定した場合、プロットＤ及びＦの重みが相対的に高くなるため、測定点ａやｃと同様に真値に近いＢＲＤＦが得られる。よって、各測定点において得られたＢＲＤＦに差は生じない。つまり、本実施形態の方法によれば、物体（被写体）の反射特性（ＢＲＤＦ）を高精度に取得することができ、ＣＧやプリントなどによって物体のＢＲＤＦを再現する場合に撮像領域に沿った段差が生じにくい画像を生成することができる。

＜画像処理装置の論理構成＞
以下、画像処理装置１０２の論理構成について説明する。以下に示す各部の処理は、ＣＰＵ１０７がＲＯＭ１０８等からＲＡＭ１０９上に読み込んだコンピュータプログラムを実行することによって、ソフトウェアとして実施される。図２（ａ）は、画像処理装置１０２の論理構成を示すブロック図である。画像処理装置１０２は、第１取得部２０１と、第２取得部２０２と、算出部２０３と、第３取得部２０４と、決定部２０５と、出力部２０６と、を有する。

第１取得部２０１は、撮像装置１０５が取得した複数の画像データと、各画像データを得るための各撮像に対応する撮像パラメータと、を取得する。撮像パラメータは、光源１０４の位置及び向きと、撮像装置１０５の位置及び向きと、撮像における撮像装置１０５の内部パラメータと、である。内部パラメータは、撮像装置１０５が有するレンズの焦点距離と、主点位置と、レンズ等に起因する画像の歪曲パラメータと、である。本実施形態における第１取得部２０１は、多視点撮像システム１０１の各部を駆動させることによって撮像を行い、画像データを取得する。尚、第１取得部２０１は、予めＨＤＤ１１０などに保存しておいた画像データ及び撮像パラメータを取得してもよい。

第２取得部２０２は、被写体１０３の３次元形状を表す形状データを取得する。本実施形態においては、第１取得部２０１において取得した複数の画像データと撮像パラメータとに基づいて形状データを生成する。具体的には、まず、公知のステレオ法を用いて被写体１０３の３次元形状を示す点群（３次元空間における座標情報を有する点の集合）を表す点群データを生成する。生成した点群データに基づいて、公知のＰＳＲ（Ｐｏｉｓｓｏｎ Ｓｕｒｆａｃｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）法を用いて点群をポリゴンメッシュモデルへと変換する。これにより、ポリゴンメッシュモデルを用いて被写体１０３の３次元形状を表す形状データを生成する。ここで、ポリゴンメッシュモデルは、物体の表面形状を三角形の集合を用いて表現するモデルである。尚、形状データはポリゴンメッシュモデルを用いて被写体１０３の３次元形状を表すデータに限られず、例えば、本実施形態における被写体１０３のように平面に近い物体であれば、物体の高さ分布を表す高さデータ（ハイトフィールドデータ）であってもよい。

尚、本実施形態においては、多視点からの撮像によって得られた複数の画像データに基づいて形状データを生成したが、形状データの取得方法はこれに限定されない。例えば、光源１０４を用いて特定のパターン光を被写体１０３に投影し、その反射光を撮像装置１０５を用いて捉えることによって形状データを取得する方法を用いてもよい。また、画像処理装置１０２に接続されたレーザーレンジスキャナ等を制御することによって、被写体１０３の形状データを取得する方法を用いてもよい。また、予めＨＤＤ１１０などに保存しておいた形状データを取得してもよい。

算出部２０３は、形状データが表す３次元形状における各点と、各点に対応する領域を含む画像と、の組み合わせについて、法線ベクトル（法線情報）、光源ベクトル、観測方向ベクトルを算出する。ここで、３次元形状における各点は、ポリゴンメッシュモデルの表面上に位置する点である。本実施形態においては、図８に示すような撮像領域となるように撮像を行うため、各点に対応する領域を含む画像は複数存在する。法線ベクトルは、形状データにおいて対象の点が含まれる三角形の外向きの法線方向を示す単位ベクトルとして算出される。算出部２０３は、三角形における２つのベクトルの外積によって法線ベクトルを算出する。光源ベクトルは、対象の点から光源１０４の座標を指す単位ベクトルとして算出される。観測方向ベクトルは、対象の点から撮像装置１０５の座標を指す単位ベクトルとして算出される。算出部２０３は、形状データにおける対象の点の座標と光源１０４の位置（座標）と撮像装置１０５の位置（座標）とに基づいて、上述した法線ベクトルのように、ベクトル演算によって光源ベクトル及び観測方向ベクトルを算出する。尚、形状データにおける対象の点の座標と光源１０４の位置（座標）と撮像装置１０５の位置（座標）と、の相対的な位置関係は、可動ステージ１０６の位置情報を用いて算出してもよい。また、公知のキャリブレーション方法を用いて相対的な位置関係を算出してもよい。尚、形状データとしてハイトフィールドデータを用いる場合は、高さ情報の微分値に基づいて法線ベクトルを算出してもよい。

第３取得部２０４は、形状データが表す３次元形状における各点について、対応する画像データの画素値（Ｒ値、Ｇ値、Ｂ値）を取得する。本実施形態においては、上述したように、各点に対応する領域を含む画像は複数存在するため、画像ごとに複数の画素値を取得する。

決定部２０５は、形状データが表す３次元形状における各点について、画素値（Ｒ値、Ｇ値、Ｂ値）と幾何条件（θ、ρ）との複数の組み合わせに基づいて、ＢＲＤＦの係数（Ｃｄ_Ｒ、Ｃｓ_Ｒ、σ_Ｒ、Ｃｄ_Ｇ、Ｃｓ_Ｇ、σ_Ｇ、Ｃｄ_Ｂ、Ｃｓ_Ｂ、σ_Ｂ）を決定する。ＢＲＤＦの係数は、物体の反射特性を決定するための反射特性パラメータである。図３に示すように、幾何条件は、法線ベクトルと光源ベクトルとがなす角度θと、観測方向ベクトルと光源ベクトルとのハーフベクトルと法線ベクトルとがなす角度ρとを表す。本実施形態においては、被写体１０３のＢＲＤＦとして式（１）に示すＧａｕｓｓモデルを用いる。

Ｒ＝Ｃｄ_Ｒｃｏｓθ＋Ｃｓ_Ｒｅｘｐ（−ρ^２／２σ_Ｒ ^２）ｃｏｓθ
Ｇ＝Ｃｄ_Ｇｃｏｓθ＋Ｃｓ_Ｇｅｘｐ（−ρ^２／２σ_Ｇ ^２）ｃｏｓθ ・・・式（１）
Ｂ＝Ｃｄ_Ｂｃｏｓθ＋Ｃｓ_Ｂｅｘｐ（−ρ^２／２σ_Ｂ ^２）ｃｏｓθ
Ｃｄ_ＲはＲチャンネルに対応する波長帯における拡散反射光の反射率（反射強度）を示す拡散反射係数である。Ｃｓ_ＲはＲチャンネルに対応する波長帯における鏡面反射光の反射率（反射強度）を示す鏡面反射係数、σ_ＲはＲチャンネルに対応する波長帯における鏡面反射光の広がりを示す鏡面反射係数である。同様に、Ｃｄ_Ｇ、Ｃｓ_Ｇ、σ_ＧはＧチャンネルに対応する波長帯における拡散反射係数及び鏡面反射係数である。また、Ｃｄ_Ｂ、Ｃｓ_Ｂ、σ_ＢはＢチャンネルに対応する波長帯における拡散反射係数及び鏡面反射係数である。

決定部２０５は、画素値（Ｒ値、Ｇ値、Ｂ値）と幾何条件（θ、ρ）との複数の組み合わせの各々について式（１）を用いて左辺と右辺との差分（誤差）を算出し、差分の和が最小となるようにＢＲＤＦ係数の最適化を行う。また、決定部２０５は、ＢＲＤＦ係数の最適化の際に、各組み合わせについて画像における画素の位置に応じた重み付けを行う。ＢＲＤＦ係数の最適化処理及び重み付けの詳細については後述する。

出力部２０６は、形状データが表す３次元形状における各点において決定したＢＲＤＦ係数を形状データが表す３次元形状と関連付けることによって出力用データを生成し、出力用データをＨＤＤ１１０に出力する。

＜画像処理装置が実行する処理＞
次に、画像処理装置１０２が実行する処理について図４（ａ）及び図５（ａ）を参照して説明する。図４（ａ）は、画像処理装置１０２が実行する処理のフローチャートである。以下、各ステップ（工程）は符号の前にＳをつけて表す。

Ｓ４０１において、第１取得部２０１は、複数の画像データと、各画像データに対応する撮像パラメータと、を取得する。Ｓ４０２において、第２取得部２０２は、Ｓ４０１において取得した画像データと撮像パラメータとに基づいて、被写体１０３の３次元形状を表す形状データを生成する。

Ｓ４０３において、算出部２０３、第３取得部２０４、決定部２０５は、形状データが表すポリゴンメッシュモデルの各面（各三角形）についてＢＲＤＦ決定処理を行う。ＢＲＤＦ決定処理の詳細については後述する。尚、Ｓ４０３は、各三角形について処理するまでループする。Ｓ４０４において、出力部２０６は、ポリゴンメッシュモデルの各面についてＳ４０３において決定したＢＲＤＦ係数の情報を付加した出力用データを生成し、出力用データをＨＤＤ１１０に出力する。

＜ＢＲＤＦ決定処理＞
以下、Ｓ４０３において実行されるＢＲＤＦ決定処理を詳細に説明する。図５（ａ）は、本実施形態におけるＢＲＤ決定処理を示すフローチャートである。

Ｓ５０１において、算出部２０３は、ＢＲＤＦを決定する対象となる点（測定点）の３次元空間における座標を取得する。具体的には、処理対象となっている三角形の重心点の座標を、測定点の座標として、三角形の各頂点の座標を用いて算出する。次に、Ｓ５０２〜Ｓ５０４を、処理対象の測定点に対応する全ての画像データについて処理するまでループする。Ｓ５０２において、算出部２０３は、ｎ番目の画像データについて、法線ベクトルと、光源ベクトルと、観測方向ベクトルと、光源１０４及び撮像装置１０５の座標と、を取得する。さらに、算出部２０３は、法線ベクトルと光源ベクトルとがなす角度θ_ｎ、及び観測方向ベクトルと光源ベクトルとのハーフベクトルと法線ベクトルとがなす角度ρ_ｎを算出する。

Ｓ５０３において、第３取得部２０４は、ｎ番目の画像データにおいて、Ｓ５０１において座標を取得した測定点に対応する画素値を取得する。具体的には、Ｓ５０２において取得した撮像装置１０５の座標と、Ｓ４０１において取得した撮像パラメータと、に基づいて、３次元空間における測定点がｎ番目の画像データが表す画像のどの画素位置（ｘ、ｙ）に映っているかを算出する。ここで算出された画素位置（ｘ、ｙ）の値は端数を含むため、近傍の４画素の画素値を用いた補間処理を行うことによって、画素位置（ｘ、ｙ）に対応する画素値を算出する。取得した画素値と、Ｓ５０２において算出した幾何条件（θ_ｎ、ρ_ｎ）と、の組み合わせのリストを生成する。尚、画像において処理対象の三角形が裏面であったり、測定点が他の部位の背後であったり、測定点が画像の外であったりする場合は、画素値を取得できないものとする。

Ｓ５０４において、決定部２０５は、Ｓ５０３において生成した組み合わせのリストを参照することによって、Ｓ５０５の最適化処理において用いる重み係数を決定する。本実施形態においては、画素値を取得した各画像における座標に基づいて、画像の端部において０あるいは０に近い値を取り、画像の中心部において大きい値を取るように係数を算出する。一例としては、ｎ番目の画像データにおいて画素値を取得した画素位置（ｘ、ｙ）を画像の幅及び高さ（Ｗ、Ｈ）により除算することによって正規化したものを（ｕ_ｎ，ｖ_ｎ）とする。この場合、ｎ番目の画像データについての画素値と幾何条件との組み合わせに適用する重み係数ｋ_ｎを式（２）によって算出する。

ｋ_ｎ＝（（１−ｃｏｓ（２πｕ_ｎ））＊（１−ｃｏｓ（２πｖ_ｎ）））^０．５ ・・・式（２）
以上の重み係数の決定方法により、本実施形態における最適化処理は、複数の画素それぞれが対応する物体における位置と物体において光源からの光が正反射する位置（正反射点）との距離に応じた最適化処理になる。つまり、上述した距離が大きすぎる画素（暗すぎる画素）と上述した距離が小さすぎる画素（明るすぎる画素）は重みが小さくなる。尚、Ｓ５０３において画素値が取得できなかった画像データについては、画素値と幾何条件との組み合わせをＳ５０５の最適化処理において使用しないため、重み係数を０に設定する。

Ｓ５０５において、決定部２０５は、各画像データから取得した画素値と幾何条件との組み合わせに基づいて、測定点におけるＢＲＤＦ係数（Ｃｄ_Ｒ、Ｃｓ_Ｒ、σ_Ｒ、Ｃｄ_Ｇ、Ｃｓ_Ｇ、σ_Ｇ、Ｃｄ_Ｂ、Ｃｓ_Ｂ、σ_Ｂ）を決定する。本実施形態においては、ＢＲＤＦ係数をＲ、Ｇ、Ｂの各波長帯において独立に決定する。

各波長帯におけるＢＲＤＦの決定は、評価関数に最小二乗法を用いた、ニュートン法等の公知の最適化アルゴリズムによって行う。例えば、Ｒの波長帯においては、ＢＲＤＦ係数（Ｃｄ_Ｒ、Ｃｓ_Ｒ、σ_Ｒ）を最適化対象のパラメータとし、式（３）によって表される評価関数Ｅ_Ｒを最小化するようなパラメータの組み合わせを導出する。ここで、Ｎは最適化処理に用いる画像データの数である。

Ｇ、Ｂの波長帯についても、同様に評価関数Ｅ_Ｇ、Ｅ_Ｂを定義し、ＢＲＤＦ係数（Ｃｄ_Ｇ、Ｃｓ_Ｇ、σ_Ｇ）及び（Ｃｄ_Ｂ、Ｃｓ_Ｂ、σ_Ｂ）の最適化を行う。

＜第１実施形態の効果＞
以上説明したように、本実施形態における画像処理装置は、画像から、光源と撮像装置と物体との位置によって決まる幾何条件が互いに異なる複数の画素の画素値を取得する。さらに、物体の表面における法線方向を表す法線情報を取得する。複数の画素の画素値のうち少なくとも２つ以上の画素値と、２つ以上の画素値それぞれに対応する幾何条件及び法線方向に基づいて算出される反射率と、を用いた処理によって、物体の対象領域における反射特性を決定する。この処理は、複数の画素が対応する対象領域の位置と物体において光源からの光が撮像装置に対して正反射する位置との距離に応じる。これにより、明るすぎて飽和した画素の画素値や暗すぎてＳ／Ｎ比が低下した画素の画素値以外の画素値を優先して最適化に用いることができる。したがって、物体の反射特性を高精度に取得することができる。

［第２実施形態］
第１実施形態においては、油彩画のような平面に近い形状の物体を被写体とし、画像における位置と幾何条件との相関関係を利用して重み係数を決定する方法について説明した。しかしながら、被写体表面の凹凸が大きい場合や、球体などの立体的な形状を有する被写体に対して反射特性の取得を行う場合、撮像時の幾何条件は被写体の形状の影響を強く受けるため、画像における位置と幾何条件との相関度合いは低下する。本実施形態においては、取得された各画素値と幾何条件との組み合わせに対し、幾何条件に基づいて重み係数を決定する例を説明する。尚、本実施形態における反射特性取得システムの構成及び画像処理装置１０２の論理構成は第１実施形態のものと同等であるため、説明を省略する。本実施形態と実施形態１とでは、Ｓ４０３のＢＲＤＦ決定処理の詳細が異なるため、図１２乃至図１４を用いて本実施形態におけるＢＲＤＦ決定処理の詳細を説明する。

＜ＢＲＤＦ決定処理＞
図１２は、本実施形態におけるＢＲＤＦ決定処理を示すフローチャートである。Ｓ５０１〜Ｓ５０３及びＳ５０５における処理は第１実施形態と同等であるため、説明を省略する。

Ｓ１２０１において、算出部２０３は、被写体１０３における測定点の周辺の領域にある点（参照点）の集合を決定する。具体的には、３次元空間における測定点から所定の距離よりも近い位置にある三角形を抽出し、各三角形の重心点のリストを生成する。尚、参照点は三角形の重心点に限らず、所定の距離内の点（三角形の頂点）を全て抽出してもよい。Ｓ１２０２において、算出部２０３は、各参照点について、Ｓ５０２と同様に、法線ベクトルと、光源ベクトルと、観測方向ベクトルと、光源１０４及び撮像装置１０５の座標と、を取得する。Ｓ１２０３において、第３取得部２０４は、各参照点について、Ｓ５０３と同様に、画素値を取得する。

Ｓ１２０４において、決定部２０５は、各参照点について、取得した画素値と幾何条件ρとの組み合わせに基づいて、重み係数を決定するための関数を生成する。図１３は、各参照点の画素値と幾何条件ρとの関係を示している。縦軸の６５５３５は、１６ビットで表される画素値が取りうる最大値である。縦軸のｔは、最適化処理に用いる画素値に下限を設けるための閾値である。この閾値により、Ｓ／Ｎ比が低い画素が最適化処理に与える影響を低減できる。本ステップにおける処理は、まず、Ｒ、Ｇ、Ｂいずれかの画素値が飽和した画素が出現する最大のρの値であるρ_ｌｏｗと、Ｒ、Ｇ、Ｂいずれかの画素値が閾値ｔを下回る最小のρの値であるρ_ｈｉｇｈと、を取得する。次に、取得したρ_ｌｏｗとρ_ｈｉｇｈとに基づいて、重み係数を決定するための関数を生成する。図１４は、生成した関数における、幾何条件ρと重み係数との関係を示す図である。ρ_ｍｉｄはρ_ｌｏｗとρ_ｈｉｇｈとの中間値であり、重み係数はρ_ｌｏｗ以下とρ_ｈｉｇｈ以上とにおいて０となり、ρ_ｍｉｄにおいて１となる。また、重み係数は、ρ_ｌｏｗからρ_ｍｉｄまでは線形に増加し、ρ_ｍｉｄから_ｈｉｇｈまでは線形に減少する。尚、重み係数は、ρ_ｌｏｗからρ_ｍｉｄまでを非線形に増加してもよいし、ρ_ｍｉｄからρ_ｈｉｇｈまでを非線形に減少してもよい。

Ｓ１２０５において、Ｓ１２０４において生成した関数に基づいて、測定点における各画素値と幾何条件ρとの組み合わせについて、最適化処理の際に適用する重み係数を決定する。以上の重み係数の決定方法により、第１実施形態と同様に、本実施形態における最適化処理は、複数の画素それぞれが対応する物体における位置と物体において光源からの光が正反射する位置（正反射点）との距離に応じた最適化処理になる。

＜第２実施形態の効果＞
以上説明したように、本実施形態における画像処理装置は、幾何条件に基づいてＢＲＤＦを決定するための最適化処理に用いる重み係数を決定する。よって、物体の表面凹凸が大きい場合や、物体が立体的な形状を有する場合であっても、物体の反射特性を高精度に取得することができる。

［第３実施形態］
上述した実施形態においては、法線ベクトルとして１つのポリゴンについて１つの法線ベクトルを算出する例を示した。しかし、表面に凹凸を有する物体などは、データ上において物体を構成する１つのポリゴン内においても法線方向が細かく変化するため、最適化処理によって、ポリゴン内の詳細な法線方向の変化を取得する必要がある。しかしながら、最適化処理の結果、ＢＲＤＦの決定における課題において述べたような課題が法線方向についても生じる。つまり、法線ベクトルを取得する際に重み付けを行わないで最適化処理を行うと、取得精度の低下及び撮像領域に沿った段差が生じる。本実施形態においては、各ポリゴンに対応する法線ベクトルを、上述した実施形態におけるＢＲＤＦの決定処理と同様に重み付けをした最適化処理によって決定する例を説明する。尚、本実施形態における反射特性取得システムの構成は第１実施形態のものと同等であるため、説明を省略する。

＜画像処理装置の論理構成＞
図２（ｂ）は、画像処理装置１０２の論理構成を示すブロック図である。画像処理装置１０２は、第１取得部２０１と、第２取得部２０２と、算出部２０３と、第３取得部２０４と、決定部２０５と、出力部２０６と、設定部２０７と、を有する。第１取得部２０１と、第２取得部２０２と、算出部２０３と、第３取得部２０４と、出力部２０６と、は上述した実施形態と同等の処理を行うため説明を省略する。設定部２０７は、公知のテクスチャマッピングに基づいて、形状データが表す３次元形状の表面に貼り付けるテクスチャを表す画像（以下、テクスチャ画像と呼ぶ）上の座標と形状データにおける座標との対応付けを決定する。具体的には、形状データが表す３次元形状を構成する三角形の各頂点がテクスチャ画像上のどの座標に対応するかを設定する。ここで、テクスチャ画像上の座標は、画像の幅および高さによって正規化された０．０〜１．０の値として設定され、テクスチャ画像の縦横の画素数は任意の値を取り得る。三角形内部の座標は、テクスチャ画像上に投影された対応する三角形の内部の座標として、各頂点からの距離に応じて同様に対応付けられる。形状データとしてハイトフィールドデータを用いる場合は、ハイトフィールドデータの縦横をそのままテクスチャ画像の縦横に対応させれば良い。決定部２０５は、ＢＲＤＦの係数に加えて、法線ベクトルを最適化処理によって決定する。法線ベクトルの最適化は、算出部２０３において算出された法線ベクトルを初期値として行う。

＜画像処理装置が実行する処理＞
次に、画像処理装置１０２が実行する処理について図４（ｂ）及び図５（ｂ）を参照して説明する。図４（ｂ）は、画像処理装置１０２が実行する処理のフローチャートである。尚、Ｓ４０１、Ｓ４０２は実施形態１と同等の処理のため、説明を省略する。

Ｓ６０１において、設定部２０７は、ポリゴンメッシュモデルに対応したテクスチャ画像上の座標と、各三角形の頂点の座標と、の対応を決定する。本実施形態におけるテクスチャ画像の解像度は４０９６画素×４０９６画素とするが、取得したいＢＲＤＦの情報に応じて異なる解像度としてもよい。Ｓ６０２において、算出部２０３、第３取得部２０４、決定部２０５は、テクスチャ画像の各画素についてＢＲＤＦ及び法線ベクトル決定処理を行う。ＢＲＤＦ及び法線ベクトル決定処理との詳細については後述する。尚、Ｓ６０２は、テクスチャ画像の各画素について処理するまでループする。Ｓ６０３において、出力部２０６は、ポリゴンメッシュモデルに、テクスチャ画像としてＢＲＤＦ係数及び法線ベクトルの情報を付加した出力用データを生成し、出力用データをＨＤＤ１１０に出力する。

＜ＢＲＤＦ及び法線ベクトル決定処理＞
以下、Ｓ６０２において実行されるＢＲＤＦ及び法線ベクトル決定処理を詳細に説明する。図５（ｂ）は、本実施形態におけるＢＲＤＦ及び法線ベクトル決定処理を示すフローチャートである。尚、Ｓ５０２乃至Ｓ５０５は実施形態１と同等の処理のため、説明を省略する。

Ｓ７０１において、算出部２０３は、ＢＲＤＦを決定する対象となる点（測定点）の３次元空間における座標を取得する。具体的には、まず、処理対象となっているテクスチャ画像上の画素に対応するポリゴンメッシュモデルの三角形を抽出する。抽出した三角形の各頂点の座標及びテクスチャ画像上の座標に基づいた補間演算によって、処理対象となっているテクスチャ画像上の画素に対応する形状データ上の座標を算出する。

Ｓ７０２において、決定部２０５は、各画像データから取得した画素値と幾何条件との組み合わせに基づいて、測定点におけるＢＲＤＦ係数（Ｃｄ_Ｒ、Ｃｓ_Ｒ、σ_Ｒ、Ｃｄ_Ｇ、Ｃｓ_Ｇ、σ_Ｇ、Ｃｄ_Ｂ、Ｃｓ_Ｂ、σ_Ｂ）及び法線ベクトルを決定する。

ＢＲＤＦ及び法線ベクトルの決定は、評価関数に最小二乗法を用いた、ニュートン法等の公知の最適化アルゴリズムによって行う。最適化処理は、ＢＲＤＦ係数及び法線ベクトル（単位ベクトルであるため回転角と仰角との２自由度）を最適化対象のパラメータとし、式（４）によって表される評価関数Ｅ_ＲＧＢを最小化するようなパラメータの組み合わせを導出する処理である。ここで、Ｎは最適化処理に用いる画像データの数である。また、θ_ｎは法線ベクトルと光源ベクトルとがなす角度であり、ρ_ｎは観測方向ベクトルと光源ベクトルとのハーフベクトルと、法線ベクトルと、がなす角度である。パラメータとしての法線ベクトルの変動に伴ってθ_ｎ、ρ_ｎも変動する。

＜第３実施形態の効果＞
以上説明したように、本実施形態における画像処理装置は、重み付け係数を用いた最適化処理によって、反射特性及び法線方向を決定する。これにより、明るすぎて飽和した画素や暗すぎてノイズの影響が大きい画素の重みを小さくした状態で最適化処理を行うことができるため、物体の反射特性を高精度に取得することができる。また、法線方向についても同様の最適化処理を行うため、物体の詳細な表面形状（凹凸や傾き）を高精度に取得することができる。

［変形例］
第１実施形態においては、撮像画像における位置に基づいて最適化処理に用いる重み係数を決定し、第２実施形態においては、周辺領域を含む幾何条件の分布に基づいて最適化処理に用いる重み係数を決定した。しかし、重み係数の決定方法は上記の例に限定されず、例えば、上述した２つの実施形態における重み係数の決定方法を組み合わせても良い。例えば、上述した２つの実施形態におけるそれぞれの方法によって決定した重み係数を乗算し、乗算によって得られた値を重み係数として用いてもよい。

また、第１実施形態においては、正反射点が撮像領域の外部にある場合の例を説明したが、正反射点が撮像領域の内部にあってもよい。この場合は、画像における正反射点の位置において０あるいは０に近い値を取り、画像における位置が正反射点から離れるにつれて大きい値を取るように係数を算出する。具体的には、第１実施形態の方法や第２実施形態の方法、もしくは上述したような２つの方法の組み合わせによって係数を算出すればよい。画像における正反射点の位置は、例えば、幾何条件に基づいて決定してもよいし、画像の輝度値（明るさ）に基づいて決定してもよい。

また、第３実施形態においては、ＢＲＤＦと法線ベクトルとの両方を最適化処理によって決定したが、どちらか一方を最適化処理によって決定してもよい。例えば、ＢＲＤＦの係数を所定の値に予め決めておき、法線ベクトルのみを最適化してもよい。

また、上述した実施形態においては、可動ステージに固定された１台の撮像装置を用いて物体を撮像したが、撮像装置や光源の数や配置は上記一例に限定されない。例えば、Ｒ、Ｇ、Ｂ以外の可視光の波長帯を撮像することが可能なカメラや赤外線カメラ等を追加してもよい。

また、上述した実施形態においては、物体を構成する各三角形やテクスチャ画像の各画素について独立にＢＲＤＦを決定した。一方で、物体上の一定の領域が同一の材質であるなど、同一のＢＲＤＦを有するとみなせる場合は、その領域の複数の測定点に対応する各画像データから取得した画素値と幾何条件との組み合わせに基づいて、領域単位でＢＲＤＦを決定してもよい。この場合、式（３）及び式（４）のＮは、複数の測定点にまたがる画素値と幾何条件との組み合わせの総数である。このような場合、上述した実施形態の方法より少ない数の画像データあるいは１つの画像データに基づいて、ＢＲＤＦを決定することができる。例えば、物体のすべての領域が均一の材質から成る場合、１視点のみからの撮像を行って得られた画像データのうち物体を含む全ての画素について画素値及び幾何条件の取得を行い、式（３）の評価関数に基づくＢＲＤＦ係数の最適化を行っても良い。この場合、式（３）のＮは物体を含む画素数である。

また、上述した実施形態においては、画像データから取得した画素値全てを用いて最適化処理を行ったが、全ての画素値を最適化処理に用いる必要はなく、少なくとも２つ以上の画素値を最適化処理に用いればよい。例えば、取得した画素値のうち信頼度の高い画素の画素値を最適化処理に用いるようにしてもよい。明るすぎて飽和した画素や暗すぎてＳ／Ｎ比が低下した画素を信頼度の低い画素とし、それら以外の画素を信頼度の高い画素とする。具体的には、例えば、上述した６５５３５を上限の閾値とし、ユーザが入力する値を下限の閾値とし、閾値を用いた画素値に対する信頼度の判定を行うことによって、上限の閾値以下、かつ、下限の閾値より大きい画素値を信頼度の高い画素値とする。

また、上述した実施形態においては、鏡面反射係数と拡散反射係数とを最適化したが、拡散反射係数の最適化を行わずに鏡面反射係数の最適化を行ってもよい。この場合、例えば、偏光板などを用いた撮像によって得られた画像データを用いて拡散反射成分を予め取り除いておけばよい。

また、上述した実施形態においては、ＢＲＤＦ係数をＲ、Ｇ、Ｂの各波長帯において決定したが、画像データの画素値（Ｒ値、Ｇ値、Ｂ値）に基づいて以下の式（５）により輝度値Ｙを算出し、輝度についてＢＲＤＦ係数を決定してもよい。この場合、各波長帯においてＢＲＤＦ係数を決定する必要がないため、処理にかかる時間やデータ量を削減することができる。

Ｙ＝０．２１２６×Ｒ＋０．７１５２×Ｇ＋０．０７２２×Ｂ ・・・式（５）
また、上述した実施形態においては、形状データにおいて、物体の表面形状を三角形の集合を用いて表現したが、表面形状を表すために四角形などの三角形以外のポリゴンを用いてもよい。

また、上述した実施形態においては、画像データの画素値をＲ値、Ｇ値、Ｂ値としたが、Ｌ^＊ａ^＊ｂ^＊空間上で定義されるＬ^＊値、ａ^＊値、ｂ^＊値といった他の形式の値であってもよい。

また、上述した実施形態における出力部２０６は、出力用データをＨＤＤ１１０に出力したが、出力用データの出力先はＨＤＤ１１０に限らない。例えば、決定されたＢＲＤＦを有する物体をディスプレイ上に表示するために、ディスプレイに出力用データを出力してもよい。また、決定されたＢＲＤＦを有する物体をプリンタを用いて再現するために、３次元形状を有する物体を形成可能なインクジェットプリンタや３Ｄプリンタなどに出力用データを出力してもよい。

［その他の実施形態］
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０２ 画像処理装置
２０２ 第２取得部
２０４ 第３取得部
２０５ 決定部

Claims (21)

1. 光源を用いて照明した物体を撮像装置が撮像することによって得られた画像を用いて前記物体の対象領域における反射特性を決定するための画像処理装置であって、
   前記画像から、前記光源と前記撮像装置と前記対象領域との位置によって決まる幾何条件が互いに異なる複数の画素の画素値を取得する第１取得手段と、
   前記対象領域の表面における法線方向を表す法線情報を取得する第２取得手段と、
   前記複数の画素の画素値のうち少なくとも２つ以上の画素値と、前記２つ以上の画素値それぞれに対応する前記幾何条件及び前記法線方向に基づいて算出される反射率と、を用いた処理によって、前記対象領域における反射特性を決定する決定手段と、を有し、
   前記処理は、前記複数の画素が対応する前記対象領域の位置と前記物体において前記光源からの光が前記撮像装置に対して正反射する位置との距離に応じることを特徴とする画像処理装置。
2. 前記決定手段は、前記複数の画素の画素値のうち少なくとも２つ以上の画素値と、前記２つ以上の画素値それぞれに対応する前記幾何条件及び前記法線方向に基づいて算出される反射率と、の各差分の和を小さくするように、前記対象領域における反射特性を決定するための反射特性パラメータの最適化を行うことによって、前記対象領域における反射特性を決定し、
   前記最適化は、前記複数の画素が対応する前記対象領域の位置と前記物体において前記光源からの光が前記撮像装置に対して正反射する位置との距離に応じることを特徴とする請求項１に記載の画像処理装置。
3. 前記和は、前記差分それぞれに重み付け係数を用いた重み付けを行うことによって算出される重み付け和であることを特徴とする請求項２に記載の画像処理装置。
4. 前記決定手段は、前記対象領域に対応する前記画像における位置に基づいて、前記重み係数を決定することを特徴とする請求項３に記載の画像処理装置。
5. 前記決定手段は、前記正反射する位置が前記画像の外部にある幾何条件において撮像を行う場合に、前記画像の端部における前記重み係数が前記画像の中心部における前記重み係数より低くなるように前記重み係数を決定することを特徴とする請求項４に記載の画像処理装置。
6. 前記決定手段は、前記画像において最も輝度が高い第１領域と、前記画像において最も輝度が低い第２領域と、前記第１領域より輝度が低く前記第２領域より輝度が高い第３領域と、を含む前記画像において、前記第１領域及び前記第２領域よりも前記第３領域に対応する重みが大きくなるように前記重み係数を決定することを特徴とする請求項３に記載の画像処理装置。
7. 前記決定手段は、前記幾何条件に基づいて、前記重み係数を決定することを特徴とする請求項３に記載の画像処理装置。
8. 前記物体から前記光源への方向を表す第１ベクトルと前記物体から前記撮像装置への方向を表す第２ベクトルとのハーフベクトルと、前記法線方向を表す第３ベクトルと、がなす第１角度を算出する算出手段をさらに有し、
   前記決定手段は、前記対象領域に対応する撮像の前記第１角度に基づいて、前記重み係数を決定することを特徴とする請求項７に記載の画像処理装置。
9. 第１閾値以下である画素値に対応する前記第１角度のうち最も小さい第２角度と、前記画像における最大の画素値に対応する前記第１角度のうち最も大きい第３角度と、に基づいて、前記重み係数を決定することを特徴とする請求項８に記載の画像処理装置。
10. 前記第１角度のうち前記第２角度と前記第３角度との中間の第５角度に対応する画素の重みが前記第２角度及び前記第３角度に対応する画素の重みより大きくなるように、前記重み係数を決定することを特徴とする請求項９に記載の画像処理装置
11. 前記重み係数は、最も低い値が０又は０に近い値となることを特徴とする請求項３乃至請求項１０のいずれか一項に記載の画像処理装置。
12. 前記決定手段は、前記第１取得手段が取得した前記複数の画素の画素値から、前記複数の画素の各画素値の信頼度に基づいて、前記処理に用いる前記少なくとも２つ以上の画素値を決定することを特徴とする請求項１乃至請求項１１のいずれか一項に記載の画像処理装置。
13. 前記決定手段は、前記複数の画素の画素値のうち、前記第１閾値以下であり、かつ、前記第１閾値より小さい第２閾値より大きい画素値を前記少なくとも２つ以上の画素値として決定することを特徴とする請求項１２に記載の画像処理装置。
14. 前記第１取得手段は、前記撮像装置が撮像することによって得られた複数の画像から、前記複数の画素の画素値を取得することを特徴とする請求項１乃至請求項１３のいずれか一項に記載の画像処理装置。
15. 前記撮像装置が撮像することによって得られた１つの画像から、前記複数の画素の画素値を取得することを特徴とする請求項１乃至請求項１３のいずれか一項に記載の画像処理装置。
16. 前記第２取得手段は、前記物体の形状を表す形状データを取得し、前記形状データに基づいて前記法線情報を算出することを特徴とする請求項１乃至請求項１５のいずれか一項に記載の画像処理装置。
17. 前記形状データは、前記物体の３次元形状を、ポリゴンを用いたモデルによって表すデータであることを特徴とする請求項１６に記載の画像処理装置。
18. 前記形状データは、前記物体の３次元形状を、前記物体の表面の高さ分布によって表すデータであることを特徴とする請求項１６に記載の画像処理装置。
19. 前記決定手段は、前記対象領域における反射特性に加えて、前記法線情報が表す法線方向を初期値とした前記最適化によって前記対象領域の表面における法線方向を決定することを特徴とする請求項２乃至請求項１８のいずれか一項に記載の画像処理装置。
20. コンピュータを請求項１乃至請求項１９のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。
21. 光源を用いて照明した物体を撮像装置が撮像することによって得られた画像を用いて前記物体の対象領域における反射特性を決定するための画像処理方法であって、
    前記画像から、前記光源と前記撮像装置と前記対象領域との位置によって決まる幾何条件が互いに異なる複数の画素の画素値を取得する第１取得ステップと、
    前記対象領域の表面における法線方向を表す法線情報を取得する第２取得ステップと、
    前記複数の画素の画素値のうち少なくとも２つ以上の画素値と、前記２つ以上の画素値それぞれに対応する前記幾何条件及び前記法線方向に基づいて算出される反射率と、を用いた処理によって、前記対象領域における反射特性を決定する決定ステップと、を有し、
    前記処理は、前記複数の画素が対応する前記対象領域の位置と前記物体において前記光源からの光が前記撮像装置に対して正反射する位置との距離に応じることを特徴とする画像処理方法。

Images