JP4764963B2 - 画像処理装置 - Google Patents

Description

本発明は、画像処理装置に関し、特に、被写体の反射特性をより忠実に表現する画像処理装置に関するものである。

近年、コンピュータグラフィックス（ＣＧ）の分野では、実世界に於ける物理現象や光学現象を忠実に再現するフォトリアリステックの追求が注目を集めている。この技術は、テレビや映画、ゲームなどの様々な分野に応用可能である。この技術の応用方法として、実在する物体をＣＧによって忠実にモデル化しようとする方法がある。例えば、歴史的に貴重な対象を精密に計測してデジタルアーカイブとして半永久的に保存したり、美術館や博物館に収蔵されている展示品をデジタル化し、バーチャルミュージアムとしてＷＥＢ上で公開することが考えられている。

ＣＧによって実物体を表現する際は、物体表面の反射特性は重要な役割を果たす。この反射特性を物理的・幾何学的な法則の基づいてモデル化したものが反射モデルである。この反射モデルは、物理現象を忠実にモデル化したものから、低計算コストを重視したものまで、用途に応じて様々なものが開発されている。反射モデルによる表現力は、ＣＧによって実物体を再現するための重要な役割を果たしている。

更に、反射モデルのパラメータの設定によっては物体の質感は大きく変化するため、実物体をＣＧにて表現するためには、反射モデルのパラメータの設定が必要である。このパラメータを、少数の実写画像から推定する方法が提案されている（下記非特許文献１を参照）。

また、画像から反射特性パラメータを推定するのではなく、他の推定方法も提案されている。例えば、材質のサンプルを撮影した画像を、直接反射特性を表したデータとして用いることで、物体表面に忠実な表現を行う方法も提案されている（下記非特許文献２を参照）。
"密な画像列からの光源状況と反射特性の推定"情報処理学会論文誌ＣＶＩＭ、ｖｏｌ．４４ ＮＯ．ＳＩＧ５ ＰＰ．１−１０、２００３ W.Matusik, H.Pfister. M.Brand, and L.Mcmillan, "A Data-Driven Reflectance Model" ACM TOG, Vol.22 No3, PP.759-769, 2003

しかしながら、上記した非特許文献１記載の技術では、実物体の表面に於ける微細な凹凸が考慮されていなかった。このことから、ＣＧで表現される実物体の表面の質感を忠実に表現することが困難であった。

更に、上記した非特許文献２記載の発明では、被写体の材質に応じてサンプルを用意して反射特性のパラメータを計測する必要がある。従って、パラメータの取得に費用と時間が掛かる問題があった。更には、サンプルを取得していない材質の被写体に対応できない問題があった。

更にまた、物体表面の質感を高度に表現可能な他のモデルも提案されている。しかしながら、これらのモデルは、決定すべきパラメータの数が多すぎる、計算コストが高い等の諸問題を有していた。

本発明は、上記問題を鑑みて成されたものである。本発明の目的の一つは、被写体の表面の微細な凹凸を忠実に表現することができる画像処理装置を提供することにある。

本発明の画像処理装置は、物体を撮影した実写画像から鏡面反射成分の実測値を分離する分離手段と、前記鏡面反射成分の推定値を算出する推定手段と、前記鏡面反射成分の実測値と推定値との差に基づいて鏡面反射モデルのパラメータを算出する算出手段と、前記パラメータを使用する前記鏡面反射モデルにより、鏡面反射成分を含む画像を生成する生成手段と、を具備し、前記生成手段は、前記実測値と推定値との差に基づいて、バンプマッピングを行うことを特徴とする。

本発明に依れば、鏡面反射成分を推定するモデルが、複数の粗さパラメータを有することから、より実際の物体に近い光沢点を有する画像を得ることができる。更に、拡散反射成分についても、三角関数をべき乗するパラメータを有するので、実画像に近い生成結果を得ることができる。

更に、本発明に依れば、物体表面における微細な凹凸が反映された光沢点を含む画像が生成される。従って、質の高いコンピュータグラフィックスを得ることができる。更に、入力された実写画像から、鏡面反射成分モデルおよび拡散反射成分モデルのパラメータを算出している。従って、実際の被写体の表面形状がより正確に反映された画像処理を行うことができる。

＜第1の実施の形態＞
本形態では、図１を参照して、本形態の画像処理装置１０の基本的な構成を説明する。本発明の画像処理装置１０は、バス１７により互いが接続された各部から構成されている。そして、演算部１１を中心とする各部が動作することにより、画像処理を行うことができる。

演算部１１は、半導体集積回路であり、所定のプログラムに従って演算が行えるように回路が形成されている。本形態では、この演算部１１が所定の計算を行うことにより、画像の処理が行われている。

記憶部１２は、半導体メモリ、ハードディスク等の記憶媒体である。この記憶部１２には、演算部１１を動作させるためのプログラム、被写体の３次元形状データ、暫定的に記憶される画像データ、各種パラメータ等の情報が保存されている。

入力部１３は、画像処理装置１０に対して情報を入力するためのデバイスである。例えば、キーボード、マウス等のデバイスが入力部１３を構成している。

外部インターフェース１４は、例えばＵＳＢ（Universal Serial Bus）であり、カメラ１５から画像データを取り込む機能を有する。取り込まれた画像データは、記憶部１２に保存される。

カメラ１５は、例えばデジタルカメラ等であり、ＣＣＤ等の撮像素子によりデジタル化された画像データを得る。

表示部１６は、例えば液晶ディスプレイ等であり、カメラ１５により撮影された画像データや、演算部１１により生成された画像データを表示する機能を有する。

上記のように構成される画像処理装置１０により、カメラ１５により画像データを撮影し、この画像データを基に演算部１１により演算を行い、生成された新たな画像データを表示部１６に表示させている。更に画像処理装置１０は、入力された撮影画像から、物体表面の粗さに関連したパラメータを推定する。また、得られたパラメータを用いてレンダリングを行っている。これらの詳細な処理方法については後述する。

＜第２の実施の形態＞
本形態では、図２から図４を参照して、反射特性のモデル化の概要を説明する。本発明では、対象とする物体は、物体表面における反射が拡散反射と鏡面反射で表現できると仮定する。ここで、鏡面反射成分とは物体表面に現れるハイライトであり、光源が映り込むことによって生じる輝度値の高い領域である。また、この成分は表面から特定の方向に向かって反射する性質を持っている。拡散反射成分とは、表面の非常に細かい凹凸と内部反射によって光が全方向に散乱される反射であり、表面の色成分を表している。更に、物体表面には微細な凹凸があるものとする。

図２を参照して、先ず、拡散反射モデルについて説明する。図２（Ａ）は石膏の外観図であり、図２（Ｂ）は拡散反射成分の分布を示すグラフである。

本発明では、拡散反射モデルとして下記数１に示すようなLambertモデルを考える。Lambertモデルは、物体表面に於ける拡散反射を記述したモデルとして、長年にわたりコンピュータグラフィックスやコンピュータビジョン等の分野にて用いられている。しかしながら、完全拡散反射と考えられている石膏のような物体においても、実際にはLambertモデルではないことが判明している。

上記の式で、Ｉｄは拡散反射成分であり、Ｋｄは物体表面に於ける拡散反射色を示し、θは物体表面に於ける法線と光源方向との成す角を示している。

図２（Ｂ）のグラフは、図２（Ａ）の横線で示されたスキャンラインの輝度値をプロットしたものである。一般に石膏はLambertモデルに合致した材質であるとされているが、実際に撮影した拡散反射とLambertモデルとの聞には差が有ることが確認できる。実際の拡散反射は、光源方向と面の法線とのなす角が小さい領域ではLambertモデルよりも緩やかに減衰する。また、光源方向と面の法線とのなす角が大きい領域においては、実際の拡散反射は、急激に減衰している。即ち、上記数１では、拡散反射を忠実に表現することが難しい。

そこで本発明では、下記数２に示すように、Lambertモデルにおけるcos（三角関数）の項を累乗するパラメータを加えることによって、その減衰の割合を変化させるモデルを開発した。以下の説明では、このモデルを拡張ランバートモデルと呼ぶ場合もある。

上記数２にてｎの範囲は0＜ｎ＜＝１である。そして、ｎ＝１のときは、数１に示したモデルが数２に示したものと同一となる。この数２に示すモデルは、多くの物体における拡散反射成分の表現に適用することができる。更にこのモデルは、他の拡散反射モデルと比較しても、計算コストが安い。

図３および図４を参照して、鏡面反射モデルに関して説明する。

図３を参照して、Torrance-Sparrowモデルについて説明する。図３（Ａ）は光源方向等の各ベクトルの向きを示し、図３（Ｂ）は球形物体の実写画像であり、図３（Ｃ）は鏡面反射成分の分布を示すグラフである。

Torrance-Sparrowモデルは、金属などの実物体の表面での反射を表現可能なため、よく使用されている。しかし、このモデルにはパラメータが多数存在するため、全てのパラメータを実画像のみから推定することは困難である。図３（Ａ）に示すように、光源方向ベクトルLと視線方向ベクトルＶとの中間を示す中間点ベクトルをＨとすると、Torrance-Sparrowモデルにおける鏡面反射成分Ｉｓは下記数３によって表される。

数３に於いて、Ｌは光源色、Ｋｓは鏡面反射色、Ｄはマイクロファセット分布関数、Ｇは幾何滅衰係数、Ｆはフレネル係数を表している。幾何減衰係数に関しては、面の法線と光源方向があまり離れていない部分を撮影するものとし、Ｇ＝１とする。フレネル係数に関しては、Ｆは一定であるとして物体の持つ鏡面反射色Ｋｓに含めるものとする。また、撮影時の光源に対してカメラのホワイトバランスが適切に設定されているものとし、光源色LはＲ：Ｇ：Ｂ＝１：１：１とする。マイクロファセット分布関数Ｄは、物体表面における鏡面反射光の広がりを表す項と考えることができる。鏡のように物体が完全に滑らかな表面を持つ場合、単一の点光源によって照射された鏡面反射成分は1点に収まるが、粗い表面を持つ物体の場合には鏡面反射成分はある程度の広がりを持つ。Torrance-Sparrowモデルでは、この分布関数をガウス分布であると仮定している。ガウス分布を用いるとマイクロファセット分布関数は数４で表される

ここで、αは物体表面での法線ベクトルＮと中間ベクトルＨとのなす角、σ^２はマイクロファセットの傾きを表している。σ^２が小さいと物体の法線ベクトルＮとマイクロファセットの法線との変化が少なく、鋭い鏡面反射となる。逆に、σ^２が大きいと、法線からの変化が大きくなり、粗い物体表面によって広がりを持った鏡面反射光と成る。

実物体での反射を観測すると、図３（Ｂ）のような金属色で塗装した物体表面における鏡面反射成分の分布は図３（Ｃ）のようになる。図３（Ｃ）では、縦軸は鏡面反射成分の輝度値を、横軸は中間ベクトルと物体表面の法線とのなす角を表している。このグラフからも分かるように、中間ベクトルと物体表面の法線とのなす角が大きい領域において、鏡面反射成分の減衰が単純な正規分布関数に比べ緩やかに分布している。従って、単純な正規分布関数による反射モデルでは金属等の特殊な表面材質を持つ物体の反射を忠実に再現することは困難である。

そこで、本発明では、マイクロファセット分布関数にパラメータを追加することで。より表現力の高いモデルヘ拡張する。図３（Ｃ）のような鏡面反射成分の分布は、異なるパラメータを持った複数の正規分布関数の和によって構成されていると考え、数５のようにマイクロファセット分布関数を変更した。

ここで、σ１、σ２は表面の粗さを表すパラメータである。より多くの粗さパラメータを用いることによって精密な表現が可能となる。しかしながら、多くのパラメータを設定した場合には、観測データからのパラメータ推定を安定に行うことが困難と考え、粗さパラメータは２パラメータのみとした。ここで、３つ以上のパラメータを用いることも可能であり、この場合は精度を向上させることができる。σ１＝σ２のとき、数５は数４と同等のものとして扱うことができる。以上のことから、本手法で用いる鏡面反射成分のモデル式は数６のように定義される。

次に、図４を参照して、物体表面における微細な凹凸のモデル化を説明する。図４（Ａ）は鏡面反射成分の観測値とモデル関数を示すグラフである。図４（Ｂ）はモデル関数曲線と観測値との距離を示すグラフである。

本発明では、ピクセルレベルでの凹凸を微細な凹凸とし、その特性に基づいてバンプモデルを定義する。ここでは物体表面に於ける微細な凹凸は、鏡面反射成分において顕著に表れることに注目して鏡面反射成分の推定曲線と観測データとの差を評価する。

図４（Ａ）を参照して、この図に示す推定曲線は、上述した数６により得られたものである。この推定曲線は、鏡面反射成分と完全に一致することはなく、ある程度のばらつきを持って現れる。もし物体表面に微細な凹凸が存在しなければ、鏡面反射成分はモデル関数上からずれることなく分布するはずである。つまり、このばらつきは、鏡面反射成分が物体表面の微細な凹凸の影響により散乱しているために生じると考えることができる。

図４（Ｂ）を参照して、このグラフは、モデル関数曲線から観測値までの距離を図４（Ａ）のように角度軸方向に計測し、その分布を調べたものである。このグラフの横軸は推定曲線と観測値との角度差β(radian)であり、縦軸は出現頻度である。得られたグラフはある角度をピークとして徐々に出現頻度が減少している。本発明では、この分布を正規分布であると仮定し、数７に示すモデル式を定義する。

ここで、μは法線の振れ幅の平均、υは法線のふれ幅の分散である。多くの場合、平均は極めて０に近い値となる。

＜第３の実施の形態＞
本実施の形態では、具体的な画像の処理方法を説明する。即ち、入力された実写画像から各種パラメータを取得して、このパラメータを用いてレンダリングを行うまでの詳細を説明する。

先ず、図５を参照して具体的なプロセスを説明する。ステップＳ１１では、カメラ位置・姿勢の特定を行う。ステップＳ１２では、拡散反射成分画像の生成を行う。ステップＳ１３では、鏡面反射成分の分離を行う。ステップＳ１４では、鏡面反射色Ｋｓの推定を行う。ステップＳ１５では、光源半球の生成を行う。ステップＳ１６では、鏡面反射に於ける表面の粗さパラメータσ１、σ２およびバンプモデルパラメータμ、υの推定を行う。ステップＳ１７では、拡散反射指数ｎの推定を行う。ステップＳ１８では、拡散反射画像の生成を行う。ステップＳ１９では、拡散反射成分画像の統合とレンダリングを行う。これらのステップにより、入力された複数枚の実写画像から、反射モデルの各種パラメータを推定し、表面の質感が忠実に表現された画像を生成することができる。各ステップを以下にて詳述する。

ステップＳ１１：図６参照
このステップでは、カメラ位置と姿勢の特定を行う。図６（Ａ）は３次元座標が画像に投影される様子を示す図である。図６（Ｂ）は物体を撮影して実写画像を得る状態を示す図である。図６（Ｃ）は撮影された実写画像の例である。図６（Ｄ）は実写画像の３次元データを示す図である。

本発明では、より柔軟な撮影環境を実現するために撮影時のカメラ位置を固定としていない。従って、前もってその位置・姿勢の特定を行う必要がある。対象物体の３次元形状と撮影時におけるカメラの焦点距離は既知としている。従って、撮影画像と３次元形状の投影像が一致すれば、その投影位置・姿勢が撮影時におけるカメラの位置・姿勢として扱うことができる。ここでは、仮想空間中で３次元形状を回転・平行移動させることによってその３次元形状と撮影画像の位置合わせを行う。位置合わせに必要なパラメータとしては、並進成分(ｔｘ、ｔｙ、ｔｚ)と回転成分(roll、pitch、yaw)の６パラメータとなる。このようにしてカメラの位置・姿勢が特定できれば、撮影画像中の各画素に対応する３次元座標を求めることができる。画像上の点Ｕ_ｉ＝〔ｘ_ｉ ｙ_ｉ〕^Ｔに対応する３次元座標ｐ_ｉ＝〔Ｘ_ｉ Ｙ_ｉ Ｚ_ｉ〕^Ｔは、下記数８により求められる。

ここで、Ｒ、Ｔはそれぞれ回転行列、並進ベクトルであり、カメラ位置姿勢の特定において得られたものである、Ｐは透視投影を表している。回転行列ＲはＺ軸まわりの回転φ(roll)、Ｙ軸まわりの回転ψ(yaw)、Ｘ軸まわりの回転θ(pitch)を用いて以下の数９で表すことができる。

また、３次元座標ｐｉが画像上の点Ｕｉに投影されるとき、この関係はカメラの焦点距離ｆを用いて下記数１０で表される。

また、本ステップでは、図６（Ｂ）に示すように、カメラの位置を移動させて物体の実写画像を複数撮影している。具体的には、異なるカメラの位置から３枚の画像を撮影している。この画像の例を図６（Ｃ）に示す。物体が球形である場合の３次元の形状データを図６（Ｄ）に示す。本発明では、実写画像および物体の形状データが主たる入力情報である。これらの情報から、各種パラメータを算出してレンダリングを行っている。

ステップＳ１２：図７（Ａ）参照
このステップでは、実写画像から反射成分を分離させる。本発明では鏡面・拡散反射成分をそれぞれ個別に解析するため、両成分の分離を行う必要がある。そのために拡散反射成分のみから構成される画像を生成する。物体表面に於ける光の反射が上述した拡散反射モデルに従うとすると、物体表面上の任意の1点における拡散反射成分は同一光源環境下では視点位置の変化に関わらず常に同じ輝度値として画像中に現れる。このことを利用して、同一光源環境下でカメラ位置を移動させながら撮影した複数枚の画像から、拡散反射成分のみから成る画像を生成する。

まず、撮影した画像の中から基準となる画像を１枚決め、その画像中の物体表面における３次元座標を取得する。３次元座標は、対象物体の３次元形状・カメラの撮影位置と内部パラメータは既知であるため、透視投影変換により求めることができる。次に、得られた３次元座標と対応する残りの画像における画像座標を求め、その輝度値Ｉを下記数１１により計算する。

このようにして求められた数枚の画像中の対応するピクセルにおける輝度値の中でもっとも低い輝度値を画素における拡散反射成分として採用する。この処理を各画素に対して行うことで、拡散反射成分のみで構成される画像を生成することができる。ここで、得られた拡散反射成分画像中には光源からの光が到達しない領域も含まれるが、この段階では光源方向は未知であり、影かどうかの判定はできないため、この時点では影は考慮せず、拡散反射係数の推定時に考慮するものとする。

図７（Ａ）は、上記処理を示すフローチャートである。ステップＳ５１では、基準画素中に於ける各画像の処理が終了しているか否かの判断を行う。終了している場合（ステップＳ５１のＹＥＳ）は、処理が終了する。終了していない場合（ステップＳ５１のＮＯ）は、ステップＳ５２に移行する。

そして、注目画像の３次元座標（Ｘ_ａｔｔ、Ｙ_ａｔｔ、Ｚ_ａｔｔ）を取得し（ステップＳ５２）、注目画像の輝度値を計算する（ステップＳ５３）。その後、ステップＳ５４では、参照していない画像が存在するか否かの判断を行う。存在しない場合（ステップＳ５４のＮＯ）は、ステップＳ５１に戻る。存在する場合（ステップＳ５４のＹＥＳ）は、ステップＳ５５に移行する。

ステップＳ５５では、３次元座標（Ｘ_ａｔｔ、Ｙ_ａｔｔ、Ｚ_ａｔｔ）に於ける画像座標（ｕ、ｖ）を取得する。更にステップＳ５６では、画像座標（ｕ、ｖ）における輝度値Ｉ_ａｔｔを計算する。

ステップＳ５７では、輝度値の比較をおこなう。具体的には、これまでのステップにて最低の値が代入されているＩがＩａｔｔよりも大きいか否かを判断する。小さい場合（ステップＳ５７のＹＥＳ）は、ＩａｔｔをＩに代入する。大きい場合（ステップＳ５７のＮＯ）は、ステップＳ５４に戻る。以上がフローチャートの説明である。

ステップＳ１３：図７（Ｂ）参照
このステップでは、鏡面反射成分の分離を行う。具体的には、図７（Ｂ）のように得られた拡散反射成分画像と撮影画像の差分を取ることによって鏡面反射成分の分離を行う。これにより得られた鏡面反射成分画像には、鏡面反射成分の他に、周囲環境の映り込みや相互反射による影響等が含まれている。しかしながら、物体表面における反射成分は鏡面反射と拡散反射のみから構成されると仮定しており、また映り込みや相互反射による影響は鏡面反射成分に比べ比較的小さいものであるため、ここでは単にノイズとして扱う。

ステップＳ１４
このステップでは、鏡面反射色Ｋｓを推定する。具体的には、Torrance-Sparrowモデルでは物体表面における鏡面反射成分は光源の輝度値に比例する。そこで、本工程では鏡面反射成分画像中の各画素におけるＲＧＢ色ベクトルの平均値を求めることで物体における鏡面反射色Ｋｓとする。

ステップＳ１５：図８参照
このステップでは、光源半球を生成して、光源方向ベクトルを推定する。図８（Ａ）は光源半球を示す模式図であり、図８（Ｂ）は光源半球の画像である。

図８（Ａ）を参照して、得られた鏡面反射成分画像から反射強度と光源方向を推定するために、物体を覆う半球を考え、これを光源半球とする。まず、物体上の点Ｓにおける法線ベクトルと視線方向ベクトルから下記する数１２を用いて正反射ベクトルを計算する。

次に、得られた正反射ベクトルと光源半球との交点に点Ｓの持つＲＧＢ値を与える。この操作を鏡面反射成分画像中の各ピクセルに適用することで、図８（Ｂ）のような光源半球を生成する。上記の作業により、光源方向ベクトルが算出される。

こうして得られた光源半球は、光源を中心とした同心円上に対応する鏡面反射成分が広がっていることがわかる。この鏡面反射成分の広がりは物体固有のものであり、表面が粗い物体は広く、また表面が滑らかな物体は1点に集中した光源半球が得られる。

ステップＳ１６：図４参照
このステップでは、鏡面反射に於けるパラメータを推定する。具体的には、先ず、表面の光沢点の広がりに関連するパラメータである粗さパラメータσ１、σ２を推定する。次に、バンプモデルのパラメータを推定する。

具体的には、図４（Ａ）のグラフを参照して、統計学的手法により、輝度値の実測値と推定値との差が最小になるようなσ１およびσ２を求める。推定値の算出には、上記した数６を用いる。従って、下記する数１３に示す最小二乗問題を解くことにより、σ１およびσ２が推定される。

ここで、Ｎは物体の法線ベクトル、Ｌは光源方向ベクトル、αは中間ペクトルと法線ベクトルとのなす角である。また、~Ｉｓ(ｘ、ｙ)は画像座標(ｘ、ｙ)における鏡面反射成分の輝度値を示している。

続いて、バンプモデルのパラメータを推定する。具体的には、数７に示す式による推定値と、図４（Ｂ）に示す実測値とを最小にするパラメータを求める。即ち、以下の数１４の最小２乗問題を解くことにより、σとμを推定した。このことにより、実際の輝度値のばらつきが反映されたバンプモデルのパラメータを得ることができる。

上記数１４にて、Ｓｉは角度ｉにおける鏡面反射成分の観測値の出現頻度である。また、ｍは出現頻度のスケールを表している。ここではμ、υ、ｍの３つのパラメータを同時に最適化するが、ｍはμ、υを適切に推定するために与えるものであり、バンプパラメータとしては定義していない。また、υは０＜υ＜９０度の範囲内となるよう制約を加えた。それぞれのパラメータの初期値は以下のように設定する。
υ：出現頻度が最大となる角度＋（観測される最大の角度−出現頻度が最大となる角度）／２
μ：出現頻度が最大となる角度
ｍ：最大の出現頻度
上記パラメータを得ることにより、被写体となる物体の質感を忠実に再現することが可能となる。例えば、表面に凹凸を有するミカンが被写体である場合を想定すると、上記パラメータの設定により、このミカンの表面のざらつきが忠実に反映されたＣＧを得ることができる。

ステップＳ１７：図９（Ａ）参照
このステップでは、拡散反射パラメータを推定する。鏡面反射成分は比較的限られた領域でしか観測することができず、物体表面上のすべての点における鏡面反射成分を推定することは困難である。このため、本発明では対象物体は均一な鏡面反射パラメータを持つものとして扱った。これに対し、拡散反射成分は物体表面の色そのものを表したものであり、鏡面反射成分に比べ減衰する比率が低いため、広い領域において観測することが可能である。そこで本発明では、鏡面反射成分は物体表面上で均一であるとするが、拡散反射成分に関しては物体上の各頂点において異なる値をとるものとして推定を行う。従って、本ステップでは、拡散反射指数ｎを推定した後に、各頂点の拡散反射成分を個別に推定する。

先ず、拡張Lambertモデルを用いたパラメータ推定を行う。拡散反射成分画像の各ピクセルにおける輝度値を縦軸にそのピクセルと対応する３次元座標における法線ベクトルと光源方向ベクトルとのなす角を横軸にとると、その分布は図９（Ａ）のように規則的な減衰を示す分布となる。この分布に数２をフィッティングすることで、拡散反射指数nを推定することができる。物体表面における拡散反射指数ｎは下記する数１５の最小２乗問題を解くことによって得られる。

ここで、~Ｉｄ(ｘ、ｙ)は画像座標（ｘ、ｙ）におけるピクセルの輝度値を示している。また、Ｎは画像座標（ｘ、ｙ）に対応する３次元座標おける法線ベクトルを、Ｌは光源方向ベクトルを表している。

次に、拡散反射色Ｋｄを推定する。上述したステップS１２で生成した拡散反射成分画像は、物体そのものの色、すなわち拡散反射色を、定義した拡張Lambertモデルにより減衰させたものであると考えられる。このことから、拡散反射成分画像の各ピクセルにおける拡散反射色Ｋｄは、下記する数１６によって求めることができる。

法線ベクトルＮと光源方向ベクトルＬとのなす角θが９０度以上の場合、その頂点は光源からの光が到達していないため、拡散反射係数は〔０、０、０〕（ＲＧＢ）となる。上記の計算を拡散反射成分画像中の各ピクセルに対して行う。このことにより、画像中の各画素における拡散反射係数により構成される拡散反射係数画像を生成することができる。

ステップＳ１８：図９（Ｂ）参照
本ステップでは、拡散反射成分画像を生成する。即ち、物体形状への拡散反射係数画像のマッピングを行う。具体的には、得られた拡散反射係数画像を対象物体の３次元形状にマッピングすることによって、物体表面全体に対して拡散反射成分を与える。ここでは、物体表面の各頂点に対して異なる拡散反射成分を付与する。対象となる物体表面上の頂点における拡散反射成分は前節で推定した拡散反射係数画像との対応をとることで付与できる。しかしながら、1枚の画像のみでは、自己隠蔽や影の影響により全ての物体表面上の全ての頂点における拡散反射成分を観測することはできない。そこで、物体を回転させて推定した複数枚の拡散反射成分画像を統合することによって、物体表面上の全ての頂点における拡散反射成分を取得する。対象とする拡散反射係数画像は複数枚存在するため、１つの頂点に複数の画像が与えられる場合が考えられる。このときの処理として、画像中の各ビクセルに対して各頂点の法線ベクトルと、画像の撮影時のカメラの視線方向に基づいて、下記する数１７に示す評価値を与える。

法線ベクトルＮと視線方向ベクトルＶとのなす角θが９０度以上の場合、その頂点はカメラの視点位置からは見えないため、評価値には０を与える。それぞれの頂点においてこの評価値が最大となる画像が最も適切な画像である。しかしながら、カメラで撮影された実写画像には、カメラ位置推定の際に生じる誤差が含まれる。このことから、形状モデル上の同じ位置であっても、画像のずれによって隣接する頂点で適用する画像が異なる境界付近では明度差が生じ不自然な結果となる可能性がある。そこで、各画像における最大の評価値を用いるのではなく、図９（Ｂ）のように評価値に基づいてブレンディング処理を行うことで、画像の境界付近における明度を滑らかに変化させる。画像ｔにおける混合の重みＥｔは、下記する数１８によって決定する。ここでｎは画像枚数とする。

ステップＳ１９：図１０および図１１参照
このステップでは、推定された各種パラメータを用いて鏡面反射成分のレンダリングを行う。

先ず、図１０を参照して、レンダリングの詳細を説明する。図１０（Ａ）はバンプマッピングを適用していない画像であり、図１０（Ｂ）はマッピング画像であり、図１０（Ｃ）はバンプマッピングが適用された画像である。

ここでは、上述ステップにて推定したバンプモデルパラメータを用いて鏡面反射成分のレンダリングを行うために、バンプマッピングを使用する。バンプマッピングは、物体表面における凹凸を物体の幾何形状に変更を加えずに表現する手法であり、頂点の持つ法線ベクトルに摂動を与えることによって凹凸を表現する。このマッピングは、頂点座標を直接に摂動させるのではないため、座標の再計算の必要がなく、計算量の削減にもつながる。バンプマッピングは基本的にテクスチャマッピングの技術を応用したものであり、図１０（Ｂ）のように個別に用意したマップ画像に従って法線ベクトルに摂動を与える。この手法では、レンダリング時における各ピクセルに対して摂動を与えるため、シェーディングアルゴリズムには、頂点の法線補問を行うPhongシェーディングを用いる。

具体的には、最初に、バンプマップ画像の生成において、各ピクセルにおける法線の振れ角（β、φ）を輝度値として与える。各ピクセルにおける法線に付与する摂動はこのβ、φによって決定される。

図１０（Ｄ）は法線への摂動の付与を示す模式図である。同図を参照して、上記した数７で推定されたバンブパラメータは、βにのみ影響を与え、φには関与しない。従って、βには、上述ステップにて推定した平均μ、分散υとなる正規分布乱数により発生させた値を与える。更に、φには一様乱数で発生させた値を与える。このことにより、図１０（Ｂ）に示すバンプマッピングを得る。図１０（Ｄ）に示す方向ベクトルを、長さが１の単位ベクトルとして表現すると、この単位ベクトルは、Ｘ方向、Ｙ方向、Ｚ方向に対して３つの要素を持つベクトルとして表現できる。図１０（Ｂ）では、バンプ画像が白黒の画像として表現されているが、実際は、この３成分を可視化したカラーの画像となっている。上記したバンプ画像は、被写体である物体の表面に於ける凹凸が反映されている。

次に、上記したバンプ画像を用いて、鏡面反射成分のレンダリングを行う。具体的には、本発明により開発されたモデルである数６を用いて、各画素の鏡面反射成分を算出する。この際には、上述ステップにて算出されたσ１およびσ２が適用される。これらのパラメータを適用させることにより、鏡面反射成分である光沢点の「広がり」を、物体に対して忠実に再現することができる。更に、バンプマッピングが適用されることにより、物体表面の「ざらつき」が忠実に再現されて画像を得る。

図１０（Ａ）は、バンプマッピングが適用されずにレンダリングが行われた結果の画像である。この図を参照して、光沢点は１つの中心から周辺部方向に均一に分散している。従って、表面に凹凸を有する物体が被写体である場合は、この図に示す画像は、物体表面の凹凸が再現されていない不自然な画像である。

図１０（Ｃ）は、バンプマッピングが適用されてレンダリングが行われた画像である。図１０（Ａ）の画像と比較すると、物体表面の凹凸を良く表現している。即ち、この図に示す画像は、物体の表面の凹凸をより高品質に表現している。

次に、図１０（Ｅ）を参照して、視点位置の移動や焦点距離の変化を行った場合について説明する。物体表面における微細な凹凸の大きさを本発明のモデルにより推定することは困難である。そこで、ここでは撮影時における凹凸の大きさを画像生成時の1ピクセルに相当すると仮定している。しかし、視点位置の移動や焦点距離の変化するシーンをレンダリングする際、凹凸の大きさはその拡大率に伴って図１０（Ｅ）のように変化すべきである。そこで、各画素における法線の変化量を示したバンプマップを、撮影時を基準とした拡大率に合わせて拡大・縮小することによって凹凸の大きさを変化させる。拡大・縮小時における画素の補問は単純な線形補間により実現する。

図１１に拡大率を変化させて生成した画像と、それに用いたバンプマップ画像を示す。

図１１（Ａ）は拡大率が１．０の画像であり、この画像のレンダリングの際には、図１１（Ｄ）に示す拡大率１．０のバンプマップ画像が用いられる。

図１１（Ｂ）に示す画像は、図１１（Ａ）に示す画像を２倍に拡大した画像である。画像の拡大に伴って、拡大された凹凸が表現されている。この画像のレンダリングの際は、図１１（Ｅ）に示すように２倍に拡大されたバンプマップ画像が適用される。

図１１（Ｃ）に示す画像は、図１１（Ａ）に示す画像が４倍に拡大されたものである。この場合も画像に合わせて拡大された図１１（Ｆ）に示すバンプマップ画像が適用される。

以上が本発明の具体的な画像の処理方法である。上記した本形態は、静止画像、動画像の両方に適用可能である。具体的な本発明の適用範囲としては、例えば、電子カタログ、デジタルアーカイブ、バーチャルミュージアム、等が挙げられる。

＜第４の実施の形態＞
本形態では、図１２のグラフを参照して、本発明の画像処理装置の具体的な効果を説明する。

本願発明は、拡散反射成分の推定、鏡面反射成分の推定およびバンプの推定の３つの点に関して、従来よりも優れている。これらの詳細を、図１２の各図を参照して説明する。

図１２（Ａ）を参照して、拡散反射成分の推定に関する本発明の効果を説明する。この図に示すグラフでは、縦軸は拡散反射成分の輝度値を示しており、横軸は光源方向と法線との成す角を示している。ここでは、被写体となる物体は青色の球体である。

このグラフにて、点の集合は、拡散反射成分の輝度値の観測値を示している。また、実線は、数２で示される本発明の推定曲線を示している。点線は、数１で示される従来体の推定曲線を示している。

このグラフからも明らかなように、実線にて示す本願発明の推定曲線は、点線にて示した従来例の推定曲線よりも、観測値との差が小さい。ここで、拡散反射成分画像と生成画像との差を比較した場合を考える。そうすると、従来のモデルでは、平均誤差および最大誤差が、０．０２３２および０．０８４９であった。それに対して、本願発明のモデルでは、平均誤差は０．０１４９であり、最大誤差は０．０７３２であった。即ち、本願発明のモデルの方が、拡散反射画像との差が小さい。従って、本願発明の拡散反射成分のモデルは、実際の拡散反射成分をより忠実にモデル化している。

図１２（Ｂ）を参照して、鏡面反射成分の推定に関する効果を説明する。このグラフの縦軸および横軸が示すものは、図１２（Ａ）と同様である。ここでは、銀色の球体が使用されている。この図を参照して、実線で示す本願発明の反射モデル（数６に示す）は、波線で示す従来の反射モデル（数３に示す）よりも実測値との差が小さいことが判る。ここで、鏡面反射成分画像と生成画像との差を比較した場合を考える。そうすると、従来のモデルでは、平均誤差および最大誤差が、０．０７６および０．３７７であった。それに対して、本願発明のモデルでは、平均誤差は０．０６４であり、最大誤差は０．２６４であった。即ち、本発明のモデルの方が、差が小さい。従って、鏡面反射成分においても、本発明のモデルは、実際の反射をより忠実に表現している。

図１２（Ｃ）を参照して、バンプの推定に関して説明する。このグラフでは、縦軸は出現頻度を示し、横軸は推定曲線と観測値との角度差を示している。

このグラフでは、薄い色の棒グラフは従来型のモデル（数３に示す）を用いた結果を示し、濃い色の棒グラフは本発明のモデルを用いた結果を示している。従来例のグラフの分布は、本発明のグラフの分布よりも角度方向（横軸方向）に広く分布している。このことから、本願発明のモデルは従来よりも、推定値との差が小さいことが判る。従って、本願発明の鏡面反射成分のモデルは、より実際の現象に近いモデルであることが理解できる。

更に、このグラフでは、実線の曲線は、本発明のバンプの推定曲線を示している。そして、波線の曲線は従来例のバンプの推定曲線を示している。同グラフから、実線で示す本発明の曲線は、従来例と比較すると、より棒グラフの分布に近似していることが理解できる。このことから、本願発明のバンプの推定曲線は、従来のものよりも優れていることが理解できる。

本発明の画像処理装置の電気的構成を示す図である。 石膏を示す図（Ａ）、拡散反射成分の分布を示す図（Ｂ）である。 光源方向等のベクトルの方向を示す図（Ａ）、被写体としての物体の一例を示す図（Ｂ）、鏡面反射成分の分布を示す図（Ｃ）である。 鏡面反射成分の輝度値を示す図（Ａ）、推定値からはずれた鏡面反射成分を示す図（Ｂ）である。 画像処理方法を示すフロー図である。 ３次元形状と撮影画像の位置合わせを示す図（Ａ）、撮影方法を示す図（Ｂ）、撮影された画像を示す図（Ｃ）、入力される３次元座標データを示す図（Ｄ）である。 拡散反射成分画像の生成方法を示すフロー図（Ａ）、鏡面反射成分の分離を示す図（Ｂ）である。 光源半球を示す図（Ａ）、光源半球画像を示す図（Ｂ）である。 拡散反射成分画像の分布を示す図（Ａ）、拡散反射成分画像の混合を示す図（Ｂ）である。 バンプマッピングが適用されない画像を示す図（Ａ）、マッピング画像を示す図（Ｂ）、バンプマッピングが適用された画像を示す図（Ｃ）、法線への摂動を示す図（Ｄ）、マッピング画像のスケーリングを示す図（Ｅ）である。 バンプマッピングが適用された画像を示す図（Ａ）−（Ｃ）、マッピング画像を示す図（Ｄ）−（Ｆ）である。 拡散反射成分の輝度値を示す図（Ａ）、鏡面反射成分の輝度値を示す図（Ｂ）、鏡面反射成分の推定値の差を示す図（Ｃ）である。

Claims (5)

1. 物体を撮影した実写画像から鏡面反射成分の実測値を分離する分離手段と、
   前記鏡面反射成分の推定値を算出する推定手段と、
   前記鏡面反射成分の実測値と推定値との差に基づいて鏡面反射モデルのパラメータを算出する算出手段と、
   前記パラメータを使用する前記鏡面反射モデルにより、鏡面反射成分を含む画像を生成する生成手段と、
   を具備し、
   前記生成手段は、前記実測値と推定値との差に基づいて、バンプマッピングを行うことを特徴とする画像処理装置。
2. 前記鏡面反射モデルは、Ｔｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗモデルにより、
   少なくとも、第１粗さパラメータから算出される第１正規分布関数と、第２粗さパラメータから算出される第２正規分布関数との和に基づいて、前記鏡面反射成分を算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記第１粗さパラメータおよび前記第２粗さパラメータは、前記鏡面反射成分の実測値から求めることを特徴とする請求項２記載の画像処理装置。
4. 前記生成手段は、Ｌａｍｂｅｒｔモデルを用いて算出された拡散反射成分を含む画像を生成し、
   前記Ｌａｍｂｅｒｔモデルは、三角関数の項を累乗する０より大きく１以下のパラメータを有することを特徴とする請求項１記載の画像処理装置。
5. 前記分離手段は、前記実写画像から拡散反射成分を分離し、
   前記拡散反射成分から、前記Ｌａｍｂｅｒｔモデルの前記パラメータを得ることを特徴とする請求項４記載の画像処理装置。
   
   

Images