JP5909176B2 - 陰影情報導出装置、陰影情報導出方法及びプログラム - Google Patents

Description

本発明は、陰影情報を導出する技術に関する。

拡張現実においては、例えば仮想物体などのＣＧ（コンピュータグラフィックス）オブジェクトをシーン画像に合成する際に、そのＣＧオブジェクトに陰影を付与することが行われている。このように、ＣＧオブジェクトに対応して陰影を付加することによって、シーン画像においてそのＣＧオブジェクトが実際に存在しているかのように見せることができる。

上記のように陰影を付加するのにあたっては陰影情報が利用される。陰影情報とは、シーン画像におけるＣＧオブジェクトの合成位置に対応させて実シーンにＣＧオブジェクトの実体を位置させたとした場合に生じる陰影が、シーン画像においてはどのように表現されるのかを示す情報である。

陰影情報の導出は、例えば、シーンにおける光源に関する情報（光源情報）を推定し、この光源情報に基づいてＣＧオブジェクトのレンダリングを行うことにより実現されている。
光源情報を推定するにあたり、例えば全方位を撮像する全方位カメラを利用するというものが知られている（例えば、非特許文献１参照）。この手法は、全方位を撮像した画像のいずれかの部分において光源が撮像されていることを前提としている。そのうえで、この手法は、全方位カメラにより撮像した画像に基づいて、シーン画像に対応する光源の位置、色、位置、強度などを推定するというものである。

また、金属球を利用する手法が知られている（例えば、非特許文献２参照）。この手法は、上記の全方位カメラに準じた考え方に基づいている。つまり、この手法は、金属球に映った周囲のシーンの映像において光源も含まれていることを前提とする。そのうえで、この手法は、周囲のシーンが映り込んでいる金属球の画像に基づいて光源の位置、色、位置、強度などを推定するものである。

また、拡散反射面を有する白色球を利用する手法が知られている（例えば、非特許文献３参照）。この手法では、白色球の画像において現れている陰影に基づいて、その白色球の周囲における光源の色、強度、方向等を推定するものである。
さらに、反射特性が既知の平面において生じる形状が既知の物体の影に基づいて光源分布を推定するという手法も知られている（例えば、非特許文献４参照）。
また、使用する機器やシーン中の物体の反射特性の測定などの事前手続きを必要としない手法も知られている（例えば、非特許文献５参照）。この手法は、Ｋｉｎｅｃｔ（登録商標）などのＲＧＢ＋Ｄセンサを用いてカラー画像と共に距離計測によって奥行情報を取得することでデプスマップを取得する。そして、この手法は、取得したカラー画像及びデプスマップを入力として少数の球面調和関数の重みのみを求めることで、陰影情報の導出を行う。

佐藤いまり，林田守広，甲斐郁代，佐藤洋一，池内克史，実光環境下での画像生成 ： 基礎画像の線形和による高速レンダリング手法， 電子情報通信学会論文誌． Ｄ−ＩＩ，情報・システム，ＩＩ−パターン処理 Ｊ８４−Ｄ−ＩＩ（８），ｐａｇｅｓ １８６４−１８７２，２００１． Kusuma Agusanto, Li Li, Zhu Chuangui, and Ng Wan Sing, Photorealistic rendering for augmented reality using environment illumination, Proceedings of the Second IEEE and ACM International Symposium on Mixed and AugmentedReality (ISMAR), pages 208-216, 2003. Miika Aittala, Inverse lighting and photorealistic rendering or augmented reality, The Visual Computer, Volume 26, Issue 6, pages 669-678, 2010. 佐藤いまり，佐藤洋一，池内克史，物体の陰影に基づく光源環境の推定，情報処理学会誌：コンピュータビジョンとイメージメディア，Ｖｏｌｕｍｅ ４１，Ｎｕｍｂｅｒ ＳＩＧ １０（ＣＶＩＭ １），ｐａｇｅｓ ３１−４０，２０００． 八尾泰洋，磯和之，川村春美，小島明，拡散反射と認知される陰影の一般物体からの取得，ＶＲ学研報，Ｖｏｌｕｍｅ １７，Ｎｕｍｂｅｒ ＣＳ−１，２０１２．

非特許文献１による手法を利用する場合には全方位カメラが必要である。この全方位カメラは、例えば魚眼レンズを備える特殊な機器であって、例えばコンシューマなどともいわれる一般のエンドユーザが手軽に入手できるものではない。
また、非特許文献２、３による手法の場合にも、金属球あるいは拡散反射面を有する白色球を準備する必要がある。このような金属球や白色球も器具としては特殊でありエンドユーザが容易に入手できるものではない。

また、非特許文献４による手法の場合、物体の形状と平面の反射特性が既知である必要がある。この場合、ユーザは、これらの物体の形状と平面の反射特性を測定しなければならず、このためには、一定以上の専門知識を必要とする。
また、非特許文献５による手法の場合、Ｋｉｎｅｃｔ（登録商標）などのＲＧＢ＋Ｄセンサを用いてカラー画像及びデプスマップを取得する必要がある。このようなＫｉｎｅｃｔ（登録商標）も装置としては一般的には普及していないため、使用できる場面が限定されてしまう。

このように、非特許文献１〜５によるいずれの手法も、例えば一般的でない装置や器具を必要としたり、あるいは、専門知識を必要とする。したがって、非特許文献１〜５のいずれの手法によっても、例えば拡張現実において陰影のあるＣＧオブジェクトをシーン画像に合成できるような環境をエンドユーザに提供することは難しい。

上記事情に鑑み、本発明は、従来にない方法で陰影情報を導出する技術の提供を目的としている。

本発明の一態様は、複数の視点から撮影されたシーンとしての画像内容を有する多視点画像に基づいて前記多視点画像が示すシーン全体の三次元点群を導出する三次元再構成部と、前記三次元再構成部が導出したシーン全体の前記三次元点群の中から参照物体の三次元点群を抽出する参照物体領域抽出部と、参照物体領域抽出部が抽出した前記参照物体の三次元点群の法線を導出する法線導出部と、前記参照物体の三次元点群と前記参照物体の三次元点群の法線とに基づいて陰影情報を導出する陰影情報導出部と、を備える陰影情報導出装置である。

本発明の一態様は、複数の視点から撮影されたシーンとしての画像内容を有する多視点画像に基づいて前記多視点画像が示すシーン全体の三次元点群を導出する三次元再構成ステップと、前記三次元再構成ステップによって導出されたシーン全体の前記三次元点群の中から参照物体の三次元点群を抽出する参照物体領域抽出ステップと、参照物体領域抽出ステップによって抽出された前記参照物体の三次元点群の法線を導出する法線導出ステップと、前記参照物体の三次元点群と前記参照物体の三次元点群の法線とに基づいて陰影情報を導出する陰影情報導出ステップと、を有する陰影情報導出方法である。

本発明の一態様は、コンピュータを、請求項１に記載の陰影情報導出装置として機能させるためのプログラムである。

本発明により、従来にない方法で陰影情報を導出することが可能となる。

第１の実施形態における陰影情報導出装置の構成例を示す図である。 多視点画像の一例を示す図である。 三次元点群を可視化して示す図である。 参照物体の三次元点群の抽出結果を示す図である。 参照物体の三次元点群の法線の導出結果を示す図である。 第１および第２の実施形態において利用する球面調和関数を可視化して示す図である。 第１の実施形態における陰影情報を可視化して示す図である。 陰影情報により陰影を付与したＣＧオブジェクトの一例を示す図である。 第１の実施形態における陰影情報導出装置が実行する処理手順例を示す図である。 第２の実施形態における陰影情報導出装置の構成例を示す図である。 第２の実施形態の陰影情報正則化部により正則化されていない陰影情報を可視化して示す図である。 第２の実施形態の陰影情報正則化部により正則化された陰影情報を可視化して示す図である。 第２の実施形態における陰影情報導出装置が実行する処理手順例を示す図である。

＜第１の実施形態＞
［陰影情報導出装置の構成例］
以下、本発明の第１の実施形態の陰影情報導出装置について説明する。本実施形態の陰影情報導出装置は、多視点画像を入力して陰影情報を導出する。多視点画像とは、参照物体を取り囲むように複数の視点から撮影されたシーンとしての画像内容を有する画像である。

本実施形態において、陰影情報とは、シーン画像におけるＣＧ（コンピュータグラフィックス）オブジェクトの合成位置に対応させて実シーンにＣＧオブジェクトの実体を位置させたとした場合に生じる陰影を、多視点画像において表現するための情報である。この陰影情報は、ＣＧオブジェクトを合成したシーン画像において、ＣＧオブジェクトの位置やシーンの照明に応じた陰影を与えるのに利用される。このようにして陰影が与えられることで、シーン画像においてＣＧオブジェクトが自然に見えることになり、ＣＧオブジェクトが合成されたシーン画像の現実感が向上する。

図１は、第１の実施形態における陰影情報導出装置１００の構成例を示している。この図に示す陰影情報導出装置１００は、多視点画像入力部１０１、三次元再構成部１０２、領域抽出部１０３、法線導出部１０４、陰影情報導出部１０５の各機能部を備える。なお、これらの機能部は、例えばＣＰＵ（Central Processing Unit）などがプログラムを実行することにより実現される。また、陰影情報導出装置１００は、記憶部１０６などのデバイスを備える。

多視点画像入力部１０１は、多視点画像２０１を外部から入力し、記憶部１０６に記憶させる。ここで、参照物体は、シーンにおいてＣＧオブジェクトが配置される位置の光源情報を取得するにあたって陰影情報導出部１０５が参照する物体である。なお、参照物体は、表面が多数の法線方向を持つ、丸みを帯びた物体が望ましい。

本実施形態における多視点画像２０１は、例えば現実の或る環境を複数の視点から撮像して得られた画像であればよい。即ち、多視点画像２０１は、必ずしも時系列順に撮像された画像である必要はない。
図２は、上記のように現実の或る環境を複数の視点から撮像して得られた多視点画像２０１の画像内容の一例を示している。図２に示す例では、多視点画像２０１として複数の視点から撮像された１０枚のシーン画像２０１−１〜２０１−１０が示されている。なお、符号２０で示されている物体が参照物体である。

三次元再構成部１０２は、記憶部１０６に記憶される多視点画像２０１が示すシーン全体の三次元点群２０２を導出する。ここでの三次元点群は、多視点画像２０１から再構成された各点の三次元位置と色（ＲＧＢ値）を表すデータである。

三次元再構成部１０２は、例えば以下のようにしてシーン全体の三次元点群２０２を導出する。まず、三次元再構成部１０２は、記憶部１０６から多視点画像２０１を読み込む。次に、三次元再構成部１０２は、多視点画像２０１の特徴点を抽出する。三次元再構成部１０２は、多視点画像２０１間で、抽出した特徴点の対応付けを行う。そして、三次元再構成部１０２は、シーン全体の三次元点群とカメラ位置とを推定する。この処理によって三次元再構成部１０２は、全てのシーン画像２０１−１〜２０１−１０で整合性の取れていた特徴点に対応する点のみ再構成する。そのため、一般的にはシーン全体に対して密な三次元点群が得られることはなく、シーン全体に対して少数の三次元点群が得られる。

次に、三次元再構成部１０２は、再構成された疎な三次元点群およびカメラ位置を入力として三次元位置が決定された点の近傍から全ての点にピクセルレベルで対応付けを行い、密な三次元点群を計算することで実現できる（参考文献１：Yasutaka Furukawa and Jean Ponce, Accurate, Dense, and Robust Multiview Stereopsis, IEEE Transactions on Pattern Analysis and Machine Learning, Volume 32, Issue 8, pages 1362-1376, 2010.参照）。

三次元再構成部１０２の処理は、例えば、Visual SFM（Structure From Motion）とCMVS（Clustering Views for Multi-view Stereo）/PMVS（Patch-based Multi-view Stereo）とを用いて実現されてもよい。三次元再構成部１０２は、導出したシーン全体の三次元点群２０２を記憶部１０６に記憶させる。

図３は、三次元再構成部１０２が導出したシーン全体の三次元点群２０２の例を可視化した図である。三次元再構成部１０２の処理によって少数（例えば、１０枚）のシーン画像から図３に示すような参照物体を含むシーン全体の三次元点群２０２が再構成される。

領域抽出部１０３は、記憶部１０６に記憶されるシーン全体の三次元点群２０２に基づいて参照物体の領域部分である参照物体の三次元点群２０３を抽出する。領域抽出部１０３は、例えば以下のように参照物体の三次元点群２０３を抽出する。領域抽出部１０３は、記憶部１０６からシーン全体の三次元点群２０２を読み込む。そして、領域抽出部１０３は、シーン全体の三次元点群２０２に対して領域分割を行う。

領域抽出部１０３は、例えば、画素の色が似ている（画素値の差が閾値より小さい）隣接する三次元点同士を同じ領域と判定するアルゴリズムによって領域分割を行ってもよいし、他の方法であってもよい。その後、領域抽出部１０３は、領域分割された領域の中から一つの領域を参照物体の三次元点群２０３として抽出する。領域抽出部１０３は、例えば、領域分割された領域の中から三次元点群の規模が最大の領域を抽出する。領域抽出部１０３は、抽出した参照物体の三次元点群２０３を記憶部１０６に記憶させる。

図４は、参照物体の三次元点群２０３の抽出結果を示す図である。
図４には、シーン全体の三次元点群２０２から抽出された参照物体の三次元点群が示されている。図４に示された参照物体の三次元点群を用いて陰影情報を導出する処理が行われる。

法線導出部１０４は、記憶部１０６に記憶される参照物体の三次元点群２０３に基づいて参照物体の三次元点群の法線２０４を導出する。法線導出部１０４は、例えば以下のように参照物体の三次元点群の法線２０４を導出する。法線導出部１０４は、記憶部１０６から参照物体の三次元点群２０３を読み込む。法線導出部１０４は、各三次元点の近傍の点群について固有値分析を行う。固有値分析とは、各三次元点の近傍の点群について固有値を算出し、算出した固有値の中から最小の固有値（最小固有値）を算出する処理である。法線導出部１０４は、固有値分析の結果、最小固有値に対応する固有ベクトルを参照物体の三次元点群の法線２０４として導出する。法線導出部１０４は、導出した参照物体の三次元点群の法線２０４を記憶部１０６に記憶させる。

図５は、参照物体の三次元点群の法線２０４の導出結果を示す図である。
図５（Ａ）は正面図、図５（Ｂ）は平面図である。また、図５（Ａ）および図５（Ｂ）の各三次元点から延びている直線は、導出された参照物体の三次元点群の法線２０４（法線ベクトル）を表す。

陰影情報導出部１０５は、参照物体の三次元点群２０３と参照物体の三次元点群の法線２０４とに基づいて陰影情報を導出する。
一具体例として、陰影情報導出部１０５は、以下のように陰影情報を導出する。

まず、陰影情報導出部１０５は、記憶部１０６から参照物体の三次元点群２０３と参照物体の三次元点群の法線２０４とを読み出す。

陰影情報導出部１０５は、読み出した参照物体の三次元点群２０３に含まれる画素ごとに番号ｎ（ｎ＝１・・・Ｎ）を付す。なお、参照物体の三次元点群２０３に含まれる画素の配列と番号ｎとの対応は演算結果には影響を及ぼさないので、参照物体の三次元点群２０３に含まれる画素に対する番号ｎの付与規則については特に限定されない。

陰影情報導出部１０５は、陰影情報を導出するのに、球面調和関数を用いる。球面調和関数を用いることによっては、例えば光源数が増加しても問題が複雑にならない、また、少数の基底によって拡散反射の陰影を高精度で表現できるなどの利点がある。

球面調和関数は、球面座標（θ，φ）についての関数であり、以下の式（１）により定義される。

式（１）において、ｌ、ｍは整数であり、ｌ≧０、−ｌ≦ｍ≦ｌである。ｌは次数を示す。また、Ｋｌｍは正規化係数であり、Ｐｌｍはルジャンドル（Legendre）陪関数である。

本実施形態においては、球面調和関数を９つとするように０次から２次に限定することによって、未知の反射特性の物体から拡散反射の陰影を導出するにあたってのロバスト性を向上させることができる。

図６は、本実施形態で用いる０次から２次の９つの球面調和関数を示した図である。

陰影情報導出部１０５は、図６のように表現される９つの球面調和関数を統合するにあたり、球面調和関数ごとに係数（重み）を設定する。このために、例えば、陰影情報導出部１０５は、以下の式（２）により表される誤差関数Ｅ（ｗ）を最小にするような重みｗを求める。式（２）において、Ｉｎは参照物体の三次元点群２０３中のｎ番目の画素の輝度値であり、（θｎ，φｎ）は同画素の位置における法線ベクトルである。

なお、陰影情報導出部１０５は、例えばＱＲ分解などの手法を利用した演算により厳密にＥ（ｗ）の最小化を行うことができる。

そして、陰影情報導出部１０５は、式（２）により算出した整数ｌ、ｍの組み合わせごとの重みｗｍｌと球面調和関数とを利用して、以下の式（３）により陰影情報Ｉ(θ，φ)を求める。

陰影情報導出部１０５は、上記のように求めた陰影情報Ｉ(θ，φ)を、陰影情報２０５として記憶部１０６に記憶させる。
図７は、これまでの説明にしたがって求められた陰影情報２０５を画像により可視化して示したものである。

上記のように導出された陰影情報２０５は、例えば拡張現実に対応するレンダリングエンジンが、ＣＧオブジェクトをシーン画像に合成するのに利用することができる。
この際、例えばレンダリングエンジンは、ＣＧオブジェクトの法線方向（θ，φ）にしたがってＩ（θ，φ）を陰影として適用する。

図８は、図７に示した陰影情報２０５を適用して陰影を付与したＣＧオブジェクトの例を示している。

また、図１において、記憶部１０６は、これまでの説明から理解されるように、多視点画像２０１、シーン全体の三次元点群２０２、参照物体の三次元点群２０３、参照物体の三次元点群の法線２０４および陰影情報２０５などの陰影情報の導出に利用するデータおよび導出された陰影情報２０５を記憶する。なお、記憶部１０６に対応するデバイスとしては、例えば、ＨＤＤ（Hard Disc Drive）やフラッシュメモリなどを採用できる。

［処理手順例］
図９のフローチャートは、第１の実施形態の陰影情報導出装置１００が実行する処理手順例を示している。
まず、多視点画像入力部１０１は、複数の視点から撮像された多視点画像２０１を入力して記憶部１０６に記憶させる（ステップＳ１０１）。

次に、三次元再構成部１０２は、記憶部１０６から多視点画像２０１を読み込む。そして、三次元再構成部１０２は、読み込んだ多視点画像２０１を利用して前述のようにシーン全体の三次元点群２０２を導出する（ステップＳ１０２）。
三次元再構成部１０２は、導出したシーン全体の三次元点群２０２を記憶部１０６に記憶させる（ステップＳ１０３）。

次に、領域抽出部１０３は、シーン全体の三次元点群２０２を入力する。領域抽出部１０３は、前述のように、領域分割を行うことによってシーン全体の三次元点群２０２の中から参照物体の三次元点群２０３を抽出する（ステップＳ１０４）。
領域抽出部１０３は、抽出した参照物体の三次元点群２０３を記憶部１０６に記憶させる（ステップＳ１０５）。

次に、法線導出部１０４は、前述のように、参照物体の三次元点群の法線２０４を導出する（ステップＳ１０６）。
法線導出部１０４は、導出した参照物体の三次元点群の法線２０４を記憶部１０６に記憶させる（ステップＳ１０７）。

次に、陰影情報導出部１０５は、参照物体の三次元点群２０３と参照物体の三次元点群の法線２０４とを入力する（ステップＳ１０８）。
陰影情報導出部１０５は、入力した参照物体の三次元点群２０３と参照物体の三次元点群の法線２０４とを利用して、前述のように、陰影情報２０５を導出する（ステップＳ１０９）。
陰影情報導出部１０５は、このように導出した陰影情報２０５を記憶部１０６に記憶させる（ステップＳ１１０）。

以上のように構成された陰影情報導出装置１００は、従来にない方法で陰影情報を導出することが可能となる。具体的には、陰影情報導出装置１００は、参照物体を複数の視点から撮影した多視点画像のみを用いて陰影情報を導出する。したがって、陰影情報導出装置１００は、非特許文献１に記載の全方位カメラのような特殊な機器を用意する必要がない。また、非特許文献２、３に記載の金属球あるいは拡散反射面を有する白色球などの特殊な器具を用意する必要もない。また、非特許文献４に記載の影に基づいて光源分布を推定するといった一定以上の専門知識も必要としない。また、非特許文献５に記載のＫｉｎｅｃｔ（登録商標）のような装置を用いる必要も無い。その結果、適用場面が限定されてしまうことがなく、容易に陰影情報を導出することができる。また、陰影情報導出装置１００は、撮像された画像のみを用いて陰影情報を導出できるため、汎用性を向上させることができる。
また、上述したように、陰影情報導出装置１００では、１０枚程度の少数の多視点画像を入力として得られる疎な三次元点群を用いた場合であっても十分なサンプルが得られる。そして、陰影情報導出装置１００では、少数の多視点画像であっても精度を大きく落とすことなく陰影情報の導出が可能となる。その結果、導出した陰影情報を付与したＣＧオブジェクトをシーン画像に合成することで現実感を向上させることができる。

＜変形例＞
多視点画像は、予め記憶部１０６に記憶されていてもよい。

＜第２の実施形態＞
［陰影情報導出装置の構成例］
次に、第２の実施形態について説明する。
図１０は、第２の実施形態における陰影情報導出装置１００Ａの構成例を示している。
なお、この図において、図１と同一部分には同一符号を付して、ここでの説明は省略する。

図１０に示す陰影情報導出装置１００Ａは、図１の陰影情報導出装置１００の構成に対して、陰影情報正則化部１０９をさらに備える。
陰影情報正則化部１０９は、正則化された陰影情報２０５が導出されるように、陰影情報２０５の導出に利用する所定のパラメータを補正する。ここでの正則化は、導出された陰影が拡散反射の陰影に適合するように制約を加えることをいう。また、陰影情報正則化部１０９が補正対象とするパラメータは、球面調和関数の係数（重みｗ）である。
なお、この陰影情報正則化部１０９は、例えばＣＰＵがプログラムを実行することにより実現できる。

例えば、参照物体が鏡面反射するものである場合、式（２）に基づいて求めた重みｗの次数間での比が、拡散反射の陰影には好ましくない結果となる可能性がある。このような結果が生じた場合、陰影情報２０５自体も、拡散反射の陰影に適合しないものとなってしまう。

拡散反射の陰影に適合していない陰影情報２０５により生じる不具合の一具体例として、例えばリンギングアーティファクトが生じる場合がある。
図１１は、第２の実施形態の陰影情報正則化部１０９により正則化されていない陰影情報を可視化して示す図である。図１１に示す陰影情報２０５においては、白抜きの矢印で示すように、円の左下の縁に沿うようにして明線が生じている。この明線がリンギングアーティファクトである。このリンギングアーティファクトとしての明線は、実世界の拡散反射では観察されないものである。このようなリンギングアーティファクトが生じないような陰影情報２０５を導出することができれば、これによりＣＧオブジェクトに付与される陰影についての実シーンとの合致度がさらに高くなる。

第２の実施形態における陰影情報正則化部１０９は、図１１に示したようなリンギングアーティファクトなどの現象を低減するために、以下のように陰影情報を正則化する。
つまり、陰影情報正則化部１０９は、先の式（２）により表されるエラー関数Ｅ（ｗ）に対して正則化項を加算したエラー関数Ｅ’（ｗ）を最小化する重みｗを求めるものである。エラー関数Ｅ’（ｗ）を以下の式（４）に示す。

なお、式（４）における２つの正則化項におけるλ_１とλ_２は、それぞれ、制約の強さを調節するための正則化係数である。

拡散反射の陰影を表現した際の球面調和関数の重みｗの次数間の関係は、１次（ｌ＝１）の重みの絶対値が０次（ｌ＝０）の重みの絶対値の「２／３」程度であり、２次（ｌ＝２）の重みの絶対値が０次の重みの絶対値の「１／４」程度であることが知られている。
このことに基づいて、球面調和関数の次数間の２乗和の関係は以下のように求めることができる。
つまり、０次に対する１次の重みの２乗和は、１次に対応する球面調和関数の数である「３」と、１次の重みの絶対値に対する０次（ｌ＝０）の重みの絶対値の比である「２／３」とにより、３×（２／３）^２＝４／３倍である。
また、０次に対する２次の重みの２乗和は、２次に対応する球面調和関数の数である「５」と、２次（ｌ＝１）の重みの絶対値に対する０次（ｌ＝０）の重みの絶対値の比である「１／４」とにより、５×（１／４）^２＝５／１６倍である。
式（４）のエラー関数Ｅ’（ｗ）は、上記のように求められた２乗和の倍数が示す係数比を維持するように制約を与えたものである。このように制約を与えることは、すなわち、拡散反射の陰影を表現した際の球面調和関数の重みｗの比により制約を与えることを意味する。

陰影情報正則化部１０９は、例えば、陰影情報導出部１０５が求めた式（２）のエラー関数Ｅ（ｗ）についての最小化結果を初期値として利用して、式（４）のエラー関数Ｅ’（ｗ）を最小化する重みｗを求めることができる。このように求められた球面調和関数の重みｗは、拡散反射の陰影を表現するのに適した比を有している。
なお、陰影情報正則化部１０９は、例えば、式（２）のエラー関数Ｅ（ｗ）についての最小化結果を初期値として利用してＮｅｗｔｏｎ法により式（４）のエラー関数Ｅ’（ｗ）を最小化する重みｗを求めてもよい。

第２の実施形態において、陰影情報導出部１０５は、上記のように陰影情報正則化部１０９により求められたエラー関数Ｅ’（ｗ）に対応する重みｗを利用して、式（３）の演算によって正則化陰影情報２０５Ａを求める。このように導出された正則化陰影情報２０５Ａは、例えば第１の実施形態における陰影情報２０５が正則化されたものであり、拡散反射の陰影の表現に適合したものとなっている。

図１２は、上記のように導出された正則化陰影情報２０５Ａを画像により可視化して示したものである。
図１２と図１１を比較して分かるように、図１２に示す正則化陰影情報２０５Ａでは、白抜きの矢印により示される箇所におけるリンギングアーティフェクトが大幅に低減されている。
そして、この正則化陰影情報２０５Ａにより拡散反射のＣＧオブジェクトに陰影を付与することによっては、そのＣＧオブジェクトのシーンにおける実在感が高まる。

［処理手順］
図１３のフローチャートは、第２の実施形態における陰影情報導出装置１００Ａが実行する処理手順例を示している。なお、この図に示すステップにおいて、図９と同じ処理のものについては同一符号を付し、ここでの説明を省略する。
陰影情報導出部１０５は、参照物体の三次元点群２０３と参照物体の三次元点群の法線２０４とを入力した後（ステップＳ１０８）、式（２）のエラー関数Ｅ（ｗ）を最小化する重みｗを算出する（ステップＳ１１０Ａ）。
次に、陰影情報正則化部１０９は、ステップＳ１１０Ａにより求められた重みｗについて、式（４）のエラー関数Ｅ’（ｗ）を最小化する重みｗを求めることにより補正する（ステップＳ１１０Ｂ）。
そして、陰影情報導出部１０５は、ステップＳ１１０Ｂにより補正された重みｗを利用して、正則化陰影情報２０５Ａを算出する（ステップＳ１１０Ｃ）。これにより、陰影情報導出部１０５は正則化された陰影情報を導出したことになる。そして、陰影情報導出部１０５は、算出した正則化陰影情報２０５Ａを記憶部１０６に記憶させる（ステップＳ１１１Ａ）。このような処理によって、第２の実施形態における陰影情報導出装置１００Ａは、拡散反射に対応して正則化された陰影情報を得ることができる。

＜変形例＞
多視点画像は、予め記憶部１０６に記憶されていてもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
なお、図１や図１０における各機能部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより本実施形態の陰影情報の導出を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

１００…陰影情報導出装置， １０１…多視点画像入力部， １０２…三次元再構成部， １０３…領域抽出部， １０４…法線導出部， １０５…陰影情報導出部， １０６…記憶部， １０９…陰影情報正則化部， ２０１…多視点画像， ２０２…シーン全体の三次元点群， ２０３…参照物体の三次元点群， ２０４…参照物体の三次元点群の法線， ２０５…陰影情報

Claims (3)

1. 複数の視点から撮影されたシーンとしての画像内容を有する多視点画像に基づいて前記多視点画像が示すシーン全体の三次元点群を導出する三次元再構成部と、
   前記三次元再構成部が導出したシーン全体の前記三次元点群の中から参照物体の三次元点群を抽出する参照物体領域抽出部と、
   参照物体領域抽出部が抽出した前記参照物体の三次元点群の法線を導出する法線導出部と、
   前記参照物体の三次元点群と前記参照物体の三次元点群の法線とに基づいて、実シーンにＣＧオブジェクトの実体を位置させたとした場合に生じる陰影を、多視点画像において表現するための情報である陰影情報を導出する陰影情報導出部と、
   を備え、
   正則化された陰影情報が導出されるように、前記陰影情報の導出に利用する所定のパラメータを補正する陰影情報正則化部をさらに備える陰影情報導出装置。
2. 複数の視点から撮影されたシーンとしての画像内容を有する多視点画像に基づいて前記多視点画像が示すシーン全体の三次元点群を導出する三次元再構成ステップと、
   前記三次元再構成ステップによって導出されたシーン全体の前記三次元点群の中から参照物体の三次元点群を抽出する参照物体領域抽出ステップと、
   参照物体領域抽出ステップによって抽出された前記参照物体の三次元点群の法線を導出する法線導出ステップと、
   前記参照物体の三次元点群と前記参照物体の三次元点群の法線とに基づいて、実シーンにＣＧオブジェクトの実体を位置させたとした場合に生じる陰影を、多視点画像において表現するための情報である陰影情報を導出する陰影情報導出ステップと、
   を有し、
   正則化された陰影情報が導出されるように、前記陰影情報の導出に利用する所定のパラメータを補正する陰影情報正則化ステップをさらに有する陰影情報導出方法。
3. コンピュータを、請求項１に記載の陰影情報導出装置として機能させるためのプログラム。