JP5795384B2

JP5795384B2 - 映像処理装置、照明処理装置及びその方法

Info

Publication number: JP5795384B2
Application number: JP2013543107A
Authority: JP
Inventors: ジョンシム，ヒョン; ギュンキム，ド; ヒョンリ，テ
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2010-12-09
Filing date: 2011-12-09
Publication date: 2015-10-14
Anticipated expiration: 2031-12-09
Also published as: EP2650843A2; US20130251243A1; KR20120064641A; CN103262126A; WO2012078006A3; WO2012078006A2; EP2650843A4; US9563959B2; KR101885090B1; JP2014502741A; CN103262126B

Description

技術分野は映像から照明条件を生成し、生成された照明条件を映像に挿入する仮想オブジェクトに適用する映像処理に関する。

３次元（３Ｄ）グラフィックス技術及び関連ハードウェア技術の発達により３Ｄゲーム、３Ｄ映画、スマートフォンなどの様々な応用分野でオブジェクトを実感できるように表現するためのコンテンツが製作されている。オブジェクトを実感できるように表現する技術としてレンダリング技術が用いられる。レンダリング技術は、形状（Geometry）、材料特性（Material Property）、照明（Lighting）を正確にモデリングすることが求められる。

一実施形態において、照明処理装置は、現実のオブジェクトのカラー映像及び深さ映像を用いて前記オブジェクトに適用された拡散性照明情報を抽出する拡散性抽出部と、前記抽出された拡散性照明情報を用いて前記現実のオブジェクトに対する拡散反射映像を復元する拡散反射復元部と、前記復元された拡散反射映像と前記カラー映像を用いて鏡面反射映像及び影映像のうち少なくとも１つを生成する誤差映像分離部とを備える。

本発明によれば、補助装置を追加的に使用しなくても、現実のオブジェクトを撮影して取得したカラー映像と深さ映像から当該オブジェクトに適用された照明条件を取得することができる。

また、本発明によれば、映像に仮想オブジェクトを追加する場合、当該映像から取得した照明条件を仮想オブジェクトに適用することによって、より実感できるレンダリング結果を取得することができる。

一実施形態に係る照明処理装置を例示するブロック図である。他の実施形態に係る照明処理装置を例示するブロック図である。現実のオブジェクトに適用された照明条件を取得する照明処理装置の一実施形態を例示するブロック図である。撮影部から出力されて入力映像として用いられるカラー映像と深さ映像の一例を示す図である。深さ映像と深さ映像の法線マップに基づく低次基底関数(low order basis function)モデリング方式を例示する図である。図３に示された拡散反射復元部をより具体的に示すブロック図である。図３に示す誤差映像分離部によって行われる一連の過程を例示する図である。鏡面反射映像に基づいて第１指向性照明情報を抽出する方法を例示する図である。影映像に基づいて第２指向性照明情報を抽出する方法を例示する図である。影映像に基づいて第２指向性照明情報を抽出する方法を例示する図である。一実施形態に係る照明処理方法を例示するフローチャートである。図１１に示すステップ９２０をより具体的に説明するフローチャートである。一実施形態に係る照明処理装置を含む映像処理装置の構成を例示する図である。

以下、本発明の実施形態について添付の図面を参照しながら詳細に説明する。

オブジェクトを実感できるように表現するレンダリング技術は、形状、材料特性、照明を正確にモデリングすることが求められる。形状モデリングの場合、深さ映像を撮影する深さカメラの発展により、リアルタイムで動く物体の形状情報を取得することができる。材料特性モデリングの場合、Lambertian、Phong、Torrance-Cook、Oren-Nayar、Emperical BSSRDF(Bidirectional Subsurface Scattering Distribution Function)、BRDF(Bidirectional Reflectance Distribution Function)などの様々な実験的／物理的モデルが提案されている。

光モデリングの場合、従来は、Lambertian物体またはChrome Ballなどの補助装置を用いてオブジェクトに適用された光モデル、すなわち、照明条件を抽出する。一方、図１、図２及び図３の照明処理装置１００ａ、１００ｂ、２００は補助装置を利用することなく、現実のオブジェクトのカラー映像と深さ映像を用いて照明条件を抽出する。図１、図２及び図３の照明処理装置１００ａ、１００ｂ、２００は、デジタルカメラ、携帯電話、スマートフォンなどのＣＥ（Consumer Electronics）機器に適用されてもよい。ここで、「照明条件」は、「現実のオブジェクトに適用された照明方向に関する情報」及び「現実のオブジェクトに適用された照明の明るさに関する情報」を含んでもよい。

照明処理装置によって生成される照明条件は、例えば、拡散性（diffuse）照明情報と指向性（direction）照明情報を含んでもよい。すなわち、拡散性照明情報と指向性照明情報を結合すれば、オリジナルの照明条件を復元することができる。拡散性照明情報と指向性照明情報のいずれか１つを用いてオリジナルの照明条件を復元する実施形態も可能である。

拡散性照明情報を周波数領域で調べると、オリジナルの照明条件の低周波成分に対応する特性を示す。指向性照明情報を周波数領域で調べると、オリジナルの照明条件の高周波成分に対応する特性を示す。周波数領域において、拡散性照明情報は連続的な形態を有してもよく、指向性照明情報は不連続的な形態を有してもよい。

現実のオブジェクトは光を反射してもよい。例えば、現実のオブジェクトの表面で全方向性反射特性を有する拡散反射（diffuse reflection）や指向性反射特性を有する鏡面反射（specular reflection）が発生する。現実のオブジェクトを撮影した映像を用いると、拡散反射の影響を受けたピクセルからなる拡散反射映像を生成したり、鏡面反射の影響を受けたピクセルからなる鏡面反射映像を生成してもよい。また、現実のオブジェクトやその周辺には光の指向性特性に応じて影が生じることがあり、オリジナルの映像で影の影響を受けたピクセルからなる影映像を生成してもよい。

拡散性照明情報は、拡散反射映像から取得されてもよい。一方、指向性照明情報は、鏡面反射映像と影映像のうち少なくとも１つから抽出されてもよい。もちろん、拡散性照明情報を用いて拡散反射映像を生成したり、指向性照明情報を用いて鏡面反射映像や影映像を生成する実施形態も可能である。

一実施形態によれば、照明処理装置は、現実のオブジェクトのカラー映像及び深さ映像を用いて拡散性照明情報を抽出してもよい。照明処理装置は、抽出された拡散性照明情報を用いて拡散反射映像を生成してもよい。また、照明処理装置は、拡散反射映像とオリジナルの映像を用いて鏡面反射映像を生成してもよい。照明処理装置は、生成された鏡面反射映像から指向性照明情報を抽出してもよい。また、照明処理装置は、拡散反射映像とオリジナルの映像を用いて影映像を生成してもよい。照明処理装置は、生成された影映像から指向性照明情報を抽出してもよい。

照明処理装置は抽出された照明情報を用いて照明条件生成し、これを仮想オブジェクトに適用してもよい。すなわち、図１、図２及び図３に示す照明処理装置１００ａ、１００ｂ、２００を含む映像処理装置は、特定のシーンがある映像を用いて照明条件を生成し、生成された照明条件が適用された仮想オブジェクトを前記映像に挿入する。例えば、映像処理装置は、深さ映像及びカラー映像に基づいて指向性照明情報を抽出し、前記抽出された指向性照明情報に基づく照明条件が適用された仮想オブジェクトを前記カラー映像に合成してもよい。

図１は、一実施形態に係る照明処理装置を示すブロック図である。図１を参照すると、照明処理装置１００ａは、拡散反射抽出部１０５、拡散反射復元部１１５、及び指向性照明に基づく映像生成部１２５を備える。

拡散性抽出部１０５は、リアルオブジェクトのカラー映像及び深さ映像を用いて、リアルオブジェクトに適用された拡散性照明情報を抽出する。

拡散反射復元部１１５は、抽出された拡散性照明情報を用いて拡散反射映像を復元する。拡散性照明情報は、テクスチャー形態で格納されてもよい。

指向性照明に基づく映像生成部１２５は、拡散反射復元部１１５によって復元された拡散反射映像とカラー映像との間の誤差映像から鏡面反射映像を生成する。指向性照明に基づく映像生成部１２５は、復元された拡散反射映像とカラー映像との間の誤差映像から影映像を生成してもよい。

図２は、他の実施形態に係る照明処理装置を示すブロック図である。図２を参照すると、照明処理装置１００ｂは、拡散反射復元部１１０、指向性照明情報抽出部１２０、及び照明条件決定部１３０を備える。

拡散反射復元部１１０は、現実のオブジェクトのカラー映像及び深さ映像を用いて現実のオブジェクトに適用された拡散性照明情報を抽出し、抽出された拡散性照明情報を用いて現実のオブジェクトに対する拡散反射映像を復元する。拡散性照明情報はテクスチャー形態で格納されてもよい。

指向性照明情報抽出部１２０は、拡散反射復元部１１０によって復元された拡散反射映像とカラー映像との間の誤差映像から指向性照明情報を抽出する。

照明条件決定部１３０は、抽出された拡散性照明情報、抽出された指向性照明情報、及び入力されたカラー映像を用いて現実のオブジェクトに適用された照明条件を決定する。

図３は、現実のオブジェクトに適用された照明条件を取得するための照明処理装置の一実施形態を示すブロック図である。図３を参照すると、照明処理装置２００は、撮影部２１０、拡散反射復元部２２０、誤差映像分離部２３０、指向性照明情報抽出部２４０、及び照明条件決定部２５０を備える。

撮影部２１０は、任意の照明環境で現実のオブジェクトを撮影してカラー映像と深さ映像を出力する。撮影部２１０は、カラー映像を取得するためのカラーカメラと深さ映像を取得するための深さカメラをそれぞれ備えたり、または、カラーカメラと深くカメラが統合された形態のカメラで実現されてもよい。または、撮影部２１０は、ステレオまたは多視点カメラから深さ映像を取得した後、取得された深さ映像をカラー映像と共に出力してもよい。

図４は、撮影部２１０から出力されて入力映像として用いられるカラー映像と深さ映像の一例を示す図である。図４を参照すると、照明環境によって、現実のオブジェクトで拡散反射と鏡面反射が発生する。

拡散反射復元部２２０は、現実のオブジェクトのカラー映像及び深さ映像を用いて現実のオブジェクトに適用された拡散性照明情報を抽出し、抽出された拡散性照明情報を用いてオブジェクトに対する拡散反射映像を復元する。拡散反射復元部２２０は、拡散性照明情報を抽出するために深さ映像に基づく低次基底関数モデルを用いてもよい。

図５は、深さ映像と深さ映像のノーマルマップに基づく低次基底関数モデリング方式を説明する図である。図５に示された低次基底関数モデルを用いると、Convex Lambertian物体の場合、９個の低次基底関数を用いて多い（例えば、９９％以上の）画素値を正確に復元することができる。低次基底関数モデルを用いると、拡散反射復元部２２０は、それぞれ異なる形状のオブジェクトごとに相異なる形状の各オブジェクトに適する低次基底関数モデルを生成してもよい。したがって、拡散反射復元部２２０は、図５に示すような低次基底関数モデルを用いてオブジェクトで発生した拡散反射をLambertian Lawによって定義及び表現してもよい。「Lambertian
Law」とは、「拡散反射は、光ベクトルｌと物体表面の方向の法線ベクトルｎの内積に比例する」という理論である。

図６は、図３に示された拡散反射復元部２２０をより具体的に示すブロック図である。図６を参照すると、拡散反射復元部２２０は、法線マップ生成部２２１、モデル生成部２２３、レンダリング部２２５、及び照明定数算出部２２７を備える。

法線マップ生成部２２１は、入力される深さ映像から深さ映像の法線マップを生成する。法線マップは、オブジェクトに対する法線ベクトルをテクスチャーに表したものである。モデル生成部２２３は、生成された法線マップから深さ映像の低次基底関数モデルを生成する。低次基底関数モデルの例として、図３に示すようなSHBF（Spherical Harmonics Basis Function）モデルが挙げられる。レンダリング部２２５は、深さ映像から生成された低次基底関数モデルをレンダリングする。

照明定数算出部２２７は、レンダリングされた低次基底関数モデルをカラー映像に適用し、カラー映像を最も近似するように再生成する１つ以上の拡散性照明定数を求めることができる。照明定数算出部２２７は、最適化過程によって１つ以上の拡散性照明定数を求める。照明定数算出部２２７は、低次基底関数モデルをカラー映像に適用し、拡散性照明定数を変更しながら臨時的なカラー映像を生成する最適化過程によって、１つ以上の拡散性照明定数を求めることができる。臨時的なカラー映像を生成する最適化過程において、数式（１）が用いられてもよい。

すなわち、照明定数算出部２２７は、

の結果を最小にするｃ_ｋを１つ以上求めてもよい。ここで、Ｉは入力されたカラー映像を示す。拡散性照明定数は、例えば、ｃ_１〜ｃ_９、すなわち、９個を算出してもよく、これに限定されない。数式（１）を参照すると、Ｉ_{ｄｉｆｆｕｓｅ}は映像を示すベクトルとして、ベクトルの各エレメントは映像をなすピクセルのカラー値を示す。ｃ_ｋは拡散性照明定数、ｋは照明定数のインデックス、Ｄ_ｋ（depth）はレンダリングされた低次基底関数モデルである。

拡散性照明情報は、１つ以上の拡散性照明定数の組合として表現されてもよい。したがって、照明定数算出部２２７は、１つ以上の拡散性照明定数からなる拡散性照明情報を用いて現実のオブジェクトに対する拡散反射映像を復元してもよい。復元された拡散反射映像は、１つ以上の拡散性照明定数を含む拡散性照明情報と低次基底関数モデルの組合せからなり得る。

図７は、図３に示す誤差映像分離部２３０によって行われる一連の過程を説明する図である。図３及び図７を参照すると、誤差映像分離部２３０は、拡散反射復元部２２０で復元された拡散反射映像とオリジナルの映像の明るさを比較し、明るさ値の誤差を示す誤差映像を求める。オリジナルの映像は、撮影部２１０によって出力されるカラー映像であってもよい。誤差映像分離部２３０は、復元された拡散反射映像とカラー映像との差値を算出し、差値を組み合わせて誤差映像を求める。差値は、復元された拡散反射映像とカラー映像で互いに同一の位置にあるピクセルの強度の差であってもよい。

誤差映像分離部２３０は誤差映像を分析し、誤差映像を鏡面反射映像と影映像に分離する。誤差映像分離部２３０は、予め設定された基準値を誤差映像に適用して誤差映像を鏡面反射映像と影映像に分離してもよい。すなわち、誤差映像分離部２３０は、誤差映像を基準値よりも明るいピクセルからなる鏡面反射映像と、基準値よりも暗いピクセルからなる影映像に分離する。誤差映像分離部２３０は、誤差映像の各ピクセル値の分布を示すヒストグラムに基準値を適用して誤差映像を分離してもよい。

再び図３を参照すると、指向性照明情報抽出部２４０は、拡散反射復元部２２０によって復元された拡散反射映像とカラー映像との間の誤差映像から指向性照明情報を抽出する。すなわち、指向性照明情報抽出部２４０は、誤差映像から分離された鏡面反射映像と影映像に基づいて指向性照明情報を求めることができる。

指向性照明情報抽出部２４０は、鏡面反射映像から第１指向性照明情報を抽出する第１抽出部２４１、影映像から第２指向性照明情報を抽出する第２抽出部２４３を備える。

第１抽出部２４１は、鏡面反射映像のうち最も明るい地点の法線ベクトル及び現実のオブジェクトを撮影した撮影部２１０の位置を用いてオブジェクトに適用された照明方向を逆追跡し、逆追跡された照明方向を用いて第１指向性照明情報を抽出する。

図８は、鏡面反射映像に基づいて第１指向性照明情報を抽出する方法を説明する図である。図８を参照すると、第１抽出部２４１は、鏡面反射映像の各ローカル領域で最も明るい地点を探索する。ローカル領域は、鏡面反射映像のうち地域的にさらに明るく形成される楕円または他の形状のクラスタを意味する。一実施形態において、ローカル領域は、周辺よりも閾値以上の明るさを示すピクセル集合であってもよい。例えば、ローカル領域は、図７に示す鏡面反射映像のうち円形状の白く表示された部分７０１、７０３、７０５であってもよい。第１抽出部２４１は、Gaussian Mean Fittingを用いてローカル領域を探索してもよい。第１抽出部２４１は、ローカル領域ごとに最も明るい地点の法線ベクトル及び撮影部２１０の位置を用いてオブジェクトに適用された照明の位置を逆追跡してもよい。逆追跡される照明の位置は、現実のオブジェクトに適用された照明の方向を示してもよい。

第１抽出部２４１は撮影部２１０の位置から視界（view）を把握することができ、ローカル領域内で最も明るい地点の法線ベクトル（normal）を把握することができる。したがって、第１抽出部２４１は鏡面反射映像の場合、法線ベクトルを基準として光の入射角θ_ｒと反射角θ_ｒが同一であるという原理を用いて照明方向を逆追跡することができる。照明方向を逆追跡するために、第１抽出部２４１は、Phong、Blinn-Phong、Torrance-Cook（Torrance-Sparrow）などの多様な鏡面反射モデルの１つを用いてもよい。

一方、第２抽出部２４３は、影映像をなす全てのピクセルごとに影を発生させた影線（ray）を生成し、生成された影の線のうち分布度が最も大きい影線に対応する方向を第２指向性照明情報として抽出してもよい。

図９及び図１０は、影映像に基づいて第２指向性照明情報を抽出する方法を説明するための例示図である。図９を参照すると、二重線は影映像をなすピクセル、点線の矢印は影ピクセルに影を発生させ得る照明方向を仮想に表示したものであり、これを影線（ray）という。第２抽出部２４３は任意の光方向を変更しながら、影映像をなす各ピクセル（例えば、ｐ_ｓｈ）ごとに影を発生させる影線を任意に生成してもよい。第２抽出部２４３は、Uniform、Random Samplingなどの技術を用いて影線を任意に生成してもよい。第２抽出部２４３は、生成された全ての影線の方向を図１０に示すように、全ての影ピクセルに対して累積させて影線の分布度を求める。一実施形態において、影線は映像の撮影地点を中心とする半球形態の仮想空間を仮定し、照明が半球の表面にあると仮定する場合、撮影地点から照明のある地点まで０〜１８０°範囲の水平方向の角度θと０〜９０°範囲の垂直方向の角度Φに表現されてもよい。第２抽出部２４３は、分布度が最も高い角度に該当する方向を指向性照明情報に含まれるものとして類推してもよい。図１０に示すように、２つのピークに該当する角度θ、Φ、すなわち、照明の方向が指向性照明情報に含まれてもよい。

一実施形態において、第２抽出部２４３は、分布度が最も高い影線の角度を求めるとき、分布度のピークをより精密に探索するために分布度を任意の連続関数（例えば、Gaussian Mixture、Polynomialなど）に適用してサンプリングで選択されていない影rayも指向性照明情報として抽出してもよい。第２抽出部２４３は、抽出された１つ以上の鏡面反射照明を組み合わせて指向性照明情報を生成してもよい。

照明条件決定部２５０は、抽出された拡散性照明情報、抽出された指向性照明情報、及び入力されたカラー映像を用いてオブジェクトに適用された照明環境の明るさを決定する。一例として、抽出された拡散性照明情報は拡散性照明定数であってもよく、抽出された指向性照明情報は照明のベクトルであってもよい。照明条件決定部２５０は、数式（２）を用いて照明の明るさを決定する。

数式（２）において、ｓ_ｋは照明の明るさ、Ｓは照明の全体数、Ｉは撮影部２１０から入力されたカラー映像、Ｌは前記拡散性照明情報をなす拡散性照明定数の全体数である。また、ｆ_Ｄは拡散反射を表現するモデル、ｆ_Ｓは鏡面反射を表現するモデル、ｃ_ｋは拡散性照明定数、ｂ_ｋは指向性照明情報をなす照明の方向、depthは深さ映像の深さ値、

は視点である。

数式（２）を参照すると、照明の明るさ決定部２５０は、

を最小化するパラメータを算出することによって、照明環境の明るさを求める。

また、照明条件決定部２５０は、指向性照明情報を照明方向に利用してもよい。指向性照明情報は複数の照明方向情報を含んでもよい。

図１１は、一実施形態に係る照明処理方法を説明するフローチャートである。図１１に示す照明処理方法は、図１、図２、または図３を参照して説明した照明処理装置１００ａ、１００ｂ、２００で各動作を制御または処理する制御部（図示せず）または少なくとも１つのプロセッサ（図示せず）によって動作されてもよい。

ステップ９１０において、照明情報処理装置はカメラを用いて現実のオブジェクトのカラー映像と深さ映像を取得する。ステップ９２０において、照明処理装置は、取得されたカラー映像及び深さ映像を用いて、現実のオブジェクトに適用された拡散性照明情報を抽出する。ステップ９２０は、深さ映像に基づく低次基底関数モデルを用いて拡散性照明情報を抽出してもよい。これは図１2を参照してより詳しく説明する。

ステップ９３０において、照明処理装置は、抽出された拡散性照明情報を用いてオブジェクトに対する拡散反射映像を復元する。ステップ９４０において、照明処理装置は、復元された拡散反射映像とオリジナル映像（すなわち、取得されたカラー映像）の明るさを比較して誤差映像を算出する。

ステップ９５０において、照明処理装置は、算出された誤差映像を分析し、誤差映像を鏡面反射映像と影映像に分離する。鏡面反射映像は誤差映像のうち予め設定された基準値よりも明るいピクセルからなる映像であり、影映像は誤差映像のうち前記基準値よりも暗いピクセルからなる映像である。

ステップ９６０において、照明処理装置は、分離した鏡面反射映像から第１指向性照明情報を抽出する。例えば、照明処理装置は、鏡面反射映像の各ローカル領域で最も明るい地点の法線ベクトル及び現実のオブジェクトを撮影したカメラの位置を用いて現実のオブジェクトに適用された照明の方向を逆追跡し、逆追跡された照明の方向を第１指向性照明情報として抽出してもよい。

ステップ９７０において、照明処理装置は、分離された影映像から第２指向性照明情報を抽出する。例えば、照明処理装置は、影映像をなす全てのピクセルごとに影を発生させた影線（ray）を生成し、生成された影線のうち分布度が最も大きい影線に対応する方向を第２指向性照明情報として抽出してもよい。

ステップ９８０において、照明処理装置は、抽出された拡散性照明情報、抽出された第１及び第２指向性照明情報、及び取得されたカラー映像を数式（２）に適用し、オブジェクトに適用された照明環境の明るさを決定する。

図１２は、図１１に示すステップ９２０をより具体的に説明するためのフローチャートである。ステップ１０１０において、照明処理装置は、ステップ９１０で取得された深さ映像から深さ映像の法線マップを生成する。ステップ１０２０において、照明処理装置は、生成された法線マップから深さ映像の低次基底関数モデルを生成する。

ステップ１０３０において、照明処理装置は、深さ映像から導き出された低次基底関数モデルをレンダリングし、レンダリングされた低次基底関数モデルをカラー映像に適用し、カラー映像を最も近似するように再生成する１つ以上の拡散性照明定数を求める。

図１３は、一実施形態に係る照明処理装置を含む映像処理装置の構成を示す図である。図１３を参照すると、映像処理装置１１００は、映像生成部１１１０、情報抽出部１１２０、及び映像合成部１１３０を備える。また、映像処理装置１１００はディスプレイ１１４０をさらに備えてもよい。映像生成部１１１０は、カラー映像及び深さ映像に基づいて鏡面反射映像と影映像のうち少なくとも１つを生成する。すなわち、映像生成部１１１０は、図３に示す誤差映像分離部２３０の機能を行ってもよい。

照明情報抽出部１１２０は、鏡面反射映像と影映像のうち少なくとも１つから指向性照明情報を抽出する。また、照明情報抽出部１１２０は、カラー映像及び深さ映像に基づいて拡散性照明情報を抽出してもよい。

他の実施形態として、映像生成部１１１０が拡散性照明情報を抽出し、これを用いて拡散性映像を生成してもよい。映像合成部１１３０は、指向性照明情報及び拡散性照明情報のうち少なくとも１つを用いて照明条件を生成し、生成された照明条件が適用された仮想のオブジェクトをカラー映像に合成する。したがって、映像処理装置１１００は、入力された映像の特定のシーンから照明条件を生成し、抽出された照明条件が適用された仮想のオブジェクトを前記特定のシーンに挿入してもよい。また、映像処理装置１１００は、ディスプレイ１１４０によって仮想のオブジェクトが挿入された場面を表示する。

拡散性照明情報と指向性照明情報のいずれか１つのみを用いて照明条件を生成し、生成された照明条件が適用された仮想のオブジェクトをカラー映像に挿入する実施形態も可能である。また、鏡面反射映像と影映像のいずれか１つのみを用いて指向性照明情報を抽出する実施形態も可能である。これに適するように、先に説明した照明処理装置や映像処理装置の構成要素の機能が修正されてもよい。

本発明の実施形態に係る方法は、多様なコンピュータ手段を介して様々な処理を実行することができるプログラム命令の形態で実現され、コンピュータ読取可能な記録媒体に記録されてもよい。コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などのうちの１つまたはその組合せを含んでもよい。媒体に記録されるプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、CD-ROM、DVDのような光記録媒体、光ディスクのような光磁気媒体、及びROM、RAM、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれてもよい。プログラム命令の例としては、コンパイラによって生成されるようなマシンコードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高水準コードを含む。上述したハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアのレイヤで動作するように構成されてもよい。

上述したように、本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施形態から多様な修正及び変形が可能である。

したがって、本発明の範囲は、開示された実施形態に限定されるものではなく、特許請求の範囲だけではなく特許請求の範囲と均等なものなどによって定められるものである。

１００ａ，１００ｂ，２００：照明処理装置
１０５：拡散性抽出部
１１５：拡散反射復元部
１２５：指向性照明に基づく映像生成部
１１０：拡散反射復元部
１２０：指向性照明情報抽出部
１３０：照明条件決定部
２１０：撮影部
２２０：拡散反射復元部
２３０：誤差映像分離部
２４０：指向性照明情報抽出部
２４１：第１抽出部
２４３：第２抽出部
２５０：照明条件決定部

Claims

現実のオブジェクトのカラー映像及び深さ映像を用いて前記オブジェクトに適用された拡散性照明情報を抽出する拡散性抽出部と、
前記抽出された拡散性照明情報を用いて前記現実のオブジェクトに対する拡散反射映像を復元する拡散反射復元部と、
前記復元された拡散反射映像と前記カラー映像を用いて鏡面反射映像及び影映像のうち少なくとも１つを生成する誤差映像分離部と、
を備え、
前記拡散反射復元部は、
前記深さ映像の法線マップを生成する法線マップ生成部と、
前記生成された法線マップから前記深さ映像の低次基底関数モデルを生成するモデル生成部と、
前記低次基底関数モデルを前記カラー映像に適用して前記カラー映像を最も近似するように再生成する１つ以上の拡散性照明定数を求める照明定数算出部と、
を備える、ことを特徴とする照明処理装置。
前記鏡面反射映像と前記影映像のうち少なくとも１つから指向性照明情報を抽出する指向性照明情報抽出部をさらに備える、
ことを特徴とする請求項１に記載の照明処理装置。
前記抽出された拡散性照明情報、前記抽出された指向性照明情報、及び前記カラー映像を用いて前記現実のオブジェクトに適用された照明環境の明るさを決定する照明条件決定部をさらに備える、
ことを特徴とする請求項２に記載の照明処理装置。
前記拡散性照明情報は、１つ以上の拡散性照明定数の組合せである、
ことを特徴とする請求項１乃至３の何れか一項に記載の照明処理装置。
前記誤差映像分離部は、前記拡散反射映像と前記カラー映像の明るさを比較して明るさ値誤差を示す誤差映像を生成し、前記誤差映像を鏡面反射映像と影映像に分離する誤差映像分離部をさらに備える、
ことを特徴とする請求項１乃至４の何れか一項に記載の照明処理装置。
前記鏡面反射映像は前記誤差映像で予め設定された基準値よりも明るいピクセルを含み、前記影映像は前記誤差映像で前記基準値よりも暗いピクセルを含む、
ことを特徴とする請求項５に記載の照明処理装置。
前記指向性照明情報抽出部は、前記鏡面反射映像のローカル領域ごとに最も明るい地点の法線ベクトル及び前記現実のオブジェクトを撮影したカメラの位置を用いて、前記現実のオブジェクトに適用された照明の方向を前記指向性照明情報として抽出する、
ことを特徴とする請求項２又は３に記載の照明処理装置。
前記指向性照明情報抽出部は、前記影映像をなすピクセルごとに影を発生させた照明方向を抽出し、前記抽出された照明方向の分布度でピーク値を示す方向を前記指向性照明情報として抽出する、
ことを特徴とする請求項２又は３に記載の照明処理装置。
前記照明条件決定部は、以下の数式
を用いて前記照明の明るさを決定し、
前記ｓ_ｋは照明の明るさ、前記Ｓは照明の全体数、前記Ｉは前記カラー映像、Ｌは前記拡散性照明情報をなす拡散性照明定数の全体数、前記ｆ_Ｄは拡散反射を表現するモデル、前記ｆ_Ｓは鏡面反射を表現するモデル、前記ｃ_ｋは前記拡散性照明定数、前記ｂ_ｋは指向性照明情報をなす照明の方向、前記depthは前記深さ映像の深さ値、
は視点である、
ことを特徴とする請求項３に記載の照明処理装置。
現実のオブジェクトのカラー映像及び深さ映像を用いて前記オブジェクトに適用された拡散性照明情報を抽出し、前記抽出された拡散性照明情報を用いて前記現実のオブジェクトに対する拡散反射映像を復元するステップと、
前記復元された拡散反射映像と前記カラー映像を用いて鏡面反射映像及び影映像のうち少なくとも１つを生成するステップと、
を含み、
前記拡散反射映像を復元するステップは、
前記深さ映像の法線マップを生成するステップと、
前記生成された法線マップから前記深さ映像の低次基底関数モデルを生成するステップと、
前記低次基底関数モデルを前記カラー映像に適用して前記カラー映像を最も近似するように再生成する１つ以上の拡散性照明定数を求めるステップと、
を含む、ことを特徴とする照明処理方法。
前記抽出された拡散性照明情報、前記抽出された指向性照明情報、及び前記カラー映像を用いて前記現実のオブジェクトに適用された照明環境の明るさを決定するステップをさらに含む、
ことを特徴とする請求項１０に記載の照明処理方法。
前記カラー映像及び深さ映像は、３次元映像に実際適用されるオブジェクトの映像である、
ことを特徴とする請求項１０又は１１に記載の照明処理方法。
前記拡散性照明情報は、１つ以上の拡散性照明定数の組合せである、
ことを特徴とする請求項１０乃至１２の何れか一項に記載の照明処理方法。
前記拡散反射映像と前記カラー映像の明るさを比較して明るさ値誤差を示す誤差映像を生成し、前記誤差映像を分析して前記誤差映像を鏡面反射映像と影映像に分離するステップをさらに含む、
ことを特徴とする請求項１０乃至１３の何れか一項に記載の照明処理方法。
前記鏡面反射映像は前記誤差映像で予め設定された基準値よりも明るいピクセルを含み、前記影映像は前記誤差映像で前記基準値よりも暗いピクセルを含む、
ことを特徴とする請求項１４に記載の照明処理方法。
前記鏡面反射映像と前記影映像のうち少なくとも１つから指向性照明情報を抽出するステップをさらに含む、
ことを特徴とする請求項１０乃至１５の何れか一項に記載の照明処理方法。
前記抽出された拡散性照明情報、前記抽出された指向性照明情報、及び前記カラー映像を用いて前記現実のオブジェクトに適用された照明環境の明るさを決定するステップをさらに含む、
ことを特徴とする請求項１６に記載の照明処理方法。
前記指向性照明情報を抽出するステップは、前記鏡面反射映像のローカル領域ごとに最も明るい地点の法線ベクトル及び前記現実のオブジェクトを撮影したカメラの位置を用いて、前記現実のオブジェクトに適用された照明の方向を前記指向性照明情報として抽出することを含む、
ことを特徴とする請求項１６又は１７に記載の照明処理方法。
前記決定するステップは、以下の数式
を用いて前記照明の明るさを決定し、
前記ｓ_ｋは照明の明るさ、前記Ｓは照明の全体数、前記Ｉは前記カラー映像、前記Ｌは前記拡散性照明情報をなす拡散性照明定数の全体数、前記ｆ_Ｄは拡散反射を表現するモデル、前記ｆ_Ｓは鏡面反射を表現するモデル、前記ｃ_ｋは前記拡散性照明定数、前記ｂ_ｋは指向性照明情報をなす照明の方向、前記depthは前記深さ映像の深さ値、
は視点である、
ことを特徴とする請求項１１に記載の照明処理方法。
カラー映像及び深さ映像に基づいて鏡面反射映像と影映像のうち少なくとも１つを生成する映像生成部と、
前記生成された鏡面反射映像と影映像のうち少なくとも１つから指向性照明情報を抽出する照明情報抽出部と、
を備え、
前記照明情報抽出部は、
前記深さ映像の法線マップを生成する法線マップ生成部と、
前記生成された法線マップから前記深さ映像の低次基底関数モデルを生成するモデル生成部と、
前記低次基底関数モデルを前記カラー映像に適用して前記カラー映像を最も近似するように再生成する１つ以上の拡散性照明定数を求める照明定数算出部と、
を備える、ことを特徴とする映像処理装置。
前記抽出された指向性照明情報に基づく照明条件が適用された仮想のオブジェクトを前記カラー映像に合成する映像合成部をさらに備える、
ことを特徴とする請求項２０に記載の映像処理装置。
カラー映像及び深さ映像に基づいて前記カラー映像に適用された指向性照明情報を抽出する照明情報抽出部と、
前記抽出された指向性照明情報に基づく照明条件が適用された仮想のオブジェクトを前記カラー映像に合成する映像合成部と、
を備え、
前記照明情報抽出部は、
前記深さ映像の法線マップを生成する法線マップ生成部と、
前記生成された法線マップから前記深さ映像の低次基底関数モデルを生成するモデル生成部と、
前記低次基底関数モデルを前記カラー映像に適用して前記カラー映像を最も近似するように再生成する１つ以上の拡散性照明定数を求める照明定数算出部と、
を備える、ことを特徴とする映像処理装置。