JP2014203459A - ２つ以上の光源の組によって照光されたシーンの２つ以上の入力画像の組から照明基底画像の組を復元する方法 - Google Patents

Abstract

【課題】変動する照光条件下で固定カメラによって取得される固定シーン（屋内環境又は屋外環境にあることができる）の画像の組から３Ｄ幾何学境界を検出する。【解決手段】固定光源の組によって照光されるシーンを表す非負の照明基底画像の組が、固定カメラによって取得されたシーンの入力画像の組から復元される。各画像は、光源の組合せによって照光され、組内の少なくとも２つの画像が異なる組合せによって照光される。入力画像の組は、非負の照明基底画像と指標係数の組とに分解され、各照明基底画像は光源のうちの１つによって照光されるシーンの外観に対応し、各指標係数は入力画像のうちの１つに対する光源のうちの１つの寄与を示す。【選択図】図１

Description

本発明は、包括的にはコンピュータービジョンに関し、より詳細には、照明変動の影響下にあるシーンの画像を基底画像に因数分解することに関する。

エッジ検出は、コンピュータービジョンにおける基本的な問題である。エッジ検出は、多くの用途にとって重要な低レベルの特徴を提供する。シーンの画像内のエッジは、深さの不連続性、面の向きの差異、面テクスチャ、材料特性の変化及び変動する照明を含む様々な原因から生じる可能性がある。

多くの方法は、エッジを、個々の画像内の明度、色及びテクスチャ等の低レベル画像特性の変化としてモデル化する。しかし、面の深さ又は向きにおける別個の変化である３Ｄ幾何学境界に対応する画像ピクセルを識別する問題は、あまり注目されてこなかった。

Raskarは、特許文献１において、マルチフラッシュカメラを用いてシャドウに基づく技法を適用することによって深さエッジを検出する。その方法は、深さの不連続性のみに適用され、面法線における変化には適用されず、カメラのレンズを取り囲む制御された１組のライト（light）を必要とする。

３Ｄ幾何学境界は、セグメンテーション、シーン分類、３Ｄ再構成及びシーンレイアウト復元を含む多岐にわたるタスクの有用な手がかりを提供することができるシーンの特性を正確に表す。

非特許文献１において、Weiss他は、照光変化を受けるシーンの画像シーケンスについて記載している。シーケンス内の各画像は、一定の反射率の単一画像と、画像固有の照光画像との積に因数分解される。

特許文献２は、屋外シーンの低速度撮影の写真シーケンスを、シャドウ成分と、照光成分と、反射率成分とに因数分解することを記載しており、これによってシーンのモデル化及び編集への適用を容易にすることができる。その方法は、経時的に平滑的に移動する無限遠の単一点光源（太陽）と、周囲照明成分とを仮定している。

非特許文献２において、Koppal他は、シーンの回りで遠方にある光源を振り動かすことによって取得される画像シーケンスについて記載している。これらの画像は、その後、同様の面法線を有する領域にクラスタリングされる。その作業も、位置が経時的に平滑的に変動する単一の遠方にある光源と、正投影カメラモデルとを仮定している。

米国特許第７，２９５，７２０号明細書 米国特許第７，７５６，３５６号明細書

Weiss他,「Deriving intrinsic images from image sequences」, ICCV 2001, Volume: 2, Page(s): 68 - 75, vol.2 Koppal他,「Appearance derivatives for isonormal clustering of scenes」, IEEE TPAMI, 31(8):1375-1385, 2009

本発明は、変動する照光条件下で固定カメラによって取得される固定シーン（屋内環境又は屋外環境にあることができる）の画像の組を検討する。本発明の１つの目的は、画像の組から３Ｄ幾何学境界を検出することである。

本発明の別の目的は、これらの画像を基底画像の組に因数分解することである。これらの用途において、光源の位置は知られておらず、ライトは必ずしも点光源であるとは限らず、ライト（及びカメラ）からシーンまでの距離は、必ずしもシーンの大きさよりもはるかに大きい（すなわち１桁又は複数桁大きい）とは限らないので、無限遠であると仮定することができない。これによって、測光立体視、構造化光及び等法線クラスタリング等の変動する照明下で２Ｄ画像から３Ｄ構造を復元する既存の方法、並びに因数分解された低速度撮影ビデオ及び固有画像等の画像の組から照光の効果を因数分解する既存の方法の仮定が崩れる。

本発明の実施形態は、未知の変動する照光条件下で、固定のカメラ視点を用いて捕捉された静止シーンの画像の組から照明基底画像を復元する方法を提供する。いくつかの実施形態では、３Ｄ幾何学境界が検出される。

いくつかの実施形態の１つの目的は、未知の変化する照光の影響下にある静的シーン（屋内環境にあることができる）の２Ｄ画像の組において３Ｄ幾何学境界を特定することである。本明細書において厳密に定義されるように、シーンの画像内で観察されるような３Ｄ画像幾何学境界は、シーン内の２つの面を分離する輪郭であり、この輪郭において、３Ｄ深さ不連続性又は面の向きの大きな変化が存在する。これらの境界は、シーンの３Ｄレイアウトを理解するのに効果的に用いることができる。３Ｄ幾何学境界は、テクスチャエッジ又はシャドウエッジ等の２Ｄエッジと異なる。

３Ｄ幾何学境界を２Ｄテクスチャエッジと区別するために、本発明のいくつかの実施形態は、各画像ロケーションにおける局所外観の照光部分空間を解析する。これは、非鏡面、例えばランバート面の場合、同じ平滑な３Ｄ面上の近傍ピクセルが、それらのピクセルが異なる色、すなわち異なるアルベド又は反射係数を有する場合があるにもかかわらず、照明に対し同じ相対感度を有する傾向があるという認識に基づく。その理由は、小さな近傍領域において、３Ｄ面は局所的に平面であり、隣接するピクセルに対応する面上の２つの点は、概ね同じ法線を有するためである。これらの２つの点間の距離は通常、光源及びカメラのいずれに対する距離よりもはるかに小さい。

この認識に基づいて、３Ｄ幾何学境界検出方法は、３Ｄ幾何学境界に関連付けられたピクセル、すなわち、画像内のその直接近傍が面法線又は深さにおいて不連続性を含むピクセルを、その近傍がシャープなテクスチャ又は輝度境界を含む場合があるが単一の面に対応するピクセルと区別することができる。

本方法は、各ピクセルロケーションにおいて局所外観の照光部分空間を解析することによって、ピクセルごとの分類問題として３Ｄ幾何学境界検出を定式化する。特に、本方法は、照光部分空間の次元を用いて３Ｄ幾何学境界の存在を示す。

本発明の１つの目的は、固定光源の組の組合せに起因して未知で変化する照光の影響下にある静的シーンの画像の組から照明基底画像の組を求めることである。照明基底画像とは、シーンが個々の光源のうちの１つによって照光されているときに形成される画像である。光源は点光源である必要はない。基底画像は、従来技術と比較して質的及び量的改善を伴ってシーンの自然で簡潔な表現を提供し、シーン編集（再照明等）並びにシャドウエッジの識別及び除去を可能にする。

本発明のいくつかの実施形態では、照明基底画像を復元する方法は、準バイナリ非負行列因数分解（ＳＢＮＭＦ：semi-binary nonnegative matrix factorization）を用いる。ＳＢＮＭＦは非負行列因数分解（ＮＭＦ：nonnegative matrix factorization）に関係する。ＮＭＦは、非負データ行列を、２つの非負行列の積に因数分解する。このための多くの技法が知られている。

ＮＭＦと異なり、ＳＢＮＭＦは非負データ行列を因数分解して非負行列とバイナリ行列との積にする。ここで、バイナリ行列は、各要素が０又は１のいずれかである行列である。すなわち、本方法は、画像を含む非負行列を、照明基底画像の非負行列と、画像ごとにいずれの光源がオン又はオフであるかを示すバイナリ重み行列とに因数分解する。照明基底画像の復元された組は、変動する照明下のシーンのコンパクトな表現を提供する。

いくつかの実施形態では、基底画像を、３Ｄ幾何学境界検出方法と併せて用いて、シャドウエッジを真の３Ｄ幾何学エッジと区別することができる。

本発明のいくつかの実施形態による、１組の画像を１組の照明基底画像に因数分解する方法の概略図である。 準バイナリ非負行列因数分解を用いた図１の方法のブロック図である。 図２の方法の概略図である。 準バイナリ非負行列因数分解（ＳＢＮＭＦ）の擬似コードのブロック図である。 本発明のいくつかの実施形態によって用いられるランバート面の概略図である。 本発明のいくつかの実施形態による幾何学境界検出方法の擬似コードのブロック図である。 本発明のいくつかの実施形態による、シャドウエッジが除去される幾何学境界検出方法の擬似コードのブロック図である。 本発明の一実施形態による、シーン編集用途のブロック図である。

図１に示すように、本発明のいくつかの実施形態は、変動する照明条件の影響下にあるシーンから取得された画像の組Ｙ１０１を因数分解して照明基底画像の組Ｖ１０２にする方法１１０を提供する。シーンは複数の光源によって照明され、それらの光源のそれぞれは、特定の画像についてオン又はオフにすることができる。組Ｖ内の各基底画像は、単一の光源（例えば、ライト１、ライト２、．．．、又はライト５）のみがオンであるときのシーンの外観に対応する。Ｙ内の画像は、任意の時点に又はシーケンスでビデオカメラによって取得することができることを理解すべきである。また、「照明」は、赤外線（ＩＲ：infrared）、紫外線（ＵＶ：ultraviolet）及び電磁スペクトル内の他の周波数等の他の形式の加法性の「照光」様式を含むことができることも理解すべきである。

図２に示すように、本発明のいくつかの実施形態の場合、画像の組１０１は、準バイナリ非負行列因数分解（ＳＢＮＭＦ）を用いて、非負の照明基底画像Ｖ２０１と、バイナリ照明指標行列Ｗ２０２とに因数分解される（２１０）。図３は因数分解を概略的に示している。

生成的画像モデル
シーンを照光するｌ個の光源が存在し、各光源は独立したオン／オフスイッチによって制御される。一緒に全てがオンであるか又は全てがオフである２つ以上のライトからなるグループが存在する（グループ内のライトのうちの１つがオンである一方、そのグループ内の別のライトがオフである入力画像が存在しないようになっている）場合、ライトのグループは単一の光源であるとみなされる。例えば、同じスイッチによって制御される２つのライトは単一の光源とみなされる。

各光源ｉの状態を示すバイナリ変数ｗ_ｉを割り当てる。次に、基底画像

を、ｉ番目のライトのみがオンであるときに形成される画像として定義する。式中、

は非負の実数を表す。ｌ個の光源の任意の組合せによって照光される画像ｙを所与とすると、画像は個々の基底画像の重ね合わせとして表すことができる。

ここで、画像内の全てのピクセルの値を単一の列にスタックすることによって形成される列ベクトルとして全ての画像を表す。

ｌ個の光源の様々なバイナリ組合せによって照明されるｍ個の画像の組Ｙを取得し、画像データを配列して以下の行列にする。

式（１）に従って、このデータ行列は以下のように因数分解することができる。

式中、

の列はｌ個の基底画像ｖ_ｉに対応し、Ｗ∈｛０，１｝^ｌ×ｍはバイナリ指標行列であり、このバイナリ指標行列において、各エントリＷ_ｉｊは、図２及び図３に示すように、ｊ番目の入力画像に対するｉ番目の光源の寄与を表す指標係数である。すなわち、全ての入力画像はｍ個の照明基底画像のバイナリの組合せである。

シーン内に周囲照明（全ての画像内に存在する光）が存在する場合、本発明によるモデルにおいて、これは追加の基底画像（行列Ｖ内の追加の列）と、要素が全て１である指標行列Ｗの対応する追加の行とによってモデル化することができることに留意されたい。

いくつかの実施形態において、２つの入力画像が取得される時点間に単一の光源が異なる位置に移される場合、その光源を２つの別個の光源とみなす。例えば、数時間離れて取得された２つの入力画像がともに太陽によって照光されているとき、第１の画像における太陽を第１の光源とみなし、第２の画像における太陽を第２の光源とみなす。

ＳＢＮＭＦによる基底画像の復元
いくつかの実施形態では、ＳＢＮＭＦを用いて入力画像の組から照明基底画像及び指標行列を復元する。真の照明基底画像が線形に独立しており、かつ十分な照光変動性を観測する、すなわち真の指標行列Ｗの階数がライト数以上である場合、シーン内のライト数ｌは、データ行列Ｙの階数によって与えられる。

基底画像及び指標行列の復元を、制約された最適化問題として定式化する。

これをＳＢＮＭＦと呼ぶ。これは、非凸目的関数とＷに対するバイナリ制約とに起因した困難な問題である。したがって、最初に以下の連続緩和を解く。

ここで、Ｗ_ｊｋに対するバイナリ制約は、上界及び下界の単純なボックス制約に置き換えられる。これは、交互方向乗数法（ＡＤＭＭ: alternating direction method of multipliers）を用いて解く両凸問題である。ＡＤＭＭは従来の拡張ラグランジュ法の一変形である。以下を参照されたい。

補助変数Ｘを用いて式（４）を書き換え、正値性制約及びボックス制約を指標関数と置き換える。

式中、指標関数Ｉ_Ｓ（ｘ）は、ｘ∈Ｓの場合に値０をとり、他の全ての場合に∞になる。

次に、以下の拡張ラグランジュを形成する。

式中、Ｕはスケーリングされた双対変数であり、μは拡張ラグランジュパラメーターである。ここでは、拡張ラグランジュ関数のスケーリングされた形式を用いる。また、ここではスケーリングされたラグランジュ乗数がＵ＝Ｚ／μとして再定義される。式中、Ｚは元のラグランジュ乗数である。

ＡＤＭＭは、凸部分問題の組によって拡張ラグランジュ双対関数を解く。ここで、両凸関数は以下に分離される。

これらの部分問題は、主残余及び双対残余の収束まで反復して解かれる。

それに続いて、行列Ｗの各エントリを｛０，１｝に丸め、非負最小二乗を用いてバイナリ指標行列に基づいて基底画像Ｖを求める。

最適化（１０）においてＷは定数であるので、問題は凸であることに留意されたい。

図４は、本発明による因数分解手順の擬似コードを示している。擬似コードとして示されるこの手順及び他の手順における擬似コードにおいて参照される変数及び式は、全て本明細書において詳述される。

他の実施形態において、個々の光源はオン又はオフのみに制約されず、光源の輝度は連続的に変化することができる（例えばディマースイッチが用いられる）ことに留意されたい。この場合、指標行列Ｗにおける指標係数は、バイナリ値｛０，１｝に制約されるのではなく、任意の非負の実数とすることができる。この場合、全ての入力画像はｍ個の照明基底画像の非負の線形結合である。そのような場合、因数分解は従来の非負行列因数分解を用いて行うことができる。

３Ｄ幾何学境界の検出
いくつかの実施形態において、シーンから取得された画像の組において３Ｄ幾何学境界を検出する。シーンの画像において観察されるように、３Ｄ幾何学境界は、シーン内の２つの面を分離する輪郭であり、この輪郭において、３Ｄ深さの不連続性が存在するか、又は面法線の大きな変化が存在する。通常の屋内シーンの場合、遠方にある照明の仮定は有効でない。近傍の照明を考慮するには、一度に１つの小さな画像パッチを検討し、複数の照明条件とともにそのパッチの局所外観がどのように変動するかを解析する。本方法は、多岐にわたる形状及び大きさを有するパッチを用いることができる。例えば、各画像ピクセルを中心とする固定の直径（例えば７ピクセル）を有する正方形又は円形のパッチを検討することができる。

パッチ内の全てのピクセルがシーン内の単一の平滑な面から生じる場合、変動する照明にわたるパッチ外観は１次元部分空間を形成する。パッチが３Ｄ幾何学境界を含む場合、パッチの外観部分空間は、概して２以上の次元を有する。

局所外観の照光部分空間
簡単にするために、本方法を、直接照明成分のみを有するランバート面について証明するが、類似した議論が、より広い種類（クラス）の反射率関数及び間接照明、例えば複数の反射に適用される。説明を簡単にするために、点光源についてのみ説明する。なぜなら、拡張等方性光源は、複数の点光源の重ね合わせとして適宜良好に近似することができるためである。

図５（ａ）、図５（ｂ）及び図５（ｃ）は、カメラ５００によって観察されるような３つのランバート面５０１〜５０３を概略的に示している。これらのランバート面はそれぞれ２つの点光源Ａ及びＢによって照光される。３つ全ての面について、カメラによって取得される画像内の点１及び２に対応するピクセルは互いに近くにある。図５（ａ）において、面５０１内に３Ｄ幾何学境界は存在しない。図５（ｂ）において、面５０２の面法線において不連続性が存在する。図５（ｃ）において、カメラの視点から面５０３の深さの不連続性が存在する。

光源Ａの場合のここでの表記を説明する。なお、光源Ｂの場合の表記は、それに類似する。点ｉにおける面法線は

であり、点ｉからライトＡへのベクトルはｒ_ｉ ^ａ（対応する単位ベクトルは

）である。面の点ｉに対応する画像平面上の点の輝度はＩ_ｉ ^ａ（光源Ａの場合）又はＩ_ｉ ^ｂ（光源Ｂの場合）である。

ここで、

は

とｒ_ｉ ^ａとの間の角度のコサインである。Ｅ^ａは光源Ａの放射輝度であり、ρ^ｉは点ｉにおける面アルベドである。点ｉが光源Ａによって照光されている場合、バイナリ値γ_ｉ ^ａ＝１であるのに対し、点ｉが陰（attached shadow）又は影（cast shadow）に起因して光源Ａによって照光されていない場合、γ_ｉ ^ａ＝０である。

３つの面のそれぞれについて、点１及び点２はカメラの観点から互いの近くにあり、このため、これらの点はともに同じ小さな画像パッチ内に含まれる。図５（ａ）において、パッチは法線の急な変化を含まず、深さの不連続性を含まない。このため、点１と点２との間の３Ｄ距離は、各点から各ライトへの距離と比較して小さく、このため、以下の近似等式が得られる。

パッチ内の全ての点がほぼ同じ法線及び各光源への同じベクトルを共有するので、式（１１）における上付き文字ｉを消去し、パッチ内の全ての点について、

、ｒ^ａ及びｒ^ｂを用いることができる。今のところ、パッチ内の全ての点ｉがγ_ｉ ^ａの単一の値（ここではγ^ａと呼ぶ）を共有し、γ_ｉ ^ｂの単一の値γ^ｂを共有すると仮定する。これは、光源ごとに、パッチ全体が照光されるか又はその光の影になる（shadowed）、すなわちパッチがシャドウエッジを含まないことを意味する。以下においてシャドウエッジを検討する。

Ｐ^ａ及びＰ^ｂが、それぞれライトＡのみ及びライトＢのみの下で撮像されたパッチのピクセル輝度のベクトルを表すものとする。図５（ａ）の場合、下記の近似等式Ｐ^ａ＝ｋ^ａρを有する。

式中、スカラーｋ^ａはパッチ内の全てのピクセルの定数であり、ρはパッチ内の全てのピクセル面アルベドのベクトルである。光源Ｂ下の同じパッチの場合、類似した式Ｐ^ｂ＝ｋ^ｂρを有する。

このため、パッチが法線においても深さにおいても急な変化を含まない（そしてシャドウエッジを含まない）場合、任意の光源下のピクセル輝度は、ρのスカラー倍に等しい。換言すれば，全ての光源下でその局所パッチの外観によって広がる部分空間（局所外観の照光部分空間と呼ぶ）は１次元（１Ｄ:one-dimensional）である。これは、面テクスチャ（アルベド）に関わらず真であることに留意されたい。パッチの面アルベドが高コントラストのテクスチャエッジを含む場合であっても、局所外観のその照光部分空間は依然として１Ｄである。

この実現は、幾何学エッジを見つける本発明による方法の核心となっている。なぜなら、パッチが３Ｄ幾何学エッジを含む場合、同じことは概ね当てはまらないためである。

例えば、図５（ｂ）に示すように、パッチが法線において急激な変化を含む場合、式（１２）における第１の概算は成り立たず、パッチ内の各点の輝度は、その面法線と、光源へのその方向との間の角度のコサインに依拠する。パッチが異なるタイプの３Ｄ幾何学境界、図５（ｃ）におけるような深さの不連続性を含む場合、（１２）における最後の２つの近似は成り立たず（光が無限遠でないため）、パッチ内の各点の輝度は、その面法線と、光源へのその方向との間の角度のコサインに依拠する。概して、パッチが３Ｄ幾何学エッジを含む場合、局所外観のその照光部分空間は２以上の次元を有する。

３Ｄ幾何学境界の信頼度マップ
いくつかの実施形態では、局所外観の照光部分空間が２以上の次元を有するパッチを特定することによって幾何学境界を検出する。ピクセルロケーションごとに、ｍ個全ての入力画像（ｍ個のライト組合せ）から、そのロケーションを中心としたτピクセルパッチを抽出し、これらのパッチを、次式のように、τ×ｍの行列Ｚ内の列ベクトルとして配列する。

式中、ベクトルＰ^（ｉ）は、そのピクセルロケーションにおいて画像ｉから抽出したパッチのτ個全てのピクセル（色又は輝度）値を含む。そのパッチロケーションの局所外観の照光部分空間の階数を求めるために、Ｚに特異値分解（ＳＶＤ: singular value decomposition）を適用し、特異値｛σ_ｉ ^Ｐ｝（降順に順序付けされる）を得る。雑音がない場合、１次元照光部分空間は１つのみの非ゼロ特異値σ_１ ^Ｐをもたらし、ここでσ_２ ^Ｐ＝０である。画像内の雑音に起因して、σ_２ ^Ｐは正確に０でないが、概ね０である。局所外観の照光部分空間が階数１を有するか否かを判断するために、雑音の存在下で正確であることの信頼値を用いる。

いくつかの実施形態では、ピクセルロケーションごとに、対応するパッチが３Ｄ幾何学境界を含むことの信頼値を、そのロケーションを中心とするパッチについて、次式のように、第１の特異値に対する第２の特異値の割合として求める。

式（１５）を用いて信頼度マップを得る。信頼度マップとは、各ピクセルの輝度が、そのピクセルロケーションについて求められた信頼値である画像である。

他の実施形態では、局所外観の照光部分空間が２以上の階数を有することの信頼値を、式（１５）以外の方法で計算することができる。例えば、ｃ（Ｐ）に、ｃ（Ｐ）＝σ_２ ^Ｐ／ｋ等の特異値の何らかの他の関数を定義することができ、式中、ｋは全てのパッチの照光部分空間の特異値から求められた正規化係数である。ここでの３Ｄ幾何学境界検出手順の擬似コードは図６に示される。

１つの実施形態では、ｍ個の元の入力画像からパッチを抽出するのではなく、上記で説明したｌ個の非負の照明基底画像からパッチを抽出する。これは、入力画像の組が不平衡である場合、例えば、多数の入力画像が単一の照明条件から生じ、他の照明条件から生じる入力画像が僅かしかない場合、より安定した手法となることができる。

シャドウエッジの除去
本発明による方法は、双方のタイプの３Ｄ幾何学境界、すなわち法線における不連続性及び深さにおける不連続性の検出に成功する。本明細書において、双方のタイプが「境界」として特徴付けられる。加えて、本発明による方法は、テクスチャエッジによって混乱しない。しかしながら、図６に概説した方法によって、シャドウエッジが誤検出３Ｄ幾何学境界として検出される可能性がある。光源のうちの１つについて、パッチのいくつかのピクセルが照光され、他のピクセルが影になっている場合、パッチはシャドウエッジを含む。

ほとんどの場合に、各シャドウエッジは単一の光源にのみによって生じる。この観測に基づいて、シーンの画像の組を単一光源照明基底画像に因数分解する本発明による機能を用いて、シャドウエッジによって生じた誤検出のほとんどを取り除くことができる。

次式のように、画像の組Ｙから基底画像ｖ_ｉを減算することによって、光源ｉによって生成されるシャドウを取り除くことができる。

式中、ｗ^ｉは照明指標行列Ｗのｉ番目の行であり、Ｙ^（ｉ）は、ライトｉがオフにされた状態で再レンダリングされるシーン画像を表す。

本発明による境界検出技法をＹ^（ｉ）に適用すると、結果として境界信頼度マップＣ^（ｉ）が得られる。境界信頼度マップＣ^（ｉ）では、ｉ番目の光源の結果得られるシャドウエッジが取り除かれている。最終的な信頼度マップは、

の全ての信頼度マップの中で各ピクセルロケーションにおいて最小値をとることによって集約され、それによって、光源のうちの任意の１つが除去されたときにシャドウエッジが消える場合、そのエッジは最終信頼度マップ内に存在しないことになる。

シャドウエッジが除去された本発明による境界検出手順の擬似コードが図７に示される。

一実施形態では、式（１６）を用いてＹ^（ｉ）を元の画像の再レンダリングされたバージョンに等しく設定するのではなく、代わりに、ｉごとに、Ｙ^（ｉ）を照明基底画像ｉ以外の全ての照明基底画像の組に等しく設定する。この実施形態では、ｉごとに、照明基底画像の低減された組Ｙ^（ｉ）はｌ−１個の照明基底画像を含む。これは、入力画像の組が不平衡である場合、例えば、多数の入力画像が単一の照明条件から生じ、他の照明条件から生じる入力画像が僅かしかない場合、より安定した手法となることができる。

シーン編集
図８に示すように、本発明の実施形態を用いることができる１つの用途はシーン編集である。照明基底画像１０２は、取得（入力）画像ではなく、個々の照明基底画像を直接変更することによるシーン編集を可能にする。

個々の照明基底画像を編集して、スケーリング等の線形関数、又はヒストグラム等化、γ補正、トーンマッピング、若しくは明度及びコントラスト調整等の非線形関数とすることができる編集関数７１０を適用することによって編集された基底画像７１２を生成することができる。加えて、オブジェクトの挿入又はテクスチャの変更等、照明基底画像の領域を編集することが可能である。出力画像７２０は、線形結合等のマージ関数７１５を編集された基底画像に適用することによって構築される。編集関数は、照明基底画像の全て又は一部に適用することができる。

別の用途において、照明基底画像内のシャドウ領域及びハイライト領域は、照明基底画像内でほとんど黒色の領域及び飽和領域をそれぞれ見つけることによって検出することができる。そのような領域の輝度（色）値は、値が黒でなく、飽和もしていない、異なる照明基底画像内の同一のロケーションからコピーすることができる。次に、値は、画像値が元のシャドウ境界及びハイライト境界をまたがって連続するように変更される。この手法は、画像全体を飽和させることも暗くすることもなく、シーン内の暗いシャドウ領域及びハイライト領域を取り除くことができる。

検出されたシャドウ領域を用いて、照光情報に従いながら、面のテクスチャを異なるテクスチャと置き換えることができる。新たなテクスチャのうち、影になっている（under shadow）部分の明度はシャドウ情報に合致するように暗くされる。

本明細書において説明し示した方法のステップは、当該技術分野において既知のメモリ及び入／出力インタフェースに接続されたプロセッサにおいて実行することができる。通常のデジタル画像は、何百万ものピクセルを含み、この多大な量の輝度又は色値を頭の中で処理することは不可能であることが理解される。

Claims (20)

1. ２つ以上の光源の組によって照光されたシーンの２つ以上の入力画像の組から照明基底画像の組を復元する方法であって、
   各光源は固定であり、
   該方法は、前記入力画像の組を前記照明基底画像と指標係数の組とに分解することを含み、
   各照明基底画像は、前記光源のうちの１つのみによって照光された前記シーンの外観に対応する非負の画像であり、
   各指標係数は、前記入力画像のうちの１つに対する前記光源のうちの１つの寄与を示し、
   前記入力画像の組は固定カメラによって取得され、
   各入力画像において、前記シーンは前記光源の組合せによって照光され、
   前記入力画像の組内の少なくとも２つの画像が前記光源の異なる組合せによって照光され、
   前記分解することはプロセッサにおいて実行される、
   方法。
2. 前記シーンは屋内環境にある、請求項１に記載の方法。
3. 各指標係数は０又は１である、請求項１に記載の方法。
4. 前記指標係数は非負の実数である、請求項１に記載の方法。
5. 前記分解することは因数分解することを含み、
   前記因数分解することは、準バイナリ非負行列因数分解（ＳＢＮＭＦ）を用いて、非負の照明基底画像の行列と指標係数のバイナリ行列とを生成する、請求項１に記載の方法。
6. 制約付き最適化：
   

   

   を用いて前記準バイナリ非負行列因数分解を解くことを更に含み、式中、ｍｉｎは最小値を返す関数であり、Ｙは前記入力画像の組を表す行列であり、Ｖは前記非負の照明基底画像の行列であり、Ｗは前記指標係数のバイナリ行列であり、ｉはピクセルロケーションをインデックス付けし、ｊは前記光源をインデックス付けし、ｋは前記入力画像をインデックス付けする、請求項５に記載の方法。
7. 連続緩和：
   

   

   によって前記最適化を解くことを更に含み、式中、Ｗ_ｊｋに対するバイナリ制約はボックス制約に置き換えられている、請求項６に記載の方法。
8. 交互方向乗数法によって前記連続緩和を解くことを更に含む、請求項７に記載の方法。
9. 前記照明基底画像の組を編集することであって、それにより編集された基底画像の組を生成することと、
   前記編集された基底画像の組をマージすることであって、それにより出力画像を生成することと、
   を更に含む、請求項１に記載の方法。
10. 前記編集することは線形関数を用いる、請求項９に記載の方法。
11. 前記編集することは非線形関数を用いる、請求項９に記載の方法。
12. 前記マージすることは、前記編集された基底画像の組の線形結合である、請求項９に記載の方法。
13. 特定の照明基底画像内のシャドウ領域及びハイライト領域を検出することと、
    前記シャドウ領域及び前記ハイライト領域のそれぞれにおけるピクセルの輝度を、異なる照明基底画像内の同一ロケーションにある領域内の前記ピクセルの前記輝度から導出された値と置き換えることと、
    を更に含む、請求項９に記載の方法。
14. 特定の照明基底画像内の領域のテクスチャを、対応する前記編集された基底画像内の異なるテクスチャに置き換えることと、
    前記特定の照明基底画像において影になっている、前記領域内のピクセルの組を検出することと、
    前記特定の照明基底画像内の前記ピクセルの組と同一のロケーションにある、前記編集された基底画像内の前記ピクセルを暗くすることと、
    を更に含む、請求項９に記載の方法。
15. 前記光源のうちの１つ又は複数から前記シーンへの距離は、該シーンの大きさよりも１桁又は複数桁未満だけ大きい、請求項１に記載の方法。
16. 前記カメラから前記シーンの一部分への距離は、該シーンの大きさよりも１桁又は複数桁未満だけ大きい、請求項１に記載の方法。
17. 前記画像の組は、低速度撮影写真を用いて取得される、請求項１に記載の方法。
18. 前記カメラはビデオカメラであり、前記画像の組は、前記ビデオカメラによって取得されたビデオからの画像を含む、請求項１に記載の方法。
19. 前記入力画像の組における３次元幾何学境界を検出することを更に含む、請求項１に記載の方法。
20. 前記シーンは屋外環境にある、請求項１に記載の方法。

Images