JP5095638B2 - 拡散ベースの画像再照明のための方法および装置 - Google Patents

Description

本発明は、デジタル画像を再照明することに関し、より具体的には、画像から第１の照度を除去し、それに新しい照度を付与し直す様々な種類の拡散処理を使用した方法および装置に関する。

画像には、その画像を構成する被写体および／または景色を照明するために使用された光源によって発生する照度の変動が含まれることがある。こうした照度変動は、画像をぼやかして、画像の美的品質を低下させるので、望ましくないことがある。画像の表示を向上するために、画像内の照度の状態を変更することが望ましいこともある。照度を変更することを本明細書では再照明（照明し直し、relighting）と称する。

元の望ましくない照度は、本明細書では擬似エッジと称するエッジ・アーチファクトという形で現れることがある。擬似エッジは、画像内の真エッジ（リアル・エッジ）、つまり画像内の被写体またはシーンを構成する構造に由来する、画像のユーザが通常は最も関心をもつ情報を含むエッジを隠してしまうため、画像を劣化させてしまうことがある。擬似エッジならびに他の望ましくない照度変動を、画像再照明技術によって除去し、変更することが可能である。

元の照度を除去するための手法の１つでは、照度正規化技術を用いる。従来の照度正規化技術として、例えば、照度変動の状態を軽減するレベル圧縮技術が挙げられる。あるレベル圧縮技術では、画像のダイナミックレンジを圧縮する対数関数を使用して、知覚される照度の勾配を低減する。他の技術では、ヒストグラム拡張またはヒストグラム等化などの統計的手法を使用することもある。ヒストグラム手法は、画像の照度分布を変更して、全体的なコントラストを向上し、照明による望ましくない照度の変動による影響を低減しようとするものである。しかし、この種の従来の技術では、鮮明な擬似エッジを補正する際に問題があり、別の望ましくない照度の変動をさらに広範囲に引き起こすことがある。

元の照度が適切に除去されていない場合、新しい照度を付与して画像を再照明しても不自然に見えるため、望ましくないことがある。したがって、元の照度を画像から効果的に除去し、別の照度を付与して画像再照明を行う手法が求められている。

本発明に従う実施形態は、画像再照明のための方法および装置に関する。本発明に適合する一実施形態は、入力画像が取得された際に存在する第１の照度に直接起因する少なくとも１つの擬似エッジであって、前記入力画像内の被写体に関連した構造に起因せず、前記第１の照度の変動によって生じたコントラスト変動である擬似エッジを有する入力画像を受け取ることと、入力画像に異方性拡散を行って拡散画像を形成することと、拡散画像を用いて、前記被写体に関連した構造に起因するエッジを残しつつ、前記少なくとも１つの擬似エッジを除去するように、第１の照度を除去して反射画像を生成することと、反射画像に第２の照度を付与することとを含む、デジタル画像に再照明を行うための方法である。

本発明に適合する別の実施形態は、入力画像が取得された際に存在する第１の照度に直接起因する少なくとも１つの擬似エッジであって、前記入力画像内の被写体に関連した構造に起因せず、前記第１の照度の変動によって生じたコントラスト変動である擬似エッジを有する入力画像のデータ、および画像処理を制御する機能処理ユニットを格納するメモリに動作可能に接続されたプロセッサを含む、デジタル画像に再照明を行うための装置であって、機能処理ユニットは、入力画像に異方性拡散を行って拡散画像を形成する異方性拡散モジュールと、拡散画像を用いて、前記被写体に関連した構造に起因するエッジを残しつつ、前記少なくとも１つの擬似エッジを除去するように、第１の照度を除去して反射画像を作成する合成モジュールと、第２の照度を作成する第２の照度モジュールと、第２の照度を付与する照明付与モデルとを含む装置である。

本発明に適合する別の実施形態は、被写体を含み、入力画像が取得された際に存在する第１の照度に直接起因する少なくとも１つの擬似エッジを有する入力画像のデータ、注目すべき代表的被写体のモデル、および画像処理を制御する機能処理ユニットを格納するメモリと動作可能に接続されたプロセッサを含むデジタル画像に再照明を行うための装置であって、機能処理ユニットは、モデル作成モジュールと、モデルを用いて被写体に関するエッジ情報を予測し、第１の照度を除去して反射画像を生成するモデル・ベースの異方性拡散モジュールと、第２の照度を作成する第２の照度モジュールと、第２の照度を付与する照明付与モデルとを含む装置である。

本発明の態様について、添付の図を参照しつつ、より具体的に下記の説明に記載する。下記で説明する詳細な実施形態は顔認識または顔照合に関するが、本明細書で説明される本発明の原理を、デジタル画像内に現れる様々な種類の被写体に適用することもできる。

一般的に言えば、入力画像Ｉ（ｘ，ｙ）を反射画像Ｒ（ｘ，ｙ）と照明画像Ｌ（ｘ，ｙ）の積として概念化することができ、数学的に言えば、Ｉ（ｘ，ｙ）＝Ｒ（ｘ，ｙ）＊Ｌ（ｘ，ｙ）である。ここで（＊）は２つの画像のピクセルごとの積を示す。反射画像は照明に対して不変であり、コントラスト変動、テクスチャ、真エッジなどは、画像内に表される内容および／または被写体（例えば顔）を構成する構造に起因する。照明画像Ｌ（ｘ，ｙ）は、内容および／または被写体の照明から生じる、例えば擬似エッジなどのコントラスト変動によるものである。例えば、画像の取得中に強い光源が顔のすぐそばの特定の場所に配置された場合、その強い光源の位置に応じて、擬似エッジが画像内に出現する。目、鼻、口などの構造的な顔の造作から生じる真エッジ（反射Ｒ（ｘ，ｙ）によって表される）も、擬似エッジと混在して現れる。

画像再照明を行う場合、第１のステップは古い照度を除去することができ、第２のステップは新しい照度を付与することができる。反射画像Ｒ（ｘ，ｙ）中のエッジが画像内の被写体の構造的変動だけによる場合、その反射画像Ｒ（ｘ，ｙ）から照明を効果的に除去することができる。反射Ｒ（ｘ，ｙ）画像は、拡散処理を使用した様々な方法の照度正規化プロセスによって与えることとしても良い。一実施形態では、モデル・ベースの異方性拡散（下記でさらに説明される）のような拡散技術を用いて反射Ｒ（ｘ，ｙ）を間接的に推定することを可能とする。他の実施形態では、モデル・ベースの異方性拡散を用いて反射Ｒ（ｘ，ｙ）を直接推定することを含むこととしてもよい。反射が決定されると、その反射に基づいて様々な方法で別の照度を付与し、画像再照明を実現することができる。

［画像再照明］
図１は、本発明の一実施形態に適合する画像再照明の流れ図を示す。再照明プロセス１００は、画像正規化１０５、第２の照度１１５、および照明付与１１０を含む。

最初に入力画像Ｉ（ｘ，ｙ）は照度正規化１０５に与えられる。与えられる入力画像は、例えば、デジタル・カメラ、スキャナなどのような任意の既知の画像取得装置から得られるデジタル画像であってもよい。入力画像は、コンピュータ生成のアニメーションなどの任意の既知の合成技術により生成される画像であってもよく、またはセンサを介して取得され、合成によって生成されるデジタル・データの組み合わせであってもよい。

入力画像は、照度正規化１０５による除去の対象となる古い照度を含む。照度正規化により、照明に対して不変であり、画像内の基本的構造に起因するエッジだけを有する可能性がある反射推定Ｒ’（ｘ，ｙ）を得る。次いで反射推定Ｒ’（ｘ，ｙ）を照明付与１１０に渡す。照明付与１１０は、本明細書では第２の照度１１５と称する新しい照度と反射推定Ｒ’（ｘ，ｙ）を合成する。照明付与１１０は、反射推定Ｒ’（ｘ，ｙ）を第２の照度１１５と乗算するおよび／または加算することによって合成を行うことができる。当業者に既知の他の方法を使用して反射推定Ｒ’（ｘ，ｙ）と第２の照度１１５を合成することとしてもよい。第２の照度１１５が付与されると、その結果は、元の照度が除去され、新しい（第２の）照度が付与された出力画像Ｏ（ｘ，ｙ）となる。

第２の照度１１５は、新しい照度を与えることができる。この第２の照度１１５は、合成によって作成する、または他の画像から抽出することが可能である。合成によって生成された照度は、例えば、照度勾配のような数学的に作成可能な所望の照度変動を有する二次元画像でもよいし、または当技術分野で既知の他の任意の照明技術を使用してもよい。合成によって作成される照度を三次元モデルと共に使用してもよい。これらのモデルは、追加の情報を与えることが可能であり、モデルと照明対象となっている画像内の被写体を相関付けることも可能である。例えば、顔の三次元モデルを、顔の造作の陰影を適切にモデル化するために、合成によって得られる新しい照度を付与するときに使用することとしてもよい。この種の技術に、当技術分野で既知の、三次元空間内の照明光源の位置を規定するモデルを使用してもよい。第２の照度を作成する際、当業者に既知で任意の合成照明作成技術を使用することとしてもよい。

上述のように、第２の照度１１５は他の画像から導出することもできる。この導出は、他の画像から取り込まれる照明推定Ｌ’（ｘ、ｙ）を与える拡散技術を使用して実現することができる。（照明推定Ｌ’（ｘ，ｙ）を推定し決定する技術は下記で詳細に示される。）この技術は、画像内の被写体の三次元モデルを作成せずに、陰影情報を得ることができるという利点を有する。例えば、第１の顔画像が所望の照度を有するが、被写体の目が閉じていた場合、第１の画像から照度を除去し、被写体の目が開いている第２の画像にその照度を付与する（適用する）ことができる。付与された照度は、他の画像から抽出しため、陰影や照明を示す他の手がかりを含む。これらの２つの画像が幾何学的にそろわない場合、幾何学的に正規化して、この変動を補償することができる。幾何学的正規化については下記で議論する。

次の段落では、反射推定Ｒ’（ｘ，ｙ）および照明推定Ｌ’（ｘ，ｙ）を得るためにモデル・ベースの異方性拡散のような拡散技術を使用する技術を議論する。

［従来の異方性拡散を使用する間接反射推定］
図２は、反射モデルＲ（ｘ，ｙ）を間接的に推定する照度正規化プロセス２００の流れ図の一例を示す。照度正規化プロセス２００は、拡散ステップ２０５および合成ステップ２１０を含む。最初に拡散処理が入力画像に行われる。拡散処理は、当技術分野で既知の任意の一般的な拡散処理アルゴリズムでよく、例えば、従来の異方性拡散が挙げられる。従来の異方性拡散（ＡＤ）技術は、デジタル画像データ内のエッジ保存の雑音低減に使用することができる。ＡＤアルゴリズムは、偏微分方程式を適用して画像を変更することによって画像から雑音を除去することができる。典型的には、この変更において、画像内で検出されるエッジ情報に応じて変化するフィルタリング演算子を繰り返し適用する必要がある。これらのエッジの位置は、例えば、勾配関数を使用するものなどの従来のエッジ検出器を使用して決定することができる。実際には、ノイズ低減フィルタリング処理を行うと共に、ガウス・フィルタを例えばラプラス演算子と組み合わせて使用すると、勾配演算を確実に行うことが出来る。

ＡＤアルゴリズムの実現は、画像中にわたる各反復が時間ことに相当する反復的数値微分方程式解法で拡散微分方程式を解くことと捉えることができる。反復ごとに、ガウス・フィルタのスケールを変更することができ、エッジが画像内で局部的に存在するかどうかを決定するためには勾配関数を使用する。エッジが存在と判定される場合、エッジを保存するために、ガウス・フィルタリングを行うことはできない。エッジが検出されない場合、そのエリアをフィルタリングしてノイズを低減することができる。こうした演算が各反復について行われ、局所的計算結果が画像と結合（合成）される。

この実施形態では拡散２０５は、照明の推定Ｌ’（ｘ，ｙ）である拡散画像を生成することができる。拡散２０５が入力画像Ｉ（ｘ，ｙ）のエッジ保存され平滑化されたバージョンを生成するように、例えば、フィルタ係数（または、重み）などのパラメータを選択することとしてもよい。Ｌ’（ｘ，ｙ）は、照明による擬似エッジに対応する大きく強いエッジを保存させることができる。次いで照明推定Ｌ’（ｘ，ｙ）および入力画像Ｉ（ｘ，ｙ）は合成ステップ２１０内で共に処理することとしてもよい。合成ステップ２１０として、入力画像Ｉ（ｘ，ｙ）を照明推定Ｌ’（ｘ，ｙ）で単純に除算して反射推定画像Ｒ’（ｘ，ｙ）を求めることが挙げられる。つまり、Ｒ’（ｘ，ｙ）＝Ｉ（ｘ，ｙ）／Ｌ’（ｘ，ｙ）である。他の実施形態では、反射推定Ｒ’（ｘ，ｙ）は。減算、つまり、（Ｒ’（ｘ，ｙ）＝Ｉ（ｘ，ｙ）−Ｌ’（ｘ，ｙ））によって求めることができる。反射推定Ｒ’（ｘ，ｙ）を向上させるために、フィルタリング、拡大縮小、非線形照度マッピングなどの他の既知の画像処理技術を合成ステップ２１０内で行うこともある。
当業者には、反射Ｒ’（ｘ，ｙ）を推定するために、様々な方式のＬ’（ｘ，ｙ）とＩ（ｘ，ｙ）の合成を利用することが出来ることが理解されよう。反射推定Ｒ’（ｘ，ｙ）を生成する際に、合成ステップ２１０において、擬似エッジを除去し、且つ真エッジを理想的には不変のままにした出力画像を生成して、照度正規化画像を生成する。上述のように、第２の照度１１５を生成するために、所望の照度を有する他の画像から生成されるＬ’（ｘ，ｙ）を使用することができることに留意されたい。

［モデル・ベースの異方性拡散を使用する間接反射推定］
照度正規化が従来の異方性拡散を使用して行われる場合、被写体の構造に起因する真エッジが、照度変動によって生じた擬似エッジとして間違えられることがある。
従来の異方性拡散は真エッジと擬似エッジを区別できないため、処理された画像内の価値のある情報が失われる可能性がある。モデル・ベースの異方性拡散（ＭＢＡＤ）照度正規化によれば、画像内に表現された被写体に起因するエッジと、照度変動などの何らかの他の効果によるエッジとを区別することができる。

図３は、反射率Ｒ’（ｘ，ｙ）を間接的に推定するＭＢＡＤ照度正規化の実施形態３００の流れ図の一例を示す。ＭＢＡＤ照度正規化３００は、オプションの幾何学的正規化３０５、モデル・ベースの異方性拡散３１０、モデル３１５、合成ステップ３２０を含むことができる。オプションで、入力画像Ｉ（ｘ，ｙ）に、まず幾何学的正規化３０５を行うこととしてもよく、オプションのプロセスであることを示すために、図３では破線を使用して幾何学的正規化３０５を示している。幾何学的正規化３０５では、モデル３１５とより高い互換性を有するように入力画像を処理することができる。幾何学的正規化において、入力画像をモデル３１５に登録し、画像処理方法３００の全体的な性能を向上させるようにしてもよい。この登録は、当技術分野で知られている任意の登録技法を使用して行われることができ、入力画像の回転、拡大縮小、歪曲、トリミング、および／または平行移動、あるいはそれらの任意の組合せをさらに含むこととしてもよい。登録によって入力画像に表される被写体をモデル３１５内の代表的被写体（被写体見本）と関連付けるように、入力画像を標準形に変換することができる。上述のように、幾何学的正規化３０５はオプションであり、幾何学的正規化３０５を使用するか否かは、モデル化される被写体によって決めることとしてもよい。例えば、モデルが人の顔のエッジを表すために使用されている場合、通常、幾何学的正規化３０５を行うこととしてもよい。

概して、モデル３１５により、入力画像自体から決定することができないような、注目すべき被写体に関する追加情報を与えることができる。一実施形態では、モデル３１５により、代表的被写体内のエッジに関する情報を得ることができ、その情報として、代表的被写体内の真エッジの位置および真エッジである尤度（likelihood）が挙げられる。本明細書では、用語「真エッジ（リアル・エッジ）」を、被写体に関連した特徴のみに起因する画像内の局所的なコントラスト変動（すなわち、エッジ）として定義する。一般的には、真エッジは、環境現象またはセンサ・アーチファクトなどの被写体の外部の他の影響によって生じることはない。例えば、下記でより詳細に説明されるように、モデル３１５内の代表的被写体が顔である場合、モデル内で示される真エッジは、例えば、目、鼻、口などの顔面内で必然的に生じる造作の構造的変動によるものである。入力画像および入力画像の内容の中でどんなアーチファクトを除去する必要があるかに応じて、他の代表的被写体を作成することとしてもよい。

モデル３１５を表現するために、様々な異なる方法を使用することができる。表現の１つとして、入力画像内のピクセル位置に応じた、エッジである確率を示す多次元数学関数が挙げられる。この数学関数は、回帰または他のモデリング技法を使用して求めることができる。画像または表面のような構造を有する２次元データセットによってモデル３１５を表現することとしてもよく、その場合、水平方向および垂直方向のピクセル・インデックスは位置を表し、ピクセル値は真エッジである確率を表す。ピクセル値は０から１の間の値を取ることとしてもよい。モデルを作成する一実施形態に関する詳細は、以下の図６の説明でより詳細に示す。モデル３１５は、モデル・ベースの異方性拡散３１０に真エッジ情報を与える。

モデル・ベースの異方性拡散３１０は、モデル３１５によって供給される真エッジ情報を使用しながら、周知の異方性拡散プロセスを行うことができる。本明細書では、これまで、実施形態について異方性拡散を使用して説明したが、本発明の他の実施形態では、モデル３１５から与えられる情報を役立てられるような、当技術分野で既知の他の種類の拡散プロセスを検討することとしてもよい。

標準拡散アルゴリズムと同様に、モデル・ベースの異方性拡散（ＭＢＡＤ）３１０は、連続的な時間枠にわたってノイズ低減フィルタリングを反復的に行い、勾配情報を使用して、所与の反復についてフィルタ・カーネルの下にエッジが存在するか否かを判定することができる。しかし、エッジ検出プロセスを向上させるために、ＭＢＡＤ３１０は、モデル３１５からの情報を使用して、フィルタ・カーネルの下のエッジが真エッジであるか否かを判定することとしてもよい。この情報は、拡散プロセスでの各反復中に使用することができるため、この実施形態のＭＢＡＤ３１０は、アルゴリズムの内部操作を変更することができる。これらの変更形態は様々な方法で実現されることができる。例えば、モデル情報３１５を使用して、フィルタリングを適用するか否かを判定することができる。別の例では、モデル３１５情報を使用して、例えばフィルタ重みなどのフィルタリング・パラメータを変更することができる。この例は、以下で図４でより詳細に説明される。この実施形態では、被写体の入力画像内に元々存在する真エッジ情報を保存しつつ、ＭＢＡＤ３１０の出力を照明推定Ｌ’（ｘ，ｙ）とみなすことができる。上記で議論したように、入力画像が所望の照度を含む場合、Ｌ’（ｘ，ｙ）を第２の照度１１５に使用することができることに留意されたい。

照明推定Ｌ’（ｘ，ｙ）が求められた後に、幾何学的正規化３０５が行われなかった場合、合成ステップ３２０で照明推定Ｌ’（ｘ，ｙ）を入力画像Ｉ（ｘ，ｙ）と合成することとしてもよい。幾何学的正規化が行われた場合、合成ステップ３２０で、幾何学的に正規化された画像を照明推定Ｌ’（ｘ，ｙ）と合成する。図２に示される実施形態で説明したように、合成ステップ３２０として、単純に照明推定Ｌ’（ｘ，ｙ）で入力画像Ｉ（ｘ，ｙ）を割り算して反射推定画像Ｒ’（ｘ，ｙ）を求めることが挙げられる。別の実施形態では、反射推定Ｒ’（ｘ，ｙ）を減算：Ｒ’（ｘ，ｙ）＝Ｉ（ｘ，ｙ）−Ｌ’（ｘ，ｙ）で求めることとしてもよい。合成ステップ３２０で、フィルタリング、拡大縮小、非線形照度マッピングなどの他の既知の画像処理技法を行い、反射推定Ｒ’（ｘ，ｙ）を向上させることとしてもよい。当業者には、反射Ｒ’（ｘ，ｙ）を推定するために、様々なＬ’（ｘ，ｙ）とＩ（ｘ，ｙ）の合成方法を利用することが出来ることが理解されよう。

反射推定Ｒ’（ｘ，ｙ）を生成する際に、合成ステップ３２０は、擬似エッジが除去され、真エッジを理想的には不変のままにした出力画像を生成し、その結果、照度正規化された画像を生成する。この実施形態では、モデル３１５によって与えられる追加の真エッジ情報を使用するため、推定Ｒ’（ｘ，ｙ）の品質を向上させることができる。

図４は、図３に示される実施形態に適合するモデル・ベースの異方性拡散３１０のより詳細な流れ図の一例を示す。図４は、ＭＢＡＤ３１０の一実施形態を詳述し、このＭＢＡＤ３１０により、モデル３１５によって与えられる真エッジ情報に基づいてフィルタ係数を変更する。ここで、モデル３１５は、ステップ４０５で真エッジの指示を与えることができる。この情報に基づいて、ＭＢＡＤ３１０は、ステップ４１０でフィルタ・パラメータを選択する。通常、真エッジが示される場合、エッジを保存するために、実行するフィルタリングを少なくすることとしてもよい。真エッジが示されない場合、良好にノイズを低減するために、もっと多くのフィルタリングを行うこととしてもよい。

ステップ４１５で、フィルタ・パラメータの選択は、様々な異なる方式で行うことができる。一実施形態では、フィルタ・カーネルの実際のサイズを変更することができる。エッジである確率が高いと指示された場合、フィルタ・カーネルのサイズを小さくし、これによりノイズ・フィルタリング効果を低減することが可能となる。真エッジである確率が低い場合、フィルタ・カーネルのサイズを大きくして、より良好にノイズを低減することが可能となる。別の実施形態では、真エッジである確率の値に基づいて、フィルタ係数自体の値を変更することとしてもよい。こうした値は、真エッジ確率に基づくルックアップ・テーブルによって求めることができる、または当業者に既知の数学関数によって求めてもよい。単純な実施形態では、真エッジである確率がしきい値を超える場合はフィルタリングを行わないように、フィルタ・パラメータを調節することとしてもよい。フィルタ・パラメータが求められると、ステップ４２０で、選択されたパラメータを使用して画像をフィルタリングする。フィルタリングは、標準的な畳み込みフィルタリングでよく、または当業者に既知の任意の他のフィルタリングでもよい。

モデル３１５によって与えられる真エッジ情報を、もっぱらフィルタ・パラメータを選択する際に使用することとしてもよいが、この情報を、通常は異方性拡散プロセスで得られる勾配エッジ情報と組み合わせることとしてもよい。この２つのタイプの情報をどのように組み合わせるかは、代表的被写体自体のモデルの信頼性のレベル、および／または入力画像が収集された条件に関する情報に基づいて決めることとしてもよい。

図５は、本発明の更なる別の実施形態に適合するＭＢＡＤを使用した照度正規化５００の流れ図の一例を示す。ＭＢＡＤベースの照度正規化５００は、オプションの幾何学的正規化３０５、異方性拡散５０５、モデル３１５、モデル適用５１０、および合成ステップ３２０を含む。

最初に、入力画像に、オプションの幾何学的正規化ステップ３０５を行ってもよい。この幾何学的正規化ステップ３０５は、上述の図３に示す照度正規化３００で行ったものと同じ処理であってもよい。この実施形態は、ＭＢＡＤ３１０が２つの構成要素、第１は従来の異方性拡散プロセス５０５、第２はモデル適用プロセス５１０に分解される点で照度正規化３００とは異なる。この実施形態は、モデル３１５からの情報を異方性拡散５０５中に直接適用することはできないが、入力画像に異方性拡散を行った後に適用できる点で図３に示す実施形態とは異なり、その結果を拡散画像と称する。モデル３１５により与えられるモデル情報は、モデル適用ステップ５１０で拡散画像と組み合わされる（合成される）。モデル３１５は、図３に示される実施形態について上記で論じたものと同じモデルでよい。異方性拡散５０５は、当技術分野で既知の任意の従来の異方性拡散プロセスを利用することとしてもよく、さらに言えば、任意の形態の既知の拡散アルゴリズムを利用することとしてもよい。

モデル３１５は、モデル適用５１０に真エッジ情報を与える。この情報を拡散画像および入力画像と組み合わせて、フィルタリング・プロセスを向上させてもよい。一実施形態では、モデル３１５からの値を重みとして利用して、単純な線形結合を使用して拡散画像と入力画像を合成することとしてもよい。結果として得られる線形結合は、照明推定Ｌ’（ｘ，ｙ）を与える。線形結合は、以下の式によって数学的に記述することができる。

Ｌ’（ｘ，ｙ）＝Ｉ（ｘ，ｙ）［１−Ｍ（ｘ，ｙ）］＋Ｄ（ｘ，ｙ）Ｍ（ｘ，ｙ）
ここで
Ｌ’（ｘ，ｙ）：照明推定
Ｉ（ｘ，ｙ）：入力画像
Ｄ（ｘ，ｙ）：拡散画像
Ｍ（ｘ，ｙ）：モデル値
したがって、例えば、エッジの確率が低い入力画像のエリアではＭ（ｘ，ｙ）はゼロに近い値をとる。これらのエリアでは、照明推定Ｌ’（ｘ，ｙ）は入力画像Ｉ（ｘ，ｙ）と類似していることになる。第２の照度１１５として使用可能な照明推定Ｌ’（ｘ，ｙ）を作成するために、他の実施形態と同様に所望の照度を有する他の画像を使用することとしてもよい。

図３に示される照度正規化の実施形態３００と同様に、照明推定Ｌ’（ｘ，ｙ）が求められると、合成ステップ３２０で照明推定Ｌ’（ｘ，ｙ）は入力画像Ｉ（ｘ，ｙ）と合成される。幾何学的正規化３０５が行われる場合、幾何学的正規化ステップ３０５の出力が照明推定Ｌ’（ｘ，ｙ）と合成されることとしてもよい。合成ステップ３２０は、上記の図３の説明で述べたものと同様の処理としてもよい。合成ステップ３２０の出力画像は反射推定Ｒ’（ｘ，ｙ）である。

図６は、本発明のさらなる別の実施形態に適合するモデル生成の流れ図の一例を示す。注目する代表的被写体をそれぞれ含む１組のトレーニング画像を使用してモデル３１５を生成することとしてもよい。オプションで、各トレーニング画像を、上述と同様の幾何学的正規化プロセスで処理し、各被写体が確実に標準的基準（図示せず）となるようにしてもよい。次に、ステップ６１０で、エッジ情報が各画像から抽出される。例えばソーベル・エッジ検出器などの任意の既知のエッジ検出器を使用してエッジ情報を抽出することができる。エッジ情報が各トレーニング画像から抽出されると、ステップ６１５で画像を合成する。この合成として、画像を足し合わせ（合計し）、ガウス・カーネルを使用して後続のローパス・フィルタリングを行うことが挙げられる。合計およびフィルタリングにより、個々のトレーニング画像内に生じる照度変動および他の変動を平均化し、擬似エッジを低減し、代表的被写体に対応する真エッジを補強することが可能となる。次いで、フィルタリングされた画像に、当技術分野で既知の、例えばガンマ補正などの非線形関数を適用することとしてもよい。さらなる処理により、合成画像を、０から１までの間の確率に変換することもできる。最終的な出力は、多次元データセットの形を取るモデル３１５となる。一実施形態では、トレーニング画像は代表的被写体として顔を含み、顔の中の真エッジに関する情報を与えるモデルを作成した。このモデルの表面プロット６２０を図６に示すが、この図中に顔の造作に対応するピークが現れていることが分かる。他の実施形態では、他のメタ情報をモデル３１５に追加して精度を向上させることができる。メタ情報として、トレーニング画像を収集したセンサに関する情報、または例えば顔の鼻上にアルベド変化があってはならないという事実などの当業者に既知の他の情報が挙げられる。他の実施形態では、モデルが多次元データセットではなく、数学関数の形を取るようにすることも可能である。

［モデル・ベースの異方性拡散を使用する直接反射推定］
図７は、本発明に適合する照度正規化の他の実施形態７００の流れ図の一例を示す。直接反射推定（ＤＲＥ）の照度正規化７００は、オプションの幾何学的正規化ステップ３０５、ＭＢＡＤ直接反射推定ステップ７１０、およびモデル３１５を含むことができる。

図３および図５に示す実施形態で説明するように、幾何学的正規化は、オプションであり、入力画像をモデル３１５に登録すべき場合に使用される。幾何学的正規化３０５およびモデル３１５のいずれも、図３および図５で上述したように動作することができる。ＭＢＡＤ直接反射推定ことは、図３および図５で上述した合成ステップを行わずに反射推定Ｒ’（ｘ，ｙ）を出力することができる。この実施形態では、擬似エッジに対応するエリア内ではフィルタリングが多く行われるようにＭＢＡＤパラメータを選択するため、照明エッジを著しくぼやけさせ、モデル３１５によって位置が推定された画像内の被写体の実際の造作に対応する真エッジを残す。

ＭＢＡＤ直接反射推定７１０内の選択されたパラメータは、フィルタリングを制御するパラメータでよい。フィルタリングの量を増大させる方法の１つは、擬似エッジについて使用するフィルタ・サイズを大きくすることである。フィルタリングの量を増大させる別の方法は、フィルタのカットオフポイントの周波数を下げるようにフィルタ係数を変更し、それによりローパス・ガウス・フィルタの通過帯域を狭めることである。

［直接または間接反射推定のための装置］
図８は、本発明の他の実施形態に適合する処理装置８００の一例を示す。処理装置８００は、少なくとも１つのプロセッサ８１０、メモリ８１５、大容量記憶装置８２０、Ｉ／Ｏインターフェース８２５、ネットワーク・インターフェース８２７、出力ディスプレイ８３０、およびユーザ・インターフェース８３５を含むことができる。処理装置８００は、例えば、ワークステーション、パーソナル・コンピュータ、専用計算ハードウェア、専用デジタル画像プロセッサ、および／または組込みプロセッサなどの当業者に既知の任意のデータ処理装置であってよいことに留意されたい。プロセッサ８１０は、命令を実行し、プログラム命令に基づいて画像データに計算を行うことが可能である。実行可能な命令を含むモジュールおよびデジタル画像データは、メモリ８１５内に全体的または部分的に格納され、データ・バス８４０を介してそれらをプロセッサ８１０に転送することが可能である。メモリ８１５は、モデル３１５を作成するモデル作成モジュール８５０と、オプションの幾何学的正規化３０５を行う幾何学的正規化モジュール８５５と、図３に示すモデル・ベースの異方性拡散ステップ３１０内で行われるＭＢＡＤ３１０を行うモデル・ベースの異方性拡散モジュール８６０とを含むこととしてもよい。あるいはこのモジュールは、図５に示す実施形態で提供される異方性拡散ステップ５０５およびモデル適用ステップ５１０を行う従来の異方性拡散モジュール８６５およびモデル適用モジュール８７０を含むこととしてもよい。メモリ８１５は、図３および図５で説明される合成ステップ３２０を実行可能な合成モジュール８８５を含むこととしてもよい。メモリ８１５は、モデル３１５を含んだモデル・モジュール８７５、ならびに入力画像データ、出力画像データ（反射推定Ｒ’（ｘ，ｙ））、拡散画像データ（照明推定Ｌ’（ｘ，ｙ））、および／または訓練用画像データを含んだ画像データ８８０をさらに含むこととしてもよい。メモリ８１５は、第２の照度１１５と反射推定Ｒ’（ｘ，ｙ）を合成する照明付与モジュール８８７と、第２の照度１１５を供給する第２の照度モジュール８８９とをさらに含むこととしてもよい。第２の照度は、合成によって与えることとしてもよいし、又は、またはモデル・ベースの異方性拡散モジュール８６０および／またはＡＤモジュール８６５を介して他の画像を処理して推定された照明Ｌ’（ｘ，ｙ）から取得することとしてもよいことに留意されたい。

大容量記憶装置８２０は、プログラム命令およびデジタル・データを格納し、データ・バス８４０を介してプロセッサ８１０に通信することも可能である。処理システムは、ユーザに情報をディスプレイ８３０上で与えるため、Ｉ／Ｏインターフェース８２５およびネットワーク・インターフェース８２７を介して他の情報を送受信し、ユーザＩ／Ｏインターフェース８３５を介してユーザ命令および／またはデータを受け取ることが可能である。

本発明の詳細な実施形態および実装について上記で説明したが、本発明の精神および範囲から逸脱することなく様々な変更を行うことが可能であることは明らかである。

添付の図面と共に以下の詳細な説明を読めば、本発明の別の態様および利点が明確に分かる。
本発明の一実施形態に適合する画像再照明の流れ図の一例である。 本発明の一実施形態に適合する拡散ベースの照度正規化の流れ図の一例である。 本発明の別の実施形態に適合するモデル・ベースの異方性拡散を用いた照度正規化の流れ図の一例である。 図３で説明される実施形態のより詳細を示す流れ図の一例である。 本発明の更なる別の実施形態に適合するモデル・ベースの異方性拡散を用いた照度正規化の別の一例を示す図である。 本発明の更なる別の実施形態に適合するモデル作成の流れ図の一例である。 本発明に適合する直接反射推定の照度正規化を有する一実施形態の例示の流れ図の一例である。 本発明の別の実施形態に適合する装置の一例を示す図である。

Claims (40)

1. デジタル画像に再照明を行う方法であって、
   入力画像が取得された際に存在する第１の照度に直接起因する少なくとも１つの擬似エッジであって、前記入力画像内の被写体に関連した構造に起因せず、前記第１の照度の変動によって生じたコントラスト変動である擬似エッジを有する前記入力画像を受け取ることと、
   前記入力画像に異方性拡散を行って拡散画像を形成することと、
   前記拡散画像を用いて、前記被写体に関連した構造に起因するエッジを残しつつ、前記少なくとも１つの擬似エッジを除去するように前記第１の照度を除去して反射画像を作成することと、
   前記反射画像に第２の照度を付与することと
   を備える方法。
2. 前記付与することは、
   前記反射画像に前記第２の照度を乗算することまたは加算することをさらに備える、請求項１に記載の方法。
3. 前記第２の照度は合成によって作成される、請求項１に記載の方法。
4. 前記第２の照度は三次元モデルを用いて付与される、請求項３に記載の方法。
5. 前記三次元モデルは顔のモデルである、請求項４に記載の方法。
6. 前記第２の照度は他のデジタル画像から抽出される、請求項２に記載の方法。
7. 前記除去することは、
   前記入力画像と前記拡散画像を合成することをさらに備える、請求項１に記載の方法。
8. 前記合成することは、
   前記入力画像を前記拡散画像で除算することおよび前記入力画像から前記拡散画像を減算することのうちの１つを備える、請求項７に記載の方法。
9. 前記入力画像は被写体を含み、
   前記異方性拡散を行うことは、
   注目すべき代表的被写体のモデルを与えることと、
   前記モデルに基づいて前記被写体に関するエッジ情報を予測することと、
   前記予測されたエッジ情報を用いて前記入力画像に異方性拡散を行うことと
   をさらに備える、請求項１に記載の方法。
10. 前記除去することは、
    前記拡散画像だけを用いて異方性拡散パラメータを選択して反射推定を生成すること
    をさらに備える、請求項９に記載の方法。
11. 前記モデルの予測されたエッジ情報を用いてフィルタリングを行い、それによって、前記被写体に関連した構造に起因するエッジを残しつつ、前記擬似エッジを除去するように、前記パラメータは選択される、請求項１０に記載の方法。
12. 前記予測されたエッジ情報に基づいて前記異方性拡散を行う間に使用されるフィルタの重み係数を変更すること
    をさらに備える、請求項９に記載の方法。
13. 前記予測されたエッジ情報に基づいて前記異方性拡散を行う間に使用される前記フィルタのカーネル・サイズを変更すること
    をさらに備える、請求項９に記載の方法。
14. 前記入力画像に直接、異方性拡散を行って、非モデル・ベースの拡散画像を形成することと、
    前記入力画像と前記非モデル・ベースの拡散画像の線形結合であって、前記エッジ情報に基づいた係数を用いた線形結合を行うことと
    をさらに備える、請求項９に記載の方法。
15. それぞれが被写体を含む複数の訓練用画像に基づいたモデルを作成すること
    をさらに備える、請求項９に記載の方法。
16. 前記被写体内の真エッジである確率を表す数値のデータセットに各訓練用画像を変換することと、
    前記データセットを結合して前記モデルを形成することと
    をさらに備える、請求項１５に記載の方法。
17. 前記作成することは、
    各画像にエッジ検出処理を行うことと、
    各エッジ検出された画像を共通の参照に登録することと、
    前記登録された画像をピクセルごとに加算することによって合成画像を作成することと、
    前記合成画像の照度を正規化することと
    をさらに備える、請求項１６に記載の方法。
18. 前記デジタル画像データに幾何学的正規化を行って前記被写体を前記モデルに登録すること
    をさらに備える、請求項９に記載の方法。
19. 前記幾何学的正規化は回転、拡大縮小、歪曲（ワーピング）、および平行移動のうちの少なくとも１つを含む、請求項１８に記載の方法。
20. 前記被写体は顔である、請求項９に記載の方法。
21. デジタル画像に再照明を行うための装置であって、
    入力画像が取得された際に存在する第１の照度に直接起因する少なくとも１つの擬似エッジであって、前記入力画像内の被写体に関連した構造に起因せず、前記第１の照度の変動によって生じたコントラスト変動である擬似エッジを有する前記入力画像のデータ、および画像処理を制御する機能処理ユニットを格納するメモリに動作可能に接続されたプロセッサを備え、
    前記機能処理ユニットは、
    前記入力画像に異方性拡散を行って拡散画像を形成する異方性拡散モジュールと、
    前記拡散画像を用いて、前記被写体に関連した構造に起因するエッジを残しつつ、前記少なくとも１つの擬似エッジを除去するように、前記第１の照度を除去して反射画像を作成する合成モジュールと、
    第２の照度を作成する第２の照度モジュールと、
    前記第２の照度を付与する照明付与モデルと
    を備える装置。
22. 前記照明付与モデルは、
    前記反射画像に前記第２の照度を乗算することまたは加算することを行う、請求項２１に記載の装置。
23. 前記第２の照度モジュールは合成によって作成された照度を使用する、請求項２１に記載の装置。
24. 前記第２の照度モジュールは他のデジタル画像から抽出された照度を使用する、請求項２３に記載の装置。
25. 前記第２の照度モジュールは三次元モデルを使用する、請求項２３に記載の装置。
26. 前記三次元モデルは顔のモデルである、請求項２５に記載の装置。
27. 前記合成モジュールは、
    前記入力画像を前記拡散画像で除算すること、および前記入力画像から前記拡散画像を減算することのうちの１つを行う、請求項２１に記載の装置。
28. 前記メモリは、被写体を含む入力画像と、注目すべき代表的被写体のモデルと、機能処理ユニットとを格納し、前記機能処理ユニットは、
    モデル作成モジュールと、
    前記モデルに基づいて前記被写体に関するエッジ情報を予測し、前記予測されたエッジ情報を用いて前記入力画像に異方性拡散を行うモデル・ベースの異方性拡散モジュールと
    をさらに備える、請求項２１に記載の装置。
29. 前記モデル・ベースの異方性拡散モジュールは、前記モデルによって与えられる前記エッジ情報に基づいてフィルタの重み係数を変更する、請求項２８に記載の装置。
30. 前記モデル・ベースの異方性拡散モジュールは、前記モデルによって与えられる前記エッジ情報に基づいて前記フィルタのカーネル・サイズを変更する、請求項２９に記載の装置。
31. 前記モデル・ベースの異方性拡散モジュールは、
    前記入力画像に異方性拡散を行う異方性拡散モジュールと、
    前記デジタル画像のデータと異方性拡散画像の線形結合であって、前記エッジ情報に基づいた係数を使用する線形結合を行うモデル適用モジュールと
    をさらに備える、請求項２８に記載の装置。
32. 前記モデル作成モジュールは、それぞれが被写体を含む複数の訓練用画像に基づいて前記モデルを作成する、請求項２８に記載の装置。
33. 前記モデル作成モジュールは、前記被写体内の真エッジである確率を表す数値のデータセットに各訓練用画像を変換し、前記データセットを合成して前記モデルを形成する、請求項３２に記載の装置。
34. 前記モデル作成モジュールは前記複数の訓練用画像の外部の情報を使用する、請求項３２に記載の装置。
35. 前記モデル作成モジュールは、各画像にエッジ検出処理を行い、各エッジ検出された画像を共通の参照に登録し、前記登録された画像をピクセルごとに加算することによって合成画像を作成し、前記合成画像の照度を正規化する、請求項３２に記載の装置。
36. 前記デジタル画像のデータに幾何学的正規化を行って前記被写体を前記モデルに登録する幾何学的正規化モジュール
    をさらに備える、請求項２８に記載の装置。
37. 前記幾何学的正規化モジュールは、回転、拡大縮小、歪曲、および平行移動のうちの少なくとも１つを行う、請求項３６に記載の装置。
38. 前記被写体は顔である、請求項２８に記載の装置。
39. デジタル画像に再照明を行うための装置であって、
    被写体を含み、前記入力画像が取得された際に存在する第１の照度に直接起因する少なくとも１つの擬似エッジを有する入力画像データ、注目すべき代表的被写体のモデル、および画像処理を制御するための機能処理ユニットを格納するメモリに動作可能に接続されたプロセッサを備え、前記機能処理ユニットは、
    モデル作成モジュールと、
    前記モデルを用いて前記被写体に関するエッジ情報を予測し、前記第１の照度を除去して反射画像を生成するモデル・ベースの異方性拡散モジュールと、
    第２の照度を作成する第２の照度モジュールと、
    前記第２の照度を付与する照明付与モデルと
    を備える装置。
40. 前記モデルの予測されたエッジ情報を用いてフィルタリングを行い、それによって、前記被写体に関連した構造に起因するエッジを残しつつ、前記擬似エッジを除去するように、前記フィルタリングのフィルタ・パラメータは選択される、請求項３９に記載の装置。

Images