JP2015507241A - デジタルメイクアップ - Google Patents

Abstract

本発明のある実施形態の態様は、人間の顔の画像を処理するシステム関し、当該システムは、データ処理及び解析ユーティリティを備え、当該データ処理及び解析ユーティリティは、画像の特性を示す入力画像データを受信して、入力画像データ内の顔のエッジ及び輪郭の少なくとも１つを示すハイパス信号を出力するように構成されたハイパスフィルタリングモジュールと、入力画像データを示すデータを受信して、低コントラストの徐々に変化する顔の質的特徴を示すバンドパス信号を出力するように構成された少なくとも１つのバンドパスフィルタリングモジュールと、入力画像データを示すデータを受信して、低コントラスト領域が平滑化されて高コントラスト領域が保存されるローパス信号を出力するように構成されたローパスフィルタリングモジュールと、入力画像データを受信して、画像の複数の画素について画像の局所的特徴を計算するように構成された特徴計算モジュールと、特徴計算モジュールから局所的特徴を受信して、局所的特徴を用いて、複数の画素でのハイパスフィルタリングモジュール、バンドパスフィルタリングモジュール、ローパスフィルタリングモジュールの各々で使用されるべきフィルタの強度を決定するために局所的オペランドを決定し、フィルタリングモジュールの各々に局所的オペランドを送信するように構成された強度計算モジュールと、ハイパス信号、バンドパス信号及びローパス信号の少なくとも１つの少なくとも一部を受信して修正するように構成された少なくとも１つの変換モジュールと、ハイパス信号、バンドパス信号及びローパス信号の少なくとも１つの少なくとも一部が修正された後のハイパス信号、バンドパス信号及びローパス信号を受信して、受信した信号を加算して、修正画像の特性を示す出力信号を生成するように構成された加算モジュールと、備える。【選択図】図２ａ

Description

本発明は、画像処理の分野に関し、より具体的には、人間の顔の画像の処理の分野に関する。

人の顔の外見を良くするため、顔の画像を修正する多くの技術が開発されてきた。

米国特許第８，１０７，６７２号明細書にはメイクアップシミュレーションシステムが開示されている。このシミュレーションシステムは、画像上にキャプチャされたユーザの顔の画像を有する映像にメイクアップを施すものであり、ユーザの顔の画像をキャプチャして映像を出力する画像キャプチャ手段と、画像キャプチャ手段から出力された映像を受信し、映像に画像処理を施して映像を出力する制御手段と、制御手段から出力された映像を表示する表示手段と、によって特徴づけられ、制御手段は、既定のトラッキングポイントに基づき映像からユーザの顔を認識する顔認識手段と、トラッキングポイントに基づき、映像に含まれるユーザの顔に既定のメイクアップを施して、表示手段に映像を出力するメイクアップ処理手段と、を含む。

米国特許第６，５０２，５８３号明細書は、写真の修正を希望する又はメイクアップを希望する人が要望した希望の顔を決定するステップと、希望の顔に基づいて、本来の顔の画像又は人の顔の輪郭結合などの画像処理を実行することによって修正された又はメイクアップされた顔の画像を作成するステップと、を含む方法を開示している。

この技術分野において、顔の特定の領域の認識を必要とすることなく、かつ、過度の処理能力を必要とすることなく、顔の画像を改善する新規な技術が必要である。

上述した米国特許第８，１０７，６７２号明細書及び米国特許第６，５０２，５８３号明細書は、顔の局所的特徴（トラッキングポイント）を認識して、認識した局所的特徴に基づき画像を処理する顔認識技術を開示している。

米国特許第５，４４２，４６２号明細書及び米国特許第５，７９９，１１１号明細書で説明された他のいくつかの公知の画像処理技術は、画像に適用される適応平滑化フィルタを用いている。画素信号及びノイズの挙動に適した平滑化処理を決定する基準を画素ごとに抽出するため、適応一方向及び二方向の処理が用いられる。より具体的には、所定の画素に適用されるべきフィルタのパラメータ（例えば強度）が画像の局所的特徴に依存している。例えば、画像の所定の画素に対するフィルタの強度を決定するために、所定の画素の色値と、第１シーケンスにおける隣接する先行の色値との間の差分が計算される。フィルタの強度はこの差分に従って計算される。適応フィルタのパラメータは各方向に対して局所的に計算されるので、米国特許第５，４４２，４６２号明細書及び米国特許第５，７９９，１１１号明細書の技術は集中的な処理を伴う可能性があり、かつ、それらの実行に時間がかかることがある。このことは、リアルタイムの又はほぼリアルタイムの画像の修正を困難にする可能性があるので、デジタルメイクアップのアプリケーションには有用ではない可能性がある。

人の顔の美しさの認識される見た目は、以下の、（ａ）顔の特徴の鋭さ及び活力、（ｂ）顔の肌のつや、透明感及び色、並びに、（ｃ）顔の形態、構造及び配列、を含む、複数の基本的な要因を包含することが知られている。これらの要因は、様々な物質（例えば有色の液体及び透明な液体、オイル、パウダー）及び道具（例えばブラシ、スポンジ、ライナー、エアブラシなど）を利用した美容メイクアップ技術によって通常は改善される。

専門的なメイクアップ用語において、（ａ）活力は、通常はアイライナー及びリップライナー（例えばたいていはペンシルや液体ライナー）によってもたらされ、（ｂ）肌のつや、透明感及び色は、ファンデーション、コンシーラ、チーク及びパウダーを塗ることによって改善され、並びに、（ｃ）形態及び構造の改善は、特定の顔の場所にそれぞれハイライトやシャドーを塗ることによって得られる。

本発明は、ファンデーション、コンシーラ、ライナー、形態、チーク及びパウダーなどのメイクアッププロセスの主要なステップに関する本発明者の理解に基づいている。より具体的には以下のとおりである。

ファンデーションは、顔全体に透明なファンデーション物質を塗ることによって肌のきめを整えて、キャンバス、すなわち、その後のすべてのステップが適用される顔全体の領域に平らで均一で白っぽい表面を作り出すステップを含む。このことは、平らな白いキャンバスから芸術作品を起こす画家といくらか似ている。

コンシーラは、例えば吹き出物、にきび、炎症、赤みや褪色の領域、毛穴、母斑、染み、そばかす、しわ（ｗｒｉｎｋｌｅｓ）、しわ（ｃｒｅａｓｅｓ）、クモ状静脈瘤、目の下のくま、唇の周りの緑青領域などの局所的な肌の欠点やでこぼこをカバーする、肌の色に合った隠す物質を局所的に塗るステップを含む。これらのでこぼこの各々は、例えば、隣の均一な肌領域との間で隠し効果を最も調和させる方向にコンシーラを塗り広げることなどの様々なカバー動作を必要とし得る。例えば、目の下のくまは通常、全体の領域にコンシーラを塗った後に、（目に向かって上方ではなく）横向きや下向きの複数の方向に材料を塗り広げ、均一になって所望の調和を達成するまで反対向きにコンシーラを塗り広げることによって、隠される。

ライナーは、例えば唇や目などの顔の重要な場所の輪郭やエッジを際立たせて、顔の活力を増大させる。

形態は、必要であれば、顔の特定の領域に対してシェーディングやハイライティングを塗ることによって、顔を再構築するステップを含む。濃い色（シェーダ）は、陰影をつけて、例えば頬、こめかみ、あごの下、鼻の横のくぼみなどの領域を引っ込ませる。明るい色（ハイライタ）は、例えば頬のアップルエリア、目の下、眉骨及びあごの真ん中を前に出す。

チークは、顔、例えば局所的領域又は顔全体に対して、色や活力を加えるステップを含む。

パウダーは、顔全体に対して、又は、たいてい照明の条件や角度に応じて輝きを増大させる顔や頭の特定の領域に対して、艶のないパウダーを加えるステップを含む。

本発明は、人間の顔の画像を修正するデジタル画像処理技術、すなわち、デジタルメイクアップ（ＤＭ）に関する。この技術は、上記メイクアップアーティストの行為の多くが、特別に設計されたアルゴリズムによって綿密に再現され得るという本発明者らの理解に基づいている。本発明に従って、ＤＭ処理は、画像中の顔の場所のいかなる知識をも特に必要としない人間の顔、顔の構造、顔の特徴の場所、又は、顔の肌の形状及び境界を含む全体画像に適用される。ＤＭ処理は、以下のアルゴリズムによってメイクアップ処理の上記主要なステップのいくつかをシミュレートする：顔の画素を平滑化することによってファンデーションの塗布がシミュレートされ、局所的な顔の変形を検出して、周囲の肌の色にそれらの変形を平滑化することによってコンシーラの塗布がシミュレートされ、顔のエッジや輪郭を抽出して顔のエッジや輪郭を保持する又は向上させることによってライナーの動作がシミュレートされ、極端なハイライトを識別して、画像変換を用いてそうした変形を平滑化し、スポンジやブラシの動きを再現することによってパウダーの塗布がシミュレートされる。任意選択的に、わずかに色が変化する画像領域を検出してその変化を増大させることによって、及び／又は、色画像成分に適用されるグローバルの非線形の色ヒストグラム変換作用を実行して、顔の領域の大部分に作用する画像の彩度を強めることによって、チークの塗布が再現される。

上記のことは、（以下で定義される）様々な種類のデジタルフィルタを組み合わせて、改善された顔の画像表現を構築することによって、本発明で実現される。本発明では、フィルタの出力（フィルタの入力は、元の顔画像を示す信号である、又は、入力として元の顔画像を示す信号を受信した先行フィルタの出力である）同士の間のそれぞれの差分によって、顔画像データが、顔の質的特徴（例えば、欠点の細部及び様々な種類）を示す様々なコンポーネント信号に分解される。差分は、ハイパス信号、少なくとも１つのバンドパス信号及び１つのローパス信号を生じさせる。所望の顔の質的な特徴の強さを増大させる又は減少させるため（例えば、ファンデーション、コンシーラ、ライナー、チーク及びパウダーなどの改善されたデジタルメイクアップ効果を得るため）、それぞれの変換及び／又はフィルタがコンポーネント信号の少なくとも１つに適用される。最終的に、変換された／フィルタリングされたコンポーネント信号は、合計されて、出力画像に変換されることが可能な出力信号を形成する。本発明の複数のフィルタリング及び差分の技術を介して、様々な顔の質的特徴がそれらの対応のコンポーネント信号に分離された後、いくつかの質的特徴が強められ、他の質的特徴が平滑化され又は弱められてよいことに留意されたい。例えば、本発明の技術は、望ましくない質的特徴（例えば肌のざらつき、しわ、腫れ、にきび、傷、染み）を弱めるとともに、望ましい質的特徴（例えば輪郭やエッジなどの顔の細部）を強めることによって、顔の見た目を改善し得る。しかしながら、デジタルメイクアップは、望ましくない質的特徴及び／又は望ましい質的特徴を強めることによって、顔の見た目を劣化させる（例えばアンチエイジングに代えてエイジング）出力画像を提供するために同様の方法で用いられてもよい。

任意選択的に、本発明の技術は、顔の形態を改善するためにさらに変更されてもよい。このことは、顔の特定の場所にハイライト及びシャドーを通常は適用することによって実現される。このため、例えばハイライト及びシャドーが、そうした顔の特徴（例えば目、眉、唇、鼻、あご、頬、頬骨、額など）に対して特定の位置に配置されるように、顔の特徴の検出及び／又は顔の肌の検出／セグメンテーションの作業が必要とされる。こうした顔の検出及び肌のセグメンテーションは、ＤＭ処理が顔の領域に唯一選択的に適用されるべきであって、任意の背景領域には適用されるべきではない場合に必要とされる。本発明は、その運用のためにそうした顔の検出及び肌のセグメンテーションを必要としないものの、なんらかの撮像用途におけるさらなる改善のためにそうしたセグメンテーションを用い得る。

従って、本発明のある実施形態の態様は、人間の顔の画像を処理するシステムに関し、当該システムは、データ処理及び解析ユーティリティを備え、当該ユーティリティは、画像の特性を示す入力画像データを受信して、入力画像データ内の顔のエッジ及び輪郭の少なくとも１つを示すハイパス信号を出力するように構成されたハイパスフィルタリングモジュールと、入力画像データを示すデータを受信して、低コントラストで徐々に変化する顔の質的特徴を示すバンドパス信号を出力するように構成された少なくとも１つのバンドパスフィルタリングモジュールと、入力画像データを示すデータを受信して、低コントラスト領域が平滑化されて高コントラスト領域が保存されるローパス信号を出力するように構成されたローパスフィルタリングモジュールと、入力画像データを受信して、画像の複数の画素についての画像の局所的特徴を計算するように構成された特徴計算モジュールと、特徴計算モジュールから局所的特徴を受信して、局所的特徴を用いて、複数の画素においてハイパスフィルタリングモジュール、バンドパスフィルタリングモジュール、ローパスフィルタリングモジュールの各々で使用されるべきフィルタの強度を決定するために局所的オペランドを決定し、フィルタリングモジュールの各々に局所的オペランドを送信するように構成された強度計算モジュールと、ハイパス信号、バンドパス信号及びローパス信号の少なくとも１つの少なくとも一部を受信して修正するように構成された少なくとも１つの変換モジュールと、ハイパス信号、バンドパス信号及びローパス信号の少なくとも１つの少なくとも一部が修正された後にハイパス信号、バンドパス信号及びローパス信号を受信して、受信した信号を合計して、修正画像の特性を示す出力信号を生成するように構成された加算モジュールと、備える。

一変形例では、ハイパスフィルタリングモジュールは、入力画像データを受信して、入力画像データに第１平滑化フィルタを適用し、第１平滑化信号を出力するように構成された第１フィルタリングユーティリティと、入力画像データから第１平滑化信号を減算してハイパス信号を生成する第１減算ユーティリティと、を備える。

任意選択的に、少なくとも１つのバンドパスフィルタリングデバイスは、入力画像データを受信して、入力画像データに第２平滑化フィルタを適用し、第２平滑化信号を出力するように構成された第２フィルタリングユーティリティと、第１平滑化信号から第２平滑化信号を減算して、少なくとも１つのバンドパス信号を生成するように構成された第２減算ユーティリティと、を備える。

任意選択的に、ローパスフィルタリングモジュールは第２フィルタリングユーティリティを備え、第２平滑化信号はローパス信号である。

別の変形例では、少なくとも１つのバンドパスフィルタリングモジュールは、第１平滑化信号を受信して、第１平滑化信号に第２平滑化フィルタを適用し、第２平滑化信号を出力するように構成された第２フィルタリングユーティリティと、第１平滑化信号から第２平滑化信号を減算して少なくとも１つのバンドパス信号を生成する第２減算ユーティリティと、を備える。

任意選択的に、ローパスフィルタリングモジュールは第２フィルタリングユニットを備え、第２平滑化信号はローパス信号である。

一変形例では、強度計算モジュールは、局所的オペランドを決定して、複数の画素で平滑化フィルタの強度を決定し、局所的オペランドをフィルタリングユーティリティに送信するように構成される。

別の変形例では、フィルタリングユーティリティの少なくとも１つが、個別のグローバルパラメータを受信して、グローバルパラメータ及び局所的オペランドを用いてそれぞれの平滑化フィルタの強度を計算するように構成される。

さらに別の変形例では、強度計算モジュールは、複数の局所的オペランドを決定するように構成されており、各局所的オペランドは、それぞれのフィルタリングユーティリティに対応し、それぞれの平滑化フィルタの強度を示しており、各フィルタリングユーティリティは、局所的オペランドの各々を用いてそれぞれの平滑化フィルタの強度を決定するように構成される。

さらなる変形例では、フィルタリングユーティリティの少なくとも１つが、多次元適応平滑化フィルタを、それぞれの受信した信号に適用するように構成される。

さらに別の変形例では、フィルタリングユーティリティの少なくとも１つが、線形平滑化フィルタを、それぞれの受信した信号に適用するように構成される。任意選択的に、第１フィルタリングユーティリティは、線形平滑化フィルタを提供するように構成される。

本発明のある実施形態によれば、上で規定されたシステムは、バンドパスフィルタリングモジュールのアレイを備え、各バンドパスフィルタリングモジュールは、入力画像データを示すデータを受信して、当該データにそれぞれの平滑化フィルタを適用し、それぞれの平滑化信号を出力するように構成されたそれぞれのフィルタリングユーティリティと、先行フィルタリングモジュールを備える先行フィルタリングユーティリティによって出力された予め平滑化された信号からそれぞれの平滑化信号を減算してそれぞれのバンドパス信号を生成する、それぞれの減算ユーティリティと、を備える。

任意選択的に、ローパスフィルタリングモジュールは、バンドパスフィルタリングモジュールのアレイの最後のバンドパスフィルタリングモジュールの一部であるフィルタリングユーティリティであって、ローパス信号である最後の平滑化信号を生成するフィルタリングユーティリティを備える。

本発明のある実施形態によれば、画像の特性を示す入力画像データを受信して、画像内の顔の少なくともエッジ及び／又は輪郭を示す第１ハイパス信号を出力するように構成された第１ハイパスフィルタリングモジュールと、入力画像データを受信して、入力画像のサイズを縮小するために、受信した画像データを処理して第１間引き画像を生成し、第１間引き画像を示す間引き信号を出力するように構成された間引きモジュールと、上述のフィルタリングシステムであって、第１間引き信号を受信して処理し、第１出力画像を示す第１出力信号を出力するように構成されたフィルタリングシステムと、第１出力信号を受信して、第１出力信号を補間して、入力画像のサイズと同じサイズを有する画像を示す補間信号を出力するように構成された補間モジュールと、補間信号及び第１出力信号を受信して、補間信号及び第１出力信号を加算して合計し、修正画像の特性を示す第２出力信号を生成するように構成された第１加算モジュールと、を備えるシステムが提供される。

任意選択的に、システムは、第１ハイパス信号の少なくとも一部を修正して第１変換信号を出力するように構成された第１変換モジュールを備え、第１加算モジュールは、補間信号及び第１変換信号を受信して、補間信号及び第１変換信号を加算して合計し、修正画像の特性を示す第２出力信号を生成するように構成される。

一変形例では、第１ハイパスフィルタリングモジュールは、間引き信号を受信して間引き信号を補間し、第２補間信号を出力するように構成された第２補間モジュールと、入力画像データ及び第２補間信号を受信するように構成された第１ハイパスフィルタリングモジュールと、入力画像データから第２補間信号を減算して第１ハイパス信号を生成するように構成された第１減算ユニットと、を備える。

別の変形例では、システムは、第１間引き信号上で第２間引きを実行して第２間引き信号を出力するように構成された第２間引きモジュールを備え、第２間引き信号は、フィルタリングシステムによって受信されて処理され、第１出力信号を出力する。

本発明のある実施形態の別の態様は、人間の顔の画像の特性を示す入力信号を処理する方法に関し、当該方法は、データ処理及び解析ユーティリティによって実行され、
（ｉ）入力画像データを処理して、画像の複数の画素についての画像の局所的特徴を計算するステップと、
（ｉｉ）局所的特徴を用いて局所的オペランドを決定するステップと、
（ｉｉｉ）入力画像データを示すデータに、ハイパスフィルタ、少なくとも１つのバンドパスフィルタ及びローパスフィルタを適用して、各フィルタの強度が局所的オペランドに依存するように、ハイパスコンポーネント信号、少なくとも１つのバンドパスコンポーネント信号及びローパスコンポーネント信号を生成するステップと、
（ｉｖ）ハイパスコンポーネント信号、バンドパスコンポーネント信号及びローパスコンポーネント信号の少なくとも１つに少なくとも１つの変換を適用して、コンポーネント信号の少なくとも１つの少なくとも一部を修正するステップと、
（ｖ）コンポーネント信号の少なくとも１つが修正された後にコンポーネント信号を加算して、修正画像の特性を示す出力信号を生成するステップと、を含む。

本発明のある実施形態によれば、人間の顔の画像の特性を示す入力信号を処理する方法が提供され、当該方法は、
入力画像データに第１ハイパスフィルタを適用して、画像内の顔の少なくともエッジ及び／又は輪郭を示す第１ハイパス信号を生成するステップと、
入力画像データを間引いて、入力画像に対して縮小されたサイズの画像を示す間引き信号を出力するステップと、
上述した（ｉ）〜（ｖ）のステップを間引き信号に適用して、第１出力信号を出力するステップと、
第１出力信号を補間して、入力画像のサイズと同じサイズを有する画像を示す補間信号を出力するステップと、
第１出力信号を補間信号に加算して、修正画像の特性を示す第２出力信号を生成するステップと、を含む。

本発明のある実施形態のさらなる態様は、コンピュータに関連して有用なコンピュータ読み取り可能媒体に関し、当該コンピュータ読み取り可能媒体上には、以下の、
入力画像データを処理して、画像の複数の画素についての画像の局所的特徴を計算し、
局所的特徴を用いて局所的オペランドを決定し、
入力画像データを示すデータに、ハイパスフィルタ、少なくとも１つのバンドパスフィルタ及びローパスフィルタを適用し、各フィルタの強度が局所的オペランドに依存するように、ハイパスコンポーネント信号、少なくとも１つのバンドパスコンポーネント信号及びローパスコンポーネント信号を生成し、
ハイパスコンポーネント信号、バンドパスコンポーネント信号及びローパスコンポーネント信号の少なくとも１つに少なくとも１つの変換を適用して、コンポーネント信号の少なくとも１つの少なくとも一部を修正し、
コンポーネント信号の少なくとも１つが修正された後にコンポーネント信号を加算して、修正画像の特性を示す出力信号を生成すること、
を実行するためにコンピュータに入力画像データに応答させるように構成されたデータ処理及び解析ユーティリティが格納されている。

本明細書で開示される対象をより良く理解するため、及び、実際にその対象がどのように実行されるかを実証するため、添付の図面を参照して、非限定的な例として、実施形態を説明する。

先行技術で知られたいくつかの画像処理技術を示す図である。 先行技術で知られたいくつかの画像処理技術を示す図である。 複数のフィルタを介して画像をフィルタリングすることによって入力画像内の顔の質的な特徴を修正する本発明に係る技術の様々な実施形態を示す図であり、各画素における各フィルタの特性は各画素における画像の局所的特徴に依存する。 複数のフィルタを介して画像をフィルタリングすることによって入力画像内の顔の質的な特徴を修正する本発明に係る技術の様々な実施形態を示す図であり、各画素における各フィルタの特性は各画素における画像の局所的特徴に依存する。 複数のフィルタを介して画像をフィルタリングすることによって入力画像内の顔の質的な特徴を修正する本発明に係る技術の様々な実施形態を示す図であり、各画素における各フィルタの特性は各画素における画像の局所的特徴に依存する。 複数のフィルタを介して画像をフィルタリングすることによって入力画像内の顔の質的な特徴を修正する本発明に係る技術の様々な実施形態を示す図であり、各画素における各フィルタの特性は各画素における画像の局所的特徴に依存する。 本発明のある実施形態に係る、入力信号、入力信号に適用される様々なフィルタによって生成されたコンポーネント信号、及び、出力信号の例を示すグラフである。 本発明のある実施形態に係る、入力信号、入力信号に適用される様々なフィルタによって生成されたコンポーネント信号、及び、出力信号の例を示すグラフである。 本発明のある実施形態に係る、入力信号、入力信号に適用される様々なフィルタによって生成されたコンポーネント信号、及び、出力信号の例を示すグラフである。 本発明のある実施形態に係る、入力信号、入力信号に適用される様々なフィルタによって生成されたコンポーネント信号、及び、出力信号の例を示すグラフである。 本発明のある実施形態に係る、入力信号、入力信号に適用される様々なフィルタによって生成されたコンポーネント信号、及び、出力信号の例を示すグラフである。 本発明のある実施形態に係る、入力信号、入力信号に適用される様々なフィルタによって生成されたコンポーネント信号、及び、出力信号の例を示すグラフである。 本発明のある実施形態に係る、様々なコンポーネント信号に適用されるべき様々な変換の例を示すグラフである。 本発明のある実施形態に係る、様々なコンポーネント信号に適用されるべき様々な変換の例を示すグラフである。 本発明のある実施形態に係る、様々なコンポーネント信号に適用されるべき様々な変換の例を示すグラフである。 本発明のある実施形態において用いられる様々な平滑化フィルタの強度を決定する様々なオペランドの例を示すグラフである。 本発明のある実施形態において用いられる様々な平滑化フィルタの強度を決定する様々なオペランドの例を示すグラフである。 本発明のある実施形態において用いられる様々な平滑化フィルタの強度を決定する様々なオペランドの例を示すグラフである。 人間の顔の入力画像を処理する、本発明のシステム３００を示すブロック図であり、入力画像が２つの異なる経路に沿って処理され、２つの処理経路の出力が結合されて出力画像を生成する。 人間の顔の入力画像を処理する、本発明のシステム３００を示すブロック図であり、入力画像が２つの異なる経路に沿って処理され、２つの処理経路の出力が結合されて出力画像を生成する。 人間の顔の入力画像を処理する、本発明のシステム３００を示すブロック図であり、入力画像が２つの異なる経路に沿って処理され、２つの処理経路の出力が結合されて出力画像を生成する。 人間の顔の入力画像を処理する、本発明のシステム３００を示すブロック図であり、入力画像が２つの異なる経路に沿って処理され、２つの処理経路の出力が結合されて出力画像を生成する。 シェーディング及びハイライティングをたいてい必要とする顔及び頭の特定の領域、並びに、本発明の技術を介したシェーディング及びハイライティングの実行を示す図である。 シェーディング及びハイライティングをたいてい必要とする顔及び頭の特定の領域、並びに、本発明の技術を介したシェーディング及びハイライティングの実行を示す図である。 様々なコーデックを利用した映像圧縮並びに様々なネットワーク及びプラットフォームを利用した映像送信を介して上述したＤＭ処理が実行される、本発明の例を示すブロック図である。 様々なコーデックを利用した映像圧縮並びに様々なネットワーク及びプラットフォームを利用した映像送信を介して上述したＤＭ処理が実行される、本発明の例を示すブロック図である。 様々なコーデックを利用した映像圧縮並びに様々なネットワーク及びプラットフォームを利用した映像送信を介して上述したＤＭ処理が実行される、本発明の例を示すブロック図である。 様々なコーデックを利用した映像圧縮並びに様々なネットワーク及びプラットフォームを利用した映像送信を介して上述したＤＭ処理が実行される、本発明の例を示すブロック図である。 様々なコーデックを利用した映像圧縮並びに様々なネットワーク及びプラットフォームを利用した映像送信を介して上述したＤＭ処理が実行される、本発明の例を示すブロック図である。 様々なコーデックを利用した映像圧縮並びに様々なネットワーク及びプラットフォームを利用した映像送信を介して上述したＤＭ処理が実行される、本発明の例を示すブロック図である。 様々なコーデックを利用した映像圧縮並びに様々なネットワーク及びプラットフォームを利用した映像送信を介して上述したＤＭ処理が実行される、本発明の例を示すブロック図である。 本発明のある実施形態に係る、様々なフィルタによって生成された複数の画像を示す図である。 本発明のある実施形態に係る、様々なフィルタによって生成された複数の画像を示す図である。 ファンデーション効果の実現を示す、入力画像、及び、本発明の処理技術によって生成された出力画像の写真である。 ファンデーション効果の実現を示す、入力画像、及び、本発明の処理技術によって生成された出力画像の写真である。 しわ減少効果の実現を示す、入力画像、及び、本発明の処理技術によって生成された出力画像の写真である。 しわ減少効果の実現を示す、入力画像、及び、本発明の処理技術によって生成された出力画像の写真である。 にきび隠し効果の実現を示す、入力画像、及び、本発明の処理技術によって生成された出力画像の写真である。 にきび隠し効果の実現を示す、入力画像、及び、本発明の処理技術によって生成された出力画像の写真である。 にきび隠し効果の実現を示す、入力画像、及び、本発明の処理技術によって生成された出力画像の写真である。 本発明のシステムの様々な構成によって生成された様々な出力画像を示す図である。 本発明のシステムの様々な構成によって生成された様々な出力画像を示す図である。 本発明のシステムの様々な構成によって生成された様々な出力画像を示す図である。 本発明のシステムの様々な構成によって生成された様々な出力画像を示す図である。 本発明のシステムの様々な構成によって生成された様々な出力画像を示す図である。 本発明のシステムの様々な構成によって生成された様々な出力画像を示す図である。 送信装置と受信装置との間の通信の様々なステージにおいて本発明の技術が適用される場合の当該技術の効果を示す図である。 送信装置と受信装置との間の通信の様々なステージにおいて本発明の技術が適用される場合の当該技術の効果を示す図である。 送信装置と受信装置との間の通信の様々なステージにおいて本発明の技術が適用される場合の当該技術の効果を示す図である。 送信装置と受信装置との間の通信の様々なステージにおいて本発明の技術が適用される場合の当該技術の効果を示す図である。 送信装置と受信装置との間の通信の様々なステージにおいて本発明の技術が適用される場合の当該技術の効果を示す図である。 送信装置と受信装置との間の通信の様々なステージにおいて本発明の技術が適用される場合の当該技術の効果を示す図である。 様々な方法で入力画像を修正する、本発明の技術の様々な適用を表す図である。 様々な方法で入力画像を修正する、本発明の技術の様々な適用を表す図である。 様々な方法で入力画像を修正する、本発明の技術の様々な適用を表す図である。 様々な方法で入力画像を修正する、本発明の技術の様々な適用を表す図である。 様々な方法で入力画像を修正する、本発明の技術の様々な適用を表す図である。 様々な方法で入力画像を修正する、本発明の技術の様々な適用を表す図である。 老化効果の実現を示す、入力画像、及び、本発明の処理技術によって生成された出力画像の写真である。 老化効果の実現を示す、入力画像、及び、本発明の処理技術によって生成された出力画像の写真である。 入力信号及び出力信号を表すグラフである。 入力信号及び出力信号を表すグラフである。 本発明の処理技術の実施形態を介して同一の入力画像を処理することによって生成された出力と、当技術分野で知られた処理技術を介した入力画像を様々に処理することによって生成された出力とを比較する図である。 本発明の処理技術の実施形態を介して同一の入力画像を処理することによって生成された出力と、当技術分野で知られた処理技術を介した入力画像を様々に処理することによって生成された出力とを比較する図である。 本発明の処理技術の実施形態を介して同一の入力画像を処理することによって生成された出力と、当技術分野で知られた処理技術を介した入力画像を様々に処理することによって生成された出力とを比較する図である。 本発明の処理技術の実施形態を介して同一の入力画像を処理することによって生成された出力と、当技術分野で知られた処理技術を介した入力画像を様々に処理することによって生成された出力とを比較する図である。 本発明の処理技術の実施形態を介して同一の入力画像を処理することによって生成された出力と、当技術分野で知られた処理技術を介した入力画像を様々に処理することによって生成された出力とを比較する図である。 本発明の処理技術の実施形態を介して同一の入力画像を処理することによって生成された出力と、当技術分野で知られた処理技術を介した入力画像を様々に処理することによって生成された出力とを比較する図である。 本発明の処理技術の実施形態を介して同一の入力画像を処理することによって生成された出力と、当技術分野で知られた処理技術を介した入力画像を様々に処理することによって生成された出力とを比較する図である。 現在の業界で共通の様々なプラットフォームに対して本発明の技術を実行することを示す写真である。 現在の業界で共通の様々なプラットフォームに対して本発明の技術を実行することを示す写真である。 現在の業界で共通の様々なプラットフォームに対して本発明の技術を実行することを示す写真である。 現在の業界で共通の様々なプラットフォームに対して本発明の技術を実行することを示す写真である。 現在の業界で共通の様々なプラットフォームに対して本発明の技術を実行することを示す写真である。 現在の業界で共通の様々なプラットフォームに対して本発明の技術を実行することを示す写真である。

本発明を説明する前に、以下で用いるいくつかの用語を定義する。

画像処理では、平滑化フィルタは、出力画像データを生成するために入力画像データに適用される処理／関数であり、出力画像データでは、隣接する画素の特性の差分が、入力画像データのものと比較して低減される。通常、平滑化フィルタを特徴付けるパラメータはフィルタの強度である。フィルタが強く（粗く）なるにつれて、隣接する画素の特性同士の間の差分は小さくなる。より弱い（より細かい）フィルタがより低い度合いで入力画像の画素を修正すると、出力画像の隣接する画素の特性同士の間の差分は入力画像データの差分により近づく。

適応平滑化フィルタは、隣接する画素の特性の差分によって動かされる最適化アルゴリズムに従って、例えば強度などのそのパラメータを自己調整する平滑化フィルタである。本発明では、画素の特性は、画素の１以上の光成分（例えば１以上の色）の強度によって概して表されてよい。例えば、適応平滑化フィルタは、２つの隣接する画素の強度同士の間の差分に従ってその強度を調整してもよい。

バンドパスフィルタは、所望の周波数帯以外の特性を有する信号を減衰するフィルタであり、所望の周波数帯内の特性を有する信号は実質的に変更されない。上述した米国特許第５，４４２，４６２号明細書及び米国特許第５，７９９，１１１号明細書では、異なる強度の平滑化フィルタ同士の間の差分がバンドパスフィルタであることが示されている。米国特許出願公開第２０１０／０１５８３３０号明細書で説明された別の公知の技術では、バンドパスフィルタは、同一の入力に適用される適応平滑化フィルタ同士の間の差分として、又は、入力に適用される適応第１平滑化フィルタと、第１平滑化フィルタの出力に適用される適応第２平滑化フィルタとの間の差分として、特定され得ることが示されている。本発明上、特性は色値又は輝度であってよい。

有限インパルス応答フィルタ（ＦＩＲ）は、出力を生成するために入力信号の１以上の特性を用いるフィルタである。無限インパルス応答フィルタ（ＩＩＲ）は、入力信号の１以上の特性と、同一のフィルタを通じた入力信号のフィルタリングの出力である信号の１以上の特性とを用いるフィルタである。

適応ＩＩＲフィルタは方向適応フィルタとして定義されてもよい。このことは、ある座標（ｒ、ｃ）を有する所定の画素を修正するために、画素の特性における差分が、所定の画素と先行してフィルタリングされた画素との間で計算されることを意味している。処理は、第１及び第２画素によって定義されるライン上にある次の画素に対して再び繰り返される。一方向適応フィルタ（ＯＤＡＦ）の例示を図１ａで見ることができる。例えば上から下への適応フィルタ（ＴＴＢＡＦ）１０２は、入力画素Ｉ（ｒ、ｃ）の特性と、入力画素の上方に隣接する画素における同一のフィルタの出力Ｏ（ｒ−１、ｃ）の特性との間の差分を用いる。同図において、下から上への適応フィルタ（ＢＴＴＡＦ）１００が図示されている。ＢＴＴＡＦは、入力画素Ｉ（ｒ、ｃ）の特性と、入力画素の下方に隣接する画素における同一のフィルタの出力Ｏ（ｒ＋１、ｃ）の特性との差分を用いる。

多方向適応フィルタ（ＭＤＡＦ）は、所定の画素の特性と、所定の画素に隣接する複数の画素の特性との間の差分を考慮することによって、入力画像の所定の画素を修正するフィルタである。多方向適応フィルタは、多くの異なる方法で実行されてよい。一例では、所定の画素の出力特性は、入力画素の特性と、周囲のフィルタリングされた画素の特性との間の差分の平均値に従って特定されてもよい。

図１ａに示される別の限定されない例では、ＩＩＲ ＭＤＡＦが図示される。所定の入力特性Ｉ（ｒ、ｃ）を有する画素（ｒ、ｃ）の出力特性を計算するため、Ｐ（ｒ、ｃ）として示される所定の画素の中間特性が、先行して処理された列からの３つのＯＤＡＦに重み付けすることによって計算される。

ＯＤＡＦ１（ｒ、ｃ）が符号１０６で示され、ＯＤＡＦ２（ｒ、ｃ）が符号１０８で示され、ＯＤＡＦ３（ｒ、ｃ）が符号１１０で示される。所定のＯＤＡＦは、所定の画素の入力特性と、先行してフィルタリングされた隣接する画素の特性との間の差分の関数（ｆｕｎｃｔｉｏｎ）である。

Ｏ（ｒ−１、ｃ−１）は、（ｒ−１、ｃ−１）に配置された先行してフィルタリングされた画素の特性である。Ｏ（ｒ−１、ｃ）は、（ｒ−１、ｃ）に配置された先行してフィルタリングされた画素の特性である。Ｏ（ｒ−１、ｃ＋１）は、（ｒ−１、ｃ＋１）に配置された先行してフィルタリングされた画素の特性である。従って、ＯＤＡＦ１は、差分［Ｉ（ｒ、ｃ）−Ｏ（ｒ−１、ｃ−１）］の関数である。任意選択的に、Ｏ（ｒ−１、ｃ−１）＝ＴＴＢＡＦ（ｒ−１、ｃ−１）、Ｏ（ｒ−１、ｃ）＝ＴＴＢＡＦ（ｒ−１、ｃ）、及び、Ｏ（ｒ−１、ｃ＋１）＝ＴＴＢＡＦ（ｒ−１、ｃ＋１）である。

中間特性Ｐ（ｒ、ｃ）は、前と同じ方法で横の画素（ｒ、ｃ−１）及び（ｒ、ｃ＋１）からさらにフィルタリングされる。（ｒ−１、ｃ−１）、（ｒ−１、ｃ）、（ｒ−１、ｃ＋１）、（ｒ、ｃ−１）及び（ｒ、ｃ＋１）における画素からのフィルタリングの平均方向は下向きであり、５つの方向からのフィルタリングの結果はＴＴＢＡＦであるとみなされ得る。

ＯＤＡＦ４（ｒ、ｃ）は符号１０４で示され、ＯＤＡＦ５（ｒ、ｃ）は符号１１２で示される。

任意選択的に、

である。

同じ予備のフィルタリングプロセスが、一方向フィルタ１１６、１１８及び１２０によって実行され、ＢＴＴＡＦ（ｒ、ｃ）を得るために横のフィルタ１１４、１２２を介してその結果がフィルタリングされる。

最終的に、ＴＴＢＡＦ及びＢＴＴＡＦに重み付けすることによって、多方向及び多次元の適応フィルタ（ＭＤＡＦ）の出力を得られる。

ＭＤＡＦを介してわずか１つの画素をフィルタリングすることが複数の演算を必要とすることが分かる。すなわち、各方向について、フィルタの強度が計算されることになり、画素の特性を計算するために、フィルタが所望の画素に適用されることになる。このプロセスは、従って、高い処理能力を必要とし、及び／又は、ゆっくり実行され得るので、特にリアルタイムのデジタルメイクアップが実行されるべき場合のデジタルメイクアップアプリケーションには望ましくない。

別の種類のＭＤＡＦは、図１ｂに示されるようなＦＩＲフィルタとして構築されたＭＤＡＦである。当技術分野では、この種のフィルタはいわゆる双方向フィルタと呼ばれている。この限定されない例では、各画素で対応のＭＤＡＦが、隣の画素の適応重み付け関数に依存し、それによって、画素（ｒ、ｃ）でのＭＤＡＦの出力ＯＰ（ｒ、ｃ）は、

によって得られる。

当技術分野では、「スマートブラー（ｓｍａｒｔ ｂｌｕｒ）」技術としても知られる技術に基づく別の公知のＦＩＲ双方向フィルタもある。この技術では、所定の画素の特性と隣の画素の特性との間の差分に閾値が設定され、それらのそれぞれの重み（例えばガウス重み）が、予め規定の閾値を超えるそれぞれの差分を有するそれらの隣の画素に対してのみ用いられる。ガウス重みが各画素に用いられるわけではないので、前記重みと同等のまとまりの合計を維持するために繰り込みが必要とされる。

ここで、図２ａ〜図２ｄを参照すると、入力画像データ内の顔の特徴を修正してデジタルメイクアップを実行するように構成されて動作可能な本発明の画像処理システム２００が示されている。システム２００では、（入力画像を表す）入力データを複数の出力信号に分解するために協働する複数のフィルタが用いられ、出力信号は、変換されて加算され、最終の出力データ（出力画像）をともに生成し、フィルタは、それらの強度が、画素ごとに画素で計算された入力画像の局所的特徴に依存するように構成されている。局所的特徴は、画素ごとに特定されてよく、又は、隣接する画素の異なるグループについて特定されてよい。後者の場合、画素のグループは、画像の所望の構造に応じて方向付けられた形状を形成してよい（例えば、エッジ又は輪郭に沿って方向付けられてよい）。画素のグループは、画像のルミネセンス及び／又はクロミナンスに応じて選択されてよい。局所的特徴は、高い解像度（同じ特徴が、少数の隣接する画素に共通である）、低い解像度（同じ特徴が、少数の隣接する画素に共通である）、又は、その間の中間の解像度を有してよい。

図２ａ〜図２ｄのシステム２００は、元の顔の画像（入力画像データ）を修正するために用いられる。本発明のある実施例における修正は概して、画像内の顔を改善することに関連する。しかしながら、システム２００は、下記実施例で示されるように、画像を劣化させるため、又は、他の方法（例えば、老化、フェイスペイントのシミュレーション、又は、漫画のような画像の作成）で画像を修正するために用いられてもよい。

図２ａに示すように、システム２００は概して、特に、データ入力及び出力ユーティリティ、メモリユーティリティ（特に図示せず）、並びに、データ処理及び解析ユーティリティ（ソフトウェア及び／又はハードウェア）などのユーティリティを含むコンピュータシステムである。ユーティリティは、ハイパスフィルタリングモジュール、少なくとも１つのバンドパスフィルタリングモジュール、ローパスフィルタリングモジュール、特徴計算モジュールｆ、強度計算モジュールＦＩ（ｘ）、少なくとも１つの変換モジュール、ここでは５つのそうしたモジュールが図示されるもののこれに限定されない例Ｔ１〜Ｔ５、及び、加算ユニットΣ５を含む。ハイパスフィルタリングモジュールは、元の画像の特性を示す入力信号Ｉ（ｘ）を受信して、画像内の顔の少なくともエッジ及び／又は輪郭を示すハイパス信号を出力するように構成されている。バンドパスフィルタリングモジュールは、入力信号（すなわち、１以上の中間フィルタによって入力信号をフィルタリングすることによって生じる入力信号Ｉ（ｘ）自体又はその任意の汎関数）を示すデータを受信して、低コントラストの徐々に変化する顔の質的な特徴を示すバンドパス信号を出力するように構成されている。ローパスフィルタリングモジュールは、入力信号（すなわち、１以上の中間フィルタによって入力信号をフィルタリングすることによって生じる入力信号Ｉ（ｘ）自体又はその任意の汎関数）を示すデータを受信して、低コントラスト領域が平滑化されて高コントラスト領域が保存されるローパス信号を出力する。特徴計算モジュールは、入力信号Ｉ（ｘ）を受信して、画像の複数の画素に対する画像の局所的特徴を計算するように構成されている。強度計算モジュールは、特徴計算モジュールから生じた局所的特徴を受信して、この局所的特徴を用いて局所的オペランドを決定して、複数の画素においてフィルタリングモジュールの強度を決定し、局所的オペランドをフィルタリングモジュールに送信するように構成されている。変換モジュールは、以下の信号、すなわち、ハイパス信号、少なくとも１つのバンドパス信号及びローパス信号の少なくとも１つの少なくとも一部を修正するように構成されている。加算モジュールは、ハイパス信号、少なくとも１つのバンドパス信号及びローパス信号の少なくともいずれかの少なくとも一部が少なくとも１つの変換モジュールによって修正された後に、ハイパス信号、少なくとも１つのバンドパス信号及びローパス信号を受信して、受信した信号を加算して合計し、修正画像の特性を示す出力信号（画像データ）を生成するように構成されている。

従って、システム２００は、処理されるべき入力信号Ｉ（ｘ）であって、人間の顔の少なくとも一部を含む画像を示す入力信号Ｉ（ｘ）を受信する。システムは、顔の画像を修正（改善）することを目的として入力画像データをフィルタリングするように動作する。入力信号Ｉ（ｘ）は、実際には、画素のマトリクスによって表される画像データの形態であり、従って、各画素における画像の特性を示す。上述したように、特性は明度又は色値であってよい。

最初に、入力信号は特徴計算モジュールｆによって解析され、特徴計算モジュールｆは、画像の各画素（行ｒ及び列ｃによって規定された位置を有する）に関して、画像の局所的特徴ｆ（ｒ、ｃ）を計算する。限定されない例では、局所的特徴は、画像の特性の勾配であってよく、又は、局所勾配の局所最大値であってよい。特性が明度である場合、明度の勾配は、コントラストがより高い領域でより大きい。局所的特徴ｆ（ｒ、ｃ）はその後、強度計算モジュールＦＩ（ｘ）に供給され、強度計算モジュールＦＩ（ｘ）は、フィルタリング演算のための局所的特徴と適応オペランド［ａ］とを用いて、各画素上の平滑化の強度を制御する局所的オペランドＦ（ｒ、ｃ）を計算する。概して、局所的オペランドＦ（ｒ、ｃ）は、高コントラストを有する領域が微細に平滑化される一方で、より低いコントラストを有する領域がより粗く平滑化されるようなものである。上述したように、コントラストがより高い画像の領域は輪郭及びエッジの領域であり、これらの領域は、顔の画像の活力及び鋭さに概して寄与する。

局所的オペランドＦ（ｒ、ｃ）は、ハイパスフィルタリングモジュール、１以上のバンドパスフィルタリングモジュール及びローパスフィルタリングモジュールに供給される。各フィルタリングモジュールでは、局所的オペランドＦ（ｒ、ｃ）は、それぞれのフィルタリングモジュールが入力画像に適用する、それらのフィルタの各々のパラメータを計算するために用いられる。フィルタリングモジュールは、入力信号をコンポーネント信号Ｓ１（ｘ）〜Ｓ５（ｘ）に分解する。図２ａの例では、Ｓ１（ｘ）はハイパス信号であり、Ｓ２（ｘ）、Ｓ３（ｘ）及びＳ４（ｘ）はバンドパス信号であり、Ｓ５（ｘ）はローパス信号である。信号Ｓ１（ｘ）は、画像の微細な細部を保持する信号であり、すなわち、信号Ｓ１（ｘ）は、高コントラスト領域が保持される一方で他の領域が減衰される画像を示す。各バンドパスフィルタリングモジュールの出力は、顔のある欠点が保持される一方で他の欠点が取り除かれる画像を示す信号である。最後に、Ｓ５（ｘ）は、低周波数に基づいた画像の信号を保持するものの、すべての細部が不鮮明にされるローパス（ペデスタル）信号である。

計算された信号成分Ｓ１（ｘ）、…、Ｓ５（ｘ）の少なくとも１つをそれぞれの変換モジュール（Ｔ１、…、Ｔ５）が受信する。各変換モジュールが、オフセット（バイアス）関数、利得（ストレッチ）関数及び／又は閾値関数を介してそれぞれのコンポーネント信号を修正してよい。任意選択的に、これらの関数は、既定の演算子によって提供される定利得関数である。代替的に、これらの関数は、信号成分に依存し、かつ、信号成分Ｓ１（ｘ）、…、Ｓ５（ｘ）のヒストグラム解析（平均、標準偏差、例えば末尾の異常値などの閾値レベル、線形及び非線形マッピングなど）を介して決定されてもよい。最終的に、変換されたコンポーネント信号は加算モジュールΣ５によって加算されて合計され、出力信号Ｏ（ｘ）を提供する。

本発明のある実施形態では、ハイパス信号Ｓ１（ｘ）に作用する変換モジュールＴ１は、他の信号に対して信号Ｓ１の重みを増加させる。このようにして、出力画像は、より高い活力によって特徴付けられる一方で、顔の欠点は弱められる。

図２ｂ〜図２ｄは、図２ａのフィルタリングモジュールが異なる構造を有するシステム２００の異なる例を示す。この図では、ハイパスフィルタリングモジュールが、平滑化フィルタリングユーティリティＦｉｌ１と、入力信号Ｉ（ｘ）から第１平滑化フィルタリングユーティティＦｉｌ１の出力を減算する減算器Σ１と、によって形成される。各バンドパスフィルタリングモジュールは、それぞれの平滑化フィルタリングユーティリティと、先行のフィルタリングモジュールを形成する先行の平滑化フィルタリングユーティリティの出力からそれぞれの平滑化フィルタリングユーティリティの出力を減算するそれぞれの減算器（Σ２、Σ３、Σ４）と、を含む。従って、例えば、図２ａのモジュール「バンドパス１」は、図２ｂ〜図２ｄのフィルタリングユーティリティＦｉｌ２を含む。図２ａの次のモジュール「バンドパス２」は図２ｂ〜図２ｄのフィルタリングユーティリティＦｉｌ３を含む。

最終的に、図２ａのローパスフィルタは、最後のバンドパスフィルタリングモジュールのフィルタリングユーティリティである図２ｂ〜図２ｄの最後のフィルタリングユーティリティに対応する。これらの図の限定されない例では、モジュール「ローパス」はフィルタリングユーティリティＦｉｌ４に対応する。

図２ｂでは、局所的オペランドＦ（ｒ、ｃ）が、フィルタリングユーティリティＦｉｌ１、Ｆｉｌ２、Ｆｉｌ３及びＦｉｌ４に供給される。各フィルタリングユーティリティは、対応の個々のグローバルパラメータ（ｋ１、ｋ２、ｋ３及びｋ４）に関連付けられ、各グローバルパラメータは、フィルタリングユーティリティの各々によって適用される平滑化フィルタ関数の強度を示し、かつ、局所的オペランドＦ（ｒ、ｃ）を修正して各画素での各平滑化フィルタの強度を決定する。言い換えれば、局所的オペランドＦ（ｒ、ｃ）のために、すべてのフィルタリングユーティリティが、低コントラスト領域により粗い平滑化フィルタを適用し、高コントラスト領域により微細な平滑化フィルタを適用する。しかしながら、各フィルタについて、局所的オペランドが、それぞれのグローバルパラメータ（ｋ１、ｋ２、ｋ３及びｋ４）によって異なる方法で個別に変更されるので、所定の画素における異なるフィルタの実際の強度は互いに異なる。

以下に示すように、グローバルパラメータは、各画素のオペランドＦ（ｒ、ｃ）に適用された時に、局所的オペランドＦ（ｒ、ｃ）に比べて、より低い複雑度を有する。従って、各画素について一旦計算された局所的オペランドを変化させるためにグローバルパラメータを用いることによって、各画素について各フィルタ用の局所的オペランドを計算するよりも少ない処理しか必要ではない。このようにして、各画素で複数のフィルタの強度を決定するための計算過程は速められる。

本発明のある実施形態では、信号Ｉ（ｘ）は、フィルタリングユーティリティの各々によって受信されてフィルタリングされる。本発明のある実施形態では、フィルタリングユーティリティは、それぞれのＭＤＡＦと、任意選択的に、分離して処理することが求められる演算のタイプ又は顔の画像効果に依存して、非適応有限インパルス応答（ＮＡＦＩＲ）フィルタ、及び／又は、適応有限インパルス応答（ＡＦＩＲ）フィルタ、及び／又は、ＩＩＲ ＭＤＡＦの様々な組み合わせと、を用いる。フィルタは同時に計算されるので、本発明の本実施形態は、すべてのフィルタリングユーティリティによって並列に処理することを可能にし、それによって、マルチプロセッサ又はマルチコアプロセッサにおいて最小の待ち時間でより効果的なリアルタイムの実行を可能にする。任意選択的に、ＭＤＡＦの少なくともいくつかはＩＩＲ ＭＤＡＦであり、各々での画素の特性の計算は、図１ａを参照して上述したように実行される。

別の限定されない例では、各フィルタリングユーティリティにおいて、各画素のＭＤＡＦは、その画素ですべてのそれぞれの方向に適用する局所的特徴に依存している。従って、複数の方向についてＭＤＡＦの各ＯＤＡＦのフィルタリング強度を計算する必要はない。代わりに、局所的特徴は、任意の所定の画素で特定のＭＤＡＦを形成するすべてのＯＤＡＦに対して単一の強度を決定する。

この場合、局所的特徴ｆ（ｒ、ｃ）は、前記画素（ｒ、ｃ）の付近におけるＮ画素のサイズの局所領域内で画像のこうした特性の局所最大値（例えば、画素（ｒ、ｃ）の強度と周囲の画素の各々の強度との間の絶対差における最大値）を識別することによって決定される。このようにして、局所的特徴ｆ（ｒ、ｃ）は、所定の画素のすべての方向について一度計算され、その後は、より少ない演算しか必要とせず、プロセッサへの集中を減少させ、従ってより速くなる。

本発明のある実施形態では、連続的なフィルタリングユーティリティが、徐々に平滑化する（より強くなる）フィルタを提供する。例えば、ｋ１＜ｋ２＜ｋ３＜ｋ４である。第１フィルタリングユーティリティＦｉｌ１の出力と入力信号Ｉ（ｘ）とを第１減算ユーティリティΣ１で受信し、第１減算ユーティリティΣ１は、入力信号Ｉ（ｘ）から第１フィルタリングユーティリティＦｉｌ１の出力を減算する。この減算は、コンポーネントＳ１（ｘ）＝Ｉ（ｘ）−ＭＤＡＦ１（ｘ）を生成する適応ハイパスフィルタを形成する。信号Ｓ１は、画像の微細な細部を保持する信号であり、すなわち、信号Ｓ１は、高コントラスト領域が保持される一方で他の領域が減衰される画像を示す。同様に、追加の適応バンドパス（表層）フィルタが、さらなる減算ユーティリティΣ２、Σ３及びΣ４によってもたらされる追加の減算器によって実現されてよい。例えば、減算ユーティリティΣ２は、フィルタリングユーティリティＦｉｌ１からＭＤＡＦ１（ｘ）を受信し、フィルタリングユーティリティＦｉｌ２からＭＤＡＦ２（ｘ）を受信して、コンポーネント信号Ｓ２（ｘ）＝ＭＤＡＦ１（ｘ）−ＭＤＡＦ２（ｘ）を生成する。最終的に、Ｓ５（ｘ）は、フィルタリングユーティリティＦｉｌ４のＭＤＡＦ４フィルタから出たローパス（ペデスタル）信号成分である。従って、各バンドパスフィルタの出力は、顔のある欠点が保持される一方で他が取り除かれる画像を示す信号である。任意選択的に、ユーティリティＦｉｌ１は、例えば、差分信号成分Ｓ１（ｘ）においてエッジ及び輪郭を高周波数画像の細部に保持することに有効な、ガウス平滑化フィルタなどの適応ＦＩＲ（ＮＡＦＩＲ）フィルタを適用する。

計算された信号成分Ｓ１（ｘ）、…、Ｓ５（ｘ）の１以上をそれぞれの変換モジュールＴ１、…、Ｔ５が受信する。変換モジュールは、オフセット（バイアス）関数、利得（ストレッチ）関数及び／又は閾値関数を介してそれぞれのコンポーネント信号を修正し得る。任意選択的に、これらの関数は、既定の演算子によって提供される定利得関数である。代替的に、これらの関数は、信号成分に依存しており、信号成分Ｓ１（ｘ）、…、Ｓ５（ｘ）信号のヒストグラム解析（平均、標準偏差、例えば末尾の異常値などの閾値レベル、線形及び非線形マッピングなど）によって決定されてよい。最終的に、変換されたコンポーネント信号は、加算モジュールΣ５によって加算されて合計され、出力信号Ｏ（ｘ）を提供する。

本発明のある実施形態では、ハイパス信号Ｓ１（ｘ）に作用する変換モジュールＴ１が他の信号に対する信号Ｓ１の重みを増加させる。このようにして出力画像は、より高い活力によって特徴付けられる一方で、顔の欠点が弱められる。

本発明の限定されない例では、ＭＤＡＦの各ＯＤＡＦに関して、出力信号ＯＤＡＦ（ｒ、ｃ）を以下のように表すことができる。

ｉ及びｊの指数は、画像内のＯＤＡＦの方向を示す一方で、α（ｒ、ｃ）は、特定のフィルタの強度を反映するとともに画素（ｒ、ｃ）の局所的な険しさ又はエッジの構造に依存するオペランドである。

上述したように、険しい画素変化の位置（高コントラスト領域）では、ＯＤＡＦはより小さな平滑化を試みる一方で、平滑な画像領域では、ＯＤＡＦはより大きな平滑化を試みる。

限定されない例では、適応オペランドα（ｘ）を以下のように表すことができる。

Ｆ（ｒ、ｃ）は、各画像の画素内で計算された特徴であり、ａ（強度計算ユニットＦＩ（ｘ）内への適応オペランド入力）は、ノイズレベル又は信号レベルを示す一定値であり、適応平滑化によってノイズを克服することを求めるものかどうか、又は、雑音、関係のある画像テクスチャなどを表す局所信号振幅変数成分を分離することを求めるかどうかに依存しており、Φ（Ｆ（ｒ、ｃ）、ｋ）はＦ（ｒ、ｃ）及びｋの関数であり、かつ、８画素の近傍に対して、

である。

この例では、ｆ（ｒ、ｃ）が、矩形を形成する９つの画素によって構成されるウインドウ内で計算される一方で、より大きく及び／又は異なって設計された局所ウインドウが用いられてもよい。ウインドウの限定されない例は、例えば垂直、水平、＋４５度、及び−４５度の向きなどの様々な方向に向けられたウインドウであり、勾配は、各向きについて別個に合計され、最大値を生成する向きは、エッジの特徴を最もよく推定する画素についてのｆ（ｒ、ｃ）について選択される。

計算されたｆ（ｒ、ｃ）値及びａ値は、指数関数Ｆ（ｒ、ｃ）＝ｅｘｐ（−ｆ（ｒ、ｃ）／ａ）を決定するのに用いられる。この関数は通常、計算的に大がかりであり、ルックアップテーブル（ＬＵＴ）上に任意選択的にロードされるすべての可能値−ｆ（ｒ、ｃ）／ａについて実行され得る。次に、図２ｂのフィルタの各々Ｆｉｌ１，Ｆｉｌ２、Ｆｉｌ３、Ｆｉｌ４について、それぞれのＦ１（ｒ、ｃ）、Ｆ２（ｒ、ｃ）、Ｆ３（ｒ、ｃ）、Ｆ４（ｒ、ｃ）（及び従って、それぞれのα１（ｒ、ｃ）、α２（ｒ、ｃ）、α３（ｒ、ｃ）、α４（ｒ、ｃ））値は、各画素及び各フィルタについての指数関数を再計算するよりもはるかに低い複雑度を必要とする好適な区分的線形変換を用いて決定される。あるα１（ｒ、ｃ）について、この変換は以下のように計算される（他のフィルタについても同様である）。

であり、ｋ値は０＜ｋ＜２である。

従って、ｋが１より小さい場合、適応フィルタは、入力される信号のエッジをより素早く追跡してそれらの平滑化を少なくする「より微細な」フィルタとして作用する。ｋが１より大きい場合、適応フィルタは、入ってくる信号のエッジをよりゆっくり追跡してそれらの平滑化を多くする「より粗い」フィルタとして機能する。従って、すべてのフィルタ及びすべての画素について、適応平滑化オペランドα１（ｒ、ｃ）、α２（ｒ、ｃ）、α３（ｒ、ｃ）、α４（ｒ、ｃ）が決定されてそれぞれのＯＤＡＦ及びそれぞれのＭＤＡＦの決定に用いられる。

本発明の別の実施形態では、ａｂｓ（ｆ（ｒ、ｃ））＜ａを有する画素において、α（ｒ、ｃ）は小さく、それによってより強力にフィルタリングし、ａｂｓ（ｆ（ｒ、ｃ））＞ａの場合に、α（ｒ、ｃ）はより大きくなり、それによってより弱くフィルタリングし、ｆ（ｒ、ｃ）値がａより小さい又はａより大きいかどうかに依存して、α（ｒ、ｃ）パラメータのより険しい適応を提供するように、局所的特徴Ｆ（ｒ、ｃ）が設計される。この特徴の例は以下のとおりであり、

ａ及びｆ（ｒ、ｃ）が上述のように提供され、ｍは、０〜ａの範囲内で前記関数の勾配因子である。顔画像の改善に関連したこの関数の利点は、微妙な顔の欠点をより強く平滑化する一方で、より強い細部の鮮明さをより効果的に保持することである。この実施形態のため、フィルタの各々は、増大したａ要因を受けて、それぞれのフィルタの平滑化移行範囲を、先行のものよりもより高い値ｆ（ｒ、ｃ）にシフトさせて、従って、それぞれのフィルタにより強く平滑化させる。

別の限定されない例では、公知の勾配演算子及びエッジ検出フィルタ（例えば、エッジ検出においてしばしば用いられるソーベル（Ｓｏｂｅｌ）フィルタ）が、それらの「エッジ（ｅｄｇｉｎｅｓｓ）」に関して画素を記録するために用いられてよく、この測定を用いてα（ｘ）を制御する。画像セグメンテーション法が、局所的な画像領域を区切るために用いられてよく、それによって、そうした隣接した領域同士の間の移行画素を決定して、それらの平滑化を防止する。

ここで図２ｃを参照すると、本発明のシステム２００の別の例が図示されており、フィルタリングユニットが連続している。図２ｃのシステムでは、フィルタリングモジュールが連続して配列されている。従って、最後のフィルタリングモジュールを除いて、任意のフィルタリングモジュールの出力が、次に続くフィルタリングモジュールによってフィルタリングされる。バンドパスフィルタ及びローパスフィルタが、先行するフィルタの出力に、後続のフィルタを適用して、その後、それらを区別する。図２ｂの例と同様に、適応ハイパスコンポーネント信号は、Ｓ１（ｘ）＝Ｉ（ｘ）−ＭＤＡＦ１（ｘ）である。適応バンドパス（表層）コンポーネント信号は図２ｂのものとは異なる。例えば、

である。フィルタリングユニットＦｉｌ４から出るローパス（ベース）コンポーネント信号は、

である。

図２ｃに例示される構造は、すべてのＭＤＡＦフィルタのパイプライン処理を可能にし、マルチプロセッサ又はマルチコアプロセッサによって有効なリアルタイムの実行を可能にする。しかしながら、この構造はいくらかの待ち時間に悩まされ得る。にも関わらず、図２ｃの実施形態の利点は、ｋ値が、要求及び応用に応じて選択されてよいこと、及び、増大した値で順序付けられる必要がないこと、にある。

ここで図２ｄを参照すると、本発明のシステム２００の別の例が示されており、フィルタリングモジュールの各フィルタはそれぞれの局所的特徴に依存している。局所的特徴（Ｆ１（ｒ、ｃ）、Ｆ２（ｒ、ｃ）、Ｆ３（ｒ、ｃ）、Ｆ４（ｒ、ｃ））は、それぞれの差分のある信号成分Ｓ１（ｘ）、Ｓ２（ｘ）、Ｓ３（ｘ）及びＳ４（ｘ）を用いて減算されるべき所望の信号特性に応じて、各フィルタについて個別に計算される。この場合、Ｆ（ｒ、ｃ）関数とファクタリング関数Φ（Ｆ（ｒ、ｃ）、ｋ）との両方が、Ｓ（ｘ）信号成分ごとに調整されて、フィルタリングユーティリティＦｉｌ１〜Ｆｉｌ４の外側で計算される。

図２ｂ、図２ｃ及び図２ｄの例では４つのフィルタリングユーティリティがある一方で、本発明の範囲はこの例に限定されず、任意の他の数のフィルタリングユーティリティが用いられてよく、概して２以上のフィルタリングユーティリティが用いられてよい、さらに、上記例のフィルタリングユーティリティは、受信した信号に少なくとも１つのＭＤＡＦを適用した。こうであるとは限らない。実際には、ある実施形態において、フィルタリングユーティリティによって実行されるフィルタは、演算のタイプに応じて、又は、区別して処理するために所望の画像効果に応じて、ＭＤＡＦ及び／又はＭＤＡＩＩＲ及び／又はＮＡＦＩＲ、ＡＦＩＲなどを含んでよい。例えばフィルタリングユーティリティＦｉｌ１によって適用されたフィルタＭＤＡＦ１は、Ｓ１（ｘ）信号が線形ハイパスコンポーネント信号であるように、例えばガウスフィルタ又はボックスフィルタなどの線形フィルタと置換されてもよい。

上述したように、システム２００の構成要素（モジュール／ユーティリティ）は、プロセッサ上でそれぞれのアルゴリズムを実行するデータ処理及び解析ユーティリティのハードウェア要素及び／又はソフトウェア要素として実装されてよい。

図２ｂに関して、出力Ｏ（ｘ）は、

で示される。

図２ｃ及び図２ｄに関して、Ｏ（ｘ）は、

で示される。

どちらの場合も、すべてのＴ変換がユニティ（ｕｎｉｔｙ）（すなわちトランスパレント）である場合、その結果はＯ（ｘ）＝Ｉ（ｘ）である。従って、入力画像を修正するためにコンポーネント信号の少なくとも１つの変換が必要である。

システム２００の演算をより良く理解するため、入力信号が本発明のシステム２００の様々なモジュール／ユーティリティによって処理されるような例を図示する図３ａ〜図３ｆ、図４ａ〜図４ｃ及び図５ａ〜図５ｃを参照する。これらの図の例では、２つの平滑化フィルタリングユーティリティを有するシステム２００が考慮される。

図３ａは、画像の軸（ｘ）に沿った位置の関数として入力画像Ｉの強度（ｉ）の、顔画像信号プロファイルの例を示している。入力画像では、点ｘ１と点ｘ２との間の領域Ａは、一般的にカメラノイズ及び／又は変化する背景のテクスチャによって影響を受けるほぼ平坦な領域である。点ｘ２と点ｘ３との間の領域Ｂは、背景と、隣接する背景画素と顔の肌の画素との間の相対的に高コントラスト（隣接する画素同士の間の輝度の差）を有する顔の肌領域との間の移行領域である。画像化において一般的に、こうした移行領域は概して、画像化された物体のエッジ又は輪郭に対応する。点ｘ３と点ｘ４との間の領域Ｃは、カメラノイズと、急激に変化する（高周波数の）肌のテクスチャ（例えばしわ）との重畳に概して影響を受ける相対的に平坦な肌領域である。点ｘ４と点ｘ５との間の領域Ｄは、カメラノイズと、徐々に変化する（中帯域の周波数の）肌のテクスチャ（例えば陰影のある肌のしわ、たるんだ肌）との重畳に概して影響を受ける肌領域である。点ｘ５と点ｘ６との間の領域Ｅは、カメラノイズと、はっきりした肌のテクスチャ（例えば傷、にきび、病斑）との重畳に概して影響を受ける肌領域である。点ｘ６と点ｘ７との間の領域Ｆも同様に、カメラノイズと肌のテクスチャ（例えば毛穴）との重畳に概して影響を受ける相対的に平坦な肌領域である。

図３ｂは、例えばＮＡＦＩＲ（又は適応ＦＩＲ（ＡＦＩＲ）フィルタ）などの微細な平滑化フィルタを入力Ｉに適用した後に出力される画像のｘ軸に沿った、「強度対位置」のプロットを示している。微細な平滑化ＮＡＦＩＲフィルタは、例えばガウスの重みフィルタ（標準偏差の半径の範囲、０．５〜２画素まで）であってよい。ＮＡＦＩＲフィルタの出力Ｉ１は、図３ｃに示されるような減算の演算Ｉ−Ｉ１＝（Ｉ−ＮＡＦＩＲ（Ｉ））を実行する場合、エッジ／輪郭の移行及び高周波ノイズ及びしわのテクスチャが保存されるように設計される。

図３ｄは、より粗い多方向適応ＩＩＲ（ＭＤＡＩＩＲ）平滑化フィルタを、ＮＡＦＩＲでフィルタリングされた出力（上述したように、図２ｃ及び図２ｄを参照）に適用した後に出力された画像のｘ軸に沿った、「強度対位置」のプロットを示している。ＭＤＡＩＩＲフィルタの出力Ｉ２は、図３ｅに示されるような減算の演算Ｉ１−Ｉ２＝（ＦＩＲ（Ｉ）−ＭＤＡＩＩＲ（ＦＩＲ（Ｉ）））を実行する場合、低コントラストで徐々に変化する肌のテクスチャ（例えば陰影のある肌のしわ、たるんだ肌、傷、にきび、病斑）が減算される一方で高コントラストが減衰されるように設計される。

上記複合（例えばフィルタリングされた結合ＦＩＲ及びＩＩＲ）画像表現の一般的な数学的表記は、以下のとおり、

であり、Ｏは出力信号であり、Ｔ３、Ｔ２及びＴ１は、ローパス（ペデスタル）信号成分［Ｉ２］と信号差分成分［Ｉ１−Ｉ２］及び［Ｉ−Ｉ１］とにそれぞれ適用された利得又はルックアップテーブル（ＬＵＴ）の変換である。

コンポーネント信号に適切な変換を適用することによって、出力信号をユーザの要求に従って調節することが可能である。図３ｆでは、出力信号Ｏ（出力画像を示す）が示されており、入力信号Ｉと比較される。変換されたコンポーネント信号の加算によって、ノイズが領域Ａ及びＦで取り除かれた出力信号が生成され、領域Ｃ〜Ｅで顔の欠点が取り除かれる一方で、高コントラストの領域Ｂ（場合によっては、顔の輪郭又はエッジを示す若しくは顔の特徴を示す）が保持され、かつ、さらに強められることが分かる。

図４ａ〜図４ｃは、図３ｃ〜図３ｅに示されるローパスコンポーネント信号Ｉ２、バンドパスコンポーネント信号［Ｉ１−Ｉ２］及びハイパスコンポーネント信号［Ｉ−Ｉ１］にそれぞれ適用される変換Ｔ３、Ｔ２及びＴ１の挙動を示す曲線である。曲線の傾きが４５度より小さい場合には、変換によってそれぞれの信号が減衰される（振幅が低減される）。曲線の傾きが４５度より大きい場合には、変換によってそれぞれの信号の振幅が増大させられる。

図４ａは、ローパスペデスタル信号Ｉ２に適用された変換Ｔ３を示しており、出力画像のダイナミックレンジを制御する働きをし、それによってそうした強度マッピングがそれぞれのオフセット及びストレッチを提供する。Ｔ３は通常、信号振幅が第１閾値未満であって第２閾値を超える信号Ｉ２の一部を減衰する一方で、２つの閾値の間の範囲にある信号の振幅を増大させる。従って、変換Ｔ３は、コントラストがより高い領域Ｂの表示された振幅の制御をする一方で、極めて低い及び高い値の信号（ほぼゼロ／カットオフ及びほぼ飽和）を減衰させる。このようにして、画像の活力／鋭さが保持される一方で、画像の細部情報の欠落及び望ましくない画像表示効果を生じるさらなるカットオフ及び飽和に異常値信号が向かうことを防止する。こうしたマッピングは、Ｉ２の値のヒストグラムの関数として設計されてよい。

図４ｂは、低コントラストで徐々に変化する肌のテクスチャ（例えば陰影のある肌のしわ、たるんだ肌、染み、にきび、病斑）を含む差分コンポーネント信号［Ｉ１−Ｉ２］に適用される変換Ｔ２の例を示している。例ａでは、プロットが直線で傾きが４５度未満であるので、マッピング関数は定数によってすべての振幅を低減する。例ｂでは、コンポーネント信号［Ｉ１−Ｉ２］の振幅はともに減少させられて反転させられ、それによってさらに顕著な肌のテクスチャの欠点を減少させる。

図４ｃは、エッジ／輪郭の移行と高周波数ノイズとしわのテクスチャデータとを含む差分信号成分［Ｉ−Ｉ１］に適用される変換Ｔ１を示している。ノイズ及び微細なしわデータを低減する一方でエッジ及び輪郭の高振幅を保持してさらに増幅するのに非線形マッピングが用いられることが好ましい。

追加の肌の効果が減算されてさらに処理される必要がある場合、第１フィルタリングユーティリティの出力に追加の平滑化フィルタ及びそれぞれの差分の演算が適用されてもよい。例えば、別の平滑化フィルタを追加する場合、記数法は以下のとおりである。

図５ａ〜図５ｃは、特徴Ｆ（ｒ、ｃ）の関数としてそれぞれ受信した信号上でシステム２００の平滑化フィルタリングユーティリティによって適用されるフィルタの非限定的な例を示すプロットである。

図５ａでは、α１は上述の式２９〜３２によって計算される。α１（ｒ、ｃ）は、ａ＝３０及びｋの３つの値、すなわち、ｋ＝０．４、１及び１．６である場合に（ｆ（ｒ、ｃ）／ａ）対して示される。ｆ（ｒ、ｃ）が同じ値の場合、α１（ｒ、ｃ）の値が減少するにつれてｋは増大する。従って、ｆ（ｒ、ｃ）の関数としてのそれぞれのフィルタαの特性は、急になると、低い値のｋに対してより高い値（より微細なフィルタリング、険しい移行の輪郭に対してより感度が高い）を概してとり、かつ、緩やかになると、高い値のｋに対してより低い値（より粗いフィルタリング、隣接する領域間で険しくないより平滑なわずかな移行）を概してとる。

図５ｂでは、α２が上述の式３７及び３８によって計算される。α２（ｒ、ｃ）は、ｍ＝４及びａ＝３０、５０、７０の値の場合に（ｆ（ｒ、ｃ）／ａ）に対して示される。α２（ｒ、ｃ）の実施形態では、フィルタのそれぞれのフィルタリング強度はそれぞれの値ａ１、…、ａ４の関数である一方で、α１（ｒ、ｃ）の実施形態では、フィルタのそれぞれのフィルタリング強度は、それぞれの値ｋ１、…、ｋ４の関数であり、前記ｋの区分的変換に関連した画素ごとでフィルタごとの追加の計算を必要とすることに留意されたい。

α１（ｒ、ｃ）と比較されたα２（ｒ、ｃ）のさらなる利点が図５ｃに示されている。α２（ｒ、ｃ）が、（高いコントラスト値に対応する）高い値のｆ（ｒ、ｃ）でα１（ｒ、ｃ）より高いので、エッジ及び輪郭の移行位置における細部を保持することが分かる。その一方で、α２（ｒ、ｃ）は、（より平滑でより低いコントラスト、かつ、コントラストのさらにわずかな値に対応する）低い値のｆ（ｒ、ｃ）でα１（ｒ、ｃ）より低いので、そうした領域をより強く平滑化する。

ここで図６ａ〜図６ｄを参照すると、ブロック図が、本発明の別の実施形態に係る、人間の顔の画像を処理するシステム３００のいくつかの例を示している。システム３００では、入力画像が、２つの異なる経路に沿って処理され、２つの処理経路の出力が結合されて出力画像が生成される。第１経路は概して線形フィルタを含む一方で、第２経路は上述のシステム２００を含む。

図６ａでは、入力画像を示す信号Ｉ（ｘ）が間引きユニット３０２で受信され、間引きユニット３０２は、画像のサイズを縮小して、及び従って、信号Ｉ（ｘ）に包含されるデータの一部を除去し、間引き画像を示す間引き信号ＩＤ（ｘ）を出力する。間引き信号はその後、２つの異なるスレッド／ルートで処理される。

第１スレッドでは、間引き画像を補間によって入力画像の元のサイズに増大させるために補間ユニット３０４が用いられる。従って、補間ユニット３０４によって出力された信号ＤＩ（ｘ）は、入力画像のサイズを有する補間画像を示す。補間画像では、消失したデータが予め配置される画素の特性（色値又は明度）が周囲の画素の特性に従って補間される。従って、入力画像の間引き及び補間は、平滑化された画像を生じさせる。補間信号ＤＩ（ｘ）及び入力信号Ｉ（ｘ）は、ＤＩ（ｘ）がＩ（ｘ）から減算されて差分信号Ｓｄ（ｘ）を生成する減算モジュールΣ０によって受信される。任意選択的に、差分信号は変換モジュールＴ０を通過し、変換モジュールＴ０は、差分信号に変換を適用し（上述の変換モジュールと同様）、変換された差分信号ＳｄＴ（ｘ）として出力する。

第２スレッドでは、図２ａ〜図２ｄのいずれかを参照して上述したシステム２００によって、間引き信号ＩＤ（ｘ）が処理され、信号Ｏ（ｘ）に対応する信号ＩＤＥ（ｘ）を生成する。信号ＩＤＥ（ｘ）はその後、第２補間モジュール３０６によって補間され、入力画像と同じサイズを有する画像を示す補間信号Ｒｔ２（ｘ）を生成する。任意選択的に、加算モジュールΣ６によって、第１スレッドからの信号Ｓｄｔ（ｘ）が、第２スレッドからの信号Ｒｔ２（ｘ）と合計されて、出力画像に変換されることが可能な出力信号Ｏ２（ｘ）を生じさせる。代替的に、信号Ｓｄｔ（ｘ）は、例えばＭＤＡＩＩＲなどのフィルタリングユーティリティＦｉｌ１０によってさらに処理されて、それによって、細部信号成分の残留ノイズを低減し、信号Ｒｔ１（ｘ）が生成される。後者の場合、信号Ｒｔ１（ｘ）は、加算モジュールΣ６によって信号Ｒｔ２（ｘ）と合計され、出力信号Ｏ２（ｘ）を生じさせる。

間引きモジュール３０２並びに補間モジュール３０４及び３０６による間引き（ダウンサンプリング）及び補間（アップサンプリング）が双線形のもの又はより高次のものであってよい。

システム３００では、第１スレッドは、顔の細部（輪郭、エッジ）を概して示す一方で画像の残りの部分を減衰させる信号ＳｄＴ（ｘ）（又はＲｔ１（ｘ））を生成する。このことは、（信号ＳｄＴ（ｘ）及びＲｔ１（ｘ）が導き出される）信号Ｓｄ（ｘ）が、入力画像を示すデータと平滑化された画像を示すデータとの間の差分であり、従って、ハイパス信号になるからである。従って、第１スレッドはハイパスフィルタである。第２スレッドでは、レタッチされるべき顔の情報が処理される。従って、システム３００では、細部情報は、レタッチされるべき顔の情報とは異なって処理され、及び従って、出力信号は、そうでなければ第２スレッドのレタッチング処理で消失し得る鋭さを保持する。

システム３００は、（ａ）システム２００の集約的な処理がより小さな画像に適用される、及び（ｂ）画像のサイズ変更の演算（例えばデシメータ及び補間器）が、リアルタイムで加速された（例えば専用ハードウェア）構造における新型プロセッサ（例えばマルチコアデジタル信号プロセッサ（ＤＳＰ））で実行され、それによって、前記プロセッサのソフトウェアベースのＤＳＰコアによって複雑な演算を処理することができるので、処理を速めることができる。同時に、画像の細部は、第１スレッドに沿った処理のおかげで依然として維持される（及び、変換モジュールＴ０を介してさらに強調され得る）。

画像細部を包含する信号成分Ｓｄ（ｘ）は第１スレッドにおいて間引き及び補間をせずに、図６ｂに設けられたような単純なハイパスＮＡＦＩＲフィルタモジュール３１０を用いた別の実施形態において有効に抽出されてもよい。本発明のさらに別の実施形態が図６ｃで実施され、この実施形態では、（ａ）第１スレッドで差分の演算によってハイパス細部フィルタを生成するとともに、（ｂ）第２スレッドで追加のサブサンプリングユニット３１４によって間引き演算を実現するために、単純なローパスＮＡＦＩＲフィルタモジュール３１２が用いられる。

ここで図６ｄを参照すると、ブロック図は、入力画像が２つの間引きを経るシステム３００の構造及び演算のさらに別の実施例を示している。図６ｄのシステム３００は、図６ａの実施例のものと同様に構成される。実際には、図６ｄの第１スレッドは図６ａの第１スレッドと同様であり、画像信号が因子Ｍによって間引かれた後に同一の因子Ｍによって補間される。しかしながら、図６ｄの実施例のシステムの第２スレッドは、因子Ｎによって信号ＩＤ（ｘ）をさらに間引いて、間引かれた信号ＩＤＤ（ｘ）を生成する追加の間引きモジュール３０８を含む。信号ＩＤＤ（ｘ）は、信号ＩＤＤＥ（ｘ）を生成するために上述のシステム２００を含むスレッド／経路によって処理され、因子ＭｘＮによって信号ＩＤＤＥを補間して、ＳｄＴ（ｘ）又はＲｔ１（ｘ）と合計されてＯ２（ｘ）を生成するべき信号Ｒｔ２（ｘ）を生成するために第２補間モジュール３０６によって処理される。

図６ｄの実施例の利点は、間引き因子Ｍ及びＮが特定の用途又は状況に従って決定されてよいことである。Ｍ因子は、保存されてさらに第１ルートで処理される細部（例えばエッジ及び輪郭）情報を決定する。保存されるべき顔画像の細部及び鋭さは通常、より高いコントラスト及び急激な移行（例えば狭い移行領域）によって特徴付けられる。これは、通常は１．１＜Ｍ＜２の範囲の小さな間引き／補間（ＤＥＣＩＮＴ）因子Ｍによって抽出される、又は代替的に、通常は０．５＜ＧＲ＜１の範囲のガウス半径（ＧＲ）を有するＮＡＦＩＲガウスフィルタに基づいて小さなハイパスフィルタによって抽出される。本発明者らによって見出されたように、隠されて除去されるべき顔の肌の欠点は通常、よく見える肌領域と、様々な欠点によって影響を受ける肌領域との間のより低いコントラスト及びよりゆっくりな移行によって特徴付けられる。従って、欠点の信号の重要な部分は、第２スレッド／ルートによって効果的に処理され、第１スレッドでは保持されない。

第１スレッドで顔画像の鋭さ及び細部が保持されるので、第２スレッドの処理強度は、特定の対象、照明条件などの実際の顔の欠点の関数としての画像の鋭さの潜在的な消失の低減によって増大させられ得る。間引き因子Ｎは通常２＜Ｎ＜４の間で変動する。さらに、間引き因子Ｎは、所定のアプリケーション及びプロセッサで利用可能な処理リソースによって決定されてよい。そうした処理リソースが低い場合、因子Ｎは、処理がリアルタイムに実行されるポイントまで増大させられてよい。この特徴は、前記サイズ変更（間引き及び補間）の演算のためのそうしたハードウェア／ソフトウェアの加速ソルーションを提供する処理プラットフォームにおいて特に有益である。

第１ルートの間引き及び補間因子（又はハイパスＮＡＦＩＲ代替手段）の選択に影響し得る別の検討は、ディスプレイの解像度と比較した場合の入力画像の解像度である。映像伝送のアプリケーション（例えばビデオ電話、ビデオ会議）においてはしばしば、帯域幅の制限が、伝送され得る圧縮画像データの量を制限し、その場合に、圧縮コーデックが、映像フレーム率を低減させる前に伝送画像の解像度を劇的に減少させ得る。ビデオ電話のアプリケーションにおいて通常使用される３つの画像フォーマットは、６４０×４８０画素、３２０×２４０画素及び１６０×１２０画素を含む。例えば受信側のディスプレイの解像度が１２８０×９６０であると仮定すると、通常は受信された画像は、表示された対象及び表示された情景のサイズがビデオ電話のアプリケーションにおいて、動的に選択された伝送画像の解像度に関わらず一定であるように、ディスプレイスクリーンに適合するように動的にサイズ変更される。

表示のために（例えば補間を介して）画像が拡大されるような場合には、それぞれの画像の画素が拡大され、エイリアシング（様々な信号が区別がつかないようになる効果）が観察され得る。第１ルート（細部）及び第２ルート（隠し）の処理を用いる図６ａ〜図６ｄの実施形態では、表示のために拡大された場合の第１ルートからの保持された細部の信号成分が、エッジ及び輪郭の近辺におけるそうしたエイリアシング効果を強調し得る。この効果は、表示の拡大が増えるにつれて増幅され得る。従って、例えば、伝送画像のサイズが６４０×４８０画素であってディスプレイのサイズが１２８０×９６０画素である場合、拡大因子は小さく（２×２）、かつ、処理は、例えば４（図６ａ参照）などの大きな間引き及び補間因子を用い得る。このことは、フィルタリングシステムの処理リソースを軽減する。伝送画像のサイズが３２０×２４０画素まで低減されると、拡大因子は増大し（４×４）、かつ、処理は、例えば２の因子（図６ａ参照）などの小さな間引き及び補間因子を用いなければならず、それによって、ディスプレイのエイリアシングの過度の強調を回避して、より小さな画像サイズによってフィルタリングシステムに求められる低減された処理リソースを構築する。伝送画像のサイズがさらに１６０×１２０まで縮小されると、拡大因子は増大し（８×８）、処理はサイズ変更を一切用いてはならず、それによって、ディスプレイのエイリアシングの過度の強調を回避して、さらに縮小された画像サイズによってフィルタリングシステムに求められるさらに低減された処理リソースを構築する。従って、本発明のある実施形態では、伝送画像のサイズ、表示サイズ及び計算リソースの関数として間引き及び補間因子を制御する論理／制御ユーティリティが提供される。論理ユーティリティは、間引きモジュールの一部又は補間モジュールの一部であってよく、又は、論理ユーティリティソフトウェアは、間引きモジュールと補間モジュールとの間で分配されてよい。

因子Ｍ及びＮ（図６ｄ参照）を用いて２つの段階で間引きが実行される実施形態は、高解像度の画像の状況において特に有用であり、それによって、第１ルートの間引き及び補間因子Ｍは、十分な画像細部が保存される一方で十分な顔の肌の効果が第２ルートでのさらなる処理及び隠しのために保持されるように選択される。画像細部の残りの部分は相対的に小さなＮＡＦＩＲフィルタを必要とするので、第１ルートの因子Ｍは、実質的に低くなるように選択され得る。その一方で、第２ルートはより複雑な処理を含む。従って、第２ルートの因子Ｎは、利用可能な処理リソースに従って選択される。このようにして、第１ルートの処理は、各ルートが、表示された顔画像の様々な態様に影響するように（すなわち、第１ルートが細部に影響する一方で第２ルートは肌の効果に影響するように）、第２ルートの処理とは別個に最適化される。本実施形態は、図６ｃのように、２つのＮＡＦＩＲローパスフィルタとサブサンプリング関数とによっても実行されることが可能あり、それによって、小さなＮＡＦＩＲが第１ルートに用いられ、追加のより大きなＮＡＦＩＲが、第２ルートの前記サブサンプリング関数の前又は後に用いられる。従って、ある例では、システムは、伝送画像のサイズ、ディスプレイのサイズ及び計算リソースの関数として間引き及び補間因子を制御するために上で提供されるような論理ユーティリティを含む。

上記画像処理システムは、例えばＲＧＢ、ＹＣｂＣｒ、Ｌａｂなどの様々な色表現で動作してもよいことに留意すべきである。従って、本発明の技術は、ＲＧＢ色表現でカラー映像をキャプチャして表示する画像システム、及び、変化する色解像度（例えば４：２：２、４：２：０）を有するＹＣｂＣｒでカラー映像をキャプチャして表示する他の画像システムに適用されることが可能である。

ＤＭとの関連において、本発明のシステム（例えば上記図面で提供されたシステム２００及び３００）の動作は、メイクアップアーティストの仕事のやり方を再現するように設計される。概して、メイクアップ処理は、５つの主要なステップ、すなわち、ファンデーション、コンシーラ、ライナー、チーク及びパウダーを含む。

ＤＭでは、ファンデーションは、顔全体に透明なファンデーション物質を塗ることによって肌のきめを整えて、それによって、すべてのその後のステップが適用されるキャンバス、すなわち、平らで一様で白っぽい顔全体領域の表面を作り出すステップを含む。このことは、平らな白いキャンバスから芸術作品を起こす画家にいくらか似ている。図２ａ〜図２ｄのいずれかのコンポーネント信号Ｓ５（ｘ）は、その平均色値をほぼ保持する平滑で相対的に一様な表面の画像を示すので、コンポーネント信号Ｓ５（ｘ）はＤＭのファンデーションステップに置き換わる。

ＤＭでは、コンシーラは、例えば吹き出物、にくび、炎症、赤みを帯びた又は褪色のある領域、毛穴、母斑、傷、そばかす、しわ（ｗｒｉｎｋｌｅ）、しわ（ｃｒｅａｓｅｓ）、クモ状静脈瘤、目の下のくま、唇の周りの緑青領域などの局所的な肌の欠点及びでこぼこをカバーする、肌の色に一致したコンシーリング物質を局所的に塗ることを含む。これらのでこぼこの各々は、隣接する整った肌の領域と隠し効果を最も良好に融合する方向にコンシーラを広げるなどの様々なカバーリングアクションを必要とし得る。例えば、目の下のくまは通常、全体の領域にコンシーラを塗布した後に横や下の複数の方向（ただし、目に向かって上方ではなく）に材料を広げた後で、均一になって所望の融合を実現するまで反対方向にコンシーラを広げることによって、隠される。画像の様々な領域には様々なコンシーラが塗られるので、図２ｂ、図２ｃ、図２ｄにおける信号成分Ｓ２（ｘ）、…、Ｓ４（ｘ）の変換は、画像の異なる領域に異なるコンシーラが塗られ得るので、ＤＭのコンシーラ要素の用途に置き換わる。

ＤＭでは、ライナーは、唇や目などの顔の特徴の輪郭及びエッジを際立たせて顔の活力を増大させるステップを含む。ライナーは、顔のエッジや輪郭を求めてそれらをさらに強める。本発明によれば、そうしたエッジ及び輪郭は、保持されて、図２ｂ、図２ｃ、図２ｄ及び図６ａ〜図６ｄの第１ルートにおける信号成分Ｓ１（ｘ）によってさらに際立たせられる。

ＤＭでは、チークは、局所領域上又は顔全体上のいずれかである顔に、若しくは、画像全体に、色及び活力を付与するステップを含む。局所的にチークを付与することは、わずかに色が変化する画像領域を検出してそれらを強めることによって、及び／又は、色画像成分に適用されるグローバルな非線形色ヒストグラム変換演算を実行して、それによって、顔の領域の大部分に作用する画像の色の彩度を高めることによって、実現される。例えば、図２ｂ、図２ｃ、図２ｄの実施形態では、ＭＤＡＦを実行する３つのフィルタリングユーティリティによって、Ｓ２（ｘ）及び／又はＳ３（ｘ）のコンポーネント信号が、入力画像のそれぞれの色の差分（例えば、ＹＣｂＣｒ色空間におけるそれぞれの青の差分及び赤の差分であるＣｂ及びＣｒ）を表し得る。変換モジュールＴ２及び／又はＴ３は、出力画像において実現されるべき所望の効果に従ってそれぞれの信号における特定の色成分を増幅する。変換は、Ｓ２（ｘ）及び／又はＳ３（ｘ）の画像成分の輝度（Ｙ）及びクロミナンスに依存し得る。例えば、フィルタリングユーティリティは、輝度を減少させてクロミナンスを増大させるように動作してよく、それによって、入力された顔画像に色を付与する。

ＤＭでは、パウダーの塗布ステップは、顔全体上に、又は、しばしば照明の条件や角度次第で輝きを向上させる顔や頭の特定の領域上に、艶のないパウダーを付与するステップを含む。図２ａ〜図２ｄの実施形態は、モジュールＴ３による変換を受けることによって、輝度成分（例えばＹＣｂＣｒ色空間のＹ）を表す信号Ｓ３（ｘ）が閾値設定されるＭＤＡＦを実行する３つのフィルタリングユーティリティを有する、輝く領域を検出し得る。輝度（ペデスタル）成分Ｓ４（ｘ）は、変換モジュールＴ４によって飽和レベルで閾値設定され、信号Ｓ３（ｘ）の閾値設定された領域は、Ｓ４（ｘ）の閾値設定された領域と相互に関連付けられる。閾値設定されたＳ４（ｘ）信号において飽和が生じて飽和の閾値が信号Ｓ３（ｘ）を超える領域は、強調領域として指定され、それらの強調は、変換モジュールＴ３及び／又は変換モジュールＴ４を介した減衰によって低減される。

ＤＭでは、形態は、必要であれば、顔の特定の領域にシェーディング及びハイライティングを適用することによって顔を再構築するステップを含む。暗い色（シェーダ）は、陰影をつけて、例えば頬のくぼみ、こめかみ、あごの下及び鼻の横などの引っ込んだ領域を形成する。明るい色（ハイライタ）は、例えば頬のりんご、目の下、眉骨及びあごの中心を出っ張らせる。メイクアップを用いて改善された顔の形態及び構成は、特定の顔の場所にハイライト及びシャドーを通常は塗ることによって実現される。このため、こうしたハイライト及びシャドーが、そうした顔の特徴（例えば目、眉、唇、鼻、あご、頬、頬骨、おでこなど）に対する特定の位置に配置されるべきであるので、顔の特徴の検出及び／又は顔の肌の検出／セグメンテーションの演算が必要とされる。こうした顔の検出及び肌のセグメンテーションは、ＤＭ処理が顔の領域に単独で適用されるべきであって任意の背景領域には適用されるべきではない場合に必要とされる。本発明は、何らかの画像化のケースのさらなる改善のためにそうしたセグメンテーションを用い得るものの、その工程においてそうした顔の検出及び肌のセグメンテーションを必要としない。

上で提供されるコンポーネント信号への顔の肌のセグメンテーションが、様々な顔の画像検出及び画像中のトラッキング、改善されたシェーディング及び強調のための顔の形態解析、顔の肌の色の解析、及び、それらの解析に基づくそれぞれの画像表示最適化に関連して用いられる。

図７ａ〜図７ｂを参照すると、シェーディング及びハイライティングをしばしば必要とする顔や頭の特定の領域が示されている。図７ａは、周りの肌と物質をその後に融合させるプロのメイクアップアーティストによるシェーディング及びハイライティングの特定の配置を示している。本発明に係るデジタルメイクアップの融合の結果が図７ｂに示されている。本発明のある実施形態によれば、改善された形態及び顔の構築のためにシェーディング及びハイライティングが必要な領域を決定するために、自動化された顔及び頭の解析が実行され、上述のＤＭ技術が各特定の領域で別個に実行される。上述のＤＭ技術の用途は、従って、領域にシェーディング又はハイライティングがされるかどうかによって決定される。

図８ａ〜図８ｄ及び図９ａ〜図９ｃを参照すると、本発明の実施例が提供されており、当該実施例では、ビデオ圧縮を用いた様々なコーデック、及び、例えばインターネット、Ｗｉ−Ｆｉ及びセルラーネットワーク上のデスクトップ及び携帯のビデオ電話アプリケーションなどのビデオ伝送用の様々なネットワーク及びプラットフォームを介して、上述のＤＭ処理が実行される。ビデオ通信に用いられるビデオコーデック（例えばＨ２４６、ＶＰ８、ＭＰＥＧ２、ＭＰＥＧ４）は、ノイズ低減のためのプリプロセッサ及び圧縮アーチファクト除去のためのプリプロセッサをたいていは備えている。

図８ａ〜図８ｃでは、ブロック図が、エンコーダ及びデコーダに関連したそうしたプリ及びポストプロセッサを図示している。より具体的なビデオ電話設定は図８ｄに示されている。

例えば、ビデオ電話及びビデオ会議において、（図２ａ〜図２ｄ及び図６ａ〜図６ｄで上述したような）ＤＭ技術が、顔画像のレタッチングのためのプリプロセッサとして利用されてよく、その後に画像が圧縮されて伝送される。高周波数帯の用途では、画像細部及び動きは概して、受信側で表示される画像の品質の基礎となる一方で、低周波数帯の用途では、画像細部はしばしば失われ、表示された画像の品質は圧縮アーチファクト（例えば量子化ノイズ、ブロックノイズ、モスキートノイズ）の影響を受ける。

図８ａでは、前処理及び／又は後処理を実行する標準的なエンコーダ−デコーダを備える通信システム４００が例示されている。送信デバイス４０２は、顔画像をキャプチャするカメラ（オンラインモード）、又は、カメラによって前もってキャプチャされた画像データが記憶された記憶デバイス（オフラインモード）と、画像内のノイズを低減するプリプロセッサと、伝送用の画像を符号化するエンコーダと、を有する。受信デバイス４０４は、入力される送信を復号化するためのデコーダと、画像が画面に表示される前に画像内のノイズを低減するためのポストプロセッサと、を有する。本発明のある実施形態によれば、顔の欠点の低減及び画像の改善は、送信デバイス４０２上のプリプロセッサで、又は、受信デバイス４０４のポストプロセッサで実行されてよく、又は、本発明のシステムのモジュール及びユーティリティはプリプロセッサとポストプロセッサとの間に分配される。

図８ｂでは、前処理及び符号化の機能が送信デバイス４０２の拡張エンコーダによって実行される。ＤＭ処理は、送信デバイス４０２の拡張エンコーダによって実行されてよく、受信デバイス４０４上のポストプロセッサは、復号化される画像の品質及びノイズ／アーチファクトを評価して、利用可能な帯域、データ消失（例えばパケット）などの特定の送信環境において画像品質を改善するためにどのレベルの前処理が適用されるべきかを、拡張エンコーダに送信する。任意選択的に、そうした復号化される画像品質の基準は、受信デバイス４０４のポストプロセッサによって追加的に適用され得る。

図８ｃでは、ＤＭ処理は、Ｈ．２６４の符号化及び復号化処理の動き補償ループにおける既存の非ブロック化フィルタに置き換わる。こうした動き補償ループは、広く普及しているビデオ圧縮基準に固有であり、現在のＨ．２６４コーデックにおける非ブロック化フィルタは、符号化及び復号化の動き補償ループの両方で実行される処理の特徴である。ＤＭ処理がそうした動き補償ループの代わりに用いられる場合、そうしたエンコーダ及びデコーダは本発明のシステムの一部であるとみなされる。このようにしてＤＭを用いることの主な利点は、ブロッキングの減少、ノイズ及び圧縮アーチファクトの低減を改善することであり、及び従って、信号の冗長性の低減によるコーデックの圧縮能力を改善することである。

既存の非ブロック化フィルタは、所定のブロックエッジの両側で１〜３のサンプルを修正することができる。本発明では、ＤＭ処理が同様の方法で用いられてよく、そのＭＤＡＦの実行がブロックアーチファクトエッジの近辺の多くの画素に影響するので、その効果のみが著しく強くなる。このことは、ＤＭのＭＤＡＦのアプローチが、画像データに再帰的な処理を提供して、それによって、画素の均等な空間的積分の大きなサイズを実現するという事実による。

さらに、ビデオストリームが符号化される際、非ブロック化フィルタの強度は、量子化ステップサイズ及び／又は動き補償誤差による、計算された画像誤差への適合を必要とする。非ブロック化の画素ベースの動的制御はＤＭによって容易に実現される。

図８ａ〜図８ｃのシステム４００では、ＤＭ処理は、適応顔修正のためのプリプロセッサによって実行されてよく、及び、圧縮アーチファクト低減のためのポストプロセッサによっても実行されてもよい。なぜなら、ＤＭ処理は顔の信号のばらつきを低減するので、本発明のデジタルメイクアップ技術によって出力された顔画像に含まれるデータは、空間的により大きく関連するにつれて減少し、５％〜１０％までの帯域幅削減が実現され得る。このことは、実際の帯域幅の節約が、画像サイズに対する頭／顔のサイズに依存してもよい。１０％〜１００％までのより顕著な帯域幅の節約が、ＤＭを適用した後の縮小画像を送信する場合に実現されてよく、それによって、受信機側での表示のために拡大し戻される場合に過度の顔のアーチファクトの表示を回避する。その結果、ユーザにとってより満足がいってユーザになった表示顔画像であり、さらに顕著に小さな帯域幅しか必要としない。

図８ｄは、日常の通信デバイス（例えばコンピュータ、タブレットコンピュータ及び携帯電話）におけるＤＭ処理の統合を示す。これらの通信デバイスは、顔画像の送信機としても受信機としても用いられ得る。

ここで図９ａ〜図９ｃを参照すると、公知のハードウェア／ソフトウェアパッケージにおけるＤＭ処理の実行の詳細が示されている。

図９ａは、本発明を用いたビデオ電話ソフトウェア／アプリケーションを示している。この例では、アプリケーションが、（カメラドライバを通じて）カメラ画像にアクセスし、（そのアプリケーションプログラムインターフェースＡＰＩを通じて）ＤＭ処理ライブラリにアクセスし、（ディスプレイドライバを通じて）ディスプレイにアクセスし、（ＡＰＩを通じて）コーデックにアクセスし、ｉｎｉファイル内のユーザの規定のＤＭパラメータを保存する。図９ｂは、本発明を用いたビデオ電話アプリケーションの例を示しており、アプリケーションは、仮想カメラドライバ（ＶＣＤ）を通じてカメラにアクセスする。ＶＣＤは、ＤＭ処理ライブラリにアクセスし、それぞれのＡＰＩを通じて任意のカメラにアクセスするように一般化されることが可能である。こうしたＶＣＤは、カメラデバイスで実行する内蔵ファームウェアとして実行されてもよい。ＶＣＤの利点は、それらがすべてのビデオ電話アプリケーションに包括的であり、ＶＣＤは実際に実行されるソフトウェアであり、画像デバイス上でカメラデバイスからの実際のビデオアクセスを実行するものの、ＶＣＤはカメラデバイスとして識別される。例えば、モバイルスマートフォン及びタブレットはたいてい、単一のＶＣＤによって選択され得るフロントカメラ及びバックカメラを有しており、その結果、任意のＤＭ処理が、すべてのそうした利用可能なカメラ（例えばウェブカメラ）上で単一のＶＣＤによって一般的に適用される。図９ｃは、本発明を用いたデジタルミラー（Ｊａｖａ実行の）アプリケーションの実施形態を示しており、アプリケーションは、（カメラドライバ又はＶＣＤのいずれかを通じて）カメラにアクセスし、入力ビデオストリームにＤＭ処理を適用し、入力画像と処理された画像結果とを並べて表示する。このことは、ユーザが、シミュレートされたメイクアップの前後に彼ら自身を見ることを可能にする。ビデオ電話アプリケーションでは、デジタルミラー関数が、実際にビデオ電話をする前に適切なＤＭ処理パラメータ（ｉｎｉファイル内に配置される）を規定するためにユーザのために使用され得る。

ＤＭ処理は、スタジオ設定（例えばトーク番組、インタビュー、ニュースキャスティング）におけるデジタルテレビ放送及び撮影のアプリケーションに適用されることが可能である。ＤＭは、スタジオテレビカメラに実装されてもよく、又は、外部のスタンドアロン型のポストプロセッサとして実装されてもよい。ＤＭ処理はまた、ビデオカメラ、ウェブカメラ、コーデック及びディスプレイのファームウェアに実装されてもよい。

ビデオストリームに適用されるのと同様の方法で、ＤＭ処理は、画像圧縮ステージ（例えばＪＰＥＧ）の前、若しくは、その復号化の後であって表示又は印刷の前のいずれかに、スチール写真に適用されてもよい。本発明のＤＭ処理は、上述のＤＭ形態機能のためにとられたアプローチと同様に、全体画像に適用されてもよく、又は、代替的に、画像の顔又は肌の領域により選択的に適用されてもよい。

本発明のシステム、すなわち、上述のフィルタリングモジュールを用いたそのデータ処理及び解析ユーティリティは、撮像装置（カメラ）を有する任意の電子機器、又は、外部撮像装置から画像データを受信することが可能な電子機器に実際に内蔵されてもよい。また、本発明のデータ処理及び解析ユーティリティは、例えば電話機器、タブレット、ＰＣなどの電子機器に（例えばインターネットなどのネットワークを介して）、ＡＰＩの形態で、ダウンロードされ得る全くのソフトウェア製品として実装されてもよい。

本発明の一実施形態では、顔及び肌を含む画像領域は手入力で指定されてもよい。これは、例えばスマートフォン及びタブレットで使用されるもののようなタッチスクリーン上で一カ所の局所的な一回のタップによって実現されることが好ましい。連続的な局所的なタッチによって、このセグメンテーションは、ＤＭ処理が適用された後に、処理が所望の顔／肌の領域をセグメンテーションしたように見えるまでユーザが連続的なタッチを止めるように、ユーザに中間のセグメンテーションの結果を示すことができる。代替的に、ＤＭ処理は複数の画像上でバッチモードで適用されることが可能である。ＤＭは、カメラの自動利得制御（ＡＧＣ）及びダイナミックレンジ圧縮（ＤＲＣ）に関連して用いられてもよい。

上で詳述されて以下の特許請求の範囲の欄に記載される本発明の様々な実施形態及び態様は、以下の実施例で実験的証拠を見出す。

限定されない本発明のある実施形態を示す上記説明とともに、ここで以下の実施例を参照する。

図１０及び図１１は、本発明のある実施形態に係る、様々なフィルタによって生成される複数の画像を示している。

図１０は、図２ｃ及び図２ｄの実施形態に係る入力輝度画像（画像ａ）（８ビット、２５６階調レベル）の画像分解例を示している。この例では、８つのＭＤＡＦフィルタに以下のａ１値、…、ａ８値：ａ１＝１０、ａ２＝２０、ａ３＝３０、ａ４＝４０、ａ５＝５０、ａ６＝６０、ａ７＝７０、ａ８＝８０が割り当てられた。従って、コンポーネント信号Ｓ１、…、Ｓ８は、ＭＤＡＦフィルタの間の差分として生成され、Ｓ１（画像ｂ）はハイパス信号（Ｉ−Ｆｉｌ１（Ｉ））であり、Ｓ２はバンドパス信号（Ｆｉｌ１（Ｉ）−Ｆｉｌ２（Ｆｉｌ１（Ｉ）））（画像ｃ）であり、Ｓ３−Ｓ８（画像ｄ−ｉ）はバンドパス信号であり、Ｓ９はローパス（ペデスタル）信号である。この例の信号Ｓ１〜Ｓ８の階調レベルにおける標準偏差（ＳＴＤ）はそれぞれ、ＳＴＤ１＝０．７、ＳＴＤ２＝０．８、ＳＴＤ３＝１．２、ＳＴＤ４＝１．５、ＳＴＤ５＝２、ＳＴＤ６＝２．６、ＳＴＤ７＝３．２、ＳＴＤ８＝３．８である。信号Ｓ１〜Ｓ８のＳＴＤは小さいので、それらは、図１１ｂ〜図１１ｉに表示目的のためにストレッチされたヒストグラムである。

図１１は、同一の入力画像の８つの連続的なガウス（線形）フィルタのフィルタリングを表している。図１０の画像ｂと図１１の画像ｂとを比較すると、図１０の画像ｂは、肌のテクスチャの効果とカメラノイズとを極めて細部にわたって示している一方で、図１１の画像ｂは極めて細部にわたって顔の輪郭を示していることが分かる。フィルタリングが継続するので、図１０の成分Ｓ６（画像ｇ）は、図１１の成分Ｓ６（画像ｇ）と比較して、顔のシェーディング効果をより良好に示す画像成分を展開することに成功している。図１０の画像成分Ｓ４（画像ｅ）は、図１１の対応の画像と比較して、顔のにきび効果をより良好に示す画像成分を展開することに成功している。図１０の画像成分は、図１１の画像成分と比べて、きついエッジに沿ってアーチファクトのオーバーシュートを回避することに成功している。

従って、ＭＤＡＦフィルタ（図１０）を用いることによって、様々な顔の欠点及び顔の効果がバンドパス信号において引き出されることが可能であることが示されている。従って、それぞれのＴ１〜Ｔ８変換を用いて、様々な各欠点が適切な方法で別個に取り扱われることが可能である。同時に、ガウスフィルタを適用することによって、顔の輪郭及びエッジが十分に保存されるハイパスコンポーネント画像が生成される。従って、肌の欠点を処理する一方で顔のエッジ及び輪郭を維持するため、一連のＭＤＡＦフィルタにガウスフィルタを組み合わせことが有利である。上述したように、この「ハイブリッド（複合）」フィルタリング処理を実施する１つの方法において、図２ｂ、図２ｃ、図２ｄのフィルタリングユニットＦｉｌ１が線形（ガウス）フィルタを適用し得る一方で、他のフィルタリングユニットがＭＤＡＦを適用してよい。肌の効果及び顔の細部を別個に処理するための別の解決策は、入力信号が２つの経路を進む図６ａ〜図６ｄのシステム３００によって実行されてもよい。第１経路は、線形フィルタを含み、顔の細部が保存されるハイパス信号を生成する。第２経路は、肌の効果を処理する複数のＭＤＡＦ（一連の又は並行の）を有してよい。

ここで図１２ａ〜図１２ｂを参照すると、本発明の技術によって実現されるファンデーション効果が示されている。図１２ａは、おでこの肌に質感を持たせる入力画像を示している。図１２ｂは、図２ｂ〜図２ｄ、図６ａ〜図６ｄのシステム２００又はシステム３００のいずれか一方によって生成される出力画像を示している。出力画像のテクスチャは精緻化される（取り除かれる）一方で、エッジが保存されて、そうした隣接領域同士の間で切れ目は把握されない。

ここで図１３ａ〜図１３ｂを参照すると、本発明の技術によって実現されるしわ低減効果が示されている。本発明のＤＭ技術を介して入力画像（図１３ａ）を処理することによって、出力画像（図１３ｂ）は、しわが低減される一方で、エッジが保存され、そうした隣接領域同士の間で切れ目は把握されない。

ここで図１４ａ〜図１４ｃを参照すると、本発明のＤＭ処理技術を用いたにきび隠しの実施例が示されている。図１４ａは、深刻なにきびを有する対象が示された入力画像である。図１４ｂは、臨床（薬物を基にした）処置後の同一の対象の写真である。図１４ｃは、本発明のＤＭ処理技術によって生成された（図１４ａの入力画像を前提とした）出力画像である。この実施例では、Ｃｒ色画像成分のそれぞれのＳ２信号が、低い閾値と高い閾値とによって閾値設定され、高い閾値を超えた画素は、高いｋ値によってフィルタリングされる一方で、低い閾値を超えた画素は低いｋ値であり、このｋ値は、図２ｂ及び図２ｃで説明した実施形態に関連して、より強くフィルタリングされるにきび又は肌の欠点を有する可能性を生じさせる。こうした隣接する領域同士の間の移行領域を精緻化するためにぼかし（ｆｅｔｈｅｒｉｎｇ）処理が用いられてよい。

図１５ａ〜図１５ｆは、本発明のシステムの様々な構造によって生成される様々な出力画像を示している。

図１５ａは入力顔画像である。図１５ｂは、本発明のＤＭ技術を介して入力画像を処理することによって得られた出力画像であり、α１が（上で定義したように）用いられ、グローバルオペランドａが１０に設定される。この図では、フィルタリングは、いくらか弱く、いくつかの肌の欠点が依然として見受けられる。

図１５ｃは、本発明のＤＭ技術を介して入力画像を処理することによって得られた出力画像であり、α２が（上で定義したように）用いられ、グローバルオペランドａが１０に設定される。この図では、肌のフィルタリングがより強く、細部が依然として維持されている。

図１５ｄは、本発明のＤＭ技術を介して入力画像を処理することによって得られた出力画像であり、α１が（上で定義したように）用いられ、グローバルオペランドａが２０に設定される。この図では、フィルタリングが図１６ｂのフィルタリングより強く、図１６ｃのフィルタリングより弱い。細部が依然として維持されている。

図１５ｅは、本発明のＤＭ技術を介して入力画像を処理することによって得られた出力画像であり、α２が（上で定義したように）用いられ、グローバルオペランドａが２０に設定される。この図では、フィルタリングが強すぎ、細部の大部分が消失している。

図１５ｆは、本発明のＤＭ技術を介して入力画像を処理することによって得られた出力画像であり、第１ＭＤＡＦフィルタがα２を用い、グローバルオペランドａが２０である一方で、第２ＭＤＡＦフィルタがα２を用い、グローバルオペランドａが１０であり、その場合の出力画像は、

であり、Ｔ３は、ペデスタル信号Ｓ３のダイナミックレンジに適合し、Ｔ２は、図４ｂ（ａ）と同様に、通常２〜４までの範囲の利得変換であり、Ｔ１は通常は図４ｃと同様の変換である。差分信号Ｓ２は、顔の欠点及びアーチファクトを除去した後に、保持された画像コントラストをキャプチャする。差分信号Ｓ１は、鋭さを保持する一方でカメラノイズを除去するためにさらに用いられる。従って、細部が依然として保持される一方で、肌の欠点の大部分が処理される。図１５ｆの画像を生成するために用いられる処理は、図２ｄに示される技術に類似しており、様々なフィルタの強度を特定するために様々な値ａが用いられる。

図１６ａ〜図１６ｆは、送信デバイスと受信デバイスとの間（これらのデバイスは図９ａ〜図９ｄに示されている）の通信の様々なステージでＤＭ処理が適用される場合のＤＭの効果を示している。

図１６ａは入力画像である。図１６ｂは、符号化及び圧縮の前に送信デバイスで前処理された画像である。図１６ｂのＤＭエフェクトに言及する。図１６ｃは、前処理した状態で分解（復号化）された画像であり、図１６ｄは、前処理した状態で分解（復号化）された画像である。図１６ｅは、前処理した状態で分解された画像であり、図１６ｆは、後処理及び前処理した状態で分解された画像である。留意すべきは、図１６ｃ及び図１６ｄの画像は視覚的に同等であることであり、この実施例では、前処理が冗長であり、低ビットレートの画像品質は、後処理のみによって改善され得ることを意味している。さらに、図１６ｅ及び図１６ｆの画像もまた視覚的に同等であり、この実施例では、画像品質の改善は、後処理のみを介して実現され得る。

図１７ａ〜図１７ｆは、本発明の技術の様々な用途を表している。図１７ａは入力画像である。図１７ｂは、肌のように作用する画像領域が区切られた出力画像である。図１７ｃは、区切られた肌領域が、画像上に旗、しるし、図形要素などを重ねた出力画像である。これは、例えば、広告やエンターテインメントのために用いられ得る。図１７ｄ〜図１７ｆは、それぞれの入力画像の出力画像を図示しており、細部が強調され、肌の効果が極限まで弱められる。このようにして、出力画像は漫画や絵画の形態をとる。

ここで図１８ａ〜図１８を参照すると、本発明の技術の実施が示されており、顔の入力画像（図１８ａ）が処理されて、顔が老けて見える出力画像（図１８ｂ）を生成するために顔の欠点（例えばしわ）を増加させている。

この処理は、肌の欠点を弱めることに代えて、肌の欠点を強調する１以上の変換を選択することによって実行される。

以下の図は、本発明の技術と、従来の様々なノイズ減衰技術との間の比較を示している。

図１９ａは、入力画像の強度と位置表示との対比を示している。図１９ｂは、入力信号の処理後に生成された出力の同じ表示を示している。

これらの図では、ｉが入力画像であり、ｐが処理された画像であり、Ｃはコントラストであり、１は境界付近の上面を表しており、２は境界付近の下面を表しており、μは平均を表し、σは標準偏差であり、ＲＳＳは２乗和の平方根を表している。

画像の清浄度の尺度は、入力処理画像のために以下のように計算されるコントラスト対ノイズ比（ＣＮＲ）である。

ＣＮＲ改善比（ＣＮＲＩＲ）は、処理画像と入力画像との間の画像改善（ノイズ減衰）の測定単位を測定する。

図２０ａは、ノイズが多い入力画像であり、ノイズσ_ｎが〜１１．５、ＣＮＲｉ＝７．６である。図１０ｂは、メジアン３×３フィルタを介して入力信号の処理後に生成された出力である。この画像では、σ_ｎが〜７．５、ＣＮＲｐ＝１２．７である。この画像では、エッジが保存されるものの、望ましくない染みは存在している。メジアンフィルタの有限の空間サイズは、大きな画像アーチファクトを処理して、平滑画像領域に連続性を提供するためのその能力を制限している。

図２０ｃは、半径＝３、閾値＝２０を定める双方向フィルタを介して入力信号を処理した後に生成された出力である。この画像では、σ_ｎが〜２．９、ＣＮＲｐ＝２２．６である。この画像では、エッジは保存されるものの、再びその有限の空間サイズによって、かつ、現在の画素に近接するすべてのそうした画素の比較ステップによって、極端な量子化効果が存在している。

図２０ｄは、本発明のＤＭ技術を介して入力信号を処理した後に生成される出力である。この画像では、σ_ｎが〜２．６（前述のフィルタの標準偏差よりも低い）、ＣＮＲｐ＝２６．９（前述のフィルタのコントラスト対ノイズ比よりも高い）である。本発明のＤＭ処理は、エッジ保存であり、量子化効果を導入していない。フィルタのサイズは、処理される顔の特徴のサイズを制限しない。

ここで図２１ａ〜図２１ｃを参照すると、入力画像の染みのノイズ（図２１ａ）と、入力画像の様々な処理によって出力された画像の染みのノイズ（図２１ｂ及び図２１ｃ）との間の比較が示されている。概して、染みのノイズのテクスチャは、顔の肌の欠点（例えば大きな毛穴、しわ、にきび等）を表している。図２１ａでは、ノイズの標準偏差σ_ｎは〜２．８６である。図２１ｂでは、双方向フィルタリングによって処理された画像は、ノイズの標準偏差σ_ｎ〜１．１６を生じさせる。図２１ｃでは、本発明のＤＭ技術によって処理された画像は、ノイズの標準偏差σ_ｎ〜０．７３を生じさせる。従って、染みのノイズのテクスチャは、双方向フィルタと比べて、本発明のＤＭ技術によって、低減されたσ_ｎ（〜６０％）において、及び、残留ノイズのテクスチャの知覚されにくい染みの形態において、より良好に除去される一方で、移行領域で画像の鮮明さを保持する。

ここで図２２ａ〜図２２ｆを参照すると、現在の業界において共通の様々なプラットフォーム上で本発明の技術を実施することが示されている。

図２２ａ〜図２２ｃは、ＶＣＤの実施を介して実行されたＳｋｙｐｅビデオ電話に本発明のＤＭ技術がどのように適用されるかを示している。ＶＣＤは、物理的なカメラデバイスとしてＳｋｙｐｅアプリケーションによって識別されており、それぞれのカメラの選択のアクセス、表示モード（例えば完全な処理画像、又は、処理された対処理されていないを並べて）、それぞれの所望のＤＭパラメータを可能にする。ＶＣＤは、ＰＣ、ラップトップ上のＷｉｎｄｏｗｓオペレーティングシステム（例えばＷｉｎｄｏｗｓ ＸＰ、Ｗｉｎｄｏｗｓ ７、Ｗｉｎｄｏｗｓ ８）の下で、及び、携帯デバイスのオペレーティングシステム（例えばＡｎｄｒｏｉｄ、ｉＯＳ、Ｗｉｎｄｏｗｓ ８ＲＴ）の下で動作する。図２２ａ、図２２ｂ及び図２２ｃでは、右側の画像が入力画像であり、左側の画像が、本発明のＤＭ技術を介してそれぞれの入力画像を処理することによって生成された出力画像である。図２２ａは、暖かい（フィラメントの）室内照明において例えばたるんだ肌などの顔の老け効果の除去を示している。図２２ｂは、顔の左側が陰になる右側から現れた室内照明及び太陽光の複合したにおける例えばたるんだ肌などの顔の老けエフェクトの除去を示している。図２２ｃは、冷たいネオンの室内照明における例えばたるんだ肌などの顔の老け効果の除去を示している。

図２２ｄ〜図２２ｆは、Ｓａｍｓｕｎｇ Ｇａｌａｘｙ Ｓ２（ＧＴ−Ｉ９１００Ｔ）の携帯電話機、ＨＴＣ ＯｎｅＸ、及び、ＳａｍｓｕｎｇのＴａｂｌｅｔ Ｇａｌａｘｙ Ｎｏｔｅ １０．１（ＧＴ／Ｎ８０１３ＥＡ）のそれぞれ上で実行する、図９ｃに示されたデジタルミラーアプリケーションにおける本発明の技術の実施を示している。左側の画像は入力画像であり、右側の画像は、本発明のＤＭ技術を介してそれぞれの入力画像を処理することによって生成された出力画像である。

Claims (21)

1. 人間の顔の画像を処理するシステムであって、当該システムは、データ処理及び解析ユーティリティを備え、前記データ処理及び解析ユーティリティは、
   前記画像の特性を示す入力画像データを受信して、前記入力画像データにおける前記顔のエッジ及び輪郭の少なくとも１つを示すハイパス信号を出力するように構成されたハイパスフィルタリングモジュールと、
   前記入力画像データを示すデータを受信して、低コントラストの徐々に変化する前記顔の質的特徴を示すバンドパス信号を出力するように構成された少なくとも１つのバンドパスフィルタリングモジュールと、
   前記入力画像データを示すデータを受信して、低コントラスト領域が平滑化されて高コントラスト領域が保存されるローパス信号を出力するように構成されたローパスフィルタリングモジュールと、
   前記入力画像データを受信して、前記画像の複数の画素について前記画像の局所的特徴を計算するように構成された特徴計算モジュールと、
   前記特徴計算モジュールから前記局所的特徴を受信して、前記局所的特徴を用いて、前記複数の画素において前記ハイパスフィルタリングモジュール、バンドパスフィルタリングモジュール、ローパスフィルタリングモジュールの各々で使用されるべきフィルタの強度を決定するために局所的オペランドを決定し、前記フィルタリングモジュールの各々に前記局所的オペランドを送信するように構成された強度計算モジュールと、
   前記ハイパス信号、前記バンドパス信号及び前記ローパス信号の少なくとも１つの少なくとも一部を受信して変化させるように構成された少なくとも１つの変換モジュールと、
   前記ハイパス信号、前記バンドパス信号及び前記ローパス信号の少なくとも１つの少なくとも一部が変化させられた後の前記ハイパス信号、前記バンドパス信号及び前記ローパス信号を受信して、前記受信した信号を加算して、修正画像の特性を示す出力信号を生成するように構成された加算モジュールと、備えるシステム。
2. 前記ハイパスフィルタリングモジュールは、
   前記入力画像データを受信して前記入力画像データに第１平滑化フィルタを適用し、第１平滑化信号を出力するように構成された第１フィルタリングユーティリティと、
   前記入力画像データから前記第１平滑化信号を減算して前記ハイパス信号を生成する第１減算ユーティリティと、を備える、請求項１に記載のシステム。
3. 前記少なくとも１つのバンドパスフィルタリングデバイスは、
   前記入力画像データを受信して前記入力画像データに第２平滑化フィルタを適用し、第２平滑化信号を出力するように構成された第２フィルタリングユーティリティと、
   前記第１平滑化信号から前記第２平滑化信号を減算して前記少なくとも１つのバンドパス信号を生成するように構成された第２減算ユーティリティと、を備える、請求項２に記載のシステム。
4. 前記ローパスフィルタリングモジュールは前記第２フィルタリングユーティリティを備え、前記第２平滑化信号は前記ローパス信号である、請求項３に記載のシステム。
5. 前記少なくとも１つのバンドパスフィルタリングモジュールは、
   前記第１平滑化信号を受信して前記第１平滑化信号に第２平滑化フィルタを適用し、第２平滑化信号を出力するように構成された第２フィルタリングユーティリティと、
   前記第１平滑化信号から前記第２平滑化信号を減算して前記少なくとも１つのバンドパス信号を生成する第２減算ユーティリティと、を備える、請求項２に記載のシステム。
6. 前記ローパスフィルタリングモジュールは前記第２フィルタリングユニットを備え、前記第２平滑化信号は前記ローパス信号である、請求項５に記載のシステム。
7. 前記強度計算モジュールは、前記局所的オペランドを決定して、前記複数の画素での前記平滑化フィルタの強度を決定し、前記局所的オペランドを前記フィルタリングユーティリティに送信するように構成される、請求項２〜６のいずれか１項に記載のシステム。
8. 前記フィルタリングユーティリティの少なくとも１つが、個々のグローバルパラメータを受信して、前記グローバルパラメータ及び前記局所的オペランドを用いてそれぞれの前記平滑化フィルタの前記強度を計算するように構成される、請求項２〜７のいずれか１項に記載のシステム。
9. 前記強度計算モジュールは、複数の局所的オペランドを決定するように構成されており、各局所的オペランドは、それぞれのフィルタリングユーティリティに対応し、それぞれの前記平滑化フィルタの前記強度を示し、
   各フィルタリングユーティリティは、それぞれの前記局所的オペランドを用いてそれぞれの前記平滑化フィルタの前記強度を決定するように構成される、請求項２〜７のいずれか１項に記載のシステム。
10. 前記フィルタリングユーティリティの少なくとも１つは、多次元適応平滑化フィルタを、それぞれの受信した信号に適用するように構成される、請求項２〜９のいずれか１項に記載のシステム。
11. 前記フィルタリングユーティリティの少なくとも１つは、線形平滑化フィルタを、それぞれの受信した信号に適用するように構成される、請求項２〜１０のいずれか１項に記載のシステム。
12. 前記第１フィルタリングユーティリティは前記線形平滑化フィルタを適用するように構成される、請求項１１に記載のシステム。
13. 前記バンドパスフィルタリングモジュールのアレイを備え、各バンドパスフィルタリングモジュールは、
    前記入力画像データを示す前記データを受信して当該データにそれぞれの平滑化フィルタを適用し、それぞれの平滑化信号を出力するように構成されたそれぞれのフィルタリングユーティリティと、
    先行のフィルタリングモジュールに含まれる先行のフィルタリングユーティリティによって出力された予め平滑化された信号からそれぞれの前記平滑化信号を減算して、それぞれのバンドパス信号を生成するそれぞれの減算ユーティリティと、を備える、請求項２〜１２のいずれか１項に記載のシステム。
14. 前記ローパスフィルタリングモジュールは、前記バンドパスフィルタリングモジュールの前記アレイの最後のバンドパスフィルタリングモジュールの一部であるフィルタリングユーティリティであって、前記ローパス信号である最後の平滑化信号を生成するフィルタリングユーティリティを備える、請求項１３に記載のシステム。
15. 人間の顔の画像を処理するシステムであって、前記システムは、
    前記画像の特性を示す入力画像データを受信して、前記画像内の前記顔の少なくともエッジ及び／又は輪郭を示す第１ハイパス信号を出力するように構成された第１ハイパスフィルタリングモジュールと、
    前記入力画像データを受信して、入力された画像のサイズを縮小するために、受信した前記画像データを処理して第１間引き画像を生成し、前記第１間引き画像を示す間引き信号を出力するように構成された間引きモジュールと、
    請求項１〜１４のいずれか１項に記載のフィルタリングシステムであって、前記第１間引き信号を受信して処理し、第１出力画像を示す第１出力信号を出力するように構成されたフィルタリングシステムと、
    前記第１出力信号を受信して前記第１出力信号を補間し、前記入力画像の前記サイズと同じサイズを有する画像を示す補間信号を出力するように構成された補間モジュールと、
    前記補間信号及び前記第１出力信号を受信して前記補間信号及び前記第１出力信号を加算して合計し、修正画像の特性を示す第２出力信号を生成するように構成された第１加算モジュールと、を備えるシステム。
16. 前記第１ハイパス信号の少なくとも一部を修正して第１変換信号を出力するように構成された第１変換モジュールを備え、前記第１加算モジュールは、前記補間信号及び前記第１変換信号を受信して、前記補間信号及び前記第１変換信号を加算して合計し、修正画像の特性を示す第２出力信号を生成するように構成される、請求項１５に記載のシステム。
17. 前記第１ハイパスフィルタリングモジュールは、
    前記間引き信号を受信して前記間引き信号を補間し、第２補間信号を出力するように構成された第２補間モジュールであって、前記第１ハイパスフィルタリングモジュールは、前記入力画像データ及び前記第２補間信号を受信するように構成される、第２補間モジュールと、
    前記入力画像データから前記第２補間信号を減算して前記第１ハイパス信号を生成するように構成された第１減算ユニットと、を備える、請求項１５又は１６に記載のシステム。
18. 前記第１間引き信号上で第２間引きを実行して第２間引き信号を出力するように構成された第２間引きモジュールを備え、前記第２間引き信号は、前記フィルタリングシステムによって受信されて処理されて前記第１出力信号を出力する、請求項１７に記載のシステム。
19. 人間の顔の画像の特性を示す入力信号を処理する方法であって、前記方法は、データ処理及び解析ユーティリティによって実行され、
    （ｉ）前記画像の複数の画素について前記画像の局所的特徴を計算するために入力画像データを処理するステップと、
    （ｉｉ）前記局所的特徴を用いて局所的オペランドを決定するステップと、
    （ｉｉｉ）ハイパスフィルタ、少なくとも１つのバンドパスフィルタ及びローパスフィルタを、前記入力画像データを示すデータに適用して、各フィルタの強度が前記局所的オペランドに依存するように、ハイパスコンポーネント信号、少なくとも１つのバンドパスコンポーネント信号及びローパスコンポーネント信号を生成するステップと、
    （ｉｖ）少なくとも１つ変換を、前記ハイパスコンポーネント信号、バンドパスコンポーネント信号及びローパスコンポーネント信号の少なくとも１つに適用して、前記コンポーネント信号の少なくとも１つの少なくとも一部を修正するステップと、
    （ｖ）前記コンポーネントの少なくとも１つが修正された後に前記コンポーネント信号を加算して、修正画像の特性を示す出力信号を生成するステップと、を備える方法。
20. 人間の顔の画像の特性を示す入力信号を処理する方法であって、前記方法は、
    入力画像データに第１ハイパスフィルタを適用して、前記画像内の前記顔の少なくともエッジ及び／又は輪郭を示す第１ハイパス信号を生成するステップと、
    前記入力画像データを間引いて、前記入力画像に対して縮小したサイズの画像を示す間引き信号を出力するステップと、
    請求項１９に記載のステップ（ｉ）〜（ｖ）を前記間引き信号に適用して、第１出力信号を出力するステップと、
    前記第１出力信号を補間して、前記入力画像の前記サイズと同じサイズを有する画像を示す補間信号を出力するステップと、
    前記補間信号に前記第１出力信号を加算して、修正画像の特性を示す第２出力信号を生成するステップと、を備える方法。
21. コンピュータとの併用に有効なコンピュータ読み取り可能媒体であって、データ処理及び解析ユーティリティが格納されており、前記データ処理及び解析ユーティリティは、入力画像データに応答してコンピュータに、
    入力画像データを処理して、前記画像の複数の画素について前記画像の局所的特徴を計算するステップと、
    前記局所的特徴を用いて局所的オペランドを決定するステップと、
    ハイパスフィルタ、少なくとも１つのバンドパスフィルタ及びローパスフィルタを、前記入力画像データを示すデータに適用して、各フィルタの強度が前記局所的オペランドに依存するように、ハイパスコンポーネント信号、少なくとも１つのバンドパスコンポーネント信号及びローパスコンポーネント信号を生成するステップと、
    前記ハイパスコンポーネント信号、バンドパスコンポーネント信号及びローパスコンポーネント信号の少なくとも１つに少なくとも１つ変換を適用して、前記コンポーネント信号の少なくとも１つの少なくとも一部を修正するステップと、
    前記コンポーネントの少なくとも１つが修正された後に前記コンポーネント信号を加算して、修正画像の特性を示す出力信号を生成するステップと、を実行させるように構成される、コンピュータ読み取り可能媒体。

Images