JP4776705B2

JP4776705B2 - 画像処理装置および方法

Info

Publication number: JP4776705B2
Application number: JP2009053900A
Authority: JP
Inventors: 佳奈子齊藤; 安則田口; 孝井田
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2009-03-06
Filing date: 2009-03-06
Publication date: 2011-09-21
Anticipated expiration: 2029-03-06
Also published as: US20100226577A1; US8781247B2; JP2010211300A

Description

本発明は、画像に新たなテクスチャを付加する画像処理方法および装置に関する。

テレビのデジタル放送が開始され、これまでのアナログ放送よりも解像度や画質が向上した。更なる画質の向上を図るために質感の表現が重要となる。画像中の模様パターンであるテクスチャ成分の劣化または消失は、質感の低下を招く。そこで、画像に高周波なテクスチャ成分を付加することで、質感を向上することができる。

小さいサイズのサンプルとなるテクスチャから、任意サイズの継ぎ目のない（シームレスな）テクスチャ画像を生成する手法が提案されている（例えば、非特許文献1）。生成されたテクスチャ画像は、サンプル中のテクスチャと類似したパターンが連続しているように知覚される。

上記従来手法では、変換対象の画像中に含まれる陰影やテクスチャの方向性を維持したままテクスチャ成分を付加した画像を生成することが出来なかった。

Li-Yi Wei, Marc Levoy, "Fast Texture Synthesis using Tree-structured Vector Quantization," Proc. SIGGRAPH 2000, pp.479-488, 2000.

本発明は、変換対象の画像の陰影やテクスチャの方向性を維持し、新たにテクスチャを付加した画像を生成することができる画像処理装置、及びその方法を提供することを目的とする。

上記課題を解決するために本発明は、変換対象画像のテクスチャ成分を抽出したサンプルテクスチャ画像を生成する第1画像生成部と、前記サンプルテクスチャ画像より大きいサイズのテクスチャ画像内で、画素値が割り当てられていない処理対象画素の位置と対応する前記サンプルテクスチャ画像内の位置を含む所定の探索範囲内から、前記処理対象画素の近傍で既に画素値が求まっている前記テクスチャ画像の画素の画素値の変化パターンと類似する画素値の変化パターンをその周囲に有する類似画素を探索して、前記類似画素の画素値を前記処理対象画素の画素値に割り当てる第２画像生成部と、前記テクスチャ画像と同じサイズで、前記変換対象画像の陰影と類似する陰影を保持する土台画像と前記テクスチャ画像とを合成することにより合成画像を得る合成部と、を有することを特徴とする画像処理装置を提供する。

また、変換対象画像のテクスチャ成分を抽出したサンプルテクスチャ画像を生成するステップと、前記サンプルテクスチャ画像より大きいサイズのテクスチャ画像内で、画素値が割り当てられていない処理対象画素の位置と対応する前記サンプルテクスチャ画像内の位置を含む所定の探索範囲内から、前記処理対象画素の近傍で既に画素値が求まっている前記テクスチャ画像の画素の画素値の変化パターンと類似する画素値の変化パターンをその周囲に有する類似画素を探索するステップと、前記類似画素の画素値を前記処理対象画素の画素値に割り当てるステップと、前記テクスチャ画像と同じサイズで、前記変換対象画像の陰影と類似する陰影を保持する土台画像と前記テクスチャ画像とを合成することにより合成画像を得るステップと、を有することを特徴とする画像処理方法を提供する。

本発明によれば、変換対象の画像中に含まれる陰影やテクスチャの方向性を保持したテクスチャ成分を付加した画像を生成することが出来る。

第１の実施形態の画像処理装置を示す図。第１の実施形態の画像処理装置の動作を示す図。画像を陰影とテクスチャとに分離する方法を説明する図。生成されたサンプルテクスチャ画像の概要を示す図。テクスチャ画像生成に用いるテンプレート領域。生成されたテクスチャ画像のイメージ図。第２の実施形態の画像処理装置を示す図。第２の実施形態の画像処理装置の動作を示す図。第３の実施形態の画像処理装置を示す図。第３の実施形態の画像処理装置の動作を示す図。第４の実施形態の画像処理装置を示す図。第４の実施形態の画像処理装置の動作を示す図。第５の実施形態の画像処理装置を示す図。第５の実施形態の画像処理装置の動作を示す図。

以下、本発明の実施形態について図面を参照しながら説明する。ここで、互いに同じ構成には共通の符号を付して、重複説明は省略する。それぞれの画像は１画素あたりに画素値を１つ以上有するデジタル画像であるが、以下の各実施形態では画素値のうち、輝度値について処理を行う例について示す。勿論、そのほかの画素値（例えば、色差成分やＲ・Ｇ・Ｂフォーマットの各成分等）に対して以下の処理を行っても良い。

［第１の実施形態］

図１は、本実施形態の画像処理装置１を示す図である。画像処理装置１は、サンプルテクスチャ画像生成部１０１、テクスチャ画像生成部１０２、合成部１０４、を有する。

画像処理装置１は、入力された土台画像１０５と、変換対象画像１０６とを用いて、高周波テクスチャ成分の付加された画像である合成画像１１０を生成し出力する。出力する合成画像１１０のサイズは、変換対象画像１０６よりも大きなサイズである。土台画像１０５は、合成画像１１０と同じサイズであり、変換対象画像１０６が有するなだらかな輝度値の変化パターンである陰影を保持した画像である。土台画像１０５は、変換対象画像１０６に含まれる陰影を保持する画像であれば良い。例えば、変換対象画像１０６そのものを拡大した画像や、変換対象画像１０６を拡大した画像の輝度の大まかな変化を表現する画像成分を保存した画像（非テクスチャ画像）でもよい。

変換対象画像１０６は、まずサンプルテクスチャ画像生成部１０１に送られる。サンプルテクスチャ画像生成部１０１は、変換対象画像１０６から、輝度の滑らかな変化パターンの画像成分である陰影を除去し、テクスチャ成分を抽出したサンプルテクスチャ画像１０７を生成する。変換対象画像１０６と、サンプルテクスチャ画像１０７とは同じサイズの画像である。

テクスチャ画像生成部１０２は、サンプルテクスチャ画像１０７から、出力する合成画像１１０と同じサイズのテクスチャ画像１０８を生成する。テクスチャ画像１０８を生成する方法は後述する。

合成部１０４は、入力された土台画像１０５と、テクスチャ画像生成部１０２が生成したテクスチャ画像１０８とを合成し、合成画像１１０を生成する。

次に、画像処理装置１の動作の詳細について説明する。

図２は、画像処理装置１の動作を示すフローチャートである。

S２０１では、まず入力された土台画像１０５を読み込む。例えば、土台画像１０５は、変換対象画像１０６を拡大した画像そのものや、変換対象画像１０６を拡大した画像の輝度の大まかな変化を表現する画像成分を保存した画像（非テクスチャ画像）でもよい。本実施形態の画像処理装置では、あらかじめ生成しておいた土台画像１０５を入力すればよい。変換対象画像１０６をあらかじめ拡大処理した画像から、テクスチャ成分を除去した土台画像１０５を生成する方法としては、例えば骨格／テクスチャ分離法、Center/Surround Retinex法、またはε-フィルタ等を用いればよい。

図３は、画像からテクスチャ成分と陰影とに分離する方法を説明する図である。画像を１次元で考えた場合について例示している。横軸が座標を表し、縦軸が各座標での輝度値を表す。図３（ａ)は、分離前の画像の例を示す。図３（ｂ），（ｃ）はCenter/Surround Retinex法を用いて図３（ａ）に示した画像を分離した例を示す。Center/Surround Retinex法を用いた場合は、輝度差の大きなエッジはテクスチャ成分に保存される。図３（ｂ）は分離された陰影成分を、図３（ｃ）は分離されたテクスチャ成分を示す。図３（ｄ），（ｅ）は骨格／テクスチャ分離法を用いて図３（ａ）に示した画像を分離した例を示す。図３（ｄ）は分離された陰影成分を、図３（ｅ）はテクスチャ成分を示す。骨格／テクスチャ分離法を用いた場合は、陰影成分に強度の大きなエッジが保存される。いずれの手法を用いた場合にも、図３（ａ）に示した画像の輝度の大まかな変化パターンを除去したテクスチャ成分を得ることができる。

次に、骨格／テクスチャ分離法について、数式を用いて簡単に説明する。骨格／テクスチャ分離法は、入力画像Iを被写体の大まかな構造を表す骨格成分（非テクスチャ成分Uに相当）と被写体の表面における微小な振動を表すテクスチャ成分（テクスチャ成分Vに相当）とに分離する手法である。この手法には、

で表される加算分離型と、

で表される乗算分離型がある。ここで、x、yはそれぞれ、x座標およびy座標の値を表す。

以下では、乗算分離型についてのみ説明する。

この手法は以下の式（３）で表される最小化問題として扱うことができる。

ここで、fは入力画像Iを対数変換した入力画像対数関数、u, vはそれぞれ骨格成分U、テクスチャ成分Vを対数変換した対数骨格関数および対数テクスチャ関数であり、μは対数テクスチャ関数vのノルムの上限を調整するパラメータであり、γは残差f - u - vの許容範囲を調整するパラメータである。また、J(u)は式（４）で定義されるTotal Variationエネルギーであり、XおよびGは、それぞれ、画像関数空間と、有界変動関数空間の双対空間に近接する振動関数空間である。

式（３）のエネルギー最小化問題は以下に示す射影アルゴリズムにより解ける。

[射影アルゴリズム]

(1) Initialization :

(2) Iterations :

ここで，Ｐ_Ｇｘ(ｆ)は関数fの部分空間G_λへの正射影を表す。

(3) Convergence test :

最後に、射影アルゴリズムにより得られたuとvをそれぞれ指数変換し、骨格成分Uとテクスチャ成分Vを得る。

次に、Center/Surround Retinex法について、数式を用いて簡単に説明する。Center/Surround Retinex法は、入力画像Iを照明成分（非テクスチャ成分Uに相当）と反射成分（テクスチャ成分Vに相当）に分離する手法である。

入力画像Ｉ＝照明成分Ｕ×反射成分Ｖ（１１）

まず、照明成分Uは式(１２)で推定される。

ここで、G_M(x,y)はフィルタサイズM×Mのガウシアンフィルタ、＊はコンボリューション積分をそれぞれ示す。ガウシアンフィルタG_M(x,y)は以下の式で表される。

ここで、Kは

を満たす値であり、σは標準偏差を示す。

つづいて、入力画像Iと照明成分Uを用いて次式により反射成分Vが推定される。

S２０２では、変換対象画像１０６を読み込む。

S２０３では、変換対象画像１０６から陰影を除去し、サンプルテクスチャ画像１０７を生成して、S２０４に進む。陰影を除去する方法としては、例えば上記に示した骨格／テクスチャ分離法、またはCenter/Surround Retinex法を用いればよい。画像中の局所領域において法線方向と照明条件が一定であれば、拡散反射成分に対して不変量を得ることができる。図３の分離イメージ図で、サンプルテクスチャ画像１０７に該当するのはテクスチャ成分である。サンプルテクスチャ画像１０７は、変換対象画像１０６と同じサイズの画像である。

S２０４では、サンプルテクスチャ画像１０７からサンプルテクスチャ画像１０８を生成する。テクスチャ画像１０８は、生成する領域ごとに、サンプルテクスチャ画像１０７内の対応位置近傍から、類似パターンを検出することで生成する。具体的には、（ａ）テクスチャ画像１０８の画素値が求まっていない処理対象画素を順次選択し（ｂ）処理対象画素のテクスチャ画像１０８での位置と対応するサンプルテクスチャ画像１０７での位置の近傍領域を探索範囲とし、（ｃ）処理対象画素の近傍で既に画素値が求まっているテクスチャ画像１０８の画素の画素値の変化パターンと類似する、画素値の変化パターンとなる探索範囲内の画素（類似画素）の画素値を、処理対象画素の画素値に割り当てることで生成する。

図４は、サンプルテクスチャ画像１０７とテクスチャ画像１０８との関係を説明する図である。サンプルテクスチャ画像１０７のサイズをw x h [pixel]、テクスチャ画像１０８の画像サイズをW x H [pixel]とし、テクスチャ画像の生成領域が座標(I_k, J_k)であった場合、サンプルテクスチャ画像１０７内の対応点(i_k, j_k)は式（１５）で求められる。

サンプルテクスチャ画像１０７の座標(i_k, j_k)を中心とする近傍領域を探索領域とする。探索領域の大きさは、20x20[pixel]から40x40[pixel]程度の小領域とする。

サンプルテクスチャ画像１０７から、高い解像度のテクスチャ画像１０８への拡大の際に一般的に用いられるバイリニア補間法やバイキュービック補間法等の単純な拡大処理を適用すると、高周波なテクスチャ成分情報が消失してしまい高精細な画像を得ることができない。このような拡大補間の問題を解決するために、本実施形態では、サンプルテクスチャ画像１０７からテクスチャ画像１０８を生成する手法として、CG分野で提案されているテクスチャ生成手法を用いている。以下、詳細にテクスチャ生成手法について説明する。

図５、図６は、テクスチャ画像１０８を生成する手法を説明するための図である。

テクスチャ画像１０８中で生成対象とする処理対象画素の座標(Ik, Jk)は左上から右下へ逐次移動させる。図５に示すように、生成対象座標(Ik, Jk)の近傍領域（サイズNxN[pixel]）内で、既に画素値が割り当てられている領域をテンプレート領域とする。

図６に示すように、探索領域内でテンプレート領域と最も画素値の変化パターンが類似する領域を探索する。画素値の変化パターンが最も類似する領域で、テンプレート領域の(Ik, Jk )に対応する画素（図６の斜線画素）の輝度値をテクスチャ画像１０８の座標(Ik, Jk )の輝度値に割り当てる。テンプレート領域と最も類似した領域を探索領域中で探索する際には、例えば領域内の画素ごとの誤差の二乗和が最小となる領域を選択する。

S２０５では、テクスチャ画像１０８の生成が全画素完了したか否かを評価する。全画素が完了していない場合にはS２０４に進み、全画素が完了した場合にはS２０６に進む。

S２０６では、土台画像１０５とテクスチャ画像１０８とを合成し、合成画像１１０を生成する。合成部１０４は、S２０３のサンプルテクスチャ画像生成部１０１でおこなった処理に依存する。サンプルテクスチャ画像生成部１０１に、加算型骨格／テクスチャ分離法、またはε-フィルタ画像など、加算の形で分離する手法を用いた場合、合成画像１１０は式（１６）で求められ、乗算型骨格／テクスチャ分離法、またはCenter/Surround Retinex法など、乗算の形で分離する手法を用いた場合、合成画像１１０は式（１７）で求められる。

合成画像１１０ = 土台画像１０５ + テクスチャ画像１０８（１６）
合成画像１１０ = 土台画像１０５ × テクスチャ画像１０８（１７）
S２０７では、生成した合成画像１１０を出力し、処理を終了する。

本実施形態によれば、変換対象画像１０６の陰影を保持した画像を土台画像１０５として用いることで陰影を維持することができる。また、変換対象画像１０６の局所的なテクスチャの方向情報を含んだサンプルテクスチャ画像１０７をテクスチャ画像１０８の生成に用いているため、テクスチャの特徴を反映し、且つ、変換対象画像１０６の陰影やテクスチャの方向性を維持した高周波テクスチャ成分の生成が可能となり、変換対象画像１０６の質感を向上させることができる。

［第２の実施形態］
本実施形態では、変換対象画像１０６を縮小した縮小画像サンプルテクスチャ画像とする点が異なる。

図７は、本実施形態の画像処理装置７の構成を表すブロック図である。図１の画像処理装置１と比較し、土台画像生成部７０１と画像縮小部７０２をさらに有する点が異なる。

土台画像生成部７０１は、変換対象画像１０６からテクスチャ成分を除去した画像、または変換対象画像１０６そのものを、土台画像１０５として生成する。

画像縮小部７０２は、変換対象画像１０６を縮小した縮小画像１０９を生成する。

サンプルテクスチャ画像生成部１０１は、縮小画像１０９から陰影を除去し、サンプルテクスチャ画像１０７を生成する。

図８は、画像処理装置７の動作を示すフローチャートである。Ｓ２０３〜Ｓ２０７の説明は図２の説明と重複するため省略する。

S８０１では、変換対象画像１０６を読み込みS８０２に進む。

S８０２では、変換対象画像１０６から土台画像１０５を生成する。土台画像１０５は、変換対象画像１０６そのもの、または、変換対象画像１０６からテクスチャ成分を除去した画像とする。変換対象画像１０６からテクスチャ成分を除去する方法は例えばS２０１と同様に骨格／テクスチャ分離法、またはCenter/Surround Retinex法、またはε-フィルタ等を用いればよい。いずれの手段を用いた場合にも、土台画像１０５は変換対象画像１０６が保持する陰影と類似する陰影を保持する。

S８０３では、変換対象画像１０６を縮小することで縮小画像１０９を生成する。”あるテクスチャパターンを含む画像を考えた場合、画像をK倍することによって周波数が１／Ｋ倍のテクスチャパターンを生成することができる。ここで、Ｋは０＜Ｋ＜１．０の範囲にある任意の実数である。

本実施形態の画像処理装置によれば、変換対象画像１０６に含まれるテクスチャ成分と類似したパターンで周波数のみを高くしたテクスチャ成分を付加した合成画像１１０を生成することが可能となる。これにより、変換対象画像１０６のテクスチャのきめ細かさを向上させる効果がある。

［第３の実施形態］
本実施形態では、変換対象画像の拡大画像から土台画像を生成する点が、図１の画像処理装置１とは異なる。

図９は、本実施形態の画像処理装置９の構成を表すブロック図である。図１の構成に比べて、土台画像生成部７０１と画像拡大部９０１をさらに有する点が異なる。

画像拡大部９０１では、変換対象画像１０６を拡大し、拡大画像１１１を生成する。

土台画像生成部７０１は、拡大画像１１１からテクスチャ成分を除去した画像、または拡大画像１１１そのものを、土台画像１０５として生成する。

図１０は、本実施形態の画像処理装置の動作を示すフローチャートである。Ｓ２０２、Ｓ８０２、Ｓ２０３、Ｓ２０５〜Ｓ２０８の説明は図２、８の説明と重複するため省略する。

S１００１では、変換対象画像１０６を拡大した拡大画像１１１を生成する。画像を拡大する手法として、任意の画像拡大手法を用いることが可能である。例えば、最近傍補間法（あるいは、ニアレストネイバー法）、線形補間法、及び、キュービックコンボリューション法（バイキュービック補間法）など、画素値を補間して画像を拡大する方法が多く提案されている。できるだけぼけの少ない画像を取得可能な画像拡大手法を用いることが画質の劣化を防ぐためには望ましい。

本実施形態の画像処理装置によれば、変換対象画像に含まれる高周波テクスチャ成分と類似したパターンを拡大画像に付加することが可能となる。変換対象画像に含まれるテクスチャ成分は、拡大後の画像に含まれるテクスチャ成分よりも周波数が高いため、拡大画像中のテクスチャのきめ細かさを向上させる効果がある。

［第４の実施形態］
本実施形態では、土台画像１０に鮮鋭化処理を施した画像とテクスチャ画像を合成するように変更する。

図１１は、本実施形態の画像処理装置１１の構成を表すブロック図である。図１の構成に対し、画像鮮鋭化部１１０１と鮮鋭化土台画像１１０２をさらに有する点が異なる。

画像鮮鋭化部１１０１では、土台画像１０５を鮮鋭化し、鮮鋭化土台画像１１０２を生成する。

合成部１０４は、鮮鋭化土台画像１１０２とテクスチャ画像１０８を合成し、合成画像１１０を生成する。画像処理装置１１からの出力は、合成画像１１０である。

次に図１１および図１２を用いて、本実施形態の画像処理装置の動作について説明する。なお、図１２は、本実施形態の画像処理装置の動作を示すフローチャートである。

S１２０１では、土台画像１０５を鮮鋭化し、鮮鋭化土台画像１１０２を生成する。任意の鮮鋭化手法を用いることが可能であり、例えばアンシャープマスキング法などを用いればよい。

本実施形態の画像処理装置によれば、土台画像に含まれるエッジやテクスチャを鮮鋭にすることができ、合成画像中のテクスチャの鮮鋭感を向上させる効果がある。

［第５の実施形態］
本実施形態では、変換対象画像の陰影を除去した画像からテクスチャ成分の振幅を減衰させた画像をサンプルテクスチャ画像とする点が異なる。

図１３は、本実施形態のサンプルテクスチャ画像生成部１３０１の構成を表すブロック図である。

サンプルテクスチャ画像生成部１３０１は、陰影除去部１３０２と、振幅調整部１３０３とを備える。

陰影除去部１３０２では、第１〜第４の実施形態のサンプルテクスチャ画像生成部１０１と同様に、変換対象画像１０６から陰影を除去する処理をおこなう。

振幅調整部１３０３では、陰影除去部１３０２の出力の輝度振幅を減衰させて、振幅を調整し、サンプルテクスチャ画像１３０２を生成する。

図１４は、本実施形態の画像処理装置の動作を示すフローチャートである。なお、Ｓ２０１〜Ｓ２０８は図２の説明と重複するため省略する。

S１４０１では、陰影除去部１３０２の出力の輝度振幅を減衰させて、振幅調整しサンプルテクスチャ画像１０７を生成する。輝度振幅の減衰は、サンプルテクスチャ画像の画素値をV、振幅調整後サンプルテクスチャ画像の画素値をV'としたとき、式（１９）または式（２０）で行う。ここで、aは振幅調整係数であり、例えば振幅を1/2に減衰させる場合にはa=0.5となる。陰影除去部１３０２が、加算型骨格／テクスチャ分離法、またはε-フィルタ画像など、画像を加算の形で分離する手法を用いた場合には式（１９）を用いる。

また、乗算型骨格／テクスチャ分離法、Center/Surround Retinex法など、乗算の形で分離する手法を用いた場合には式（２０）を用いる。

調整係数aは、任意に設定する、あるいは、変換対象画像１０６と土台画像１０５の大きさの比により自動的に設定してもよい。自動的に設定する際には、変換対象画像１０６のサイズを横W_V[pixel]、縦H_V[pixel]、土台画像１０５のサイズを横W_V'[pixel]、縦H_V'[pixel]としたとき、式（２１）で求める。

本実施形態の画像処理装置によれば、土台画像に合成されるテクスチャ画像のテクスチャ成分の振幅を変換対象画像のテクスチャ成分とは異なる振幅とすることが可能となる。これにより、同じ周波数であっても変換対象画像とは印象の異なるテクスチャ成分を付加した合成画像を生成することができる。

本発明は、上記の各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

上記の各実施形態の画像処理装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。実行されるプログラムは、上述した各機能を含むモジュール構成となっている。プログラムはインストール可能な形式又は実行可能な形式のファイルでCD-ROM、CD−R、DVD等のコンピュータで読み取り可能な記録媒体に記録されて提供しても、ROM等に予め組み込んで提供してもよい。

１、７、９、１１、１３・・・画像処理装置
１０１、１３０１・・・サンプルテクスチャ画像生成部、１０２・・・テクスチャ画像生成部、１０４・・・画像合成部、７０１・・・土台画像生成部、９０１・・・画像拡大部、１１０１・・・画像鮮鋭化部、１３０２・・・陰影除去部、１３０３・・・振幅調整部、

１０５・・・土台画像、１０６・・・変換対象画像、１０７・・・サンプルテクスチャ画像、１０８・・・テクスチャ画像、１０９・・・縮小画像、１１０・・・合成画像、１１１・・・拡大画像、１１０２・・・鮮鋭化土台画像

Claims

変換対象画像のテクスチャ成分を抽出したサンプルテクスチャ画像を生成する第1画像生成部と、
前記サンプルテクスチャ画像より大きいサイズのテクスチャ画像内で、画素値が割り当てられていない処理対象画素の位置と対応する前記サンプルテクスチャ画像内の位置を含む所定の探索範囲内から、前記処理対象画素の近傍で既に画素値が求まっている前記テクスチャ画像の画素の画素値の変化パターンと類似する画素値の変化パターンをその周囲に有する類似画素を探索して、前記類似画素の画素値を前記処理対象画素の画素値に割り当てる第２画像生成部と、
前記テクスチャ画像と同じサイズで、前記変換対象画像の陰影と類似する陰影を保持する土台画像と前記テクスチャ画像とを合成することにより合成画像を得る合成部と、
を有することを特徴とする画像処理装置。
前記第２画像生成部は、前記処理対象画素近傍で既に画素値が割り当てられている画素の集合をテンプレート領域とし、前記テンプレート領域内の画素値の変化パターンと、前記探索範囲内で、前記テンプレート領域と同じ形状の領域内の画素値の変化パターンとの類似度が最も高くなる前記画素を探索することを特徴とする請求項１記載の画像処理装置。
前記第２画像生成部は、前記処理対象画素の近傍領域内で既に画素値が割り当てられているテンプレート領域内の画素値と、前記探索範囲内に位置する画素近傍の前記テンプレート領域と同じ形状の領域内の画素値との差分量から前記類似度を求める、
ことを特徴とする請求項２記載の画像処理装置。
前記変換対象画像から、テクスチャ成分を除去した前記土台画像を生成する土台画像生成部をさらに有する、
ことを特徴とする請求項３記載の画像処理装置。
前記第1画像生成部が、
前記変換対象画像を縮小した縮小画像を生成する縮小部を有し、
前記縮小画像から陰影を除去したサンプルテクスチャ画像を生成する、
ことを特徴とする請求項４記載の画像処理装置。
前記土台生成部が、
前記変換対象画像を拡大した拡大画像を生成する拡大部を有し、
前記拡大画像からテクスチャ成分を除去し、前記土台画像を生成する、
ことを特徴とする請求項４記載の画像処理装置。
前記土台画像に鮮鋭化処理を行い、鮮鋭化土台画像を生成する鮮鋭化部をさらに有し、
前記合成部は、前記鮮鋭化土台画像と、前記テクスチャ画像を合成し、前記合成画像を生成する、
ことを特徴とする請求項４記載の画像処理装置。
前記第１画像生成部は、
前記変換対象画像から陰影を除去した画像を生成する陰影除去部と、
前記陰影を除去した画像の画素値の振幅を変更する振幅調整部と、
を有することを特徴とする請求項４記載の画像処理装置。
変換対象画像のテクスチャ成分を抽出したサンプルテクスチャ画像を生成するステップと、
前記サンプルテクスチャ画像より大きいサイズのテクスチャ画像内で、画素値が割り当てられていない処理対象画素の位置と対応する前記サンプルテクスチャ画像内の位置を含む所定の探索範囲内から、前記処理対象画素の近傍で既に画素値が求まっている前記テクスチャ画像の画素の画素値の変化パターンと類似する画素値の変化パターンをその周囲に有する類似画素を探索するステップと、
前記類似画素の画素値を前記処理対象画素の画素値に割り当てるステップと、
前記テクスチャ画像と同じサイズで、前記変換対象画像の陰影と類似する陰影を保持する土台画像と前記テクスチャ画像とを合成することにより合成画像を得るステップと、
を有することを特徴とする画像処理方法。