JP7020075B2 - 画像処理装置及びプログラム - Google Patents

Description

本発明は、画像処理装置及びプログラムに関する。

従来から、コンピュータグラフィックス（ＣＧ）により物理ベースレンダリングによって現実世界を再現する技術が開発されている。ここで、物理ベースレンダリングとは、光の散乱や反射、吸収等の光学現象を計測してモデル化することをいう。

非特許文献１には、物理ベースレンダリングの一例が記載されている。

E.A.Khan et al. "Image-Based Material Editing" ,インターネット（http://citeseerx.ist.psu.edu/viewdoc/download?rep=rep1&type=pdf&doi=10.1.1.87.1905）

物理ベースレンダリングでは、アルベド（入射光に対する反射光の比：反射能）、反射率、ラフネス、マイクロファセット（法線分布）等の複雑なパラメータを用いて計算する必要があるところ、この技術をそのまま２次元画像に適用することは困難である。

一般に、２次元画像の質感を再現する方法には、
（１）反射特性を考慮せずに、ヒストグラムの歪度等の統計的な計算を用いる
（２）反射特性を考慮するが、ＣＧほど厳密に反射特性を用いない
の２つのパターンがある。ここで、反射特性は、具体的には反射率分布関数（ＢＲＤＦ：(Bidirectional Reflectance Distribution Function)）であり、反射表面上のある地点に対して、ある方向から素材に光が入射したとき、それぞれの方向へどれだけの光が素材から反射されるかを表す関数である。これら２つのパターンのうち、（２）では、例えば

により光沢を再現する。ここで、
ｆ_{Ｍａｔｕｓｉｋ}：反射特性
Ｌｉ’：入射光強度
ｄ・ｎ：法線方向
である。これにより、３次元物体のＣＧに比べて計算量が削減されるが、反射特性ｆ_{Ｍａｔｕｓｉｋ}は実測のデータを用いる等しているため、十分な改善に至っていない。

本発明の目的は、反射特性を考慮しつつも、実測して得られる反射特性を用いる場合に比べてより簡易に質感を表現し得る技術を提供することにある。

請求項１に記載の発明は、原画像を構成する画素毎の画素値の傾きを算出する傾き算出部と、前記傾き毎の反射特性を規定する反射特性マップを用いて、算出された前記傾きに応じた反射強度を算出することで相対的に強反射領域を有する強反射画像を生成する強反射画像生成部と、前記原画像と前記強反射画像を合成して質感再現画像を生成する合成画像生成部と、前記質感再現画像を表示する表示部と、前記原画像の画素値をガンマ補正する補正部と、を備え、前記合成画像生成部は、ガンマ補正された前記原画像と前記強反射画像を合成する画像処理装置である。

請求項２に記載の発明は、前記傾き算出部は、前記傾きとして法線ベクトルを算出し、前記法線ベクトルの成分をＲＧＢ値に変換することで前記原画像から法線画像を生成し、前記強反射画像生成部は、前記法線画像と前記反射特性マップを用いて前記強反射画像を生成する請求項１に記載の画像処理装置である。

請求項３に記載の発明は、前記反射特性マップは、利用者が調整可能である請求項１，２のいずれかに記載の画像処理装置である。

請求項４に記載の発明は、前記反射特性マップは、利用者が複数の反射特性マップの中から選択可能である請求項１，２のいずれかに記載の画像処理装置である。

請求項５に記載の発明は、前記反射特性マップは、利用者が複数の反射特性マップを組合せて構成可能である請求項１，２のいずれかに記載の画像処理装置である。

請求項６に記載の発明は、前記反射特性マップは、少なくとも1つ以上のガウシアン分布である請求項１，２のいずれかに記載の画像処理装置である。

請求項７に記載の発明は、前記ガウシアン分布の平均値と分散の少なくともいずれかは利用者が調整可能である請求項６に記載の画像処理装置である。

請求項８に記載の発明は、前記強反射画像をフィルタ処理するフィルタ処理部をさらに備え、前記合成画像生成部は、前記原画像とフィルタ処理された前記強反射画像を合成する請求項１，２のいずれかに記載の画像処理装置である。

請求項９に記載の発明は、前記フィルタ処理は、前記強反射領域の強調処理である請求項８に記載の画像処理装置である。

請求項１０に記載の発明は、前記フィルタ処理は、前記強反射領域のぼかし処理である請求項８に記載の画像処理装置である。

請求項１１に記載の発明は、前記ガンマ補正のガンマ値は利用者が調整可能である請求項１に記載の画像処理装置である。

請求項１２に記載の発明は、前記ガンマ補正のガンマ値は、前記強反射領域の面積に応じて設定される請求項１に記載の画像処理装置である。

請求項１３に記載の発明は、前記ガンマ補正のガンマ値は、前記強反射領域の面積が大なるほど前記原画像が暗くなるように設定される請求項１２に記載の画像処理装置である。

請求項１４に記載の発明は、前記強反射画像生成部は、異なる前記反射特性マップを用いて異なる前記強反射画像を生成し、前記合成画像生成部は、異なる前記強反射画像を用いて異なる質感再現画像を生成し、前記表示部は、異なる前記質感再現画像を表示する請求項１，２のいずれかに記載の画像処理装置である。

請求項１５に記載の発明は、コンピュータに、原画像を入力するステップと、前記原画像を構成する画素毎の画素値の傾きを算出するステップと、前記傾き毎の反射特性を規定する反射特性マップを用いて算出された前記傾きに応じた反射強度を算出することで相対的に強反射領域を有する強反射画像を生成するステップと、前記原画像の画素値をガンマ補正するステップと、ガンマ補正された前記原画像と前記強反射画像を合成して質感再現画像を生成するステップと、前記質感再現画像を表示部に表示するステップとを実行させるプログラムである。

請求項１，２，１５に記載の発明によれば、反射特性を考慮しつつも、実測して得られる反射特性を用いる場合に比べてより簡易に原画像の質感を表現し得る。

請求項３－５に記載の発明によれば、さらに、利用者の操作により多様な質感を表現し得る。

請求項６に記載の発明によれば、さらに、簡易に反射特性マップを規定し得る。

請求項７に記載の発明によれば、さらに、平均値と分散の少なくともいずれかにより多様な質感を表現し得る。

請求項８－１０に記載の発明によれば、さらに、フィルタ処理により多様な質感を表現し得る。

請求項１１，１２に記載の発明によれば、さらに、ガンマ補正により多様な質感を表現し得る。

請求項１３に記載の発明によれば、さらに、コントラストを高めた質感を表現し得る。

請求項１４に記載の発明によれば、さらに、異なる質感を表現してこれらを表示し得る。

実施形態の機能ブロック図である。 実施形態の構成ブロック図である。 画素傾き方向算出の模式図である。 反射特性マップの一例を示す説明図である。 強反射画像生成の模式図である。 質感再現画像生成の模式図である。 反射特性マップの他の例を示す説明図である。 反射特性マップのさらに他の例を示す説明図である。 反射特性マップのさらに他の例を示す説明図である。 他の実施形態の機能ブロック図である。 さらに他の実施形態の機能ブロック図である。 さらに他の実施形態の機能ブロック図である。 さらに他の実施形態の処理フローチャートである。

以下、図面に基づき本発明の実施形態について説明する。

＜実施形態１＞
１．構成
図１は、実施形態における画像処理装置の機能ブロック図を示す。実施形態の画像処理装置は、原画像の質感を表現する質感表現装置として機能する。質感表現装置は、画素傾き方向算出部１２と、反射特性生成部１４と、強反射画像生成部１６と、質感再現部１８と、表示部２０を備える。

画素傾き方向算出部１２は、原画像１０を入力し、原画像の画素毎に傾き方向を算出することで原画像１０の法線画像を生成する。画素傾き方向算出部１２は、生成した法線画像を強反射画像生成部１６に出力する。

反射特性生成部１４は、反射特性マップを生成して強反射画像生成部１６に出力する。反射特性生成部１４は、予め記憶された反射特性マップを読み出して出力してもよく、あるいは操作者からの操作指示に応じて反射特性マップを生成して出力してもよい。

強反射画像生成部１６は、法線画像と反射特性マップを用いて相対的に強反射領域を有する強反射画像を生成する。強反射画像生成部１６は、生成した強反射画像を質感再現部１８に出力する。

質感再現部１８は、合成画像生成部として機能し、原画像１０と強反射画像を合成することで原画像１０の質感を再現した質感再現画像を生成して表示部２０に出力する。表示部２０は、生成された質感再現画像を表示する。

図１に示す機能ブロックは、具体的にはコンピュータで実現され得る。

図２は、質感表現装置の具体的な構成を示す。質感表現装置は、プロセッサ３０ａ、ＲＯＭ３０ｂ、ＲＡＭ３０ｃ、入出力インターフェイス（Ｉ／Ｆ）３０ｄ、通信Ｉ／Ｆ３０ｅ、記憶装置３０ｆ及びディスプレイ３０ｇを備える。

１又は複数のプロセッサ３０ａは、ＲＯＭ３０ｂやＨＤＤ、ＳＳＤ等に記憶された処理プログラムを読み出して実行し、ＲＡＭ３０ｃをワーキングメモリとして用いることで図１の各部の機能、具体的には画素傾き方向算出部１２、反射特性生成部１４、強反射画像生成部１６、及び質感再現部１８を実現する。プロセッサ３０ａは、ＣＰＵ又はＧＰＵで構成され得る。プロセッサ３０ａにおける処理を列挙すると、以下の通りである。
（１）原画像１０を取得（入力）する。
（２）原画像１０を構成する画素毎に、その画素値の傾き方向を法線ベクトルとして算出する。
（３）算出した法線ベクトルを用いて原画像１０から法線画像を生成する。
（４）反射特性マップを生成する。
（５）生成された反射特性マップを法線画像に適用して強反射画像を生成する。
（６）原画像１０と強反射画像を合成して質感再現画像を生成する。
（７）生成された質感画像をディスプレイ３０ｇに表示する。

なお、（２）の処理は、さらに、原画像１０の直交する２方向をｘ、ｙ方向として、
（２－１）画素値のｘ方向の傾きベクトルを算出する
（２－２）画素値のｙ方向の傾きベクトルを算出する
（２－３）ｘ方向の傾きベクトルとｙ方向の傾きベクトルの外積を演算することで法線ベクトルを算出する
の処理を含む。

また、（４）～（７）の処理は、利用者からの操作指示に応じて繰り返し実行される。すなわち、利用者からの操作指示に応じて反射特性マップを再生成し、再生成された反射特性マップを法線画像に適用して強反射画像を再生成し、原画像１０と再生成された強反射画像を合成して質感再現画像を再生成し、再生成された質感画像をディスプレイ３０ｇに再表示する。

入出力Ｉ／Ｆ３０ｄは、原画像１０を入力してプロセッサ３０ａに出力する。

通信Ｉ／Ｆ３０ｅは、ネットワークを介して外部のサーバとデータを送受信する。プロセッサ３０ａは、外部のサーバにアクセスして原画像１０を取得してもよい。

記憶装置３０ｆは、ＨＤＤやＳＳＤ等で構成され、１又は複数の反射特性マップを記憶する。

ディスプレイ３０ｇは、質感再現画像を表示する。なお、利用者からの操作指示に応じて反射特性マップを再生成して質感再現画像を再生成した場合、再生成された複数の質感再現画像を並列表示してもよい。また、反射特性マップと組にして質感再現画像を表示してもよい。例えば、第１の反射特性マップを用いて第１の質感再現画像が生成され、第２の反射特性マップを用いて第２の質感再現画像が生成された場合、第１の反射特性マップに関連付けて第１の質感再現画像を表示するとともに、第２の反射特性マップに関連付けて第２の質感再現画像を表示する等である。ディスプレイ３０ｇは、原画像１０と法線画像と反射特性マップと強反射画像と質感再現画像を互いに関連付けて表示してもよい。

２．法線画像
図３は、画素傾き方向算出部１２で生成される画素傾き方向の生成処理、すなわち法線画像の生成処理を模式的に示す。

図３において、原画像１０の互いに直交する２つの方向をｘ方向及びｙ方向とし、各画素の画素値をｘ方向及びｙ方向に直交するｚ方向の高さで表現する。言い換えれば、黒が低く、白が高くなるような高低を表すハイトマップ（Ｈｅｉｇｈ Ｍａｐ）で表現する。
そして、図３（ａ）に示すように、ある画素１００に注目した場合に、その画素１００におけるｘ方向の画素値の傾きを算出するとともに、図３（ｂ）に示すように、画素１００におけるｙ方向の画素値の傾きを算出する。

いま、注目する画素１００の画素値をＰ（ｘ、ｙ）とし、ｘ方向に隣接する画素の画素値をＰ（ｘ＋１，ｙ）、ｙ方向に隣接する画素の画素値をＰ（ｘ，ｙ＋１）とすると、ｘ方向の傾きは、
Δｘ（ｘ，ｙ）＝Ｐ（ｘ＋１，ｙ）－Ｐ（ｘ，ｙ）
であり、ｙ方向の傾きは、
Δｙ（ｘ，ｙ）＝Ｐ（ｘ、ｙ＋１）－Ｐ（ｘ，ｙ）
である。

次に、ｘ方向の傾きΔｘを成分とするｘ方向傾きベクトル１０２ｘと、ｙ方向の傾きΔｙを成分とするｙ方向傾きベクトル１０２ｙの外積を算出することで、注目する画素１００の法線ベクトル１０２が算出される。図３（ｃ）は、注目する画素１００の法線ベクトル１０２を例示する。

以上の処理を原画像１０を構成する全ての画素について実行し、全ての画素についてその法線ベクトルを算出する。

画素毎に法線ベクトルを算出した後、画素傾き方向算出部１２は、画素毎の法線ベクトルの成分をＲＧＢ座標系に変換して法線画像を生成する（法線マッピング）。法線マッピングは公知であり、３次元ＣＧにおけるバンプマッピング的技法の一種であり、追加のポリゴンを使わずに詳細な見た目を実現する方法であり、より詳細なオブジェクトの法線ベクトルのｘ、ｙ、ｚ座標に対応したＲＧＢ画像を意味する。

例えば、法線ベクトル（ｘ、ｙ、ｚ）のｘ成分を－１≦ｘ≦１、ｙ成分を－１≦ｙ≦１、ｚ成分を０≦ｚ≦１とし、赤成分Ｒの０～２５５（８ビット）の値を法線ベクトルのｘ成分の－１．０～１．０に対応させ、緑色成分Ｇの０～２５５の値を法線ベクトルのｙ分の－１．０～１．０に対応させ、青色成分Ｂの０～２５５の値を、法線ベクトルのｚ成分の０～１．０に対応させて変換する。これにより、原画像１０のうち、注目画素１００が黒で、その周囲の画素も黒の場合、法線ベクトルは（０，０，１）となり、これをＲＢＧに変換すると（Ｒ，Ｇ，Ｂ）＝（１２８，１２８，２５５）となる。これは青紫色に相当する。法線マッピングを行うと、原画像１０における色の変化量が多いほど凹凸が深くなり、また、変化する距離が近いほど凹凸が細かくなる。

３．反射特性マップ
図４は、反射特性生成部１４で生成される反射特性マップ２００の一例を示す。反射分布は、物体の材質（表面凹凸等）で異なるが、物体表面で反射した光は拡散光と正反射光で簡易的に表現し得る。反射特性生成部１４は、例えば１又は複数のガウシアン分布を用いた反射特性マップを生成する。

図において、反射特性マップ２００は２次元マップとして表現される。横方向はｘ方向の角度０°～１８０°、縦方向はｙ方向の角度０°～１８０°を示し、（ｘ方向角度、ｙ方向角度）毎の反射強度を色分けして示す。図において、ｘ方向の角度が９０°に近づくほど、及びｙ方向の角度が９０°に近づくほど反射強度が高くなることを示す。法線画像の法線ベクトルのｘ方向、ｙ方向の角度から、図４に示す反射特性マップ２００を参照することで、法線ベクトルに対応した画素値が得られる。反射特性マップ２００は、実測して得られたものではなく、任意に設定可能である。

記憶装置３０ｆには、予め１又は複数の反射特性マップ２００が記憶されており、利用者はこれらの反射特性マップ２００を任意に選択し得る。例えば、プロセッサ３０ａは、記憶装置３０ｆに記憶された１又は複数の反射特性マップ２００をディスプレイ３０ｇに表示して利用者の選択に供する。プロセッサ３０ａは、利用者が操作指示することにより所望の反射特性マップを選択すると、選択された反射特性マップ２００を用いて法線ベクトルを対応する画素値に変換する。

４．強反射画像
強反射画像生成部１６は、法線画像と反射特性マップ２００から強反射画像を生成する。具体的には、既述したように、プロセッサ３０ａは、法線画像の法線ベクトルのｘ方向、ｙ方向の角度から、図４に示す反射特性マップ２００を参照することで、法線ベクトルに対応した画素値を生成する。

図５は、法線画像から図４に示す反射特性マップ２００を用いて生成される強反射画像の一例を示す。図５（ａ）は法線画像であり、図５（ｂ）は反射特性マップ２００を適用して変換した画像である。反射特性マップ２００により、特定の法線ベクトルについて相対的に強い反射強度が与えられ、別の法線ベクトルについて相対的に弱い反射強度が与えられる。その結果、法線画像のうち、特定の法線ベクトル部分について反射強度が強くなる。図５（ｂ）において、一部の強反射部分を領域４０，４２が実線で示されている。

５．質感再現
質感再現部１８は、原画像１０と強反射画像とを合成することで質感再現画像を生成する。具体的には、プロセッサ３０ａは、原画像１０をＲＡＭ３０ｃに格納し、生成した強反射画像をＲＡＭ３０ｃに格納し、これらの画像をＲＡＭ３０ｃから読み出して合成することで質感再現画像を生成する。

図６は、質感再現画像の一例を示す。図６（ａ）が原画像１０であり、図６（ｂ）は強反射画像である。質感再現部１８は、原画像１０と強反射画像を合成することで、図６（ｃ）に示す質感再現画像を生成する。すなわち、質感再現部１８は、原画像１０に対し、反射特性マップ２００により生成された強反射領域を付加することで原画像１０の質感を再現する。

実施形態において、強反射画像は、原画像１０の法線画像と反射特性マップ２００から生成される点に留意すべきである。法線画像により色の変化が凹凸として表現され、当該凹凸から反射特性マップ２００を用いて強反射領域を抽出することで、２次元の原画像１０に質感が付与される。

また、２次元の原画像１０との合成をせずに、強反射画像をそのまま再現画像として表示部で表示してもよい。原画像１０と強反射画像を合成して表示するか、強反射画像をそのまま表示するかを利用者が選択可能に構成してもよい。

強反射領域は、原画像１０の法線画像から反射特性マップ２００を用いて生成されるから、反射特性マップ２００を変化させることで強反射領域も変化し、結果として質感再現画像の質感も変化し得る。

図７は、複数の反射特性マップ２０２，２０４，２０６の例を示す。反射特性マップ２０２，２０４，２０６は、図４に示すように基本的にはｘ、y方向の角度の二次元マップであるが、ここでは簡易的にｘ方向の角度の一次元マップとして示す。一次元マップから二次元マップは容易に生成し得る。

図７（ａ）は、相対的にｘ方向の角度に対して平坦なガウシアン分布の反射特性マップ２０２を示す。図において、横軸は仰角０°～１８０°、縦軸は反射率である。反射特性は相対的に平坦であるため、これに応じて強反射領域も緩慢になる。

図７（ｂ）は、相対的に急峻なガウシアン分布の反射特性マップ２０４を示す。反射特性は相対的に急峻であるため、これに応じて特定の強反射領域が強調される。

図７（ｃ）は、図７（ａ）に示す反射特性マップ２０２と、図７（ｂ）に示す反射特性マップ２０４を合わせた反射特性マップ２０６を示す。従って、ｘ方向の角度が０°あるいは１８０°の近傍では反射特性マップ２０２に示す反射率で強反射領域が原画像１０に付加され、ｘ方向の角度が９０°近傍では反射特性マップ２０４に示す反射率で強反射領域が原画像１０に付加される。

利用者は、図７（ａ）、（ｂ）、（ｃ）に示される複数の反射特性マップ２０２，２０４，２０６から任意の反射特性マップを選択して質感再現画像を生成し得る。ガウシアン分布は、平均値μ及び分散σ^２で規定されるから、利用者は、平均値μ、分散σ^２の少なくともいずれかを変化させることで反射特性マップを変化させ、所望の質感再現画像を生成し得る。

例えば、利用者は、分散σ^２をσ_１ ^２→σ_２ ^２→σ_３ ^２（但し、σ_１ ^２＞σ_２ ^２＞σ_３ ^２）と順次変化させることで反射特性マップを順次変化させ、質感再現画像を順次変化させる。利用者は、質感再現画像を順次変化させ、所望の質感再現画像が得られた場合に当該質感再現画像を操作指示により選択する。プロセッサ３０ａは、利用者により選択された質感再現画像をそのときの反射特性マップとともに記憶装置３０ｆに記憶する。

なお、プロセッサ３０ａは、利用者により選択された反射特性マップ、あるいは利用者により選択された反射特性マップと質感再現画像、あるいは原画像１０と反射特性マップと質感再現画像を通信Ｉ／Ｆ３０ｅ及びネットワークを介して外部サーバに送信してもよく、外部サーバは質感再現装置から送信された反射特性マップや質感再現画像、あるいは原画像を格納してもよい。

このように、実施形態では、実測して得られる反射特性を用いるのではなく、例えばガウシアン分布等の所定の反射特性マップを用い、この反射特性マップを適宜変化させて所望の質感を表現するので、より簡易に原画像１０の質感を表現し得る。

＜実施形態２＞
図８は、本実施形態における質感表現装置の機能ブロック図を示す。図１と異なる点は、強反射領域強調部２２が付加されている点である。強反射領域強調部２２は、１又は複数のプロセッサ３０ａが処理プログラムを実行することで実現されるが、ハードウェア回路から構成してもよい。

強反射画像生成部１６は、実施形態１と同様に、法線画像と反射特性マップから強反射画像を生成する。強反射画像生成部１６は、生成した強反射画像を強反射領域強調部２２に出力する。

強反射領域強調部２２は、強反射画像をフィルタ処理して強反射領域のエッジを強調する。あるいは、強反射領域強調部２２は、強反射画像をフィルタ処理して強反射領域をぼかしてもよい。強反射領域強調部２２は、フィルタ処理した強反射画像を質感再現部１８に出力する。

本実施形態によれば、強反射領域のエッジを強調し、あるいはぼかすことで、さらに異なる質感（例えば、つるっとした質感）を表現し得る。

＜実施形態３＞
図９は、本実施形態における質感表現装置の機能ブロック図を示す。図１と異なる点は、画素値補正部２４が付加されている点である。画素値補正部２４は、１又は複数のプロセッサ３０ａが処理プログラムを実行することで実現されるが、ハードウェア回路から構成してもよい。

画素値補正部２４は、原画像１０をフィルタ処理して質感再現部１８に出力する。例えば、画素値補正部２４は、原画像１０の画素値をガンマ補正により暗くする。画素値補正部２４は、フィルタ処理した原画像１０を質感再現部１８に出力する。

質感再現部１８は、フィルタ処理された原画像１０と強反射画像を合成して質感画像を生成する。原画像１０の画素値を暗くすることで、強反射領域とのコントラストが高まり、さらに異なる質感（質感がより強まる）を表現し得る。

画素値補正部２４は、強反射画像生成部１６で生成された強反射画像を取得し、強反射画像の面積に応じて原画像１０の暗くする量を変化させてもよい。例えば、強反射画像の面積が大なるほど原画像１０をより暗くする等である。具体的には、画素値補正部２４における入力値ＩＮと補正値ＯＵＴを、
ＯＵＴ＝ＩＮ^γ
とし、γの値を強反射画像の面積が大なるほど大きくなるように設定する。これにより、強反射領域とのコントラストがさらに高まり、質感がより強まる。

＜実施形態４＞
実施形態１、実施形態２、及び実施形態３を組み合わせてもよい。

図１０は、本実施形態における質感再現装置の機能ブロック図を示す。図１に示される機能ブロック図に対し、実施形態２における強反射領域強調部２２、及び実施形態３における画素値補正部２４が付加される。利用者は、反射特性マップ、強反射領域強調部２２におえるフィルタ処理、画素値補正部２４におけるフィルタ処理の少なくともいずれかを調整することで、多様な質感再現画像を生成し得る。

図１１は、図１０の構成における処理フローチャートを示す。

まず、画素傾き方向算出部１２は、原画像１０を取得する（Ｓ１０１）。

次に、画素傾き方向算出部１２は、原画像の画素毎に法線ベクトルを算出する（Ｓ１０２）。具体的には、ｘ方向の傾きベクトルとｙ方向の傾きベクトルを算出し、これらの外積を演算することで法線ベクトルを算出する。

次に、画素傾き方向算出部１２は、法線ベクトルから法線画像を生成する（Ｓ１０３）。すなわち、画素毎の法線ベクトルの成分（ｘ、ｙ、ｚ）をＲＧＢ値に変換する。なお、画素傾き方向算出部１２は、生成された法線画像を表示部２０に表示してもよい。

次に、反射特性生成部１４は、反射特性マップを生成する（Ｓ１０４）。反射特性マップは、予め記憶装置３０ｆに記憶されている反射特性マップをそのまま用いてもよく、利用者からの操作指示により予め記憶されている反射特性マップを変化させて生成してもよい。反射特性マップの変化の一例は、図７Ｃに示すような複数の反射特性マップの組合せである。また、他の例は、利用者によるガウシアン分布の平均値μと分散σ^２の少なくともいずれかの調整である。外部サーバに複数の反射特性マップの候補が格納されており、質感再現装置は外部サーバにアクセスしてこれらの反射特性マップ候補を外部サーバからダウンロードして表示部２０に表示し、利用者が所望の反射特性マップを選択することによって反射特性マップを生成してもよい。

次に、強反射画像生成部１６は、法線画像と反射特性マップから強反射画像を生成する（Ｓ１０５）。強反射画像生成部１６は、生成した強反射画像を表示部２０に表示してもよい。

次に、強反射領域強調部２２は、強反射領域に対してフィルタ処理を施して強反射領域を所望の態様で強調する（Ｓ１０６）。利用者は、どのようなフィルタ処理を施すかを選択し得る。強反射領域強調部２２は、表示部２０に各種フィルタを表示して利用者が所望のフィルタ処理を選択できるように構成してもよい。

次に、画素値補正部２４は、原画像の画素値をガンマ補正する（Ｓ１０７）。利用者は、ガンマ補正時のガンマ（γ）の値を選択し得る。また、画素値補正部２４は、強反射画像における強反射領域の面積に応じてガンマ値を設定してもよい。画素値補正部２４は、画素値を補正した原画像１０を表示部２０に表示してもよい。

次に、質感再現部１８は、画素値補正された原画像１０と、強反射領域が強調された強反射画像とを合成して質感再現画像を生成する（Ｓ１０８）。質感再現部１８は、生成した質感再現画像を表示部２０に表示する（Ｓ１０９）。

次に、質感再現装置は、生成された質感再現画像が要求を満たすか否かを判定する（Ｓ１１０）。具体的には、プロセッサ３０ａが利用者からの入力に応じて要求を満たすか否かを判定する。表示部２０に表示された質感再現画像に満足する場合には利用者はその旨、例えばＹＥＳを入力する。他方、利用者が質感再現画像に満足しない場合には利用者はその旨、例えばＮＯを入力する。要求を満たさない場合、Ｓ１０４以降の処理を繰り返し、反射特性マップ、強反射領域のフィルタ処理、原画像の画素値補正の少なくともいずれかを変化させて質感再現画像を再生成して表示部２０に表示する。

図１１の処理フローチャートにおいて、Ｓ１０６及びＳ１０７の処理をスキップする場合は実施形態１に相当し、Ｓ１０７の処理をスキップする場合は実施形態２に相当し、Ｓ１０６の処理をスキップする場合は実施形態３に相当する。

以上、本発明の実施形態について説明したが、本発明はこれらの実施形態に限定されず、種々の変形が可能である。

例えば、実施形態では、反射特性マップとしてガウシアン分布を例示したが、これに限定されるものではなく、任意の関数あるいはテーブルを用いて反射特性マップを生成し得る。

また、実施形態では、図３に示す注目画素１００のｘ方向の傾きベクトル１０２ｘ及びｙ方向の方向きベクトル１０２ｙを、
Δｘ＝Ｐ（ｘ＋１，ｙ）－Ｐ（ｘ，ｙ）
Δｙ＝Ｐ（ｘ，ｙ＋１）－Ｐ（ｘ，ｙ）
として算出しているが、ｘ方向の傾きとしてｙ方向に隣接する画素のｘ方向の傾きの平均
Δｘ＝｛Δｘ（ｘ，ｙ－１）＋Δｘ（ｘ，ｙ）＋Δｘ（ｘ，ｙ＋１）｝／３
として算出してもよく、ｙ方向の傾きとしてｘ方向に隣接する画素のｙ方向の傾きの平均
Δｙ＝｛Δｙ（ｘ－１，ｙ）＋Δｙ（ｘ，ｙ）＋Δｙ（ｘ＋１，ｙ）｝／３
として算出してもよい。ここで、
Δｘ（ｘ，ｙ－１）：注目画素（ｘ，ｙ）に隣接する画素（ｘ，ｙ－１）のｘ方向傾き
Δｘ（ｘ，ｙ）：注目画素（ｘ，ｙ）のｘ方向傾き（平均算出前）
Δｘ（ｘ，ｙ＋１）：注目画素（ｘ，ｙ）に隣接する画素（ｘ，ｙ＋１）のｘ方向傾き
Δｙ（ｘ－１，ｙ）：注目画素（ｘ，ｙ）に隣接する画素（ｘ－１，ｙ）のｙ方向傾き
Δｙ（ｘ，ｙ）：注目画素（ｘ，ｙ）のｙ方向傾き（平均算出前）
Δｙ（ｘ＋１，ｙ）：注目画素（ｘ，ｙ）に隣接する画素（ｘ＋１，ｙ）のｙ方向傾き
である。

さらに、実施形態では、反射特性マップとして図４に示す反射特性マップ２００、あるいは図７Ａ，図７Ｂ，図７Ｃに示す反射特性マップ２０２，２０４，２０６を示したが、反射特性マップは画素毎の画素値の傾き、すなわち法線ベクトルの向きと反射強度との関係を規定すればよく、関数形式であってもテーブル形式であってもよい。

１０ 原画像、１２ 画素傾き方向算出部、１４ 反射特性生成部、１６ 強反射画像生成部、１８ 質感再現部、２０ 表示部、１０２ 法線ベクトル、２００，２０２，２０４，２０６ 反射特性マップ。

Claims (15)

1. 原画像を構成する画素毎の画素値の傾きを算出する傾き算出部と、
   前記傾き毎の反射特性を規定する反射特性マップを用いて、算出された前記傾きに応じた反射強度を算出することで相対的に強反射領域を有する強反射画像を生成する強反射画像生成部と、
   前記原画像と前記強反射画像を合成して質感再現画像を生成する合成画像生成部と、
   前記質感再現画像を表示する表示部と、
   前記原画像の画素値をガンマ補正する補正部と、
   を備え、前記合成画像生成部は、ガンマ補正された前記原画像と前記強反射画像を合成する
   画像処理装置。
2. 前記傾き算出部は、前記傾きとして法線ベクトルを算出し、前記法線ベクトルの成分をＲＧＢ値に変換することで前記原画像から法線画像を生成し、
   前記強反射画像生成部は、前記法線画像と前記反射特性マップを用いて前記強反射画像を生成する
   請求項１に記載の画像処理装置。
3. 前記反射特性マップは、利用者が調整可能である
   請求項１，２のいずれかに記載の画像処理装置。
4. 前記反射特性マップは、利用者が複数の反射特性マップの中から選択可能である
   請求項１，２のいずれかに記載の画像処理装置。
5. 前記反射特性マップは、利用者が複数の反射特性マップを組合せて構成可能である
   請求項１，２のいずれかに記載の画像処理装置。
6. 前記反射特性マップは、少なくとも１つ以上のガウシアン分布である
   請求項１，２のいずれかに記載の画像処理装置。
7. 前記ガウシアン分布の平均値と分散の少なくともいずれかは利用者が調整可能である
   請求項６に記載の画像処理装置。
8. 前記強反射画像をフィルタ処理するフィルタ処理部をさらに備え、
   前記合成画像生成部は、前記原画像とフィルタ処理された前記強反射画像を合成する
   請求項１，２のいずれかに記載の画像処理装置。
9. 前記フィルタ処理は、前記強反射領域の強調処理である
   請求項８に記載の画像処理装置。
10. 前記フィルタ処理は、前記強反射領域のぼかし処理である
    請求項８に記載の画像処理装置。
11. 前記ガンマ補正のガンマ値は利用者が調整可能である
    請求項１に記載の画像処理装置。
12. 前記ガンマ補正のガンマ値は、前記強反射領域の面積に応じて設定される
    請求項１に記載の画像処理装置。
13. 前記ガンマ補正のガンマ値は、前記強反射領域の面積が大なるほど前記原画像が暗くなるように設定される
    請求項１２に記載の画像処理装置。
14. 前記強反射画像生成部は、異なる前記反射特性マップを用いて異なる前記強反射画像を生成し、
    前記合成画像生成部は、異なる前記強反射画像を用いて異なる質感再現画像を生成し、
    前記表示部は、異なる前記質感再現画像を表示する
    請求項１，２のいずれかに記載の画像処理装置。
15. コンピュータに、
    原画像を入力するステップと、
    前記原画像を構成する画素毎の画素値の傾きを算出するステップと、
    前記傾き毎の反射特性を規定する反射特性マップを用いて算出された前記傾きに応じた反射強度を算出することで相対的に強反射領域を有する強反射画像を生成するステップと、
    前記原画像の画素値をガンマ補正するステップと、
    ガンマ補正された前記原画像と前記強反射画像を合成して質感再現画像を生成するステップと、
    前記質感再現画像を表示部に表示するステップと、
    を実行させるプログラム。

Images