JP2023057953A - 情報処理装置、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP2023057953A JP2023057953A JP2021167717A JP2021167717A JP2023057953A JP 2023057953 A JP2023057953 A JP 2023057953A JP 2021167717 A JP2021167717 A JP 2021167717A JP 2021167717 A JP2021167717 A JP 2021167717A JP 2023057953 A JP2023057953 A JP 2023057953A
- Authority
- JP
- Japan
- Prior art keywords
- information processing
- function
- approximating
- reflection
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 45
- 238000003672 processing method Methods 0.000 title claims 2
- 239000000463 material Substances 0.000 claims abstract description 62
- 238000000034 method Methods 0.000 claims abstract description 62
- 230000006870 function Effects 0.000 claims description 56
- 238000009877 rendering Methods 0.000 claims description 28
- 238000009795 derivation Methods 0.000 claims description 17
- 238000003384 imaging method Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 abstract description 34
- 238000010586 diagram Methods 0.000 description 25
- 230000008569 process Effects 0.000 description 18
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000005259 measurement Methods 0.000 description 7
- 238000005286 illumination Methods 0.000 description 5
- 239000013077 target material Substances 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000003746 surface roughness Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 240000001973 Ficus microcarpa Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000009281 ultraviolet germicidal irradiation Methods 0.000 description 1
Images
Landscapes
- Image Generation (AREA)
Abstract
【課題】 物体の反射特性を関数近似により高精度に導出するための処理を提供することを目的とする。【解決手段】 情報処理装置であって、複数の幾何条件において物体を撮像して得られる画像データを取得する取得手段と、物体の素材の特徴を特定する特定手段と、特定された素材の特徴に基づいて、画像データが表す画像に対応する画素値の分布に対して関数を近似させる方法を決定する決定手段と、決定された方法により画素値の分布に対して関数を近似させることにより、物体の反射特性を導出する導出手段と、を有する。【選択図】 図2
Description
本発明は、物体の反射特性を導出する技術に関する。
近年、コンピュータグラフィックス(CG)の分野などにおいて、物体の変角反射特性を表すデータとしてBRDF(Bidirectional Reflectance Distribution Function)データが用いられている。さらに、CG画像のリアリティーを向上するために、物体表面におけるBRDFの分布であるSVBRDF(Spatially Varying BRDF)のデータを用いる技術が知られている。特許文献1は、物体における鏡面反射光の反射率分布にガウス関数を近似させることにより、物体の反射特性を推定する技術を開示している。
しかしながら、特許文献1にように、単に所定の関数を測定値に近似させるだけでは、低光沢な物体と高光沢な物体とで近似精度が異なってしまい、物体の反射特性を高精度に導出できない場合があった。
そこで本発明は、物体の反射特性を関数近似により高精度に導出するための処理を提供することを目的とする。
上記課題を解決するために、本発明に係る情報処理装置は、複数の幾何条件において物体を撮像して得られる画像データを取得する取得手段と、前記物体の素材の特徴を特定する特定手段と、前記特定された素材の特徴に基づいて、前記画像データが表す画像に対応する画素値の分布に対して関数を近似させる方法を決定する決定手段と、前記決定された方法により前記画素値の分布に対して関数を近似させることにより、前記物体の反射特性を導出する導出手段と、を有することを特徴とする。
本発明によれば、物体の反射特性を関数近似により高精度に導出することができる。
以下、各実施形態について、図面を参照して説明する。尚、以下の実施形態は本発明を必ずしも限定するものではない。また、各実施形態において説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
[第1実施形態]
<情報処理装置のハードウェア構成>
図21は、情報処理装置1のハードウェア構成を示すブロック図である。情報処理装置1は、CPU2101、ROM2102、RAM2103を備える。また、情報処理装置1は、VC(ビデオカード)2104、汎用I/F(インターフェース)2105、SATA(シリアルATA)I/F2106、NIC(ネットワークインターフェースカード)2107を備える。CPU2101は、RAM2103をワークメモリとして、ROM2102、HDD(ハードディスクドライブ)2113などに格納されたOS(オペレーティングシステム)や各種プログラムを実行する。また、CPU2101は、システムバス2108を介して各構成を制御する。尚、後述するフローチャートによる処理は、ROM2102やHDD2113などに格納されたプログラムコードがRAM2103に展開され、CPU2101によって実行される。VC2104には、表示装置2115が接続される。汎用I/F2105には、シリアルバス2109を介して、マウスやキーボードなどの入力装置2110や撮像装置2111が接続される。SATAI/F2106には、シリアルバス2112を介して、HDD2113や各種記録メディアの読み書きを行う汎用ドライブ2114が接続される。NIC2107は、外部装置との間で情報の入力及び出力を行う。CPU2101は、HDD2113や汎用ドライブ2114にマウントされた各種記録メディアを各種データの格納場所として使用する。CPU2101は、プログラムによって提供されるUI(ユーザインターフェース)を表示装置2115に表示し、入力装置2110を介して受け付けるユーザ指示などの入力を受信する。尚、表示装置2115は、指などの指示体によるタッチの位置を検出するタッチパネルの機能を有するタッチパネルディスプレイであっても良い。
<情報処理装置のハードウェア構成>
図21は、情報処理装置1のハードウェア構成を示すブロック図である。情報処理装置1は、CPU2101、ROM2102、RAM2103を備える。また、情報処理装置1は、VC(ビデオカード)2104、汎用I/F(インターフェース)2105、SATA(シリアルATA)I/F2106、NIC(ネットワークインターフェースカード)2107を備える。CPU2101は、RAM2103をワークメモリとして、ROM2102、HDD(ハードディスクドライブ)2113などに格納されたOS(オペレーティングシステム)や各種プログラムを実行する。また、CPU2101は、システムバス2108を介して各構成を制御する。尚、後述するフローチャートによる処理は、ROM2102やHDD2113などに格納されたプログラムコードがRAM2103に展開され、CPU2101によって実行される。VC2104には、表示装置2115が接続される。汎用I/F2105には、シリアルバス2109を介して、マウスやキーボードなどの入力装置2110や撮像装置2111が接続される。SATAI/F2106には、シリアルバス2112を介して、HDD2113や各種記録メディアの読み書きを行う汎用ドライブ2114が接続される。NIC2107は、外部装置との間で情報の入力及び出力を行う。CPU2101は、HDD2113や汎用ドライブ2114にマウントされた各種記録メディアを各種データの格納場所として使用する。CPU2101は、プログラムによって提供されるUI(ユーザインターフェース)を表示装置2115に表示し、入力装置2110を介して受け付けるユーザ指示などの入力を受信する。尚、表示装置2115は、指などの指示体によるタッチの位置を検出するタッチパネルの機能を有するタッチパネルディスプレイであっても良い。
<情報処理装置の機能構成>
図1は情報処理装置1の機能構成を示すブロック図である。CPU2101は、RAM2103をワークメモリとして、ROM2102又はHDD2113に格納されたプログラムを読み出して実行することによって、図1に示す機能構成として機能する。尚、以下に示す処理の全てがCPU2101によって実行される必要はなく、処理の一部又は全てがCPU2101以外の1つまたは複数の処理回路によって行われるように情報処理装置1が構成されていても良い。
図1は情報処理装置1の機能構成を示すブロック図である。CPU2101は、RAM2103をワークメモリとして、ROM2102又はHDD2113に格納されたプログラムを読み出して実行することによって、図1に示す機能構成として機能する。尚、以下に示す処理の全てがCPU2101によって実行される必要はなく、処理の一部又は全てがCPU2101以外の1つまたは複数の処理回路によって行われるように情報処理装置1が構成されていても良い。
情報処理装置1は、取得部11、変換部12、特定部13、決定部14、導出部15、生成部16を有する。取得部11は、物体を複数の幾何条件において撮像して得られる画像データを取得する。物体の撮像は反射特性測定システム2により行われる。変換部12は、取得された画像データを反射特性データに変換する。特定部13は、変換により得られた反射特性データに基づいて、物体の素材の特徴を特定する。決定部14は、特定された素材の特徴に基づいて、画像の画素値に関数を近似させる際の近似方法を決定する。導出部15は、決定された近似方法を用いて、物体の反射特性を表すパラメータを導出する。生成部16は、導出されたパラメータに基づいて出力データを生成し、HDD2113等の記憶装置に出力する。
<情報処理装置が実行する処理>
本実施形態において情報処理装置1が実行する処理の流れを、図2のフローチャートを用いて説明する。図2のフローチャートが示す処理は、ユーザによって入力装置2110を介して指示が入力され、CPU2101が入力された指示を受け付けることにより開始する。以下、各ステップ(工程)は符号の前にSをつけて表す。
本実施形態において情報処理装置1が実行する処理の流れを、図2のフローチャートを用いて説明する。図2のフローチャートが示す処理は、ユーザによって入力装置2110を介して指示が入力され、CPU2101が入力された指示を受け付けることにより開始する。以下、各ステップ(工程)は符号の前にSをつけて表す。
S201において、取得部11は、反射特性測定システム2から、物体を複数の幾何条件において撮像して得られる画像データを取得する。図3は、反射特性測定システム2が行う測定方法を説明するための図である。図3において、光源301は、測定対象の物体303に光を照射するための平行光源である。光源301には、例えば、白色ハロゲンランプやレーザなどを用いることができる。撮像装置302は、光源301からの光が照射された物体303において反射された光を撮像する。ここでは撮像装置302をカメラとして説明するが、受光素子を平面上に有するものであれば、必ずしもカメラである必要はない。また、光源301は平行光源ではなく拡散光源であってもよいし、テレセントリックレンズを有する撮像装置302を用いて物体からの平行光を受光してもよい。図3に示すように、反射特性測定システム2は、物体303に対して入射角(θin,φin)と受光角(θout,φout)とを変化させながら撮像を行うことにより、複数の幾何条件それぞれに対応する画像データを得ることができる。尚、取得部11は、予めHDD2113等の記憶装置に記憶させておいた画像データを記憶装置から取得してもよい。
S202において、変換部12は、複数の画像データが表す画像において、同一画素位置の画素値を幾何条件(測定角度)ごとにまとめることにより、画像データを反射特性データに変換する。図4は反射特性データの一例を示す図である。図4に示すように、反射特性データには、画素位置(x,y)ごとに、1つの幾何条件(θin,φin,θout,φout)に対応する輝度値が格納されているものとする。従って、反射特性データRは、式(1)に示すように、6次元の関数となる。
S203において、特定部13は、変換部12により生成された反射特性データを解析することにより、物体の素材の特徴を特定する。物体の素材の特徴を特定する処理の詳細については後述する。S204において、決定部14は、特定された素材の特徴に基づいて、画素値に関数を近似させる際の近似方法を決定する。物体の反射特性は、素材の光沢度合いに応じて形状の複雑さが異なる。図5は、ある代表座標(x0,y0)における素材の光沢度合いに応じた測定値の一例を示している。図5(a)において、反射特性501は対象物体の光沢度合いが高い(高光沢な素材でできている)場合のある位置における測定値分布であり、反射特性502は測定値分布に近似させたガウス関数である。尚、ガウス関数の近似においては、式(3)、式(4)に示すように、測定値(θout,x0,y0)と、ガウスパラメータ(a0,μ0,σ0)とで近似値B(θ,x0,y0)との差分ΔBが最小となるようにパラメータを決定する。本実施形態においては、代表座標(x0,y0)は画像の中心座標とする。
反射特性501から分かるように、高光沢物体の反射特性は、輝度値のピークが1つであり、滑らかな形状を有していることから、ガウス関数で近似した場合であっても高精度に近似することが可能である。一方で、図5(b)において、反射特性503は対象物体の光沢度が低い(低光沢な素材でできている)場合のある位置における測定値分布であり、反射特性504は測定値分布に近似させたガウス関数である。反射特性503から分かるように、低光沢物体の反射特性は、鏡面反射方向近傍で輝度値が比較的急峻に変化する形状であるが、鏡面反射方向から離れると比較的なだらかに輝度値が変化する形状である。反射特性504から分かるように、このような形状の反射特性をガウス関数で近似した場合、近似精度は高くない。特に、鏡面反射方向から離れた角度において誤差が大きくなる。以上から、対象素材の光沢に関する特徴に応じて、測定値分布に対する関数の近似精度が異なることが分かる。従って、S204における決定部14は、S203において特定された素材の特徴に基づいて、近似精度が高くなる近似方法を予め決められた複数の近似方法から選択する。本実施形態においては、式(5)における角度に応じた重み係数w(θ)が予めHDD2113等の記憶装置に保持されているものとし、決定部14は素材の特徴に応じて好適な重み係数w(θ)を選択する。
低光沢な素材の場合、鏡面反射方向から離れた角度の重みw(θ)が大きくなる重みを用いる。本実施形態においては、鏡面反射方向(45°)から±20°離れた角度の重みであるw(25°)及びw(65°)は、鏡面反射方向(45°)から±10°離れた角度の重みであるw(35°)及びw(55°)よりも大きいものとする。また、w(25°)~w(35°)、w(35°)~w(45°)、w(45°)~w(55°)、w(55°)~w(65°)はそれぞれ一定とする。また、高光沢な素材の場合、重みは角度によらず一定とする。ただし、重みはこれに限るものではなく、例えば、角度ごとに重みを制御するようにしてもよいし、一定である重みの範囲を変更してもよい。
S205において、導出部15は、S204において決定された近似方法(重み)に基づいて、式(5)に従って、測定値(θout,x,y)に近似させたB(θ,x,y)との差分ΔBが最小となるガウスパラメータを導出する。S206において、生成部16は、素材の特徴を表すIDと、物体の位置ごとに導出された各パラメータとで構成される出力データを生成し、HDD2113等の記憶装置に出力する。本実施形態において生成される出力データの一例を図6に示す。図6に示すように、生成される出力データは、素材を識別するIDをヘッダに有し、物体の位置ごとに導出されたガウス関数のパラメータを保持するデータである。尚、図6(a)は高光沢な物体に対応する出力データの一例であり、図6(b)は低光沢な物体に対応する出力データの一例である。
<物体の素材の特徴を特定する処理(S203)>
上述したように、物体の反射特性は、光沢度合いのような素材の特徴に応じて形状の複雑さが異なる。物体の光沢度合いと、任意の領域における平均的な変角反射特性であるマクロ変角反射特性との関係を図7に示す。図7は、測定された反射特性をx方向、y方向に10×10ピクセルで平均化したマクロな反射特性を示している。実線701は入射角度θin=45°における高光沢物体のマクロな反射特性を示し、点線702は低光沢物体のマクロな反射特性を示している。実線701が示すように、高光沢物体の場合、マクロな反射特性の半値幅703(ピーク輝度の角度と輝度値が半値となる角度との差分)は小さくなる(約1.1°)。これに対し、点線702が示すように、低光沢物体の場合、マクロな反射特性の半値幅704は大きくなる(約9.5°)。このように、マクロな反射特性の半値幅を導出することにより、素材の特徴を特定することが可能である。S203における処理は、物体のマクロな反射特性に基づいて、素材の特徴を特定する処理である。以下では、S203において実行される、物体の素材の特徴を特定する処理の流れを図8のフローチャートを用いて説明する。
上述したように、物体の反射特性は、光沢度合いのような素材の特徴に応じて形状の複雑さが異なる。物体の光沢度合いと、任意の領域における平均的な変角反射特性であるマクロ変角反射特性との関係を図7に示す。図7は、測定された反射特性をx方向、y方向に10×10ピクセルで平均化したマクロな反射特性を示している。実線701は入射角度θin=45°における高光沢物体のマクロな反射特性を示し、点線702は低光沢物体のマクロな反射特性を示している。実線701が示すように、高光沢物体の場合、マクロな反射特性の半値幅703(ピーク輝度の角度と輝度値が半値となる角度との差分)は小さくなる(約1.1°)。これに対し、点線702が示すように、低光沢物体の場合、マクロな反射特性の半値幅704は大きくなる(約9.5°)。このように、マクロな反射特性の半値幅を導出することにより、素材の特徴を特定することが可能である。S203における処理は、物体のマクロな反射特性に基づいて、素材の特徴を特定する処理である。以下では、S203において実行される、物体の素材の特徴を特定する処理の流れを図8のフローチャートを用いて説明する。
S801において、特定部13は、式(6)に従って、反射特性データにおける所定の領域内での反射特性の平均値を導出することにより、対象物体のマクロな反射特性を導出する。尚、本実施形態においては、M=N=10とするがこれに限るものではない。
S802において、特定部13は、S801において導出されたマクロな反射特性について、ピーク輝度値の半値となる角度θhを特定し、式(7)により半値幅Δθを導出する。ここで、θ0はピーク輝度値を示す角度である。
S803において、特定部13は、Δθと予め設定した閾値Thθとを比較する。ΔθがThθよりも小さい場合にS804に進み、そうでない場合にS805に進む。本実施形態においては、Thθ=5.0とするがこれに限るものではない。S804において、特定部13は、物体の素材を高光沢と設定する。S805において、特定部13は、物体の素材を低光沢と設定する。
以上のように、物体の光沢度合いに応じて関数近似における好適な重みを用いることにより、反射特性の導出精度を向上させることができる。
<変形例>
本実施形態においては、マクロな反射特性を導出し、その半値幅に基づいて対象素材の特徴を特定したが、素材の特徴を特定する方法はこれに限るものではない。図5に示すように、低光沢物体の反射特性においては、鏡面反射方向近傍においても局所的にピークの変動が見られるのに対し、高光沢物体の反射特性においては、鏡面反射方向近傍における局所的な変動は見られにくい傾向がある。従って、鏡面反射方向近傍のピーク数を導出し、予め設定された閾値と比較することにより素材の特徴を特定してもよい。あるいは、反射特性の周波数成分を導出し、高周波成分を多く含む場合に低光沢、低周波成分を多く含む場合に高光沢と設定してもよい。
本実施形態においては、マクロな反射特性を導出し、その半値幅に基づいて対象素材の特徴を特定したが、素材の特徴を特定する方法はこれに限るものではない。図5に示すように、低光沢物体の反射特性においては、鏡面反射方向近傍においても局所的にピークの変動が見られるのに対し、高光沢物体の反射特性においては、鏡面反射方向近傍における局所的な変動は見られにくい傾向がある。従って、鏡面反射方向近傍のピーク数を導出し、予め設定された閾値と比較することにより素材の特徴を特定してもよい。あるいは、反射特性の周波数成分を導出し、高周波成分を多く含む場合に低光沢、低周波成分を多く含む場合に高光沢と設定してもよい。
また、本実施形態においては、決定部14が対象素材の光沢度合いに応じて角度ごとに異なる重みを用いることで近似方法を決定したが、素材の光沢度合いに応じて近似精度を向上させる方法であれば、近似方法はこれに限るものではない。図9は、近似に使用するガウス関数の個数によって生じる近似精度の違いを高光沢と低光沢とで比較した図である。図9において、反射特性901は高光沢な素材のある位置における測定値分布である。反射特性902は測定値分布に対して1つのガウス関数を近似させた反射特性であり、反射特性903は測定値分布に対して2つのガウス関数を加算して得られる関数を近似させた反射特性である。反射特性903は式(4)の代わりに式(8)を用いて近似が行われる。
図9が示すように、高光沢な素材の場合、ガウス関数の数が1つであっても近似精度が高いため、ガウス関数の数が2つとなっても精度はほぼ変化しない。反射特性904は低光沢な素材のある位置における測定値分布である。反射特性905は測定値分布に対して1つのガウス関数を近似させた反射特性であり、反射特性906は測定値分布に対して2つのガウス関数を加算して得られる関数を近似させた反射特性である。図9が示すように、低光沢な素材の場合、1つのガウス関数を測定値分布に近似させて得られる反射特性は測定値分布との誤差が大きい。これに対して、2つ以上のガウス関数を測定値分布に近似させて得られる反射特性は測定値分布との誤差が小さい。このため、上述した重みの代わりに、光沢度合いごとにパラメータの数(近似関数の数)が異なる近似方法が設定されていてもよい。また、ガウス関数の代わりに、公知のPhongモデルやCook Torranceモデルなどを用いるなど、光沢度合いに応じて異なる種類の関数を用いて近似を行うようにしてもよい。
[第2実施形態]
第1実施形態においては、反射特性データを解析した結果に基づいて素材の特徴を特定した。本実施形形態においては、反射特性データの解析を行わずに素材の特徴を特定する。これにより、物体の反射特性の導出に必要な処理時間を短縮することができる。尚、本実施形態における情報処理装置のハードウェア構成及び機能構成は第1実施形態のものと同等であるため、説明を省略する。以下において、本実施形態と第1実施形態とで異なる部分を主に説明する。尚、第1実施形態と同一の構成については、同一の符号を付して説明する。
第1実施形態においては、反射特性データを解析した結果に基づいて素材の特徴を特定した。本実施形形態においては、反射特性データの解析を行わずに素材の特徴を特定する。これにより、物体の反射特性の導出に必要な処理時間を短縮することができる。尚、本実施形態における情報処理装置のハードウェア構成及び機能構成は第1実施形態のものと同等であるため、説明を省略する。以下において、本実施形態と第1実施形態とで異なる部分を主に説明する。尚、第1実施形態と同一の構成については、同一の符号を付して説明する。
<物体の素材の特徴を特定する処理(S203)>
図10は、本実施形態におけるS203の処理を示すフローチャートである。S1001において、特定部13は、物体の素材の特徴をユーザに指定させるためのUIを表示装置2115に表示させる表示制御部として機能する。図11はUIの一例を示す図である。UIは、素材の特徴の種類を選択するためのラジオボタン1101と1102、及び、終了ボタン1103により構成されている。S1002において、特定部13は、UIを介して入力された素材の特徴を表す特徴情報を取得する。具体的には、特定部13は、終了ボタン1103がポインタなどで指定された場合に、高光沢を表すラジオボタン1101あるいは、低光沢を表すラジオボタン1102の何れかが選択されているかを判定する。ラジオボタン1101が選択されていればS1003に進み、そうでなければS1004に進む。S1003及びステップS1004はそれぞれ、第1実施形態におけるS804及びS805と同様であるため説明を省略する。
図10は、本実施形態におけるS203の処理を示すフローチャートである。S1001において、特定部13は、物体の素材の特徴をユーザに指定させるためのUIを表示装置2115に表示させる表示制御部として機能する。図11はUIの一例を示す図である。UIは、素材の特徴の種類を選択するためのラジオボタン1101と1102、及び、終了ボタン1103により構成されている。S1002において、特定部13は、UIを介して入力された素材の特徴を表す特徴情報を取得する。具体的には、特定部13は、終了ボタン1103がポインタなどで指定された場合に、高光沢を表すラジオボタン1101あるいは、低光沢を表すラジオボタン1102の何れかが選択されているかを判定する。ラジオボタン1101が選択されていればS1003に進み、そうでなければS1004に進む。S1003及びステップS1004はそれぞれ、第1実施形態におけるS804及びS805と同様であるため説明を省略する。
以上のように、反射特性データの解析を行わずに素材の特徴を特定することにより、処理にかかるコストを低減することができる。
<変形例>
本実施形態においては、ユーザに高光沢と低光沢との2択から選択させたが、高光沢、中光沢、低光沢などの3択以上であってもよいし、光沢度を細かく入力できるスライダーをUIに表示してもよい。
本実施形態においては、ユーザに高光沢と低光沢との2択から選択させたが、高光沢、中光沢、低光沢などの3択以上であってもよいし、光沢度を細かく入力できるスライダーをUIに表示してもよい。
[第3実施形態]
第1実施形態においては、物体の光沢度合いは位置ごとに変化しないことを前提として近似方法を決定した。本実施形態においては、物体の位置ごとに近似方法を決定する。これにより、位置ごとに素材が異なる物体の反射特性を導出する場合であっても、高精度な近似方法を用いることができる。尚、本実施形態における情報処理装置のハードウェア構成及び機能構成は第1実施形態のものと同等であるため、説明を省略する。以下において、本実施形態と第1実施形態とで異なる部分を主に説明する。尚、第1実施形態と同一の構成については、同一の符号を付して説明する。
第1実施形態においては、物体の光沢度合いは位置ごとに変化しないことを前提として近似方法を決定した。本実施形態においては、物体の位置ごとに近似方法を決定する。これにより、位置ごとに素材が異なる物体の反射特性を導出する場合であっても、高精度な近似方法を用いることができる。尚、本実施形態における情報処理装置のハードウェア構成及び機能構成は第1実施形態のものと同等であるため、説明を省略する。以下において、本実施形態と第1実施形態とで異なる部分を主に説明する。尚、第1実施形態と同一の構成については、同一の符号を付して説明する。
<物体の素材の特徴を特定する処理(S203)>
図12は、本実施形態におけるS203の処理を示すフローチャートである。S1201において、特定部13は、反射特性データにおける注目画素(x,y)を初期値に設定する。S1202において、特定部13は、式(6)に従って、注目画素の測定値(θout,x,y)を基にマクロな反射特性を導出する。S1203からS1206は、S802からS805と同様であるため説明を省略する。S1207において、特定部13は、全ての画素位置(x,y)について反射特性の導出が終了したか否かを判定する。全ての画素位置について反射特性の導出が終了していればS203の処理を終了し、そうでなければS1208に進む。S1208において、特定部13は、処理対象の画素位置を未処理の画素位置に更新し、S1202に戻る。
図12は、本実施形態におけるS203の処理を示すフローチャートである。S1201において、特定部13は、反射特性データにおける注目画素(x,y)を初期値に設定する。S1202において、特定部13は、式(6)に従って、注目画素の測定値(θout,x,y)を基にマクロな反射特性を導出する。S1203からS1206は、S802からS805と同様であるため説明を省略する。S1207において、特定部13は、全ての画素位置(x,y)について反射特性の導出が終了したか否かを判定する。全ての画素位置について反射特性の導出が終了していればS203の処理を終了し、そうでなければS1208に進む。S1208において、特定部13は、処理対象の画素位置を未処理の画素位置に更新し、S1202に戻る。
<S204~S206における処理>
以下では、本実施形態におけるS204~S206における処理の詳細について、第1実施形態との差異についてのみ説明する。本実施形態の近似方法を決定する処理(S204)において、決定部14は、対象素材の全ての画素位置(x,y)に対して、関数近似に用いる重みw(θ)を取得することにより近似方法を決定する。
以下では、本実施形態におけるS204~S206における処理の詳細について、第1実施形態との差異についてのみ説明する。本実施形態の近似方法を決定する処理(S204)において、決定部14は、対象素材の全ての画素位置(x,y)に対して、関数近似に用いる重みw(θ)を取得することにより近似方法を決定する。
S205において、導出部15は、S204において決定した位置ごとの近似方法に基づいて、好適なガウスパラメータを導出する。具体的には、導出部15は、決定された重みを基に、処理対象の全ての画素位置(x,y)に対して、差分ΔBを式(4)及び式(5)を用いて導出し、ΔBが最小となるガウスパラメータを画素位置(x,y)ごとに導出する。S206において、生成部16は、素材の特徴を表すIDと、物体の位置ごとに導出された各パラメータとで構成される出力データを生成し、HDD2113等の記憶装置に出力する。本実施形態において生成される出力データの一例を図13に示す。図13に示すように、生成される出力データは、位置ごとに素材の特徴を表すIDが格納されているデータである。
以上のように、物体の光沢度合いに応じて関数近似における好適な重みを物体の位置ごとに選択することにより、位置ごとの反射特性の導出精度を向上させることができる。
[第4実施形態]
上述した実施形態においては、出力データとして近似に用いた関数のパラメータを出力した。本実施形態においては、照明や視点などの観察条件に応じたCG画像を表すCG画像データを出力データとして生成する。尚、本実施形態における情報処理装置のハードウェア構成は第1実施形態のものと同等であるため、説明を省略する。以下において、本実施形態と第1実施形態とで異なる部分を主に説明する。尚、第1実施形態と同一の構成については、同一の符号を付して説明する。
上述した実施形態においては、出力データとして近似に用いた関数のパラメータを出力した。本実施形態においては、照明や視点などの観察条件に応じたCG画像を表すCG画像データを出力データとして生成する。尚、本実施形態における情報処理装置のハードウェア構成は第1実施形態のものと同等であるため、説明を省略する。以下において、本実施形態と第1実施形態とで異なる部分を主に説明する。尚、第1実施形態と同一の構成については、同一の符号を付して説明する。
<情報処理装置の機能構成>
図14は情報処理装置1の機能構成を示すブロック図である。CPU2101は、RAM2103をワークメモリとして、ROM2102又はHDD2113に格納されたプログラムを読み出して実行することによって、図14に示す機能構成として機能する。尚、以下に示す処理の全てがCPU2101によって実行される必要はなく、処理の一部又は全てがCPU2101以外の1つまたは複数の処理回路によって行われるように情報処理装置1が構成されていても良い。
図14は情報処理装置1の機能構成を示すブロック図である。CPU2101は、RAM2103をワークメモリとして、ROM2102又はHDD2113に格納されたプログラムを読み出して実行することによって、図14に示す機能構成として機能する。尚、以下に示す処理の全てがCPU2101によって実行される必要はなく、処理の一部又は全てがCPU2101以外の1つまたは複数の処理回路によって行われるように情報処理装置1が構成されていても良い。
情報処理装置1は、取得部11、変換部12、特定部13、決定部14、導出部15、生成部16を有する。生成部16は、導出されたパラメータに基づいて出力データを生成し、表示装置2115に出力する。生成部16は、レンダリング部161、形状保持部162、環境保持部163を有する。レンダリング部161は、導出されたパラメータに基づいてレンダリングを行い、CG画像データを生成する。形状保持部162は、物体の3次元形状を表す形状情報を保持する。環境保持部163は、レンダリングを行うための環境光情報を保持する。
<出力データを生成する処理(S206)>
図15は、本実施形態におけるS206の処理を示すフローチャートである。S1501において、レンダリング部161は、形状保持部162から物体の形状情報を読み込む。S1502において、レンダリング部161は、環境保持部163から環境光情報を読み込む。S1503において、レンダリング部161は、レンダリングを行うための仮想カメラ、仮想スクリーン、物***置、および照明位置に関する幾何条件を設定する。図16(a)はレンダリングを行うための幾何条件の一例を示した図である。S1504において、レンダリング部161は、仮想スクリーン上における注目画素を初期値(例えば、X=0,Y=0の画素)に設定する。S1505において、レンダリング部161は、仮想カメラと、仮想スクリーン上の注目画素とを結ぶ直線を、視線ベクトルとして設定し、視線ベクトルとレンダリングオブジェクトとの交点(xc,yc,zc)を導出する。S1506において、レンダリング部161は、S1505において導出した交点における、レンダリングオジェクトの法線ベクトルを導出する。S1507において、レンダリング部161は、S1505において導出した交点と、照明とを結ぶ照明ベクトルを導出する。
図15は、本実施形態におけるS206の処理を示すフローチャートである。S1501において、レンダリング部161は、形状保持部162から物体の形状情報を読み込む。S1502において、レンダリング部161は、環境保持部163から環境光情報を読み込む。S1503において、レンダリング部161は、レンダリングを行うための仮想カメラ、仮想スクリーン、物***置、および照明位置に関する幾何条件を設定する。図16(a)はレンダリングを行うための幾何条件の一例を示した図である。S1504において、レンダリング部161は、仮想スクリーン上における注目画素を初期値(例えば、X=0,Y=0の画素)に設定する。S1505において、レンダリング部161は、仮想カメラと、仮想スクリーン上の注目画素とを結ぶ直線を、視線ベクトルとして設定し、視線ベクトルとレンダリングオブジェクトとの交点(xc,yc,zc)を導出する。S1506において、レンダリング部161は、S1505において導出した交点における、レンダリングオジェクトの法線ベクトルを導出する。S1507において、レンダリング部161は、S1505において導出した交点と、照明とを結ぶ照明ベクトルを導出する。
S1508において、レンダリング部161は、S1505において導出した交点における、レンダリングオブジェクトの反射特性を導出する。具体的には、まず、レンダリング部161は、レンダリングオブジェクトの光沢度合いの識別ID=iを読み込み、iに対応するガウスパラメータの角度ごとの重みを取得する。レンダリング部161は、S1505において導出した交点に対応する位置の反射特性を、式(9)を用いて導出する。
S1509において、レンダリング部161は、S1508において導出した反射特性、および、視線ベクトル、法線ベクトル、照明ベクトルを用いて、注目画素の輝度値を導出する。S1510において、レンダリング部161は、仮想スクリーン上の全ての画素について輝度導出処理を行ったか否かを判定する。全ての画素について輝度導出処理が終了していればS1512に進み、終了していなければS1511に進む。S1511において、レンダリング部161は、注目画素を、仮想スクリーン上の未処理画素に変更してS1505に戻る。S1512において、レンダリング部161は、S1509において導出した輝度値に基づいたレンダリングにより、CG画像データを生成する。S1513において、レンダリング部161は、S1512において生成したCG画像データを表示装置2115に出力し、CG画像を表示装置2115に表示させる。図16(b)は視線ベクトルS、法線ベクトルN、照明ベクトルLの関係を示す図である。
以上のように、物体の光沢度合いに応じて関数近似の方法を決定することにより、物体の質感を高精度にCGで再現することができる。
[第5実施形態]
第4実施形態においては、出力データとしてCG画像データを出力した。本実施形態においては、プリンタなどの画像形成装置に出力するためのプリントデータを出力データとして生成する。尚、本実施形態における情報処理装置のハードウェア構成は第1実施形態のものと同等であるため、説明を省略する。以下において、本実施形態と第1実施形態とで異なる部分を主に説明する。尚、第1実施形態と同一の構成については、同一の符号を付して説明する。
第4実施形態においては、出力データとしてCG画像データを出力した。本実施形態においては、プリンタなどの画像形成装置に出力するためのプリントデータを出力データとして生成する。尚、本実施形態における情報処理装置のハードウェア構成は第1実施形態のものと同等であるため、説明を省略する。以下において、本実施形態と第1実施形態とで異なる部分を主に説明する。尚、第1実施形態と同一の構成については、同一の符号を付して説明する。
<情報処理装置の機能構成>
図17は情報処理装置1の機能構成を示すブロック図である。CPU2101は、RAM2103をワークメモリとして、ROM2102又はHDD2113に格納されたプログラムを読み出して実行することによって、図17に示す機能構成として機能する。尚、以下に示す処理の全てがCPU2101によって実行される必要はなく、処理の一部又は全てがCPU2101以外の1つまたは複数の処理回路によって行われるように情報処理装置1が構成されていても良い。
図17は情報処理装置1の機能構成を示すブロック図である。CPU2101は、RAM2103をワークメモリとして、ROM2102又はHDD2113に格納されたプログラムを読み出して実行することによって、図17に示す機能構成として機能する。尚、以下に示す処理の全てがCPU2101によって実行される必要はなく、処理の一部又は全てがCPU2101以外の1つまたは複数の処理回路によって行われるように情報処理装置1が構成されていても良い。
情報処理装置1は、取得部11、変換部12、特定部13、決定部14、導出部15、生成部16を有する。生成部16は、導出されたパラメータに基づいて出力データを生成し、画像形成装置に出力する。生成部16は、プリントデータ生成部164、光沢情報保持部165を有する。プリントデータ生成部164は、導出されたパラメータに基づいて、画像形成装置が画像の形成に用いるプリントデータを生成する。光沢情報保持部165は、光沢情報として、光沢強度とクリアインク量との関係を示すルックアップテーブル(LUT)を保持する。
<出力データを生成する処理(S206)>
図18は、本実施形態におけるS206の処理を示すフローチャートである。S1801において、プリントデータ生成部164は、ステップS205において導出されたガウスパラメータから、光沢強度を表すaの値を取得する。S1802において、プリントデータ生成部164は、光沢情報保持部165が保持する光沢情報を取得する。光沢情報保持部165には、図19に示すような、クリアインクの単位面積当たりの割合と、光沢強度aとの関係が格納された1DLUTが保持されている。光沢強度は表面の粗さを基に制御することが可能であり、図20に示すように、単位面積当たりに配置するクリアインクの量を制御することにより印刷物表面の粗さを変えることができる。尚、1DLUTは、単位面積当たりのクリアインクの割合を変えながら印刷を行い、その印刷物の光沢強度を測定することにより予め作成しておく。S1803において、プリントデータ生成部164は、S1801において取得した光沢強度aと、S1802において取得した光沢情報とに基づいて、クリアインク量を導出する。具体的には、プリントデータ生成部164は、光沢強度aから1DLUTに記載の値を逆引きし、対応するクリアインク量を導出する。1DLUTに記載の値がない場合、公知の補間方法を用いて対応する値を導出する。尚、本実施形態におけるクリアインク量は、各画素位置に単位面積当たりのクリアインクの割合が8ビットで記述されたグレースケール画像として導出される。このグレースケール画像を表すデータをプリントデータとして生成し、画像形成装置に出力する。
図18は、本実施形態におけるS206の処理を示すフローチャートである。S1801において、プリントデータ生成部164は、ステップS205において導出されたガウスパラメータから、光沢強度を表すaの値を取得する。S1802において、プリントデータ生成部164は、光沢情報保持部165が保持する光沢情報を取得する。光沢情報保持部165には、図19に示すような、クリアインクの単位面積当たりの割合と、光沢強度aとの関係が格納された1DLUTが保持されている。光沢強度は表面の粗さを基に制御することが可能であり、図20に示すように、単位面積当たりに配置するクリアインクの量を制御することにより印刷物表面の粗さを変えることができる。尚、1DLUTは、単位面積当たりのクリアインクの割合を変えながら印刷を行い、その印刷物の光沢強度を測定することにより予め作成しておく。S1803において、プリントデータ生成部164は、S1801において取得した光沢強度aと、S1802において取得した光沢情報とに基づいて、クリアインク量を導出する。具体的には、プリントデータ生成部164は、光沢強度aから1DLUTに記載の値を逆引きし、対応するクリアインク量を導出する。1DLUTに記載の値がない場合、公知の補間方法を用いて対応する値を導出する。尚、本実施形態におけるクリアインク量は、各画素位置に単位面積当たりのクリアインクの割合が8ビットで記述されたグレースケール画像として導出される。このグレースケール画像を表すデータをプリントデータとして生成し、画像形成装置に出力する。
以上の処理により、パラメータ導出処理によって導出された光沢強度を基に、クリアインクを搭載する画像形成装置のためのプリントデータを生成することができる。本実施形態によれば、例えば、第2実施形態のUIで素材が高光沢と指定された場合と、素材が低光沢と指定された場合とで、出力されるプリントデータが異なるようになる。具体的には、同じ印刷指示がされた場合であっても、素材の特徴が低光沢である場合は高光沢である場合と比べて単位面積当たりのクリアインク量が少ない出力結果となる。
<変形例>
本実施形態においては、光沢強度aの値に応じてクリアインクの量を決定したが、これに限るものではない。例えば、写り込みの鮮鋭性を表すσの値に応じてクリアインク量を決定してもよいし、aとσとの2つのパラメータに応じてクリアインク量を決定してもよい。また、本実施形態においては、光沢強度のみを制御することを前提としたが、μの値に応じて、光沢強度と表面形状とを制御してもよい。
本実施形態においては、光沢強度aの値に応じてクリアインクの量を決定したが、これに限るものではない。例えば、写り込みの鮮鋭性を表すσの値に応じてクリアインク量を決定してもよいし、aとσとの2つのパラメータに応じてクリアインク量を決定してもよい。また、本実施形態においては、光沢強度のみを制御することを前提としたが、μの値に応じて、光沢強度と表面形状とを制御してもよい。
また、本実施形態においては、クリアインク量は単位面積当たりのインク量を変化させることを前提に0~100%としたが、プリンタで表面の粗さを制御する方法であればこれに限るものではない。例えば、クリアインクを複数回重ねることを前提とすれば、クリアインク量は100%を超えてもよい。また、公知のUVインクジェットプリンタなどを用いる場合、UV照射時間を変更するようにしてもよい。また、クリアインクの代わりに、CMYKなどの有色インクを用いてもよい。また、インクではなく、トナーなどの記録材を用いてもよい。
[その他の実施形態]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
1 情報処理装置
11 取得部
13 特定部
14 決定部
15 導出部
11 取得部
13 特定部
14 決定部
15 導出部
Claims (13)
- 複数の幾何条件において物体を撮像して得られる画像データを取得する取得手段と、
前記物体の素材の特徴を特定する特定手段と、
前記特定された素材の特徴に基づいて、前記画像データが表す画像に対応する画素値の分布に対して関数を近似させる方法を決定する決定手段と、
前記決定された方法により前記画素値の分布に対して関数を近似させることにより、前記物体の反射特性を導出する導出手段と、
を有することを特徴とする情報処理装置。 - 前記特定手段は、前記素材の光沢度を特定し、
前記決定手段は、前記素材の光沢度が高い場合に、第1の方法を前記画素値の分布に対して関数を近似させる方法として決定し、前記素材の光沢度が低い場合に、前記第1の方法とは異なる第2の方法を前記画素値の分布に対して関数を近似させる方法として決定することを特徴とする請求項1に記載の情報処理装置。 - 前記第1の方法は、鏡面反射方向から離れた角度における近似精度が高い方法であることを特徴とする請求項2に記載の情報処理装置。
- 前記第1の方法及び前記第2の方法は、前記画素値の分布に対してガウス関数を近似させる方法であることを特徴とする請求項2又は請求項3に記載の情報処理装置。
- 前記第1の方法は、関数の近似に用いる重み係数を、鏡面反射方向の近傍よりも鏡面反射方向から離れた角度において大きくすることを特徴とする請求項2乃至請求項4のいずれか一項に記載の情報処理装置。
- 前記第2の方法は、前記画素値の分布に対して1つのガウス関数を近似させる方法であって、前記第1の方法は、前記画素値の分布に対して2つ以上のガウス関数を加算して得られる関数を近似させる方法であることを特徴とする請求項2乃至請求項4のいずれか一項に記載の情報処理装置。
- 特定手段は、前記物体の反射特性に関する関数の半値幅、ピークの数、周波数成分のいずれかに基づいて、前記素材の特徴を特定することを特徴とする請求項1乃至請求項6のいずれか一項に記載の情報処理装置。
- 特定手段は、ユーザの指示に基づいて、前記素材の特徴を特定することを特徴とする請求項1乃至請求項6のいずれか一項に記載の情報処理装置。
- 前記導出手段は、前記物体の反射特性として、前記画素値の分布に近似させた関数のパラメータを導出することを特徴とする請求項1乃至請求項8のいずれか一項に記載の情報処理装置。
- 前記導出された反射特性に基づいてレンダリングを行うことにより画像データを生成する生成手段をさらに有することを特徴とする請求項1乃至請求項9のいずれか一項に記載の情報処理装置。
- 前記導出された反射特性に基づいて、画像形成装置に出力するためのプリントデータを生成する生成手段をさらに有することを特徴とする請求項1乃至請求項9のいずれか一項に記載の情報処理装置。
- コンピュータを請求項1乃至請求項11のいずれか一項に記載の情報処理装置の各手段として機能させるためのプログラム。
- 複数の幾何条件において物体を撮像して得られる画像データを取得する取得ステップと、
前記物体の素材の特徴を特定する特定ステップと、
前記特定された素材の特徴に基づいて、前記画像データが表す画像に対応する画素値の分布に対して関数を近似させる方法を決定する決定ステップと、
前記決定された方法により前記画素値の分布に対して関数を近似させることにより、前記物体の反射特性を導出する導出ステップと、
を有することを特徴とする情報処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021167717A JP2023057953A (ja) | 2021-10-12 | 2021-10-12 | 情報処理装置、情報処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021167717A JP2023057953A (ja) | 2021-10-12 | 2021-10-12 | 情報処理装置、情報処理方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023057953A true JP2023057953A (ja) | 2023-04-24 |
Family
ID=86054784
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021167717A Pending JP2023057953A (ja) | 2021-10-12 | 2021-10-12 | 情報処理装置、情報処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023057953A (ja) |
-
2021
- 2021-10-12 JP JP2021167717A patent/JP2023057953A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Gardner et al. | Deep parametric indoor lighting estimation | |
US9222882B2 (en) | Measurement system that estimates reflection characteristics of a target object and control method thereof | |
US8107672B2 (en) | Makeup simulation system, makeup simulator, makeup simulation method, and makeup simulation program | |
US10606545B2 (en) | Display apparatus, scanner, and non-transitory computer readable medium | |
JP5058838B2 (ja) | 情報処理装置および方法 | |
JP2006266763A (ja) | 評価方法及びその装置 | |
US10863082B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP6918648B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US10275897B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP7406348B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2023057953A (ja) | 情報処理装置、情報処理方法及びプログラム | |
US11659283B2 (en) | Apparatus, method, and storage medium | |
US11333603B2 (en) | Processing apparatus, processing method, and storage medium | |
JP4764963B2 (ja) | 画像処理装置 | |
JP7433849B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP7463697B2 (ja) | 光沢取得状態算出装置、光沢取得状態算出方法、光沢取得状態算出プログラム、端末及び光沢取得状態表示プログラム | |
JP7378997B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
KR102529593B1 (ko) | 대상체에 대한 3d 정보를 획득하는 디바이스 및 방법 | |
US11144781B2 (en) | Image processing apparatus, image processing method, and storage medium to estimate reflection characteristic of object | |
CN110192099A (zh) | 测量装置、信息处理装置、信息处理方法和程序 | |
JP2019082955A (ja) | 画像処理装置、画像処理方法及びプログラム | |
US10762671B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP2022062908A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2021081241A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2022045546A (ja) | 情報処理装置、情報処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |