CN102117488B - 一种虚拟环境中构造真实物体表面反射特性的方法 - Google Patents

Abstract

一种虚拟环境中构造真实物体表面反射特性的方法，使用空间变化双向反射分布函数(SVBRDF)描述空间变化反射属性，通过采集不同光照条件和视线方向下物体的图像，构造真实物体的SVBRDF数据，并将SVBRDF数据分解为若干个基材质以及基材质对应的权重因子分布图，最终利用基材质以及对应权重因子分布图在计算机构造的虚拟环境中逼真再现真实世界中物体表面对光线的反射效果。本发明充分利用SVBRDF数据的空间冗余特性，给出一种紧凑、可编辑的SVBRDF表示，可以在计算机构造的虚拟环境中逼真再现真实世界中物体表面的反射特性。

Description

一种虚拟环境中构造真实物体表面反射特性的方法

技术领域

本发明涉及一种虚拟环境中构造真实物体表面反射特性的方法，属于计算机虚拟现实技术领域。

背景技术

利用计算机对真实世界中物体表面不同材质的反射属性进行建模并逼真再现在动漫游戏、影视制作和数字博物馆等领域具有广泛的应用空间，但是真实世界中构成物体的材质类型以及多种材质在物体表面的分布样式纷繁不一，通过商用建模软件(3DMax，Maya等)提供的有限材质模型手工建模非常困难，甚至无法准确表示，因此，需要研究基于真实物体采集图像的物体表面材质反射属性获取及建模技术，实现虚拟环境中构造真实物体表面反射特性。

真实世界中的物体由多种材质混合而成，可以由空间变化的双向反射分布函数(spatially-varying bidirectional reflectance distribution function，SVBRDF)描述，SVBRDF是一个6维函数，记录了光线沿某一光源方向入射物体表面一点并沿着某一视线方向反射出的辐射度比。SVBRDF的建模技术分为两大类：

(1)基于解析式的SVBRDF建模技术，只需要稀疏的SVBRDF样本数据，利用已存在的解析式双向反射分布函数(Bidirectional Reflectance Distribution Function，BRDF)模型表达材质反射属性，很难能够正确地表达真实世界中的各种材质类型。文献1-Sato Y，Wheeler M D，Katsushi I.Object shape and reflectance modeling from observation.ACM Press/Addison-Wesley Publishing Co.，1997.将物体表面反射数据分为漫反射部分和高光部分，使用解析式BRDF模型分别进行参数匹配，可以表现空间变化的漫反射部分，但忽略了高光部分的空间变化。文献2-Lensch H P A，Kautz J，Goesele M，et al.Image-based reconstruction of spatial appearance and geometric detail[J].ACMTransactions on Graphics.2003，22(2)：234-257.使用解析式BRDF模型匹配采集的SVBRDF数据，利用矢量量化(vector quantization)和k-means方法对获取的SVBRDF数据进行聚类分析，从而提取出基材质BRDF，物体表面任意一点的解析式BRDF都由基材质BRDF模型的线性组合进行表示。文献3-Goldman D B，Curless B，Hertzmann A，et al.Shapeand Spatially-Varying BRDFs from Photometric Stereo[C].IEEE Computer Society，2005.利用少量的拍摄图像同时恢复采集视点下物体的法向量贴图和表面SVBRDF，由于同时求解几何信息和属性信息，目标函数在图像数据中高光部分的匹配误差较大，使得二者求解精确度都不够高。文献4-Wang J，Zhao S，Tong X，et al.Modeling Anisotropic SurfaceReflectance with Example-based Microfacet Synthesis[J].ACM Transactions onGraphics.2008，27(3)：1-9.基于各向异性的Ashikmin BRDF模型，利用采集样本材质的空间冗余特性，将纹理合成技术应用于法向量分布函数的合成，从而恢复空间变化的各向异性BRDF模型。

(2)基于数据驱动的SVBRDF建模技术，需要较密集的SVBRDF样本数据，使用真实采集数据直接表达材质反射属性，通用性与逼真性较强。文献5-Lawrence J，Ben-Artzi A，Decoro C.et al.Inverse shade trees for non-parametric material representationand editing[J].ACM Transactions on Graphics.2006，25(3)：735-74.使用逆向绘制树表示SVBRDF数据，树的根节点为获取的SVBRDF数据，树的叶子节点为分解后基材质BRDF和空间变化的基材质权重混合因子分布图，树形结构的建立过程引入了基于交替式约束最小二乘(Alternating Constrained Least Squares，ACLS)优化的矩阵分解算法，增加稀疏性、BRDF值非负性、可逆性及单调性等多项约束条件，保证了分解结果的正确性，但是整个优化过程比较复杂耗时，为了正确的找到基材质需要选择不同的基材质组合执行多次优化。文献6-Weistroffer R P，Walcott K R，Humphreys G，et al.Efficient BasisDecomposition for Scattered Reflectance Data[C].Grenoble，France：2007.使用若干个径向基函数直接表达基材质BRDF，使用类似ACLS的矩阵分解算法最终求解出基材质以及对应基材质的权重混合因子分布图，但是无法保证基材质BRDF之间的线性无关性，需要较多的径向基函数才能逼真表示基材质BRDF，不具有可编辑性。文献7-Alldrin N，ZicklerT，Kriegman D.Photometric Stereo with Non-Parametric and Spatially-VaryingReflectance[C].IEEE Computer Society Press，2008.假设物体表面顶点法向量仅存在一个自由度，并使用一种双变量非参数化的BRDF近似模型表达基材质，使用类似ACLS的矩阵分解算法同时求解物体表面法向量、基材质BRDF以及对应的基材质权重混合因子分布图。文献8-Zickler T，Ramamoorthi R，Enrique S，et al.Reflectance Sharing：Predicting Appearance from a Sparse Set of Images of a Known Shape[J].IEEETransaction Pattern Analysis Machine Intelligence.2006，28(8)：1287-1302.将SVBRDF的建模过程转化为空间和角度混合域离散数据的插值问题，提出一种基于径向基函数的SVBRDF表示方法和离散数据插值方法，拍摄少量图像就能恢复人脸表面空间变化的反射属性。文献9-Wang J，Dong Y，Tong X，et al.SVBRDF Bootstrapping[R].MSRA，2009.提出一种bootstrapping技术，首先选择稀疏的SVBRDF采样点在角度域空间上高密度采集BRDF数据，然后针对SVBRDF所有采样点在角度域空间上低密度采集BRDF数据，利用SVBRDF的空间冗余以及局部线性相关特征重构整个SVBRDF数据，但是得到的SVBRDF无法编辑。

目前基于数据驱动的SVBRDF构造技术由于其逼真性和通用性很强，是当前主流方法，在构造结果可编辑的相关技术中存在插值结果误差大、构造过程时间开销大、基材质求解偏差大等问题。

发明内容

本发明要解决的技术问题是：克服现有技术的不足，提供一种虚拟环境中构造真实物体表面反射特性的方法，该方法基于二维同心正方图的BRDF离散数据插值方法，充分利用SVBRDF空间冗余特性的SVBRDF数据矩阵重构，同时结合聚类与线性最小二乘优化的基材质求解算法，使插值结果平滑且稳定，能够有效地降低时间和空间开销，且可快速、准确地抽取出基材质BRDF。

本发明采取的技术解决方案是：一种虚拟环境中构造真实物体表面反射特性的方法，实现步骤如下：

(1)采集不同光照条件和视线方向下的真实物体图像，构建SVBRDF数据的二维矩阵M，选择单个视点下采集的部分SVBRDF数据填入M；

(2)随机选择矩阵M中的γ行数据，使用基于二维同心正方图的BRDF离散数据插值方法方法得到完整的γ行SVBRDF数据，利用基于对数核函数的Kernel Nystrom方法重构出矩阵M的其它行数据；

(3)将γ行SVBRDF数据看作γ个线性相关向量，计算此线性相关向量组中的最大线性无关向量子集，得到SVBRDF数据的基材质BRDF组合；

(4)将SVBRDF数据矩阵M投影到基材质组合上得到各个基材质对应的权重组合因子分布图；

(5)在计算机构造的虚拟环境中，利用已求解的基材质和权重因子分布图逼真再现真实世界中物体表面对光线的不同反射效果。

所述的步骤(1)中构建矩阵M的方法为：矩阵M的行代表SVBRDF数据的空间域变化，即每一行都是物体表面一个采样点的BRDF数据，矩阵M的列代表SVBRDF的角度域变化，即每一列代表一个不同的光源入射方向，将采集物体图像数据按照光源入射方向及观察方向参数化以后，计算其在矩阵中M的相应位置并填充。

所述步骤(2)中的拉普拉斯方程的插值方法：对于所选γ行数据中的任一行，即一个顶点的BRDF数据组织成为一个2维同心正方图，利用已知离散数据插值得到缺失的数据，完成对BRDF数据的插值。

所述步骤(2)中的Kernel Nystrom重构方法：从矩阵M中稀疏的选取c列数据，与已经选择稀疏的γ行数据结合，引入对数函数作为核函数，将SVBRDF数据转换到对数空间，利用基于对数核函数的Kernel Nystrom重构方法较好的重构出矩阵M。

所述步骤(3)中的基材质BRDF求解方法：对于所选γ行数据构成的数据向量，定义任意两个向量之间的距离，以距离为边长权重构造采样顶点的完全图，根据完全图中顶点之间的边长权重进行聚类，并计算每一顶点类BRDF向量组的中心向量，将每一顶点类的中心向量表示为其余顶点类中心向量的线性组合，表示误差定义为该顶点类的线性无关程度，迭代剔除线性无关程度最小的顶点类，直至剩余顶点类个数等于预先指定的基材质BRDF个数，得到最大线性无关的顶点类，选择距离该类中心向量最近的BRDF作为为基材质BRDF。

所述步骤(4)中的基材质权重组合因子分布图求解方法：矩阵中的SVBRDF数据矩阵M中的任意一行数据是由基材质BRDF的线性组合而成，基材质在每行数据即每个采样点上的权重混合因子为待求未知变量，所求权重混合因子满足非负约束，且同一采样点上所有基材质权重混合因子之和为1，在此约束条件下，将每一采样点的BRDF数据投影到基材质BRDF数据上，得到对应的权重因子分布。

所述步骤(5)中，在计算机构造的虚拟环境中，利用视点信息、光照信息，将已求解的基材质按照权重因子分布图计算物体表面光照分布，从而逼真再现真实世界中物体表面对光线的不同反射效果。

本发明与现有技术相比的优点在于：

(1)使用二维同心正方图存储固定视线方向下的BRDF数据，并在此二维图像上利用满足Neumann边界条件的拉普拉斯方程完成离散BRDF数据的插值，插值结果平滑且稳定；

(2)使用基于对数核函数的Kernel Nystrom方法由少量采样点重构整个采样空间的SVBRDF数据，计算任意一采样点处的BRDF数据只需要进行矩阵相乘运算，能够有效地降低时间和空间开销；

(3)提出一种结合聚类与线性最小二乘优化的基材质BRDF求解算法，能够快速、准确地抽取出基材质BRDF。

附图说明

图1为本发明的实现流程图；图中：①表示参数化为二维矩阵，②表示基于二维同心正方图的BRDF离散数据插值，③表示基于对数核函数Kernel Nystrom算法SVBRDF重构，④表示基材质BRDF求解，⑤表示权重混合因子分布图求解；

图2为同心圆盘图与同心正方图之间的转换示意图；其中图2a为同心圆盘示意图，图2b同心正方示意图；

图3为同心圆与同心正方形之间的映射关系示意图；其中图3a为同心圆中某一点坐标指示图，图3b为同心正方形中对应点坐标指示图；

图4为本发明对真实物体“福”SVBRDF的分解结果，其中图4a为原始采集图像，图4b为分解后基材质BRDF绘制到小球的可视化效果，图4c为三种基材质分别对应的权重混合因子分布图；

图5为本发明对物体“福”建模后在任意新视点或者新光源方向下的绘制结果；其中图5a为新视点下的绘制结果，图5b为新光源方向下的绘制结果；图5c为新视点新光源方向下的绘制结果；

具体实施方式

如图1所示，本发明的具体步骤如下：

1.构建SVBRDF数据矩阵M

矩阵M的行代表SVBRDF数据的空间域变化，即每一行都是物体表面一个采样点的BRDF数据，矩阵M的列代表SVBRDF的角度域变化，即每一列代表一个不同的光源入射方向，将采集的SVBRDF数据按照光源入射方向及观察方向参数化以后，计算其在矩阵中M的相应位置并填充。

2.单个采样点BRDF的拉普拉斯方程的插值

对于所选γ行数据中的任一行，即一个顶点的BRDF数据组织成为一个二维同心正方图，如图2所示。同心圆与同心正方形之间的变换方法如图3所示，其中，

图3b中的正方形被a＝b和a＝-b划分为4个区域，区域1内(a，b，r，φ)满足公式(1)，其余区域类似。

$\mathrm{\γ}=a_i\mathrm{\φ}=\frac{\mathrm{\π}}{4}\×\frac{b}{a}---\left(1\right)$

建立BRDF2维同心正方图的拉普拉斯方程，如公式(2)所示：

[P][F]＝[b]  (2)

其中，l为单位矩阵，[F]＝[f₀₁，f₁₁，...，f(_m)1，f_(m)2，...，f_mn]^T，[b]＝[0，0，0，...，0]。假设此采样点已经获取N_s个离散的BRDF数据，可以列出N_s个线性方程，如公式(3)所示：

其中，d_ij为像素位置为(i，j)的已知BRDF值，方程左边矩阵Q每一行只有位置(i，j)处为1，其余为0。最终可以列出如公式(4)所示的(m×n+N_s)个超定线性方程组，通过线性最小二乘优化算法求解出此采样点缺失的BRDF数据，完成单个采样点BRDF数据的插值。在公式(4)中，P′b′分别为引入Neumann边界条件后增加了边界采样点的P、b。

$\left[\begin{array}{c}{P}^{\′}\\ \mathrm{\λQ}\end{array}\right]\left[F^{\′}\right]=\left[\begin{array}{c}{b}^{\′}\\ \mathrm{\λd}\end{array}\right]---\left(4\right)$

3.Kernel Nystrom重构SVBRDF数据矩阵M

从矩阵M中稀疏的选取c列数据，与γ行数据重叠区域定义为矩阵A，γ行数据剩余部分定义为矩阵R，c列数据剩余部分定义为矩阵B，矩阵M的剩余部分定义为C，即

根据Kernel Nystrom重构方法，

k(x)＝ln(x)为引入的核函数，最终根据公式M＝k^-1(k(M))，完成对整个SVBRDF数据矩阵的重构。

4.求解基材质BRDF

定义任意两个采样顶点之间的距离为：

$\begin{array}{c}{d}^2(f_p,f_q)={\∫}_{{\mathrm{\Ω}}_i}{(f_p\left({\mathrm{\ω}}_i\right)-f_p\left({\mathrm{\ω}}_i\right))}^2\cos \left({\mathrm{\ω}}_i\right){\mathrm{d\ω}}_i\\ \≈\underset{{\mathrm{\Ω}}_i}{\mathrm{\Σ}}{(f_p\left({\mathrm{\ω}}_i\right)-f_q\left({\mathrm{\ω}}_i\right))}^2\cos \left({\mathrm{\ω}}_i\right)\end{array}$

令则：d(f_p，f_q)≈||ρ_p-ρ_q||，其中，f_p和f_q分别是采样顶点p和q的BRDF数据向量。实际计算时向量ρ_p和ρ_q首先要进行单位化，然后再计算二者之间的距离，保证任意两个采样顶点之间的BRDF距离不超过1，ω_i代表BRDF的光源入射方向。

计算任意两个采样顶点之间的BRDF距离作为连接两个采样顶点边的权重构造采样顶点之间的完全图。为顶点p_i到达其余顶点的距离之和，a_i可以更直观的描述两个采样顶点的相近程度。将数值区间[0，max{a_i}]等间隔划分为若干段，a_i值落在同一段内的顶点归为同一类。

对于任意一个顶点类C，假设e_max＝max{e_i}，e_i∈C，

e_i为顶点类C中所有顶点所构成完全图内任意一条边上的权重值，遍历所有的顶点类，当该顶点类满足条件e_max＞1.54e_eve时将其划分为两个子类，如果子类也满足此条件则继续划分，一直到所有顶点类都不能再划分时停止。父类划分为两个子类的方法为：以父类中边长权重值最大的两个顶点作为子类的聚类中心，将其余顶点依据与中心顶点边长权重值最小原则聚成两类。

对于得到的若干采样顶点类，用每个类的中心向量代表该类，可以得到一个线性相关的中心向量组，假设顶点类的个数为N_c，如果物体有n种材质构成，则存在n个线性无关的中心向量，其余N_e-n个中心向量均可以由这组线性无关中心向量线性组合而成。为每一个顶点类定义一个线性无关度，线性无关度值最小的顶点类将依次被剔除，最后得到n个线性无关的顶点类。线性无关度定义为

且.

其中LI_i为第i个顶点类的线性无关度，

为第i个顶点类的中心向量，

ρ_t∈C_i，通过线性最小二乘优化算法可以快速的求解出任意一个顶点类的线性无关度。

迭代剔除线性无关程度最小的顶点类，直至剩余顶点类个数等于预先指定的基材质BRDF个数，得到最大线性无关的顶点类，选择距离该类中心向量最近的BRDF作为为基材质BRDF。

5.求解基材质BRDF对应的权重混合因子分布图

基材质BRDF数据可以用一维向量表示，假设有n种基材质m₁，m₂，...，m_n，任意一个采样顶点处的BRDF由此n个基材质线性组合而成，即：

且

其矩阵形式为：其中b_i为第i个采样顶点的BRDF数据，表示为一维向量，已由Kernel Nystrom方法重构得到，m₁，m₂，...，m_n为已求解的基材质BRDF，w_i2，w_i2，...，w_in为待求解的权重混合因子。通过线性最小二乘优化算法可以计算w_i1，w_i2，...，w_in的最优解，得到物体表面各个采样点的权重混合因子分布。图4所示为我们采集的真实物体“福”的基材质以及对应权重混合因子分布图的求解结果。

6.虚拟环境中逼真再现真实世界中的物体表面反射特性

将已求解的基材质BRDF已经对应的基材质权重因子分布图组织成二维纹理形式，并传入计算机显卡显存，根据虚拟环境中的视点信息和光照环境信息，计算物体表面每一个顶点光线的入射方向和视点观察方向，从而计算出对应该顶点所有基材质BRDF数据的纹理坐标，索引得到基材质BRDF数据，并将所有基材质BRDF数据按照已求解的基材质权重混合因子分布情况线性组合得到该顶点最终的光照反射值，从而在虚拟环境中逼真再现真实物体表面在不同光照和不同视点下的反射特性。图5所示为构造真实物体“福”表面反射属性后在虚拟环境中任意新视点新光源方向下的绘制再现结果。

Claims (2)

1.一种虚拟环境中构造真实物体表面反射特性的方法，其特征在于步骤如下：

（1）采集不同光照条件和视线方向下的真实物体图像，构建空间变化双向反射分布函数SVBRDF数据的二维矩阵M，选择单个视点下采集的部分SVBRDF数据填入M；

（2）随机选择矩阵M中的r行数据，使用基于二维同心正方图的BRDF离散数据插值方法得到完整的r行SVBRDF数据，利用基于对数核函数的Kernel Nystrom方法重构出矩阵M的其它行数据；r代表随机选择的r个物体表面顶点的BRDF数据；所述基于二维同心正方图的BRDF离散数据插值方法：对于所选r行数据中的任一行，即一个顶点的BRDF数据组织成为一个二维同心正方图，在二维同心正方图参数空间下数值优化求解符合纽曼边界条件的拉普拉斯方程对BRDF离散数据插值，利用已知离散数据插值得到缺失的数据，完成对BRDF数据的插值；

（3）将r行SVBRDF数据看作r个线性相关向量，计算此线性相关向量组中的最大线性无关向量子集，得到SVBRDF数据的基材质BRDF组合；

（4）将SVBRDF数据矩阵M投影到基材质组合上得到各个基材质对应的权重组合因子分布图；

（5）在计算机构造的虚拟环境中，利用已求解的基材质和权重因子分布图逼真再现真实世界中物体表面对光线的不同反射特性；

所述的步骤（1）中构建矩阵M的方法为：矩阵M的行代表SVBRDF数据的空间域变化，即每一行都是物体表面一个采样点的BRDF数据，矩阵M的列代表SVBRDF的角度域变化，即每一列代表一个不同的光源入射方向，将采集物体图像数据按照光源入射方向及观察方向参数化以后，计算图像中每一个像素在矩阵中M的相应位置并填充；

所述步骤（2）中基于二维同心正方图的BRDF离散数据插值方法，对于所选r行数据中的任一行，即一个顶点的BRDF数据组织成为一个二维同心正方图，同心圆与同心正方形之间的变换公式为r＝a,其中，r∈[0,1],(a,b)∈[-1,1]²，(a,b,r,φ)分别表示同心正方图的像素坐标以及同心圆的半径及方位角；

所述步骤（2）中在拉普拉斯方程中加入P'、b'分别为引入Neumann边界条件后增加了边界采样点的P、b，其中b为0向量；

所述步骤（2）中的基于对数核函数的Kernel Nystrom重构方法：从矩阵M中稀疏的选取c列数据，与已经选择稀疏的r行数据结合，引入对数函数作为核函数，将SVBRDF数据转换到对数空间，引入k(x)＝ln(x)核函数，最终根据公式M＝k^-1(k(M))，利用基于对数核函数的Kernel Nystrom重构方法重构出矩阵M；

所述步骤（3）中的基材质BRDF求解方法：对于所选r行数据构成的数据向量，定义任意两个向量之间的距离，以距离为边长权重构造采样顶点的完全图，根据完全图中顶点之间的边长权重进行聚类，并计算每一顶点类BRDF向量组的中心向量，将每一顶点类的中心向量表示为其余顶点类中心向量的线性组合，表示误差定义为该顶点类的线性无关程度，迭代剔除线性无关程度最小的顶点类，直至剩余顶点类个数等于预先指定的基材质BRDF个数，得到最大线性无关的顶点类，选择距离该类中心向量最近的BRDF作为为基材质BRDF；

定义任意两个采样顶点之间的距离为：

$d^2(f_p,f_q)={\∫}_{{\mathrm{\Ω}}_i}{(f_p\left({\mathrm{\ω}}_i\right)-f_q\left({\mathrm{\ω}}_i\right))}^2\cos \left({\mathrm{\ω}}_i\right)d{\mathrm{\ω}}_i\≈\underset{{\mathrm{\Ω}}_i}{\mathrm{\Σ}}{(f_p\left({\mathrm{\ω}}_i\right)-f_q\left({\mathrm{\ω}}_i\right))}^2\cos \left({\mathrm{\ω}}_i\right)$

令

则：d(f_p,f_q)≈||ρ_p-ρ_q||，其中，f_p和f_q分别是采样顶点p和q的BRDF数据向量，实际计算时向量ρ_p和ρ_q首先要进行单位化，然后再计算二者之间的距离，保证任意两个采样顶点之间的BRDF距离不超过1，ω_i代表BRDF的光源入射方向；

定义线性无关程度为：

且

其中LI_i为第i个顶点类的线性无关度，为第i个顶点类的中心向量， $p_c^i=\frac{{\mathrm{\Σ}}_t^{\mathrm{size}\left(C_i\right)}{\mathrm{\ρ}}_t}{\mathrm{size}\left(C_i\right)},{\mathrm{\ρ}}_t\∈C_i;$

所述步骤（4）中的基材质权重组合因子分布图求解方法：矩阵中的SVBRDF数据矩阵M中的任意一行数据是使用结合聚类与线性最小二乘优化的基材质求解方法计算SVBRDF数据的基材质BRDF组合而成，基材质在每行数据即每个采样点上的权重混合因子为待求未知变量，所求权重混合因子满足非负约束，且同一采样点上所有基材质权重混合因子之和为1，在此约束条件下，将每一采样点的BRDF数据投影到基材质BRDF数据上，得到对应的权重因子分布。

2.根据权利要求1所述虚拟环境中构造真实物体表面反射特性的方法，其特征在于：所述步骤（5）中，真实物体表面反射属性在计算机构造虚拟环境中的重现方法：利用视点信息、光照信息，将已求解的基材质按照权重因子分布图计算物体表面光照分布，从而逼真再现真实世界中物体表面对光线的不同反射特性。

Images