CN108335367A - 一种用于终端展示的三维模型处理方法 - Google Patents

Abstract

本发明公开了一种用于终端展示的三维模型处理方法，包括：根据预先确定的材质转换方法，将生成的三维模型材质转化为PBR材质；采用二次误差度量方法对生成的三维模型进行模型简化；采用浮点数量化方法对简化后三维模型或层级划分后层级三维模型的几何信息进行离散化，以实现对三维模型或层级三维模型的压缩；按照分辨率将压缩后三维模型或简化后三维模型的三角面片划分为多个层级，每个层级包含的所有三角面片组成与该层级对应的层级三维模型；将经过模型材质转化、模型简化、模型压缩以及模型层级划分处理后的所有层级三维模型按照层级的优先级依次传输至终端进行渲染，或传输至终端按照层级的优先级依次进行渲染。

Description

一种用于终端展示的三维模型处理方法

技术领域

本发明涉及图形学领域，具体涉及一种用于终端展示的三维模型处理方法。

背景技术

随着HTML5及VR/AR等技术的快速发展，在终端上进行三维模型的展示与编辑相关的需求已经越来越常见。但是将建好的三维模型传输至终端并显示的过程中会存在很多问题，具体如下：

(1)建模工具生成的三维模型材质与终端使用的渲染模型材质不一致，直接会造成三维模型的渲染过程混乱以及影响渲染质量。

(2)建模工具生成的三维模型较精细，包含大量的三角面片，在终端渲染的时候，会占用终端处理器较大的运行内存，增加终端处理器的计算开销，降低渲染效率，且不能根据视觉需求进行渲染产品的精度调整。

(3)建模工具生成的三维模型包含大量的三角面片，以至于三维模型的存储容量很大，这会降低三维模型的传输效率。

(4)由于建好的三维模型在终端仅以一种精度展示，会影响用户的交互体验效果。

(5)三维模型在传输的过程中会存在安全隐患。

因此，迫切地需要将生成的三维模型导成标准的可用于终端快速展示的模型，使得该三维模型能够保证渲染质量，降低终端处理器开销，满足用户交互体验效果。

发明内容

本发明的目的是提供一种用于终端展示的三维模型处理方法，该方法对生成的三维模型进行模型简化、模型压缩、模型LOD支持、模型材质转化处理，使得处理后的三维模型能够在各种渲染模型材质中进行渲染，提高三维模型的渲染普适性，且使三维模型在保证渲染质量的基础上，降低终端处理器开销，满足用户交互体验效果。

为实现上述发明目的，本发明提供以下技术方案：

一种用于终端展示的三维模型处理方法，包括以下步骤：

模型材质转化：根据预先确定的材质转换方法，将生成的三维模型材质转化为通用PBR材质；

模型简化：采用二次误差度量方法对生成的三维模型进行模型简化；

模型压缩：采用浮点数量化方法对简化后三维模型或层级划分后层级三维模型的几何信息进行离散化，以实现对三维模型或层级三维模型的压缩；

模型层级划分：按照分辨率将压缩后三维模型或简化后三维模型的三角面片划分为多个层级，每个层级包含的所有三角面片组成与该层级对应的层级三维模型；

模型传输和渲染：将经过模型材质转化、模型简化、模型压缩以及模型层级划分处理后的所有层级三维模型按照层级的优先级依次传输至终端进行渲染，或传输至终端按照层级的优先级依次进行渲染。

与现有技术相比，本发明具有的有益效果为：

本发明提供的用于终端展示的三维模型处理方法，采用统一的标准对三维模型材质进行转化，以适应终端渲染模型材质，提供三维模型的渲染普适性。将三维模型按照层级进行划分，使模型根据用户体验需求进行不同层级(分辨率)的渲染显示，在满足用户体验效果的同时，降低终端处理器的开销，提升渲染效率。对三维模型进行简化和压缩，降低三维模型的传输时间，进而提高用户体验效果。

附图说明

图1是实施例提供的用于终端展示的三维模型处理方法的流程示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

图1是实施例提供的用于终端展示的三维模型处理方法的流程示意图。如图1所示，本实施例提供的三维模型处理方法包括以下步骤：

S101，根据预先确定的材质转换方法，将生成的三维模型材质转化为PBR材质。

实现应用中，建模工具生成的三维模型材质与终端使用的渲染模型材质不一致，会造成三维模型的渲染过程混乱以及影响渲染质量，因此，S101提供一种材质转换方法，利用该材质转换方法将建模工具生成的材质参数转化为标准的基于物理渲染(PhysicallyBased Rendering，PRB)材质参数，以尽可能少地失去生成的三维模型的外观材质信息。

具体地，预先确定的材质转换方法为：

经过大量实验观察和结合渲染公式，发现base color主要受diffuse color、reflect color以及Fresnel IOR影响，并且关系复杂，因此，在实际转化过程中，通过对大量专家的实验数据进行统计，得到具体的转换方式，具体地，

对于PBR材质中的base color：

首先，将输入的颜色值转换到HSV空间，同时，对Fresnel IOR进行对数空间的变换；

然后，以diffuse color，reflect color，以及Fresnel IOR为变量，以base Color为目标值，对采集数据进行五阶多项式拟合，获得相应参数，形成拟合函数I；

最后，根据输入的diffuse color，reflect color，以及Fresnel IOR和拟合函数I获得base color，并将base color转换到RGB颜色空间，获得最终base color。

经研究，roughness与specular主要由base color、reflect color、glossiness以及Fresnel IOR控制；

为了便于后面的计算，定义：

其中，reflectHSV.z和basecolorHSV.z分别为reflect color与base color转换到HSV空间后的亮度值。

在roughness的转换过程中，使用经验性公式进行参数计算，具体地，

对于PBR材质中的roughness：

其中，γ在m₃＜0时，取值为-0.1，否则为0；specularHSV.z为specular转换到HSV空间后的亮度值；

对于PBR材质中的specular：与roughness计算过程基本类似，具体为：

其中，γ在m₃＜0时，取值为-0.1，否则为0；reflectHSV.z为reflect转换到HSV空间后的亮度值；

对于PBR材质中的metallic：

metallic＝m₁+m₂+λm₃

其中，λ在m₃＜0时，取值为0.2，m₃＞0时，取值为0.8；

对于PBR材质中的transparency，以refract color的强度值作为transparency参数值。

S102，采用二次误差度量方法对生成的三维模型进行模型简化。

由于建模导出的三维模型通常包含大量细节，以至于三角面片数量过多。终端使用时，如果三角面片数量过大，即过大的使用场景极有可能会导致终端处理器资源的不足，以影响终端使用效果，因此，需要对单位模型进行简化。本实施例中，除了采用二次误差度量方法对模型进行简化外，还可以采用以下方法对三维模型进行简化：

(1)通过对三维模型中几何变化显著的位置引入虚拟边界，并将虚拟边界的边界约束添加至对应顶点的二次误差矩阵中；

(2)对边进行预检查以确定该边对应面片的法向变化程度，并根据法向变化程度与该边的二次误差矩阵确定边的简化优先级；

(3)按照简化优先级，迭代收缩最小二次误差对应的边，并更新所有关联面片对应的边的二次误差矩阵和简化优先级，满足迭代终止条件后，输出自动简化生成的三维模型。

其中，步骤(1)的具体过程为：

对于面片f，计算所述面片f对应的二次误差矩阵Q^f，计算公式为：Q^f＝(A,b,c)＝(n·n^T,d·n,d²)，其中，面片f的平面方程为n·(x-v)＝0，n为面片f的法向量，v为平面上任一点，d为-n·v；

当面片f中的边e＝(v₀,v₁)对应的两个面片的法向差超过预设阈值时，对边e增加边界约束Q^e，所述边界约束Q^e的定义与Q^f相同，仅是边界约束Q^e中定义中的(n，b)表示通过边e并垂直于面片f的一个面；将Q^e和Q^f按权重叠加至面片f对应顶点的二次误差矩阵vQ；

当面片f中的边e＝(v₀,v₁)对应的两个面片的法向差没超过预设阈值时，将Q^f增加至面片f对应顶点的二次误差矩阵vQ。

步骤(2)的具体过程为：

定义简化优先级priority＝f(qerror)/g(cosin)；

qerror为边的二次误差；

cosin为所述边对应面片的法向变化程度；

当qerror大于0时，函数f(qerror)与函数g(cosin)均为单位函数；

当qerror接近0时，加大cosin对简化优先级的影响程度；

当cosin小于变化阈值时，定义函数f(qerror)为边长度的负反比，g(cosin)为1–cosin；

当cosin大于变化阈值时，直接将简化优先级设为Inf。

步骤(3)的具体过程为：

在确定边的简化优先级后，将四元组(边，边对应的最优顶点，边对应的二次误差矩阵，边的简化优先级)按照简化优先级顺序排列，形成简化优先队列；

按照简化优先级，选择简化优先队列中最小二次误差对应的边e＝(v₀,v₁)，在v₀和v₁的标志位均不为0，且不满足迭代终止条件下，将边e合并成其对应的最优顶点，并更新该最优顶点影响的边的边的二次误差矩阵和简化优选级。

其中，边对应的最优顶点，包括：

确定边对应的最优顶点的几何坐标：

对于边e＝(v₀,v₁)，将顶点v₀和顶点v₁的二次误差矩阵相加得到矩阵B，对矩阵B求解以确定边e对应的最优顶点的几何坐标，具体为：

当矩阵B可逆的情况下，最优顶点的几何坐标为-A^-1b；

当矩阵B不可逆的情况下，选取顶点v₀和顶点v₁及两个顶点中心点v_c＝(v₀+v₁)/2中二次误差最小的顶点的几何坐标作为最优顶点的几何坐标。

在判断矩阵B的可逆性的同时，判断矩阵B的条件数cond(B)＝‖B‖·‖B^-1‖，对条件数过大的可逆矩阵B，选取顶点v₀、v₁及v_c中二次误差最小的顶点的几何坐标作为最优顶点的几何坐标。

对于包含纹理信息的三维图形，在确定最优顶点的几何坐标时，还要采用坐标插值法确定最优顶点的纹理坐标和法向坐标。

其中，采用坐标插值法确定最优顶点的纹理坐标和法向坐标，包括：

确定最优顶点的纹理坐标：

对于边e关联的m个面片，计算边e对应的最优顶点在每个面片的三个顶点上的投影权重，将三个顶点的纹理坐标值按三个投影权重进行插值，得到m个插值纹理坐标；

以各面片的面积作为权重，将m个插值纹理坐标进行加权平均，并以加权平均后的结果除以m个面片的总面积得到最优顶点的纹理坐标；

确定最优顶点的法向坐标：

对于边e关联的m个面片，计算边e对应的最优顶点在每个面片的三个顶点上的投影权重，将三个顶点的法向坐标值按三个投影权重进行插值，得到m个插值法向坐标；

以各面片的面积作为权重，将m个插值法向坐标进行加权平均，并以加权平均后的结果除以m个面片的总面积后再进行归一化处理，得到最优顶点的法向坐标。

S103，采用浮点数量化方法对简化后三维模型的几何信息进行离散化，以实现对三维模型的压缩。

对于一个标准的三角几何模型，其主要几何信息包括顶点坐标、顶点法向坐标、纹理坐标以及面片间的连接关系。假设所有坐标信息均为4byte的浮点数，而面片连接中顶点下标索引均为4byte无符号整数，则一个面片数20K的拓扑良好的模型(按欧拉公式，顶点数大致为面片数的一半)大小大致为500KB左右。在一个包含多模型的复杂场景下，这样所带来的网络带宽开销非常大。因此，十分有必要对生成的三维模型进行压缩。

模型压缩的具体步骤为：

几何信息包括顶点坐标、顶点法向坐标以及纹理坐标；

对于顶点坐标和纹理坐标：

首先，对于每个坐标，将以表征坐标信息的浮点数转化为整数信息，

然后，对于顶点坐标，在记录第一个顶点坐标的整数信息基础上，依次记录后一顶点与前一顶点的整数信息差值，以此获取所有顶点坐标的整数信息；

对于纹理坐标，在记录第一个纹理坐标的整数信息基础上，依次记录后一顶点与前一顶点的整数信息差值，以此获取所有顶点坐标的整数信息。

顶点法向坐标本身是单位向量，实际上只需要两个自由度变量即可以表达顶点法向坐标，因此，对顶点法向坐标压缩比对顶点坐标压缩增加一部转化过程，具体地，

对于顶点法向坐标：

首先，将顶点法向坐标投影到单位球面上，获得单位球面坐标

然后，经每个单位球面坐标中θ和转化为整数信息；

最后，在记录第一个单位球面坐标的整数信息基础上，依次记录后一顶点与前一顶点的整数信息差值，以此获取所有顶点法向坐标的整数信息。

本实施例中，采用将浮点数量化技术，将浮点数信息转化到整数空间中，即获得对应的整数信息。由于整数占有的字节数小于浮点数占有的字节数，这样既可以降低三维模型的存储容量，此外，实施例中还通过记录整数信息差值来获取所有坐标的整数信息，由于相邻顶点坐标差异不会很大，以此种方式可以大福度减小整数空间表示范围，即降低整数占有的字节数。因此，采用浮点数量化技术和记录整数信息差值的方式可以极大地降低三维模型的存储容量，在保证完整几何信息的基础上，实现对三维模型很大程度的压缩，以降低网络宽带开销。

为保证压缩率的基础上，提升终端的解码速率，采用Tunstall编码方式对形成的整数字节流进行编码。

S104，按照分辨率将压缩后三维模型的三角面片划分为多个层级，每个层级包含的所有三角面片组成与该层级对应的层级三维模型。

终端对三维模型渲染显示时，都是一个由粗糙到精细的过程，当距离显示界面较远时，只需要对三维模型进行粗糙渲染，就能满足用户的交互体验，当距离显示界面较近时，对三维模型进行精细渲染，才能满足用户交互体验质量，这种分层级的渲染不但能够满足用户体验，还能够降低终端处理器开销，提升渲染效率。

具体地，模型层级划分的具体步骤为：

(a)对三维模型的包围盒空间进行均匀网格划分，并记录每个三角面片首次被划分到两个网格中时对应的层级，以此层级作为三角面片的划分标签；

(b)根据三角面片的划分标签，按照层级的优先级，对所有三角面片进行排序，属于同一层级的所有三角面片重组，形成与该层级对应的层级三维模型。

其中，步骤(a)包括：

对于每个三角面片，每次网格划分时，计算三角面片的每个顶点的三个维度坐标分别所属的网格序号，若三个顶点的维度坐标所属网格序号相同，则三角面片在该层级划分下会合并成一个顶点；

将三角面片不被合并成一个顶点对应的最小划分层级序号作为三角面片的划分标签。

以顶点V的固定维度V_x(顶点V的x分量)为例对具体的层级划分进行说明：

考虑包围盒对应维度被划分为2^q个网格，q代表划分层级，也就是第q次对三维模型的包围盒进行划分，计算出V_x在对应维度所属网格的序号w，则w∈[0,2^q]。现在考虑模型上的每个面片，对应三个顶点分别计算出相应各维度所属网格的序号，如果序号一致，则此三角面片在q层级划分下会合并成一个顶点。为此，可以为每个三角面片计算出其对应的最小的q，使得三角形不会被合并成一个顶点。然后，根据划分次数，对次数(层级)进行从小到大排序，该排序也就是层级的优先级，最后，对三角面片按照优先级进行排序重组，从而得到一个多分辨率的模型。

本实施例中，对模型进压缩编码前，以在文件头增加一个特殊命牌字符的方式，对模型进行加密处理。该加密处理方式可以保证三维模型传输过程的安全性。

S105，将经过模型材质转化、模型简化、模型压缩以及模型层级划分处理后的所有层级三维模型按照层级的优先级依次传输至终端进行渲染，或传输至终端按照层级的优先级依次进行渲染。

具体地，采用gzip方式对经过模型材质转化、模型简化、模型压缩以及模型层级划分处理后的模型进行压缩传输。

以上所述的实施例中是先对简化后的三维模型进行压缩，然后再对压缩后三维模型进行层级划分，这只是其中一种处理顺序，三维模型的压缩和层级划分顺序并不会影响整个处理方法的处理效率，因此，还以先对对简化后的三维模型进行层级划分，然后再对层级划分后三维模型进行压缩。具体的层级划分和压缩过程均与上述过程相同。

利用本实施例提供的方法采用统一的标准对三维模型材质进行转化，以适应终端渲染模型材质，提供三维模型的渲染普适性。将三维模型按照层级进行划分，使模型根据用户体验需求进行不同层级(分辨率)的渲染显示，在满足用户体验效果的同时，降低终端处理器的开销，提升渲染效率。对三维模型进行简化和压缩，降低三维模型的传输时间，进而提高用户体验效果。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种用于终端展示的三维模型处理方法，包括以下步骤：

模型材质转化：根据预先确定的材质转换方法，将生成的三维模型材质转化为PBR材质；

模型简化：采用二次误差度量方法对生成的三维模型进行模型简化；

模型压缩：采用浮点数量化方法对简化后三维模型或层级划分后层级三维模型的几何信息进行离散化，以实现对三维模型或层级三维模型的压缩；

模型层级划分：按照分辨率将压缩后三维模型或简化后三维模型的三角面片划分为多个层级，每个层级包含的所有三角面片组成与该层级对应的层级三维模型；

模型传输和渲染：将经过模型材质转化、模型简化、模型压缩以及模型层级划分处理后的所有层级三维模型按照层级的优先级依次传输至终端进行渲染，或传输至终端按照层级的优先级依次进行渲染。

2.如权利要求1所述的用于终端展示的三维模型处理方法，其特征在于，所述预先确定的材质转换方法为：

对于PBR材质中的base color：

首先，将输入的颜色值转换到HSV空间，同时，对Fresnel IOR进行对数空间的变换；

然后，以diffuse color，reflect color，以及Fresnel IOR为变量，以base color为目标值，对采集数据进行五阶多项式拟合，获得相应参数，形成拟合函数I；

最后，根据输入的diffuse color，reflect color，以及Fresnel IOR和拟合函数I获得base color，并将base color转换到颜色空间，获得最终base color；

对于PBR材质中的roughness：

其中，γ在m₃＜0时，取值为-0.1，否则为0；specularHSV.z为specular转换到HSV空间后的亮度值；

对于PBR材质中的specular：

其中，γ在m₃＜0时，取值为-0.1，否则为0；reflectHSV.z为reflect color转换到HSV空间后的亮度值；

对于PBR材质中的metallic：

metallic＝m₁+m₂+λm₃

其中，λ在m₃＜0时，取值为0.2，m₃＞0时，取值为0.8；

对于PBR材质中的transparency，以refract color的强度值作为transparency参数值，

其中，reflectHSV.z和basecolorHSV.z分别为reflect color与base color转换到HSV空间后的亮度值。

3.如权利要求1所述的用于终端展示的三维模型处理方法，其特征在于，采用以下方法对三维模型进行简化：

通过对三维模型中几何变化显著的位置引入虚拟边界，并将虚拟边界的边界约束添加至对应顶点的二次误差矩阵中；

对边进行预检查以确定该边对应面片的法向变化程度，并根据法向变化程度与该边的二次误差矩阵确定边的简化优先级；

按照简化优先级，迭代收缩最小二次误差对应的边，并更新所有关联面片对应的边的二次误差矩阵和简化优先级，满足迭代终止条件后，输出自动简化生成的三维模型。

4.如权利要求1所述的用于终端展示的三维模型处理方法，其特征在于，模型压缩的具体步骤为：

几何信息包括顶点坐标、顶点法向坐标以及纹理坐标；

对于顶点坐标和纹理坐标：

首先，对于每个坐标，将以表征坐标信息的浮点数转化为整数信息，

然后，对于顶点坐标，在记录第一个顶点坐标的整数信息基础上，依次记录后一顶点与前一顶点的整数信息差值，以此获取所有顶点坐标的整数信息；

对于纹理坐标，在记录第一个纹理坐标的整数信息基础上，依次记录后一顶点与前一顶点的整数信息差值，以此获取所有顶点坐标的整数信息。

5.如权利要求4所述的用于终端展示的三维模型处理方法，其特征在于，对于顶点法向坐标：

首先，将顶点法向坐标投影到单位球面上，获得单位球面坐标

然后，经每个单位球面坐标中θ和转化为整数信息；

最后，在记录第一个单位球面坐标的整数信息基础上，依次记录后一顶点与前一顶点的整数信息差值，以此获取所有顶点法向坐标的整数信息。

6.如权利要求5所述的用于终端展示的三维模型处理方法，其特征在于，采用Tunstall编码方式对形成的整数字节流进行编码。

7.如权利要求1所述的用于终端展示的三维模型处理方法，其特征在于，模型层级划分的具体步骤为：

(a)对三维模型的包围盒空间进行均匀网格划分，并记录每个三角面片首次被划分到两个网格中时对应的层级，以此层级作为三角面片的划分标签；

(b)根据三角面片的划分标签，按照层级的优先级，对所有三角面片进行排序，属于同一层级的所有三角面片重组，形成与该层级对应的层级三维模型。

8.如权利要求7所述的用于终端展示的三维模型处理方法，其特征在于，步骤(a)包括：

对于每个三角面片，每次网格划分时，计算三角面片的每个顶点的三个维度坐标分别所属的网格序号，若三个顶点的维度坐标所属网格序号相同，则三角面片在该层级划分下会合并成一个顶点；

将三角面片不被合并成一个顶点对应的最小划分层级序号作为三角面片的划分标签。

9.如权利要求1～8任一所述的用于终端展示的三维模型处理方法，其特征在于，对模型进压缩编码前，以在文件头增加一个特殊命牌字符的方式，对模型进行加密处理。

10.如权利要求1～8任一所述的用于终端展示的三维模型处理方法，其特征在于，采用gzip方式对经过模型材质转化、模型简化、模型压缩以及模型层级划分处理后的模型进行压缩传输。