CN107622519A - 基于移动设备的三维模型混合渲染***及其方法 - Google Patents

Abstract

本发明提供了基于移动设备的三维模型混合渲染***及渲染方法，***包括服务器和客户端，服务器用于从文件中读取三维数据简化后传输至客户端；客户端用于对数据进行重新组织后使用OpenGL ES对三维模型进行渲染和显示；客户端和服务器采用TCP/IP方式通信，使用字符串流方式进行过滤传输。方法包括：服务器端读取三维模型文件，解析并存储；对数据进行简化计算并保存；服务器端与客户端建立连接将数据发送给客户端；客户端对数据重新组织后使用OpenGL ES对三维模型进行渲染和显示。本发明采用客户端‑服务器模式，将复杂的计算操作放在服务器上，从而移动设备只承担较轻的渲染工作，大大提升了渲染的速度和整体的渲染效率。

Description

基于移动设备的三维模型混合渲染***及其方法

技术领域

本发明属于计算机图形处理技术领域，涉及三维可视化渲染技术，更为具体的说，是涉及基于移动设备的三维模型混合渲染***及渲染方法。

背景技术

三维可视化技术一直都是业界研究的热点，移动设备技术也在不断发展，这就推动了基于移动平台的可视化软件的产生。近年来，国内外涌现了很多比较成熟的三维可视化平台，如ArcGIS、Skyline、Super Map、Imagine Virtual GIS、CityMaker等。但在移动端，三维可视化研究对平台的依赖性相对比较强。

由于计算速度和内存等硬件条件的限制和交互性的要求，移动端很难胜任复杂三维场景的渲染工作，这是其与传统的PC渲染平台相比的天然劣势。而伴随着网络的普及和带宽的提升，越来越多的应用开始采用基于客户端/服务器模式的远程渲染方法，将庞大的三维数据和复杂耗时的渲染工作放在性能较强的服务器，而移动设备只承担显示工作。这样能够大大减轻移动端的负担，提升渲染的效率。在国内外学者的研究方面，J Lluch等人采用客户端/服务器模式，基于OpenGL ES和PocketPC实现三维模型的动态渲染，受限于当时的硬件条件，渲染的效率并不高，有较为明显的延迟。Haifa Raja Maamar等描述了一种利用远程渲染的移动三维可视化方法，解决了移动三维可视化目前存在的用户体验质量较低的问题，进而提出了面向移动的三维网格传输方法。薛晨基于C/S架构在Android移动端利用了OpenGL ES实现了三维模型多层次的显示；赖冬林提出利用远程渲染方法实现高效的移动三维GIS可视化表达，并验证了其可行性和实用性。

在目前，国内外采用客户端-服务器模式的三维渲染模型主要是将所有的工作全部放在客户端或者服务端，另外一端只负责存储或者显示。而当渲染完全由服务器承担时，需要向移动端传输大量的数据，这就对带宽提出了很高的要求，实际应用中常常由于传输速度限制导致渲染后的数据不能够及时传输到移动端，而严重影响用户的体验效果。

发明内容

为解决上述问题，本发明提出了一种混合渲染的方法，将较为耗时的复杂的计算工作放在服务器进行，而移动设备作为客户端负责模型的渲染和显示，大大减轻了移动设备的负担，提升了渲染显示的效率。

为了达到上述目的，本发明提供如下技术方案：

基于移动设备的三维模型混合渲染***，包括服务器和客户端，所述服务器用于从文件中读取三维数据和对数据进行简化计算并将数据传输至所述客户端；所述客户端运行在移动设备上，用于对数据进行重新组织后使用OpenGL ES对三维模型进行渲染和显示；所述客户端和服务器之间采用TCP/IP的方式进行通信，使用字符串流的方式进行过滤传输。

进一步的，所述服务器的数据中保留了顶点和面之间的拓扑关系；所述客户端的数据中保留了顶点的必要属性。

进一步的，所述服务器和客户端均采用索引数组的方式组织数据。

基于移动设备的三维模型混合渲染方法，包括以下步骤：

第一步，服务器读取三维模型文件，解析数据并按照一定的格式存储到内存中；

第二步，服务器对三维网格数据进行简化计算，并保存简化后的数据；

第三步，服务器与移动设备上的客户端建立TCP/IP连接，服务器将简化后的数据发送给客户端；

第四步，客户端接收服务器发送来的数据，对数据进行重新组织，使其符合OpenGLES渲染的要求，然后使用OpenGL ES对三维模型进行渲染和显示。

进一步的，所述第一步包括如下步骤：

服务器从硬盘中读取三维obj文件，obj文件存储了模型三角面片的顶点、法线、纹理坐标和材质信息，并采用顶点索引算法将文件中存储的顶点数组组成多边形；

服务器对文件进行解析时首先解析每一行开头的字母，判断该行属于那一类的信息，将顶点和面信息分别存入相应的列表中，其中，面采用顶点索引的方式进行保存，服务器在保存面的时候，还同时完善点和面的其他信息。

所述其他信息包括相邻的顶点和面的信息，以及面的面积和法向量。

进一步的，所述第二步中的简化计算包括如下步骤：

步骤1，读取三维网格中所有的顶点和面，计算其基础二次方矩阵和初始二次误差矩阵并保存在顶点属性中，二次误差矩阵中包括面积因素；

步骤2，计算每条边折叠的估计误差和新顶点的位置，在折叠后新顶点的代价中包含法向量约束，将最小的折叠代价以及对应的新顶点和原顶点的位置存入顶点属性中，并将折叠误差***优先队列；

步骤3，从优先队列中取出折叠代价最小的一条边，对其进行折叠操作，并更新相关顶点和面；

步骤4，判断是否满足设定的简化条件，若不满足，则返回第三步；若满足，则过程结束。

进一步的，所述第三步包括如下步骤：

服务器监听客户端的连接；

客户端请求连接；

连接成功后，服务器开始向客户端采用字符串的方式发送数据，每次发送一行字符，包括该顶点的坐标和法向量，每行字符包括12个浮点数，前9个为同一个面的三个顶点的x、y和z坐标，后三个为这个面的法向量。

进一步的，所述第四步包括如下步骤：

客户端收到服务器发来的数据以后，解析后获得顶点、面以及法向量信息，分别存入顶点数组、索引数组和法向量数组中，然后使用OpenGL ES的顶点索引方式对三维数据进行渲染。

与现有技术相比，本发明具有如下优点和有益效果：

本发明提供的基于移动设备的三维模型混合渲染***和方法，克服了传统的单一的移动端渲染中所存在的性能不足、计算能力较差、渲染效率较低的问题，采用客户端-服务器模式，将复杂的计算操作放在服务器上，从而移动设备只承担较轻的渲染工作，大大提升了渲染的速度和整体的渲染效率。与完全由服务器渲染的方法相比传输的数据量较少，对带宽的要求较低；与完全由客户端处理的方法相比，简化的速度提升，复杂数据处理更快。

附图说明

图1为本发明提供的基于移动设备的三维模型混合渲染***的整体框架图。

图2为本发明提供的基于移动设备的三维模型混合渲染***的整体功能流程图。

图3为三维obj文件的解析流程图。

图4为客户端-服务器通信流程示意图。

具体实施方式

以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。

如图1所示，本发明提供了一种基于移动设备的三维模型混合渲染***，让客户端和服务器各承担一部分渲染工作，服务器进行数据的简化计算，作为客户端的移动设备采用

OpenGL ES进行余下的渲染步骤。

***结构包括服务器、客户端两个部分。服务器运行在高性能的电脑上，主要功能是从文件中读取三维原始模型，使用基于二次误差测度的改进算法对模型进行简化计算(简化计算过程见下文)得到简化模型，并将简化模型传输至所述客户端；简化模型中包含很多的无效数据，服务器将其过滤后发送给客户端。客户端运行在移动设备上，用于对数据进行重新组织后，生成目标模型，最后，再添加位置、光照等参数，使用OpenGL ES对三维模型进行渲染和显示。客户端和服务器之间采用TCP/IP的方式进行通信，使用字符串流的方式进行过滤传输。本实施例采用Java作为编程语言，服务器端程序运行在电脑上，客户端程序运行在基于Android 7.0的手机上。在客户端上还可以通过OpenGL ES的应用程序接口进行平移、缩放、交互式地改变位置或光照等参数；另外还可以根据需求增加一些其他的定制功能，例如文字显示、按钮动画、查询等等。

服务器和客户端采用不同的数据组织方式。服务器端的数据中保留了顶点和面之间的拓扑关系，便于对网格进行简化；而客户端的数据中仅仅保留了顶点的坐标、法向量、材质等必要的属性，使其更适合用OpenGL ES进行渲染。但二者都采用索引数组的方式组织数据，使得在数据传输的过程中可以自动完成两种模型之间的转化，不需要额外的计算。服务器和客户端之间的传输采用字符串方式，对服务器简化过后的模型进行过滤，提取出其中的有用信息，组织成字符串的形式，每次发送一行。客户端在接收到以后，对字符串进行拆分，将有用的数据存入到对应的数据结构中。

混合渲染模型的整体功能流程如图2所示。更为具体的说，基于移动设备的三维模型混合渲染***实现的混合渲染方法包括如下步骤：

第一步，从服务器端的硬盘中读取三维模型文件，解析数据并按照一定的格式存储到内存中。

本发明中服务器端使用ObjectModel类来组织数据，采用相互引用的Vertex类和Face类作为基础的数据结构，使用一个顶点列表VertexList和一个面列表FaceList来保存所有的数据。Vertex类数据结构中除了保存点的坐标以外，还保存了相邻面和相邻顶点的信息。由于在模型简化的过程中，并不单独计算每条边的折叠消耗，而是计算每个点到它周围所有的点的折叠消耗，取折叠消耗最小的点作为“待折叠点”，并将“待折叠点”candidate、最小消耗cost和新顶点的位置newIndex保存到顶点的数据结构中。Face类通过保存三个顶点在列表中的索引来保存面的信息，除此之外还保存了面的面积和法向量等属性。

首先，服务器从硬盘中读取三维obj文件，并对其进行解析。obj文件存储了模型三角面片的顶点、法线、纹理坐标和材质信息，并采用顶点索引算法将文件中存储的顶点数组组成多边形。在obj文件中，每一行开头的字母决定了这一行的信息。文件的解析主要依赖于Java中的ObjectFileParser类。ObjectFileParser继承了的StreamTokenizer类。StreamTokenizer是Java中的一种符号化解析器，可以用来解析一些简单的符号化文本文件，它最重要的方法是nextToken()方法，能够返回输入流中特定的符号类型以及它所对应的域的内容。所以这个类很适合用来解析obj文件。在解析之前，需要先调用setup()函数设置需要忽略的字符以及需要被识别为符号的字符，然后循环调用getToken()或者getNumber()方法进行解析。解析的流程如图3所示。服务器首先解析每一行开头的字母，判断该行属于哪一类的信息。若为顶点信息，则将其存入顶点的列表中；若为面的信息，则将其存入面的列表中。其中，面采用顶点索引的方式进行保存，即面的数据结构中不包含顶点的具体信息，而是保存顶点的索引。

服务器在保存面的时候，还同时完善点和面的其它信息，例如为顶点完善其相邻的顶点和面的信息、为面计算其面积和法向量等，以便后面的简化过程。当服务器将所有的面读入内存以后，三维网格的拓扑关系也建立完成。

第二步，服务器对三维网格数据进行简化计算，并保存简化后的数据。具体包括如下步骤：

步骤1，读取网格三维网格中所有的顶点和面，计算基础二次方矩阵K_p和二次误差矩阵Q。

建立两个类Vertex和Face，用来对应模型中的顶点和面。对三维obj文件进行解析，读取网格三维网格中所有的顶点和面，分别建立两个ArrayList：VertexList用于保存顶点，FaceList用于保存面。在解析的同时，保存与顶点相邻的顶点和面的信息，存入Vertex中的属性中；计算面的法向量和面积，存入Face的属性中。

首先遍历FaceList，对其中的每一个Face对象(即所有面)计算基础二次方矩阵K_p，存入对象的属性中，计算方法为：

其中，p＝[a b c d]^T代表了平面：

ax+by+cz+d＝0(a²+b²+c²＝1)

a、b、c可以由面的单位法向量得到；d＝-(ax+by+cz)，通过代入面的一个顶点坐标，可以获得d的值。将计算获得的矩阵K_p保存在顶点的属性中。

接着遍历顶点的列表VertexList，计算所有顶点的二次误差矩阵Q，计算方法如下：

其中，与顶点相邻的面已经提前保存在了顶点的属性中，S_p是相应面的面积。最终将计算获得的Q保存在顶点的属性中。

步骤2，在顶点的数据结构中包括与其相邻的待折叠的边的另一个顶点，最小的折叠代价以及新顶点的位置，这样就可以将所有边的折叠代价作为顶点的属性保存在顶点的数据结构中。本步骤对于列表VertexList中的每个顶点Vertex，遍历与其相邻的所有顶点，从而遍历两个顶点之间构成的与顶点Vertex相邻的边，计算边的折叠代价。针对顶点取折叠代价最小的一条边，将其另一个顶点的位置、折叠代价以及新顶点的位置保存到顶点Vertex的属性中。同时将折叠误差(即折叠代价)***到优先队列costHeap中。

新顶点位置的计算方法如下：

首先计算新顶点的二次误差矩阵，其由原来两个顶点v₁、v₂的二次误差矩阵相加得到：

Q＝Q(v₁)+Q(v₂)

判断矩阵

是否可逆，其中，q_ij是矩阵Q中的项；

如果矩阵不可逆，则从折叠边的两个端点v₁、v₂或中点(v₁+v₂)/2中选择折叠代价最小的作为折叠新顶点；如果矩阵可逆，则计算出该新顶点的位置为：

在新顶点的折叠代价中考虑法向量约束因子的影响，法向量约束因子N_α的计算方法为：

N_α＝1-α+α·N

其中，N为约束项，α为影响因数，计算方法分别为：

上式中，v₁，v₂分别为边的两个顶点，S_p和是三角面p和p₁的面积，S_∑是相邻面的总面积，K_α是调整系数，约取2～4，通过调整K_α可以改变影响的比例。

最终，折叠误差计算方法如下：

将该误差***到优先队列中。

步骤3，使用costHeap的delMin()方法获得折叠代价最小的一条边，对其进行折叠操作，并更新相关顶点和面的属性。

获取顶点v₁，v₂所有相邻的面。删除共有的面，将其他面中的顶点v₁，v₂替换为新顶点v，并重新计算这些面的法向量和基础二次方矩阵。

获取顶点v₁，v₂所有相邻的顶点。更新这些顶点的相邻顶点列表，用新顶点v代替v₁，v₂，并同时更新新顶点的相邻顶点列表。使用第二步的方法重新计算这些点相邻的边的折叠误差，重新***到优先队列costHeap中。

步骤4，判断当前的顶点数是否小于预设的顶点数N，若不小于，则继续取出代价最小的一条边，重复上述过程；若小于，则简化结束。

在模型简化的过程中，并不单独计算每条边的折叠消耗，而是计算每个点到它周围所有的点的折叠消耗，取折叠消耗最小的点作为“待折叠点”，并将“待折叠点”、最小消耗和新顶点的位置保存到顶点的数据结构中。

第三步，服务器与移动设备上的客户端建立TCP/IP连接，服务器将简化后的数据发送给客户端；

服务器与客户端的通信流程如图4所示。首先启动服务器，完成初始化操作。此阶段需要先经过数据解析和网格简化将必要的数据准备好。然后设置监听的端口，等待客户端的连接。在Java中，使用Socket套接字进行通信。在服务器端创建ServerSocket并指定端口，开始监听。

然后启动客户端，客户端完成必要的初始化工作以后，使用Socket设置连接的服务器的IP地址和端口，请求连接。

服务器在收到请求以后，返回一个Socket与客户端建立连接。

连接成功后，服务器开始向客户端发送数据，使用PrintWriter输出字符串。发送数据的方法为：每行12个浮点数，前9个为同一个面的三个顶点的x、y和z坐标，后三个为这个面的法向量，数据之间只用空格隔开，格式如下：

“x₁ x₂ x₃ x₄ x₅ x₆ x₇ x₈ x₉ x₁₀ x₁₁ x₁₂”

其中，x₁～x₉为一个面的三个顶点的x、y和z坐标，x₁₀～x₁₂为面的法向量。

客户端接收到数据后会将数据解析到对应的数组中，并完成渲染。服务器继续监听端口，等待下一次连接。

第四步，客户端接收服务器发送来的数据，对数据进行重新组织，使其符合OpenGLES渲染的要求，然后使用OpenGL ES对三维模型进行渲染和显示。

客户端的移动设备在收到服务器发来的数据以后，解析后获得顶点、面以及法向量信息，分别存入顶点数组vertexArray、索引数组indexArray和法向量数组normalArray中，然后使用OpenGL ES的顶点索引方式对三维数据进行渲染。

本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (9)

1.基于移动设备的三维模型混合渲染***，包括服务器和客户端，其特征在于：所述服务器用于从文件中读取三维数据和对数据进行简化计算并将数据传输至所述客户端；所述客户端运行在移动设备上，用于对数据进行重新组织后使用OpenGL ES对三维模型进行渲染和显示；所述客户端和服务器之间采用TCP/IP的方式进行通信，使用字符串流的方式进行过滤传输。

2.根据权利要求1所述的基于移动设备的三维模型混合渲染***，其特征在于：所述服务器的数据中保留了顶点和面之间的拓扑关系；所述客户端的数据中保留了顶点的必要属性。

3.根据权利要求1所述的基于移动设备的三维模型混合渲染***，其特征在于：所述服务器和客户端均采用索引数组的方式组织数据。

4.基于移动设备的三维模型混合渲染方法，其特征在于：包括以下步骤：

第一步，服务器读取三维模型文件，解析数据并按照一定的格式存储到内存中；

第二步，服务器对三维网格数据进行简化计算，并保存简化后的数据；

第三步，服务器与移动设备上的客户端建立TCP/IP连接，服务器将简化后的数据发送给客户端；

第四步，客户端接收服务器发送来的数据，对数据进行重新组织，使其符合OpenGL ES渲染的要求，然后使用OpenGL ES对三维模型进行渲染和显示。

5.根据权利要求4所述的基于移动设备的三维模型混合渲染方法，其特征在于：所述第一步包括如下步骤：

服务器从硬盘中读取三维obj文件，obj文件存储了模型三角面片的顶点、法线、纹理坐标和材质信息，并采用顶点索引算法将文件中存储的顶点数组组成多边形；

服务器对文件进行解析时首先解析每一行开头的字母，判断该行属于那一类的信息，将顶点和面信息分别存入相应的列表中，其中，面采用顶点索引的方式进行保存，服务器在保存面的时候，还同时完善点和面的其他信息。

6.根据权利要求5所述的基于移动设备的三维模型混合渲染方法，其特征在于：所述其他信息包括相邻的顶点和面的信息，以及面的面积和法向量。

7.根据权利要求4所述的基于移动设备的三维模型混合渲染方法，其特征在于：所述第二步中的简化计算包括如下步骤：

步骤1，读取三维网格中所有的顶点和面，计算其基础二次方矩阵和初始二次误差矩阵并保存在顶点属性中，二次误差矩阵中包括面积因素；

步骤2，计算每条边折叠的估计误差和新顶点的位置，在折叠后新顶点的代价中包含法向量约束，将最小的折叠代价以及对应的新顶点和原顶点的位置存入顶点属性中，并将折叠误差***优先队列；

步骤3，从优先队列中取出折叠代价最小的一条边，对其进行折叠操作，并更新相关顶点和面；

步骤4，判断是否满足设定的简化条件，若不满足，则返回第三步；若满足，则过程结束。

8.根据权利要求4所述的基于移动设备的三维模型混合渲染方法，其特征在于：所述第三步包括如下步骤：

服务器监听客户端的连接；

客户端请求连接；

连接成功后，服务器开始向客户端采用字符串的方式发送数据，每次发送一行字符，包括该顶点的坐标和法向量，每行字符包括12个浮点数，前9个为同一个面的三个顶点的x、y和z坐标，后三个为这个面的法向量。

9.根据权利要求4所述的基于移动设备的三维模型混合渲染方法，其特征在于：所述第四步包括如下步骤：

客户端收到服务器发来的数据以后，解析后获得顶点、面以及法向量信息，分别存入顶点数组、索引数组和法向量数组中，然后使用OpenGL ES的顶点索引方式对三维数据进行渲染。