CN104751507A - 图形内容渲染方法和装置 - Google Patents

Abstract

本发明提供一种内容渲染方法和装置，涉及互联网技术。其中，一种图形内容渲染方法，包括：构造渲染树,渲染树包括多个渲染目标；生成渲染节点列表，渲染节点包括对渲染目标的引用；对渲染节点列表中的渲染节点进行排序，排序包括：从渲染节点列表中选取多个对应于相同渲染目标的渲染节点；将多个对应于相同渲染目标的渲染节点中需要处理的渲染节点选取到不透明列表中，并将不需要处理的渲染节点选取到透明列表中；对透明列表和不透明列表进行整体排序；生成用于指示对渲染节点进行渲染的渲染指令，渲染指令包括渲染节点的渲染状态和网格数据。基于上述技术方案，能够加快渲染速度，改善用户体验。

Description

图形内容渲染方法和装置

技术领域

本发明涉及互联网技术，特别涉及一种图形内容渲染方法和装置。

背景技术

随着计算机技术的普及，人们对移动终端图形处理的要求越来越高。为了加快图形的处理，除CPU（central processing unit，中央处理器)外，专业的图形处理器GPU（Graphic Processing Unit，图形处理器）也越来越多的参与在移动终端的图形处理上。

虽然目前已有使用移动终端的GPU对图形进行加速渲染的先例，但是已有的技术没有依据移动终端GPU渲染管线的特点对渲染指令进行优化处理，从而造成了不必要的资源消耗，拖慢了渲染效率。

发明内容

本发明实施例提供一种图形渲染方法和装置，以加快渲染速度，改善用户体验。

一方面，本发明提供一种图形内容渲染方法，包括：构造渲染树,渲染树包括多个渲染目标；生成渲染节点列表，渲染节点包括对渲染目标的引用；对渲染节点列表中的渲染节点进行排序，排序包括：从渲染节点列表中选取多个对应于相同渲染目标的渲染节点；将多个对应于相同渲染目标的渲染节点中需要处理的渲染节点选取到不透明列表中，并将不需要处理的渲染节点选取到透明列表中；对透明列表和不透明列表进行整体排序；生成用于指示对渲染节点进行渲染的渲染指令，渲染指令包括渲染节点的渲染状态和网格数据。

在一个实施例中，图形内容渲染方法还包括：遍历渲染树，搜集被使用的多个渲染目标；将多个渲染目标拼接到一个或多个纹理集中，使得渲染节点包括对纹理集的引用。

在一个实施例中，排序还包括：对不透明列表中的渲染节点按照纹理、着色器和/或深度值进行排序。

在一个实施例中，图形内容渲染方法还包括：将渲染状态相同的渲染节点合并为一个渲染节点。

在一个实施例中，图形内容渲染方法还包括：选择排序后的两个或多个相邻的且渲染状态相同的渲染节点；将选出的渲染节点的网格数据中的缓存部分合并在同一缓存中。

另一方面，本发明还提供一种图形内容渲染装置，包括：树构造模块，用于构造渲染树,渲染树包括多个渲染目标；节点列表生成模块，用于生成渲染节点列表，渲染节点包括对渲染目标的引用；排序模块，用于对渲染节点列表中的渲染节点进行排序，排序模块包括：选取单元，用于从渲染节点列表中选取多个对应于相同渲染目标的渲染节点；分类单元，用于将多个对应于相同渲染目标的渲染节点中需要处理的渲染节点选取到不透明列表中，并将不需要处理的渲染节点选取到透明列表中；第一排序单元，用于对透明列表和不透明列表进行整体排序；指令生成模块，用于生成指示对渲染节点进行渲染的渲染指令，渲染指令包括渲染节点的渲染状态和网格数据。

在一个实施例中，图形内容渲染装置还包括：遍历模块，用于遍历渲染树，搜集被使用的多个渲染目标；拼接模块，用于将多个渲染目标拼接到一个或多个纹理集中，使得渲染节点包括对纹理集的引用。

在一个实施例中，排序模块还包括：第二排序单元，用于对不透明列表中的渲染节点按照纹理、着色器和/或深度值进行排序。

在一个实施例中，图形内容渲染装置还包括：合并模块，用于将渲染状态相同的渲染节点合并为一个渲染节点。

在一个实施例中，合并模块包括：选择单元，用于选择排序后的两个或多个相邻的且渲染状态相同的渲染节点；合并单元，用于将选出的渲染节点的网格数据中的缓存部分合并在同一缓存中。

基于以上技术方案，通过在对渲染节点列表中的渲染节点进行排序，能够减少渲染状态的切换，从而优化了渲染指令，加快了***运行的速度，改善了用户体验。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：

图1是根据本发明实施例的图形内容渲染方法的流程图；

图2是根据本发明另一实施例的图形内容渲染方法的流程图；

图3是根据本发明实施例的渲染树的示例；

图4是根据本发明实施例的一个应用场景；

图5是根据本发明实施例的渲染节点的排序方法的流程图；

图6是根据本发明实施例的排序后的渲染节点示例；

图7是根据本发明实施例的图形内容渲染装置的结构示意图；

图8是根据本发明实施例的排序模块的结构示意图；

图9是根据本发明另一实施例的图形内容渲染装置的结构示意图；

图10是根据本发明实施例的合并模块的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例作进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

现在将参考附图进一步详细描述本发明。本发明可以许多不同的形式来实现，不应该被理解为仅限于此处所阐述的实施例。这些实施例只作为示例提供，以便为本领域技术人员提供对本发明的完全理解。

图1是根据本发明实施例的图形内容渲染方法100的流程图。

在步骤102中，构造渲染树,渲染树包括多个渲染目标（RT）。

在步骤104中，生成渲染节点列表，渲染节点包括对渲染目标的引用。

在步骤106中，对渲染节点列表中的渲染节点进行排序。具体的，在该步骤中可以包括：从渲染节点列表中选取多个对应于相同渲染目标的渲染节点；将该多个对应于相同渲染目标的渲染节点中需要处理的渲染节点选取到不透明列表中，并将不需要处理的渲染节点选取到透明表中；对上述透明列表和不透明列表进行整体排序。

在步骤108中，生成用于指示渲染渲染节点的渲染指令，渲染指令包括渲染节点的渲染状态和网格数据。

基于以上技术方案，通过在对渲染节点列表中的渲染节点进行排序，能够减少渲染状态的切换，从而优化了渲染指令，加快了***运行的速度，改善了用户体验。

图2是根据本发明另一实施例的内容渲染方法200的流程图。

在步骤202中，构造渲染树,渲染树包括多个渲染目标。在一个实施例中，渲染树的形式可以如图3所示，是一个以屏幕RT（RT0）为根节点的树形结构。其中每一个RT可以包含任意多个原始绘图操作（Draw Primitive，DP）。RT相当于一个大小固定的画布，而对画布的每一次操作相当于一个DP。除了屏幕RT外，其他的RT可以作为纹理被DP引用。因此可以构造一个树形结构，以记录整个场景的绘制过程，为后续优化提供基础。

每个DP由两个逻辑部分组成：填充分量（Fill Component）和网格分量（Mesh Component）。填充分量可以包括：该操作的类型，即填充图片、颜色、文字或编辑蒙版或使用滤镜等；着色器；深度值；以及该类型操作所需的一些参数，比如引用的纹理、纹理的变换矩阵等。在渲染图形内容时，填充分量的类型相对固定，每种类型可以对应有限的一个或多个着色器。网格分量可以包括该操作所绘制的形状，即有可能是四边形、路径、三角形序列等其它Mesh类型。在一个实施例中，填充分量和网格分量是一一对应的，并且网格分量之间以及填充分量之间，不存在相互作用关系。

在步骤204中,遍历渲染树，搜集被使用的多个渲染目标。由于RT可以作为纹理被DP引用，因此，在遍历前一步产生的渲染树时，可以搜集到被用到的纹理。

在步骤206中，将多个渲染目标拼接到一个或多个纹理集中，使得渲染节点包括对纹理集的引用。可以将搜集到的纹理拼接到一个或多个比较大纹理中。可以将这一个或多个大的纹理叫做纹理集。而被拼接的纹理可以是一些较小的图片、文字等。某些数据通过CPU光栅化成图像之后也可以作为纹理。在有的实施例中，比较大图片可以不进行拼接。

可以将DP中引用的纹理更新为对纹理集的引用，以使其能够正确的引用到拼接之后的纹理。更新的操作涉及到对填充分量中引用的纹理和相应纹理坐标的修改。可以多次向纹理集中添加纹理，也可以将某个纹理从纹理集中删除，这样可以重复利用纹理集。

通过对纹理集的操作，可以减少纹理的切换带来的不必要开销，还可以将更多的DP合并，减少渲染指令的调用。为了在程序运行时动态的完成纹理拼接，可以使用一些已有的算法，如简单排列、KDTree或一些智能算法。可以根据纹理的特点选择适合的算法。

图4是应用本发明的一个场景。在如图5所示的场景中，需要显示Bitmap1，Bitmap2，Bitmap3这三张图片。如果直接利用GPU来实现，那么需要产生三张纹理，并且渲染时需要在这三张纹理之间进行切换。而如果这些图片被放置在一张大纹理（即纹理集）中，显然就可以减少纹理切换的次数，并且通过进一步的优化，可以做到仅使用一条渲染指令就能将三张图片同时渲染到屏幕上。

在步骤208中，生成渲染节点列表，渲染节点包括对渲染目标的引用。深度优先遍历上一步产生的渲染树，可以得到一个渲染节点列表。渲染节点中可以包含对RT和DP的引用。在渲染节点列表中的渲染节点是以原始的渲染顺序排列的。

在步骤210中，对渲染节点列表中的渲染节点进行排序，以在不改变最终渲染结果的条件下，优化DP的顺序，使得GPU状态切换的次数减少。具体的排序方法如图5所示。

在步骤502中，从渲染节点列表中选取多个对应于相同渲染目标的渲染节点。在一个实施例中，这些对应于相同渲染目标的渲染节点可以是一串连续并对应于相同渲染目标的渲染节点。在步骤504中，将多个对应于相同渲染目标的渲染节点中需要处理的渲染节点选取到不透明列表中，并将不需要处理的渲染节点选取到透明列表中。在一个实施例中，对这些渲染节点的处理可为混合处理。在步骤506中，对透明列表和不透明列表进行整体排序。在一个实施例中，可以将透明列表中的所有渲染节点整体排序到所有不透明列表的渲染节点之后。

在一个实施例中，排序方法还可以包括：对不透明列表中的渲染节点按照纹理、着色器和/或深度值进行排序。

也就是说，利用GPU进行覆盖裁剪。由于GPU在光栅化时，会根据深度缓存测试当前点的深度值，如果满足设定的深度函数，那么就代表当前点已经被更靠前的图形遮挡，即可以确定当前点没有必要被光栅了。因此，经由如图5所示的排序处理，即保证了渲染的正确性，也减少了光栅化的像素个数，大幅提高了渲染效率。

排序后的渲染节点可以如图6所示。图6仅为根据本发明实施例的一个示例，并不构成对本发明的限制。

继续参照图2所示，在步骤212中，将渲染状态相同的渲染节点合并为一个渲染节点。通过将状态相同的渲染节点合并成为一个渲染节点，可以减少OpenGL的函数调用。

具体的，可以选择排序后的两个或多个相邻的且渲染状态相同的渲染节点。然后，将选出的渲染节点的网格数据中的缓存部分合并在同一缓存中，使其相连为一个整体。

由于每个渲染指令可以包含两部分内容，分别是渲染状态和网格数据。其中渲染状态可以包括：渲染目标、纹理、混合模式、蒙版、着色器等状态信息。这些渲染状态可以与GPU中可配置的参数相对应。网格数据可以包括：顶点缓存、纹理坐标缓存、索引缓存等缓存数据。这些缓存数据可以直接上传至GPU的显存中。

渲染状态可以通过DP中的填充分量创建。在创建网格数据时，可以将网格分量进行三角划分，然后与深度值结合生成顶点缓存。其中纹理坐标可以经过填充分量中的纹理矩阵变换的顶点坐标。索引缓存是三角划分产生的。

状态相同的渲染节点即拥有的渲染状态完全相同。在此情况下，可以使用一个渲染指令一次渲染两个或多个渲染节点。

在步骤214中，生成用于指示对渲染节点进行渲染的渲染指令。

在步骤216中，执行渲染指令，即按照步骤214中生成的渲染指令逐条执行渲染指令。在一个实施例中，可以首先按照渲染状态，调用GPU相关的接口设定所需状态，然后将网格数据缓存上传至显存中，再驱动GPU进行渲染。最终在渲染指令执行完之后，呈现渲染后的内容。

图7是根据本发明实施例的图形内容渲染装置700的结构示意图。内容渲染装置700包括：树构造模块702、节点列表生成模块704、排序模块706和指令生成模块708。

树构造模块702，用于构造渲染树,渲染树包括多个渲染目标。

节点列表生成模块704，用于生成渲染节点列表，渲染节点包括对渲染目标的引用。

排序模块706，用于对渲染节点列表中的渲染节点进行排序。

指令生成模块708，用于生成指示对渲染节点进行渲染的渲染指令，渲染指令包括渲染节点的渲染状态和网格数据。

在一个实施例中，排序模块706，如图8所示，可以包括：选取单元802、分类单元804和第一排序单元806。选取单元802，用于从渲染节点列表中选取多个对应于相同渲染目标的渲染节点。分类单元804，用于将多个对应于相同渲染目标的渲染节点中需要处理的渲染节点选取到不透明列表中，并将不需要处理的渲染节点选取到透明列表中。第一排序单元806，用于对透明列表和不透明列表进行整体排序。

在一个实施例中，排序模块706还可以包括第二排序单元，用于对不透明列表中的渲染节点按照纹理、着色器和/或深度值进行排序。

图9是根据本发明另一实施例的图形内容渲染装置900的流程图。内容渲染装置900包括：树构造模块902、遍历模块903、拼接模块905、节点列表生成模块904、排序模块906、指令生成模块908和合并模块907。其中，树构造模块902、节点列表生成模块904、排序模块906、指令生成模块908与图8中的相应模块的功能及构造相似，此处不再赘述。

遍历模块903，用于遍历渲染树，搜集被使用的多个渲染目标。

拼接模块905，用于将多个渲染目标拼接到一个或多个纹理集中，使得渲染节点包括对纹理集的引用。

合并模块907，用于将渲染状态相同的渲染节点合并为一个渲染节点。

在一个实施例中，合并模块907，如图10所示，可以包括：选择单元1002，用于选择排序后的两个或多个相邻的且渲染状态相同的渲染节点；以及合并单元1004，用于将选出的渲染节点的网格数据中的缓存部分合并在同一缓存中。

本领域技术员人还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术员人可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图形内容渲染方法，其特征在于，包括：

构造渲染树,所述渲染树包括多个渲染目标；

生成渲染节点列表，所述渲染节点包括对所述渲染目标的引用；

对所述渲染节点列表中的渲染节点进行排序，所述排序包括：

从所述渲染节点列表中选取多个对应于相同渲染目标的渲染节点；

将所述多个对应于相同渲染目标的渲染节点中需要处理的渲染节点选取到不透明列表中，并将不需要处理的渲染节点选取到透明列表中；

对所述透明列表和不透明列表进行整体排序；

生成用于指示对所述渲染节点进行渲染的渲染指令，所述渲染指令包括所述渲染节点的渲染状态和网格数据。

2.根据权利要求1所述的图形内容渲染方法，其特征在于，还包括：

遍历所述渲染树，搜集被使用的多个所述渲染目标；

将多个所述渲染目标拼接到一个或多个纹理集中，使得所述渲染节点包括对所述纹理集的引用。

3.根据权利要求1所述的图形内容渲染方法，其特征在于，所述排序还包括：

对所述不透明列表中的渲染节点按照纹理、着色器和/或深度值进行排序。

4.根据权利要求1所述的图形内容渲染方法，其特征在于，还包括：

将渲染状态相同的渲染节点合并为一个渲染节点。

5.根据权利要求4所述的图形内容渲染方法，其特征在于，还包括：

选择排序后的两个或多个相邻的且渲染状态相同的渲染节点；

将选出的渲染节点的网格数据中的缓存部分合并在同一缓存中。

6.一种图形内容渲染装置，其特征在于，包括：

树构造模块，用于构造渲染树,所述渲染树包括多个渲染目标；

节点列表生成模块，用于生成渲染节点列表，所述渲染节点包括对所述渲染目标的引用；

排序模块，用于对所述渲染节点列表中的渲染节点进行排序，所述排序模块包括：

选取单元，用于从所述渲染节点列表中选取多个对应于相同渲染目标的渲染节点；

分类单元，用于将所述多个对应于相同渲染目标的渲染节点中需要处理的渲染节点选取到不透明列表中，并将不需要处理的渲染节点选取到透明列表中；

第一排序单元，用于对所述透明列表和不透明列表进行整体排序；

指令生成模块，用于生成指示对所述渲染节点进行渲染的渲染指令，所述渲染指令包括所述渲染节点的渲染状态和网格数据。

7.根据权利要求6所述的图形内容渲染装置，其特征在于，还包括：

遍历模块，用于遍历所述渲染树，搜集被使用的多个所述渲染目标；

拼接模块，用于将多个所述渲染目标拼接到一个或多个纹理集中，使得所述渲染节点包括对所述纹理集的引用。

8.根据权利要求6所述的图形内容渲染装置，其特征在于，所述排序模块还包括：

第二排序单元，用于对所述不透明列表中的渲染节点按照纹理、着色器和/或深度值进行排序。

9.根据权利要求6所述的图形内容渲染装置，其特征在于，还包括：

合并模块，用于将渲染状态相同的渲染节点合并为一个渲染节点。

10.根据权利要求9所述的图形内容渲染装置，其特征在于，所述合并模块包括：

选择单元，用于选择排序后的两个或多个相邻的且渲染状态相同的渲染节点；

合并单元，用于将选出的渲染节点的网格数据中的缓存部分合并在同一缓存中。