CN101968887A - 一种富媒体场景的局部渲染方法 - Google Patents

Abstract

本发明公开了一种富媒体场景的局部渲染方法，通过1)尽量减少不必要的渲染，即仅仅需要渲染的时候才渲染，在合成步骤中，标识场景树是否因为时间或用户交互事件发生了改变，如果改变，进入到渲染阶段，反之则不需要进行渲染，减少了不必要的渲染。2)尽量减小每次渲染的区域，本发明通过计算需要渲染的失效区域来进行局部渲染，仅在发生改变的元素影响的范围内进行渲染，很大程度上减少了渲染得区域，从而提高了执行效率。在本发明中，通过减少不必要渲染和采用局部渲染策略，减少了渲染时间以及资源占用。

Description

一种富媒体场景的局部渲染方法

技术领域

本发明属于计算机矢量图形渲染技术领域，更为具体地讲，涉及一种富媒体场景的局部渲染方法。

背景技术

富媒体有别于传统媒体，它将文本、矢量图形、图片、动画、音视频等多种媒体对象在时间/空间上进行有机结合，提供丰富的表现形式和交互能力，其主要特征是可基于时间或用户交互的基础上产生动态行为。

最近的研究报告表明，越来越多的富媒体应用被装载到移动终端上，例如，交互式电视、游戏、动态UI等。这些应用要求更低的内存消耗和更高的播放速度。目前移动领域的富媒体应用倾向于使用专门的富媒体引擎，通过定义基于XML规范的轻量级标记语言，脚本及其它技术等展现各种的富媒体应用。例如W3C的SVG Tiny 1.2标准，以及基于SVG Tiny 1.2标准上的扩展技术如，MPEG组织的LASeR标准、3GPP组织的DIMS标准，私有技术如NOKIA倡导的MORE方案和Adobe公司的Flashlite等。

富媒体内容播放的速度很大程度上取决于富媒体引擎所采用的渲染技术，移动终端上的渲染技术可以分为软件、硬件和软硬件结合三种。但是目前移动设备大多尚未配备硬件加速技术，且图形加速接口也不统一，所以移动设备的渲染技术还是主要采用纯软件实现方案。在具体实现过程中，在保证图形质量的情况下，除了需要充分考虑到降低计算量、减少内存需求，实现快速绘制外，还需要考虑到CPU处理能力、电池供电能力和内存带宽等因素。

针对软件实现的富媒体场景渲染，其主要的优化策略体现在渲染流程方面。经过国内外专家学者的研究，这些方面都取得了长足的进步。例如，Jean-Claude等人在LASeR中定义了富媒体场景处理的基本流程，Cyril Concolato等人对此流程进行了优化，提出了富媒体场景处理可以细分为读取(Reading)，合成(Compositing)，渲染(Rendering)三个步骤的思想，并给出了部分的优化策略。

图1是富媒体场景处理流程示意图。

如图1所示，通常情况下富媒体场景处理流程一般分为3个步骤，分别是：

Step1.读取：这个步骤主要负责读入场景文档并解析创建场景树；

Step2.合成：这个步骤主要负责根据时间触发动画或者用户交互事件去改变当前场景树的状态；

Step3.渲染：主要负责根据Step2产生的场景树进行渲染，渲染完毕后，返回读取场景文档或合成步骤。

经过对比发现，读取步骤虽然耗时很多，但是在场景处理流程中发生的次数并不多，一般发生在场景切换，或者LASeR等技术中接收到场景单元的时刻，剩下的两个部分将在场景处理中频繁发生，与合成相比，渲染占用了大量的时间，成为场景生命周期中最耗时间的一个环节，占用了大概80％的cpu时间。下表是现有技术中，在不同用例下采用渲染整个视口(viewport)的方式处理场景，三个步骤分别运行一次占用的时间对比。时间单位是毫秒，测试用例来源于08年9月份发布的W3C SVGTiny1.2TestSuite Beta3版本。

表1

从表1看来，渲染步骤是富媒体场景处理流程中最耗时的步骤，而造成这一结果的原因之一是一些没有发生变化或没有被变化影响到的元素也被渲染了，造成了资源无谓的浪费；另一方面在矢量图形光栅化填充过程中由于嵌入式设备的数据总线速度较低，对内存的大量读写也会耗费大量的时间。

发明内容

本发明目的在于克服现有渲染方法的不足，提出一种耗时少，资源占用少的富媒体场景的局部渲染方法。

为实现上述发明目的，本发明富媒体场景的局部渲染方法，其特征在于，包括以下步骤：

(1)、在合成步骤中，如果满足以下任意一条件：

a1、当前场景时间触发了脚本执行或改变了动画元素的状态，造成了场景树的改变；

a2、用户交互或外部事件触发脚本对场景树进行了任何修改或者使动画元素状态发生了改变；

则进入到渲染阶段，反之则不进行渲染；

(2)、渲染阶段

b1、失效区域计算

遍历场景树，对任意一个可绘制元素，因为动画或者脚本的缘故，引起了该元素或其部分属性发生了变化，则重新计算当前时刻该元素的边框位置，并与该元素上一次渲染时保存的边框的位置进行合并，生成该元素需要渲染的元素失效区域；

将该元素的失效区域与当前文档失效区域进行合并，生成新的当前文档失效区域；遍历过程中，第一个元素的失效区域不需要合并，直接作为当前文档失效区域；

遍历场景树完成后，得到最终的当前文档失效区域；

b2、渲染

将步骤b1计算出来的最终的当前文档失效区域作为此次渲染的范围进行渲染；当前场景树上边框与此文档失效区域相交的元素也进行被渲染，并且将其边框保存，在下一次渲染的时候参与失效区域的计算。

本发明的发明目的是这样实现的：

通过分析很多富媒体应用，我们发现，需要对整个视口范围内的内容都进行渲染的情景并不多，而且还可以将这些情景进行总结，优化算法的实现。综上所述，对渲染流程的改进主要体现在以下几个方面：

1).尽量减少不必要的渲染，即仅仅需要渲染的时候才渲染，在合成步骤中，标识场景树是否因为时间或用户交互事件发生了改变；

在合成步骤中，如果步骤(1)两条中任意一条满足的话，都会进入到渲染阶段，反之则不需要进行渲染，减少了不必要的渲染。同时，相比现有技术，本发明的改进在于，在设计中动画的执行和元素的布局是放在渲染时执行的，这样更利于缩短合成的时间。

2).尽量减小每次渲染的区域，即局部渲染；尽管现在移动终端的处理能力增强了，但是面对越来越大的屏幕，如果渲染整个视口中的内容仍然是一件很耗时间的事，尤其对于像富媒体这类交互性和特效都很强的应用来说。本发明通过计算需要渲染的失效区域来进行局部渲染，仅在发生改变的元素影响的范围内进行渲染，很大程度上减少了渲染得区域，从而提高了执行效率。

在本发明中，通过减少不必要渲染和采用局部渲染策略，减少了渲染时间以及资源占用。

附图说明

图1是富媒体场景处理流程示意图；

图2是元素失效区域计算示意图；

图3是文档失效区域计算示意图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

图2是元素失效区域计算示意图。

如图2所示，在本实施例中，元素A由于动画或者脚本的缘故，引起该元素发生了位置变化，此时重新计算当前时刻该元素的边框位置，并与该元素上一次渲染时保存的边框的位置进行合并，生成该元素需要渲染的元素失效区域。

计算一个元素的边框位置以及边框合并生成元素失效区域的时间远小于实际绘制一个元素的时间，因此，对于资源的占用可以忽略不计。

图3是文档失效区域计算示意图。

在本实施例中，如图3所示，将元素B的失效区域与当前文档失效区域进行合并，生成新的当前文档失效区域。在本实施例中，当前文档失效区域是元素A的失效区域构成的，此时，它与元素B的失效区域生成新的当前文档失效区域。

在本实施例中，首先对svg element进行了区分。渲染是对当前场景树上所有可绘制元素进行顺序绘制，可以绘制的元素包括以下几类：

1)Basic Shape：<circle>，<ellipse>，<glyph>，<image>，<line>，<path>，<polygon>，<polyline>，<rect>；

2)Text：<text>，<textArea>，<tspan>；

3)Structure：<svg>，<a>，<g>，<switch>，<use>，<animation>；

这些元素都有边框(bounding box)来定位他们在画布(canvas)上的位置，通常每次渲染的时候都会计算每个元素的边框是否与SVG场景的视口相交，如果相交，那么此元素需要绘制，而视口一般与屏幕大小相映射，这种情况下，如果视口中的元素很多的话，渲染的速度会很慢，直接影响到了场景播放的帧率，这对于资源受限的移动终端是不能接受的。渲染是合成步骤中场景被改变导致的结果，跟踪发生改变的元素，并且仅在它们影响的范围内进行渲染，很大程度上减小渲染的区域，从而提高执行效率。

在本实施例中，在计算一个元素的失效区域时，按照以下一些规则：

1)如果该元素的属性因为动画或者脚本而发生变化的话，而且此属性又是可以被继承的话，包括该元素节点在内，其所有子节点元素的边框也应该被置为失效，需要重新计算，并加入到当前失效区域的计算中；

2)如果该元素因为动画或者脚本被添加进场景树或从场景树删除的话，那么它当前的边框将被加入到失效区域的计算中；

3)对于<use>节点来说，它的边框是其当前坐标系与其所引用的节点元素的边框进行计算的结果；

4)而对于<animation>来说，其边框就是其当前坐标系与其视口进行计算的结果；

5)在一些会引起整个文档视图发生变化的情况下，例如SVGScroll Event，SVGResize Event，SVGRotate Event，SVGZomm Event，或者通过动画改变了当前文档的viewBox或者视口等，可以不进行失效区域的计算，将整个视口作为当前渲染的失效区域，这样可以节省计算时间。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (3)

1.一种富媒体场景的局部渲染方法，其特征在于，包括以下步骤：

(1)、在合成步骤中，如果满足以下任意一条件：

a1、当前场景时间触发了脚本执行或改变了动画元素的状态，造成了场景树的改变；

a2、用户交互或外部事件触发脚本对场景树进行了任何修改或者使动画元素状态发生了改变；

则进入到渲染阶段，反之则不进行渲染；

(2)、渲染阶段

b1、失效区域计算

遍历场景树，对任意一个可绘制元素，因为动画或者脚本的缘故，引起了该元素或其部分属性发生了变化，则重新计算当前时刻该元素的边框位置，并与该元素上一次渲染时保存的边框的位置进行合并，生成该元素需要渲染的元素失效区域；

将该元素的失效区域与当前文档失效区域进行合并，生成新的当前文档失效区域；遍历过程中，第一个元素的失效区域不需要合并，直接作为当前文档失效区域；

遍历场景树完成后，得到最终的当前文档失效区域；

b2、渲染

将步骤b1计算出来的最终的当前文档失效区域作为此次渲染的范围进行渲染；当前场景树上边框与此文档失效区域相交的元素也进行被渲染，并且将其边框保存，在下一次渲染的时候参与失效区域的计算。

2.根据权利要求1所述的富媒体场景的局部渲染方法，其特征在于，步骤(2)b1中，对触发的脚本或动画引起整个文档视图发生变化的情况下，不进行当前文档失效区域的计算。

3.根据权利要求1所述的富媒体场景的局部渲染方法，其特征在于，步骤(2)b1中，所述的因为动画或者脚本而发生属性变化的元素，如果发生变化的属性又是可以被继承的话，包括该元素节点在内，其所有子节点元素的边框也应该被置为失效，需要重新计算，并加入到当前失效区域的计算中。

Images