CN108769715A - 图形指令数据的处理方法及装置 - Google Patents

Abstract

本发明涉及了一种图形指令数据的处理方法及装置，应用于云交互***，所述云交互***包括服务端和终端，所述方法包括：所述服务端进行图像帧对应图形界面渲染时，获取图形指令数据；识别所述图形指令数据是否被配置为粒子特效数据，所述粒子特效数据用于描述所述图像帧对应图形界面中的粒子特效；如果是，则根据所述粒子特效数据所对应粒子面片的特征对所述粒子特效数据进行压缩；将所述图像帧完成压缩的图形指令数据发送至所述终端，通过发送的图形指令数据在所述终端中还原所述图像帧对应的图形界面。采用本发明所提供的图形指令数据的处理方法及装置能够有效地降低图形指令数据的传输量。

Description

图形指令数据的处理方法及装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种图形指令数据的处理方法及装置。

背景技术

随着计算机技术的发展，尤其是云计算技术的高速发展，应用于云交互***的交互式应用由此产生，即云交互***包括服务端和终端，相应地，交互式应用包括运行于服务端的Trace端和运行于终端的Retrace端。

随着Trace端与Retrace端的各自运行，服务端与终端之间势必进行数据传输。例如，交互式应用为云游戏应用时，服务端将按帧传输图形指令数据至终端，以便于终端中运行的Retrace端根据图形指令数据向用户还原出Trace端中展示的游戏画面。

如果图形指令数据的传输量较大，例如，游戏画面中出现粒子特效，将对数据传输带宽要求较高，此时，容易造成游戏画面卡顿不流畅。

为此，如何降低图形指令数据的传输量亟待解决。

发明内容

为了解决上述技术问题，本发明的一个目的在于提供一种图形指令数据的处理方法及装置。

其中，本发明所采用的技术方案为：

一种图形指令数据的处理方法，应用于云交互***，所述云交互***包括服务端和终端，所述方法包括：所述服务端进行图像帧对应图形界面渲染时，获取图形指令数据；识别所述图形指令数据是否被配置为粒子特效数据，所述粒子特效数据用于描述所述图像帧对应图形界面中的粒子特效；如果是，则根据所述粒子特效数据所对应粒子面片的特征对所述粒子特效数据进行压缩；将所述图像帧完成压缩的图形指令数据发送至所述终端，通过发送的图形指令数据在所述终端中还原所述图像帧对应的图形界面。

一种图形指令数据的处理装置，应用于云交互***，所述云交互***包括服务端和终端，所述装置包括：指令数据获取模块，用于所述服务端进行图像帧对应图形界面渲染时，获取图形指令数据；指令数据识别模块，用于识别所述图形指令数据是否被配置为粒子特效数据，所述粒子特效数据用于描述所述图像帧对应图形界面中的粒子特效；如果是，则通知指令数据压缩模块；所述指令数据压缩模块，用于根据所述粒子特效数据所对应粒子面片的特征对所述粒子特效数据进行压缩；指令数据发送模块，用于将所述图像帧完成压缩的图形指令数据发送至所述终端，通过发送的图形指令数据在所述终端中还原所述图像帧对应的图形界面。

一种图形指令数据的处理装置，包括处理器及存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现如上所述的图形指令数据的处理方法。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的图形指令数据的处理方法。

在上述技术方案中，针对图形指令数据的传输量较大时，例如，图像帧对应图形界面中出现粒子特效，对图形指令数据进行压缩，以此降低数据传输带宽的要求，有利于提高图形界面的流畅性。

具体而言，服务端进行图形帧对应图形界面渲染时获取图形指令数据，并对此图形指令数据进行识别，如果识别得到此图形指令数据被配置为粒子特效数据，则针对此粒子特效数据对应粒子面片的特征进行粒子特效数据的压缩，最终得到图像帧完成压缩的图形指令数据，并以此发送至终端，也就是说，针对图像帧对应图形界面中出现的粒子特效，服务端与终端之间传输的图形指令数据是经过压缩的，进而有效地降低了图形指令数据的传输量。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并于说明书一起用于解释本发明的原理。

图1是根据本发明所涉及的云交互***的实施环境示意图。

图2是根据本发明所涉及的云交互***的交互流程示意图。

图3是根据一示例性实施例示出的云交互***中服务端的硬件结构框图。

图4是根据一示例性实施例示出的一种图形指令数据的处理方法的流程图。

图5是图4对应实施例中步骤310在一个实施例的流程图。

图6是图4对应实施例中步骤350在一个实施例的流程图。

图7是图6对应实施例中粒子面片的示意图。

图8是图4对应实施例中步骤350在另一个实施例的流程图。

图9是图4对应实施例中步骤350在另一个实施例的流程图。

图10是根据一示例性实施例示出的另一种图形指令数据的处理方法的流程图。

图11是一应用场景中一种图形指令数据的处理方法的具体实现示意图。

图12是一应用场景中一种图形指令数据的处理方法的时序图。

图13是一应用场景中图形指令数据处理前后的对比示意图。

图14是根据一示例性实施例示出的一种图形指令数据的处理装置的框图。

图15是图14对应实施例中指令数据压缩模块在一个实施例的框图。

图16是图14对应实施例中指令数据压缩模块在一个实施例的框图。

图17是图14对应实施例中指令数据压缩模块在一个实施例的框图。

图18是根据一示例性实施例示出的另一种图形指令数据的处理装置的框图。

图19是图14对应实施例中指令数据获取模块在一个实施例的框图。

通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述，这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。

具体实施方式

这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

如前所述，如果按帧传输的图形指令数据的传输量较大，容易造成图像帧对应图形界面的卡顿不流畅。

目前，提出了一种帧间压缩处理方法，即获取帧间图形指令数据之间的差异数据，并进行压缩，将压缩数据发送至终端，以此降低图形指令数据的传输量。简言之，待传输的图形指令数据在两帧之间的相同部分被过滤，仅保留了差异部分。

对于图形界面中出现粒子特效而言，由于粒子高速运动的特性，粒子特效在每一图像帧所对应的图形界面中都有所区别，即使区别很细微，也将导致每一帧图形指令数据各不相同，此种情况下，由于帧间压缩处理是针对一帧所有图形指令数据统一进行的压缩，未能考虑帧内不同的图形指令数据，因此，帧间压缩处理方法所能够降低的图形指令数据的传输量非常有限。

由上可知，现有技术仍存在图形指令数据的传输量较大的局限性，尤其是在图形界面中出现粒子特效时，尚无法避免终端中图形界面出现卡顿不流畅的现象。

为此，本发明特提出了一种图形指令数据的处理方法，能够在图形界面中出现粒子特效时有效地降低图形指令数据的传输量，相应地，与之匹配的图形指令数据的处理装置被部署在具备冯诺依曼体系架构的电子设备，例如，电子设备为服务器，以此实现图形指令数据的处理方法。

图1为一种图形指令数据的处理方法所涉及的云交互***的实施环境示意图。该云交互***的实施环境包括终端100和服务端200。

其中，终端100可以是台式电脑、笔记本电脑、平板电脑、智能手机或者其他可进行图形界面展示的电子设备，在此不进行限定。

服务端200预先与终端100之间建立无线或者有线网络连接，以通过网络连接实现服务端200与终端100之间的数据传输。该服务***300可以是一台服务器，也可以是由多台服务器构成的服务器集群。

进一步地，对于应用于云交互***的交互式应用，此交互式应用包括运行于服务端200的Trace端和运行于终端100的Retrace端。其中，Trace端执行交互式应用的主要逻辑运行，并通过网络连接将与用户交互有关的图形界面传送至Retrace端；Retrace端则用于表现Trace端的图形界面，进而将用户相关的交互操作通过网络连接返回至Trace端。

例如，交互式应用为云游戏应用，即是将执行主体为终端100的游戏改进为支持Trace端与Retrace端的游戏。

具体地，如图2所示，Trace端负责执行交互式应用的逻辑，例如，在服务端200中进行图像帧所对应图形界面的渲染，进而通过渲染指令的录制向Retrace端发送图像帧的图形指令数据。

随着服务端200与终端100的交互，Retrace端接收到Trace端发送的图形指令数据，并根据图形指令数据进行渲染指令的回放，而在终端100中还原出图像帧所对应的图形界面，进而实现用户与此图形界面之间的交互，并由此将用户相关的交互操作返回至Trace端，例如，交互操作包括用户借助终端100所配置的输入设备(鼠标、键盘、触控屏幕等等)进行的输入操作，以供Trace端模拟用户相关的交互操作来执行交互式应用的逻辑。

应当说明的是，根据实际营运的需要，服务端200可以是一台服务器，也可以是多台服务器组成的服务器集群，甚至是云计算中心等等，以便于更好地为海量用户提供交互式应用体验。

图3是根据一示例性实施例示出的一种服务端的硬件结构框图。需要说明的是，该服务端只是一个适配于本发明的示例，不能认为是提供了对本发明的使用范围的任何限制。该服务端也不能解释为需要依赖于或者必须具有图3中示出的示例性的服务端200中的一个或者多个组件。

该服务端200的硬件结构可因配置或者性能的不同而产生较大的差异，如图3所示，服务端200包括：电源210、接口230、至少一存储器250、以及至少一中央处理器(CPU,Central Processing Units)270。

其中，电源210用于为服务端200上的各硬件设备提供工作电压。

接口230包括至少一有线或无线网络接口231、至少一串并转换接口233、至少一输入输出接口235以及至少一USB接口237等，用于与外部设备通信。

存储器250作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作***251、应用程序253及数据255等，存储方式可以是短暂存储或者永久存储。其中，操作***251用于管理与控制服务端200上的各硬件设备以及应用程序253，以实现中央处理器270对海量数据255的计算与处理，其可以是WindowsServerTM、Mac OS XTM、UnixTM、LinuxTM、FreeBSDTM等。应用程序253是基于操作***251之上完成至少一项特定工作的计算机程序，其可以包括至少一模块(图3中未示出)，每个模块都可以分别包含有对服务端200的一系列计算机可读指令。数据255可以是存储于磁盘中的照片、图片等。

中央处理器270可以包括一个或多个以上的处理器，并设置为通过总线与存储器250通信，用于运算与处理存储器250中的海量数据255。

如上面所详细描述的，适用本发明的服务端200将通过中央处理器270读取存储器250中存储的一系列计算机可读指令的形式来完成图形指令数据的处理方法。

此外，通过硬件电路或者硬件电路结合软件也能同样实现本发明，因此，实现本发明并不限于任何特定硬件电路、软件以及两者的组合。

请参阅图4，在一示例性实施例中，一种图形指令数据的处理方法适用于图1所示实施环境的服务端，该服务端的结构可以如图3所示。

该种图形指令数据的处理方法可以由服务端执行，可以包括以下步骤：

步骤310，进行图像帧对应图形界面渲染时，获取图形指令数据。

应当理解，服务端在渲染生成图像帧对应图形界面之后，如果需要将此图形界面在终端中向用户展示，则需要将表征此图形界面的视频流数据传输至终端，进而通过视频流数据在终端中进行图形界面的展示，由于视频流数据往往传输量很大，容易导致终端中展示的图形界面出现卡顿不流畅的现象。

为此，本实施例中，区别于视频流数据，服务端与终端之间传输的数据为图形指令数据，以此降低服务端与终端之间的数据传输量。

也可以理解为，视频流数据是在服务端完成图像帧对应图形界面渲染之后生成的，为此，终端在接收到视频流数据时仅是根据视频流数据进行图形界面的显示，而对于图形指令数据而言，则是在服务端渲染图像帧对应图形界面时生成的，用于指示终端如何渲染生成图形界面。

如图5所示，在一实施例的具体实现中，图形指令数据的生成过程可以包括以下步骤：

步骤311，捕获服务端进行图像帧对应图形界面渲染的渲染指令。

步骤313，根据渲染指令录制生成图形指令数据。

渲染指令，即服务端渲染图像帧对应图形界面所执行的绘制操作，例如，图形界面存在粒子特效时，绘制操作包括但不限于绘制粒子的位置、绘制粒子的纹理等等。

相应地，图形指令数据，实质上是记录了服务端渲染图像帧对应图形界面所执行的绘制操作，例如，如果图形界面存在粒子特效，则图形指令数据包括但不限于粒子坐标数据、粒子法线数据、粒子纹理坐标数据、粒子纹理数据、粒子颜色数据等等。

由此，对于服务端而言，在进行图像帧对应图形界面渲染时，通过对渲染过程中所执行绘制操作的捕获，即可得到相应的渲染指令，进而随着渲染指令的录制，实现对服务端渲染图像帧对应图形界面所执行绘制操作的记录，即生成相应的图形指令数据。

步骤330，识别图形指令数据是否被配置为粒子特效数据。

其中，粒子特效数据用于描述图像帧对应图形界面中的粒子特效。

如前所述，对于图形界面中出现粒子特效而言，帧间压缩处理方法所能够降低的图形指令数据的传输量非常有限。为此，本实施例中，需要针对粒子特效数据进行专门的压缩处理。

由于服务端渲染图像帧对应图形界面所执行的绘制操作，可以是用于绘制图形界面中的粒子特效，也可以是用于绘制图形界面中的建筑、山川等等三维图形。也就是说，图形指令数据用于描述图像帧对应图形界面中的三维图形，如果图像帧对应图形界面中的三维图形不同，则捕获到的渲染指令各不相同，进而使得由不同渲染指令录制生成的图形指令数据也将有所区别。

因此，在获取到图形指令数据之后，首先对此图形指令数据进行识别，如果识别到此图形指令数据为粒子特效数据，则跳转执行步骤350。

在此对图形指令数据的识别过程进行描述。首先说明的是，图像帧对应图形界面中三维图形的种类繁多，相应地，用于描述图像帧对应图形界面中三维图形的图形指令数据势必存在多种类别，为此，针对所描述三维图形不同的图形指令数据，服务端中部署了不同的更新缓冲区，以通过对应API的调用，使得不同更新缓冲区中存储的图形指令数据发送至终端。

在一实施例的具体实现中，当图形指令数据被配置为粒子特效数据时，即此图形指令数据用于描述图像帧对应图形界面中的粒子特效，通过函数DrawIndexPrimitiveUP的调用即可将此图形指令数据由对应的更新缓冲区传输至终端。

当然，根据交互式应用的具体实现，API还可以是DrawPrimitiveUP、或者IndexBuffer、VertexBuffer、SetVertexShaderConstant等等，在此并未加以限定。

由上可知，不同图形指令数据被存储于不同的更新缓冲区，那么，在获取到图形指令数据之后，只要确认此图形指令数据所存储的更新缓冲区，是否即为用于存储粒子特效数据的更新缓冲区，即可识别出此图形指令数据是否被配置为粒子特效数据。

步骤350，根据粒子特效数据所对应粒子面片的特征对粒子特效数据进行压缩。

首先说明的是，粒子特效，是利用三维图形模拟一些特性的模糊现象，例如，模糊现象包括火、火花、***、烟、水流、落叶、云、雾、雪、尘、流星尾迹、甚至于刀光剑影等等。

此粒子特效的实现方式如下：由若干个具有一定形状(例如四边形)的粒子面片构成粒子，通过发射器进行粒子的同屏发射而将粒子面片所构成粒子呈现于图形界面中，随着粒子面片按帧更新，达到粒子面片所构成粒子的移动和切换，在粒子达到一定数量时，即可在图形界面中实现相应的粒子特效。

换而言之，图形界面中的粒子特效，是以粒子面片的形式加以表现的。由此，粒子特效数据，实质上反映了其所对应粒子面片的特征，此特征包括但不限于粒子面片的位置、粒子面片的形状、粒子面片与相机之间的距离等等。

应当说明的是，相机是用于服务端中渲染生成图像帧对应的图形界面，随着相机的移动，使得图形界面相对于用户视觉也跟随移动，由此向用户展示动画效果。例如，向前推动相机，用户视觉也跟随相机推动而向前移动，此时，图形界面就仿佛离用户越来越近，由此形成图形界面推进的动画效果。也可以理解为，相机所在位置相当于用户视觉的出发点。

在此补充说明的是，用户总是面向图形界面，亦即面向粒子面片，因此，相当于用户视觉出发点的相机所在位置也总是保持面向粒子面片，即相机观察向量指示了由相机指向图形界面的方向。简言之，如果粒子面片的形状是正方形，则参考相机观察向量，此粒子面片具有对称性。

应当理解，如果粒子面片与相机之间的距离越大，则对于用户来说，图形界面离用户就越远，那么，用户可能对图形界面中粒子特效的清晰度不是特别关注，又或者，如果粒子面片的形状是正方形，即粒子面片具有对称性，此时，用户也不会关注，数据传输过程中，粒子面片在图形界面中的位置是由四个顶点坐标表示，还是由不具备对称性的其中两个顶点坐标表示。

基于此，本实施例中，针对粒子特效数据所进行的压缩，是通过粒子特效数据所对应粒子面片的特征实现的。

在一实施例中，如果粒子面片与相机之间的距离很大，则选择丢弃部分粒子面片，或者，降低粒子面片的更新频率，以在保证用户所要求图形界面中粒子特效的清晰度前提下，减少按帧更新的粒子面片的数量，以此降低图形指令数据的传输量。

在另一实施例中，如果粒子面片的形状是正方形，则仅通过不具备对称性的其中两个顶点坐标，或者，仅通过其中一个顶点坐标和中心点坐标，来表示粒子面片在图形界面中的位置，以此减少粒子特效数据自身的数据量，进而降低图形指令数据的传输量。

步骤370，将图像帧完成压缩的图形指令数据发送至终端，通过发送的图形指令数据在终端中还原图像帧对应的图形界面。

在图像帧完成所有图形指令数据压缩，尤其是被配置为粒子特效数据的图形指令数据的压缩之后，服务端即可按帧将此图像帧的图形指令数据传输至终端。

对于终端而言，首先对接收到的图形指令数据进行解压缩，例如，由图形指令数据中不具备对称性的其中两个顶点坐标推算出另外两个顶点坐标，进而根据解压缩的图形指令数据回放服务端中捕获得到的渲染指令，并按照此渲染指令进行图像帧对应图形界面的渲染，进而在终端中还原出服务端所展示的图形界面。

通过如上所述的过程，实现对描述图形界面中粒子特效的图形指令数据的压缩，大大减少了图形指令数据的传输量，降低了对数据传输带宽的要求，从而保证了终端中图形界面的流畅性。

请参阅图6，在一示例性实施例中，步骤350可以包括以下步骤：

步骤351，获取粒子特效数据所对应的粒子面片与相机之间的距离。

其中，相机用于服务端中渲染生成图像帧对应的图形界面。

如前所述，如果粒子面片与相机之间的距离很大，用户可能对图形界面中粒子特效的清晰度不是特别关注，此时，即可根据粒子特效数据所对应粒子面片的此项特征对粒子特效数据进行压缩。

为此，在确定图形指令数据被配置为粒子特效数据之后，首先根据粒子特效数据中的粒子坐标数据计算得到粒子面片与相机之间的距离，来判断是否可以针对此粒子特效数据进行压缩。其中，粒子坐标数据表征了粒子面片在图形界面中的位置。

在一实施例的具体实现中，粒子面片为四边形，如图7所示，粒子坐标数据包括四个顶点坐标{1,2,3,4}和中心点坐标5。

应当说明的是，相机所在位置相当于用户视觉的出发点，将随着图像帧的变化而相应地变化，由此，对于同一图像帧而言，相机所在位置相同，且被存储至图像帧的图形指令数据中，以使终端能够基于此图像帧的图形指令数据中相机所在位置进行图像帧所对应图形界面的渲染。

步骤353，针对距离超过指定距离阈值的粒子面片进行纹理一致性检测。

指定距离阈值，与用户所要求图形界面中粒子特效的清晰度有关，能够根据实际应用场景灵活地调整，在此并未加以限定。例如，对图形界面中粒子特效的清晰度要求较低时，设置较大的指定距离阈值。

如果粒子面片与相机之间的距离在指定距离阈值之内，则表示如果对粒子面片所对应粒子特效数据进行压缩，可能影响图形界面中粒子特效的清晰度，此时，返回执行步骤330，对由后一条渲染指令所录制生成的图形指令数据加以识别。

反之，如果粒子面片与相机之间的距离超过指定距离阈值，则表示如果进行粒子面片所对应粒子特效数据的压缩，对图形界面中粒子特效的清晰度影响不大，那么，可针对此粒子特效数据进行压缩。

可以理解，如果图像帧的图形指令数据传输量较大，可能存在同屏使用相同纹理的粒子面片的数量也较多，此时，由于用户对图形界面中粒子特效的清晰度不是很关注，考虑即使减少同屏使用相同纹理的粒子面片的数量，也不至于影响图形界面中的粒子特效。

因此，本实施例中，针对距离超过指定距离阈值的粒子面片，降低同屏使用相同纹理的粒子面片的数量。此处，同屏是针对同一图像帧而言的。

具体地，就同一图像帧的粒子特效数据所对应粒子面片来说，进行距离超过指定阈值的粒子面片的纹理一致性检测。

其中，纹理一致性检测，实质是指根据粒子面片所对应粒子特效数据中的粒子纹理数据判断各粒子面片所使用的纹理是否相同。此粒子纹理数据表征了粒子面片所构成粒子上绘制的纹理图片。

需要说明的是，粒子面片所构成粒子上绘制的纹理图片，是针对图形界面中粒子特效而言，例如，图形界面中粒子特效为火花时，此粒子上绘制的纹理图片相应地为表示火花的图片，那么，对于此粒子所包含的粒子面片而言，均绘制有相同的表示火花的图片，即使用相同纹理。

步骤355，将使用相同纹理的粒子面片所对应的粒子特效数据进行选择性丢弃处理。

选择性丢弃处理，即是在满足用户所要求图形界面中粒子特效的清晰度前提下，减少同屏使用相同纹理的粒子面片的数量。例如，针对彼此相邻的使用相同纹理的粒子面片来说，仅保留中心位置处粒子面片所对应的粒子特效数据。

在上述实施例的作用下，有效地减少了同屏使用相同纹理的粒子面片的数量，进而有效地降低了按帧更新的粒子面片的数量，以此实现降低图形指令数据的传输量。

进一步地，请参阅图8，在一示例性实施例中，步骤350还可以包括以下步骤：

步骤357，对距离超过指定距离阈值的粒子面片进行数量统计。

应当理解，发射器进行粒子面片同屏发射时，既可能发射了大量同屏使用相同纹理的粒子面片，也可能发射了大量同屏使用不同纹理的粒子面片，如果同屏使用不同纹理的粒子面片数量较大，仍将导致图形指令数据的传输量过大。

为此，本实施例中，在保证用户所要求图形界面中粒子特效的清晰度前提下，将进一步地统计距离超过指定距离阈值的粒子面片的数量，以根据数量统计结果调整图像帧更新频率。

具体地，当统计的粒子面片数量超过指定数量时，跳转执行步骤359。

反之，如果统计的粒子面片数量在指定数量之内，则不调整图像帧更新频率，并继续执行步骤357。

步骤359，在统计的粒子面片数量超过指定数量时，降低图像帧更新频率，并按照降低的图像帧更新频率对包含粒子特效数据的图形指令数据进行置零处理。

也就是说，在图像帧更新频率降低之后，图形指令数据的更新频率将由每帧更新一次调整为若干帧更新一次，例如，每两帧更新一次。

相应地，如果当前图像帧更新了图形指令数据，即将当前图像帧完成压缩的图形指令数据发送至终端，在后一帧图像帧所进行的图形指令数据更新，对于服务端而言，实质是将后一帧图像帧完成置零处理的图形指令数据发送至终端。

那么，对于终端而言，如果检测到接收的图形指令数据为全零，则使用前一帧图像帧的图形指令数据来还原对应的图形界面，以此实现图像帧更新频率的降低，可以理解，由于粒子面片与相机之间的距离较远，用户并不能够清晰地辨别出粒子特效的不同，因此，即使两帧之间由于降频实质上并不存在粒子特效的变化，仍然能够满足用户对图形界面中粒子特效的清晰度要求。

通过上述过程，随着图像帧更新频率的降低，服务端与终端之间传输的图形指令数据为全零，大大地降低了图形指令数据的传输量，以此充分地保证了图形界面在终端中的流畅性。

请参阅图9，在一示例性实施例中，步骤350可以包括以下步骤：

步骤352，判断粒子特效数据所对应的粒子面片是否为正方形。

如前所述，如果粒子面片的形状是正方形，则粒子面片具有对称性，此时，可以利用此特征对粒子特效数据进行压缩。

具体地，根据粒子特效数据中粒子坐标数据来判断其所对应的粒子面片是否为正方形。

在一实施例的具体实现中，粒子面片为四边形，如图7所示，粒子坐标数据包括四个顶点坐标{1,2,3,4}和中心点坐标5。

相应地，如果顶点坐标1和顶点坐标2之间的距离与顶点坐标1和顶点坐标4之间的距离相同，则判定此粒子面片为正方形。

或者，如果中心点坐标5和顶点坐标1、2所构成路径之间的距离与中心点坐标5和顶点坐标1、4之间所构成路径之间的距离相同，则判定此粒子面片为正方形。

如果粒子特效数据所对应的粒子面片为正方形，则跳转执行步骤354。

步骤354，将粒子特效数据压缩为仅包含表征粒子面片在图形界面中位置的中心点坐标和其中一个顶点坐标。

如果粒子特效数据所对应的粒子面片为正方形，考虑粒子面片的对称性，只要确定粒子坐标数据中表征粒子面片在图形界面中位置的中心点坐标和其中一个顶点坐标，则无论是粒子坐标数据中表征粒子面片在图形界面中位置的其余三个顶点坐标，还是粒子纹理坐标数据中表征粒子面片上所绘制纹理图片在图形界面中位置的纹理坐标，亦或者是粒子法线数据中表征粒子面片在图形界面中的法线向量，都可以相应地获得。

具体而言，其余三个顶点坐标可以通过相机观察向量与中心点坐标、其中一个顶点坐标叉乘还原得到，其中，相机观察向量指示了由相机指向图形界面的方向，存储于图形指令数据。

在默认纹理图片绘制于整个粒子面片之上的前提下，纹理坐标实质上是与四个顶点坐标保持一致的，因此，在还原得到四个顶点坐标之后，即推算得到纹理坐标。

法线向量实质与相机观察向量所指示的方向相反，即指示了由粒子面片指向相机的方向，因此，只要由图形指令数据中提取相机观察向量，即可得到法线向量。

由上可知，对于粒子面片所对应的粒子特效数据而言，可以删除其中的粒子纹理坐标数据、粒子法线数据、以及粒子坐标数据中其余三个顶点坐标，而仅保留粒子坐标数据中的中心点坐标和其中一个顶点坐标，以此来降低粒子特效数据自身的数据量，进而降低图形指令数据的传输量。

进一步地，在一示例性实施例中，如图9所示，步骤350还可以包括以下步骤：

步骤356，对粒子特效数据中不同数据类型的数据分别进行浮点数量化处理。

首先说明的是，服务端中，粒子特效数据是由单精度浮点数(float)进行表示的，即粒子特效数据被表示为4个字节。

考虑粒子特效数据的渲染精度，本实施例中，将针对不同数据类型的数据进行浮点数量化处理，以在保证粒子特效数据的渲染精度前提下，进一步降低粒子特效数据自身的数据量。

具体地，粒子特效数据主要包含如下三种数据类型的数据：粒子坐标数据、粒子法线数据和粒子纹理坐标数据，相应地，粒子坐标数据量化后，可压缩至2个字节；粒子法线数据量化后范围在-1～1之间，可压缩至1个字节；粒子纹理坐标数据量化后范围在0～1之间，可压缩至1个字节。

由此，无论粒子面片的形状，在保证粒子特效数据的渲染精度前提下，通过浮点数量化处理将进一步地降低粒子特效数据自身的数据量，从而进一步降低图像指令数据的传输量。

请参阅图10，在一示例性实施例中，如上所示的方法还可以包括以下步骤：

步骤410，检测图像帧是否为关键帧。

针对被配置为粒子特效数据的图形指令数据，在图像帧完成粒子特效数据的压缩之后，将继续针对图像帧的图形指令数据进行帧间压缩处理，以进一步地降低图形指令数据的传输量。

如前所述，帧间压缩处理是获取帧间图形指令数据之间的差异，具体而言，即获取当前图像帧的图形指令数据与关键帧的图形指令数据之间的差异数据。

可以理解，由于差异数据是根据关键帧的图形指令数据比较得到的，为了保证图形指令数据具有较小的传输量，希望所得到的差异数据尽可能小，因此，在进行帧间压缩处理之前，需要进行关键帧检测。

如果图像帧是关键帧，则直接将图像帧的图形指令数据发送至终端。

反之，如果图像帧不是关键帧，则跳转执行步骤430。

下面对关键帧检测过程加以说明。

如果图像帧为起始帧，则此图像帧视为关键帧。

如果图像帧不为起始帧，则计算此图像帧的图形指令数据与关键帧的图形指令数据之间的差异度，例如，差异度被表示为二者图形指令数据的数据量大小的比值。

假设差异度满足指定范围区间，则认为图像帧与关键帧之间的差异不大，此时，判定图像帧并非关键帧，而基于此关键帧为图像帧执行后续的帧间压缩处理。

反之，如果差异度超出指定范围区间，则认为图像帧与关键帧之间的差异过大，如果继续使用此关键帧，所得到的差异数据可能过大，而导致图形指令数据的传输量降低很有限，为此，将此图像帧更新为关键帧，并直接将此图像帧的图形指令数据发送至终端。

步骤430，如果图像帧不为关键帧，则对图像帧的图形指令数据进行帧间压缩处理。

在确定图像帧不为关键帧之后，即进行图像帧的图形指令数据与关键帧的图形指令数据之间的对比，由此得到二者之间的差异数据，并通过此差异数据实现服务端与终端之间的图形指令数据传输。

通过上述实施例的配合，使得服务端与终端之间传输的差异数据远小于原始的图形指令数据，进而有效地降低了图形指令数据的传输量，有利于降低对数据传输带宽的要求。

图11～图13是一应用场景中一种图形指令数据的处理方法的具体实现示意图。该应用场景中，云交互***包括服务端和终端，相应地，交互式应用为云游戏应用，分别包括运行于服务端的Trace端和运行于终端的Retrace端。

如图11所示，对于图像帧的图形指令数据而言，在识别到被配置为粒子特效数据之后，通过执行步骤803～步骤806，对粒子特效数据进行压缩。

需要说明的是，步骤803～步骤806的执行顺序并不仅限于此应用场景中的执行顺序，可以根据实际需求而灵活地调整。

待图形帧中所有粒子特效数据完成压缩，则通过执行步骤807对图像帧的图形指令数据进行帧间压缩处理，得到差异数据或者作为关键帧的图像帧本身的图形指令数据。

在完成帧间压缩处理之后，再进一步通过执行步骤808实施数据压缩，例如，采用Zlib压缩算法(即DEFLATE压缩算法)进行数据压缩，从而最终完成服务端与终端之间图形指令数据的传输。

此处，数据压缩所采用的压缩算法还可以是其他压缩算法，本应用场景并非对此加以限定。

如图12所示，对于云游戏应用来说，运行周期的活动时序包括Trace端的压缩时序以及Retrace端的解压缩时序，其中，压缩时序包括云游戏、图像帧的图形指令数据、粒子数量裁剪、粒子面片简化、浮点数量化、帧间压缩处理和压缩，相应地，解压缩时序则可视为压缩时序的逆过程，以最终在终端中完成图形界面的还原。

如图13所示，在图形界面中存在粒子特效时，针对被配置为粒子特效数据的图形指令数据处理前后的对比，压缩前，一图像帧的图形指令数据接近20kbytes，如曲线A所示，压缩后，一图像帧的图形指令数据接近10kbytes，如曲线B所示，压缩率平均达到50％，最大值接近80％。

在本应用场景中，大幅度提升了粒子特效数据的压缩率，从而整体上提高了图形指令数据的压缩率，显著降低了图形指令数据的传输量，不仅降低了对数据传输带宽的要求，而且充分地保证了快速流畅的云游戏应用Trace端和Retrace端之间的通信。

下述为本发明装置实施例，可以用于执行本发明所涉及的图形指令数据的处理方法。对于本发明装置实施例中未披露的细节，请参照本发明所涉及的图形指令数据的处理方法的方法实施例。

请参阅图14，在一示例性实施例中，一种图形指令数据的处理装置900包括但不限于：指令数据获取模块910、指令数据识别模块930、指令数据压缩模块950和指令数据发送模块970。

其中，指令数据获取模块910用于服务端进行图像帧对应图形界面渲染时，获取图形指令数据。

指令数据识别模块930用于识别图形指令数据是否被配置为粒子特效数据，粒子特效数据用于描述图像帧对应图形界面中的粒子特效。如果是，则通知指令数据压缩模块950。

指令数据压缩模块950用于根据粒子特效数据所对应粒子面片的特征对粒子特效数据进行压缩。

指令数据发送模块970用于将图像帧完成压缩的图形指令数据发送至终端，通过发送的图形指令数据在终端中还原图像帧对应的图形界面。

请参阅图15，在一示例性实施例中，指令数据压缩模块950包括但不限于：距离计算单元951、纹理检测单元953和丢弃处理单元955。

其中，距离计算单元951用于计算粒子特效数据所对应的粒子面片与相机之间的距离，相机用于服务端中渲染生成图像帧对应的图形界面。

纹理检测单元953用于针对距离超过指定距离阈值的粒子面片进行纹理一致性检测。

丢弃处理单元955用于将使用相一致纹理的粒子面片所对应的粒子特效数据进行选择性丢弃处理。

进一步地，请参阅图16，在一示例性实施例中，指令数据压缩模块950还包括但不限于：数量统计单元957和置零处理单元959。

其中，数量统计单元957用于对距离超过指定距离阈值的粒子面片进行数量统计。

置零处理单元959用于在统计的粒子面片数量超过指定数量时，降低图像帧更新频率，并按照降低的图像帧更新频率对包含粒子特效数据的图形指令数据进行置零处理。

请参阅图17，在一示例性实施例中，指令数据压缩模块950包括但不限于：形状检测单元952和压缩单元954。

其中，形状检测单元952用于判断粒子特效数据所对应的粒子面片是否为正方形。如果是，则通知压缩单元954。

压缩单元954用于将粒子特效数据压缩为仅包含表征粒子面片在图形界面中位置的中心点坐标和其中一个顶点坐标。

进一步地，在一示例性实施例中，指令数据压缩模块950还包括但不限于：量化处理单元。

其中，量化处理单元用于对粒子特效数据中不同数据类型的数据分别进行浮点数量化处理。

请参阅图18，在一示例性实施例中，如上所述的装置900还包括但不限于：关键帧检测模块1010和帧间压缩模块1030。

其中，关键帧检测模块1010用于检测图像帧是否为关键帧。

帧间压缩模块1030用于如果图像帧不为关键帧，则对图像帧的图形指令数据进行帧间压缩处理。

在一示例性实施例中，帧间压缩模块1030包括但不限于：

其中，数据对比单元用于将图像帧的图形指令数据与关键帧的图形指令数据进行对比，获得差异数据。

数据压缩单元用于对差异数据进行压缩，得到图像帧完成压缩的图形指令数据。

请参阅图19，在一示例性实施例中，指令数据获取模块910包括但不限于：指令捕获单元911和指令录制单元913。

其中，指令捕获单元911用于捕获服务端进行图像帧对应图形界面渲染的渲染指令。

指令录制单元913用于根据渲染指令录制生成图形指令数据。

需要说明的是，上述实施例所提供的图形指令数据的处理装置在进行图形指令数据的处理处理时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即图形指令数据的处理装置的内部结构将划分为不同的功能模块，以完成以上描述的全部或者部分功能。

另外，上述实施例所提供的图形指令数据的处理装置与图形指令数据的处理方法的实施例属于同一构思，其中各个模块执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。

在一示例性实施例中，一种图形指令数据的处理装置，包括处理器及存储器。

其中，存储器上存储有计算机可读指令，该计算机可读指令被处理器执行时实现上述各实施例中的图形指令数据的处理方法。

在一示例性实施例中，一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各实施例中的图形指令数据的处理方法。

上述内容，仅为本发明的较佳示例性实施例，并非用于限制本发明的实施方案，本领域普通技术人员根据本发明的主要构思和精神，可以十分方便地进行相应的变通或修改，故本发明的保护范围应以权利要求书所要求的保护范围为准。

Claims (15)

1.一种图形指令数据的处理方法，应用于云交互***，所述云交互***包括服务端和终端，其特征在于，所述方法包括：

所述服务端进行图像帧对应图形界面渲染时，获取图形指令数据；

识别所述图形指令数据是否被配置为粒子特效数据，所述粒子特效数据用于描述所述图像帧对应图形界面中的粒子特效；

如果是，则根据所述粒子特效数据所对应粒子面片的特征对所述粒子特效数据进行压缩；

将所述图像帧完成压缩的图形指令数据发送至所述终端，通过发送的图形指令数据在所述终端中还原所述图像帧对应的图形界面。

2.如权利要求1所述的方法，其特征在于，所述根据所述粒子特效数据所对应粒子面片的特征对所述粒子特效数据进行压缩，包括：

获取所述粒子特效数据所对应的粒子面片与相机之间的距离，所述相机用于所述服务端中渲染生成所述图像帧对应的图形界面；

针对所述距离超过指定距离阈值的粒子面片进行纹理一致性检测；

将使用相同纹理的粒子面片所对应的粒子特效数据进行选择性丢弃处理。

3.如权利要求2所述的方法，其特征在于，所述根据所述粒子特效数据所对应粒子面片的特征对所述粒子特效数据进行压缩，还包括：

对所述距离超过指定距离阈值的粒子面片进行数量统计；

在统计的粒子面片数量超过指定数量时，降低图像帧更新频率，并按照降低的图像帧更新频率对包含所述粒子特效数据的图形指令数据进行置零处理。

4.如权利要求1所述的方法，其特征在于，所述根据所述粒子特效数据所对应粒子面片的特征对所述粒子特效数据进行压缩，包括：

判断所述粒子特效数据所对应的粒子面片是否为正方形；

如果是，则将所述粒子特效数据压缩为仅包含表征粒子面片在图形界面中位置的中心点坐标和其中一个顶点坐标。

5.如权利要求1所述的方法，其特征在于，所述根据所述粒子特效数据所对应粒子面片的特征对所述粒子特效数据进行压缩，包括：

对所述粒子特效数据中不同数据类型的数据分别进行浮点数量化处理。

6.如权利要求1所述的方法，其特征在于，所述将所述图像帧完成压缩的图形指令数据发送至所述终端之前，所述方法还包括：

检测所述图像帧是否为关键帧；

如果所述图像帧不为关键帧，则对所述图像帧的图形指令数据进行帧间压缩处理。

7.如权利要求6所述的方法，其特征在于，所述对所述图像帧的图形指令数据进行帧间压缩处理，包括：

将所述图像帧的图形指令数据与所述关键帧的图形指令数据进行对比，获得差异数据；

对所述差异数据进行压缩，得到所述图像帧完成压缩的图形指令数据。

8.如权利要求1所述的方法，其特征在于，所述服务端进行图像帧对应图形界面渲染时，获取图形指令数据，包括：

捕获所述服务端进行所述图像帧对应图形界面渲染的渲染指令；

根据所述渲染指令录制生成所述图形指令数据。

9.如权利要求1至8任一项所述的方法，其特征在于，所述云游戏应用包括Trace端和Retrace端，所述Trace端运行于所述服务端，所述Retrace端运行于所述终端；

所述将所述图像帧完成压缩的图形指令数据发送至所述终端，通过发送的图形指令数据在所述终端中还原所述图像帧对应的图形界面，包括：

所述Trace端向所述Retrace端发送所述图像帧完成压缩的图形指令数据，控制所述Retrace端根据所述图形指令数据还原所述图像帧对应的图形界面。

10.一种图形指令数据的处理装置，应用于云交互***，所述云交互***包括服务端和终端，其特征在于，所述装置包括：

指令数据获取模块，用于所述服务端进行图像帧对应图形界面渲染时，获取图形指令数据；

指令数据识别模块，用于识别所述图形指令数据是否被配置为粒子特效数据，所述粒子特效数据用于描述所述图像帧对应图形界面中的粒子特效；如果是，则通知指令数据压缩模块；

所述指令数据压缩模块，用于根据所述粒子特效数据所对应粒子面片的特征对所述粒子特效数据进行压缩；

指令数据发送模块，用于将所述图像帧完成压缩的图形指令数据发送至所述终端，通过发送的图形指令数据在所述终端中还原所述图像帧对应的图形界面。

11.如权利要求10所述的装置，其特征在于，所述指令数据压缩模块包括：

距离计算单元，用于获取所述粒子特效数据所对应的粒子面片与相机之间的距离，所述相机用于所述服务端中渲染生成所述图像帧对应的图形界面；

纹理检测单元，用于针对所述距离超过指定距离阈值的粒子面片进行纹理一致性检测；

丢弃处理单元，用于将使用相同纹理的粒子面片所对应的粒子特效数据进行选择性丢弃处理。

12.如权利要求11所述的装置，其特征在于，所述指令数据压缩模块还包括：

数量统计单元，用于对所述距离超过指定距离阈值的粒子面片进行数量统计；

置零处理单元，用于在统计的粒子面片数量超过指定数量时，降低图像帧更新频率，并按照降低的图像帧更新频率对包含所述粒子特效数据的图形指令数据进行置零处理。

13.如权利要求10所述的装置，其特征在于，所述指令数据压缩模块包括：

形状检测单元，用于判断所述粒子特效数据所对应的粒子面片是否为正方形；如果是，则通知压缩单元；

所述压缩单元，用于将所述粒子特效数据压缩为仅包含表征粒子面片在图形界面中位置的中心点坐标和其中一个顶点坐标。

14.如权利要求10所述的装置，其特征在于，所述指令数据压缩模块包括：

量化处理单元，用于对所述粒子特效数据中不同数据类型的数据分别进行浮点数量化处理。

15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的图形指令数据的处理方法。