CN101986710B - 一种基于sort-last体系结构的并行绘制*** - Google Patents

Abstract

一种基于sort-last(后归属判断)体系结构的并行绘制***，其特点在于针对大规模复杂场景绘制的应用需求，构造基于sort-last体系结构的并行绘制***，通过无损深度图像压缩和有损场景图像压缩技术降低并行绘制网络的传输负载，通过深度图像融合技术进一步改善绘制效果。

Description

一种基于sort-last体系结构的并行绘制***

技术领域

本发明涉及一种基于sort-last(后归属判断)体系结构的并行绘制***，属于并行绘制技术领域。

背景技术

面对大型数字游戏、大中城市三维数字化管理、大型区域联合军事仿真训练、大规模科学计算可视化等应用领域，专业图形工作站已很难适应越来越复杂的绘制算法以及越来越大的场景数据规模的需求，并且其价格昂贵，***扩展性不佳，而基于PC集群的并行绘制引擎因具有高性价比、扩展性好、使用灵活和升级方便等诸多优点成为近几年来研发的热点。人们更趋向于将配有高性能3D图形卡的PC集群通过千兆以太网互连，从而构建基于集群的并行绘制***以替代单机实现大规模场景的实时绘制。

本发明所涉及的并行绘制***由PC集群构成，如图2所示，采用sort-last体系结构，PC集群有1台PC机作为融合节点，其余PC机作为绘制节点。所谓sort-last体系结构，即各绘制节点按应用需要分别完成各自的场景图像绘制，形成中间图像及相应的像素深度图像，再交由融合节点经深度融合后形成最终图像。例如某些绘制节点负责绘制场景中的背景，某绘制节点负责绘制场景中的物体，某些节点负责绘制场景中的地形，然后将各节点绘制的图像依像素深度融合，形成一个完整的场景，如图3所示。

对sort-last体系结构而言，图像融合需要精确的像素深度信息，因而针对各绘制节点的像素深度图数据，必须采用无损压缩的方法，sort-last***的最大优点是简明，场景数据的不均匀分布引起的负载不均衡较小，但由于各绘制节点在每一帧都需要将两幅图像即场景图像和相应的像素深度图像传给融合节点，并由融合节点采用基于深度信息的图像融合策略生成最终图像，因而sort-last***的图像数据传输和深度图像融合是***的主要开销和瓶颈，本发明提出了一种基于模板信息的LZW深度信息无损压缩方法和一种改进的directsend图像融合算法，能够有效提高图像数据传输的效率并改善最终图像融合的效果。

发明内容

本发明要解决的技术问题是：克服现有技术的不足，采用sort-last(后归属判断)体系结构，提出了一种基于模板信息的LZW深度信息无损压缩方法和一种基于direct send的图像融合算法。基于模板信息的LZW深度信息无损压缩方法利用了自适应帧间差值技术和基于模板的信息压缩技术，提高了深度图像的传输效率，基于direct send的图像融合算法改善了最终图像融合的效果。

本发明采用的技术方案：基于sort-last体系结构的并行绘制***，其特点在于采用如图2所示的机群***，融合节点和绘制节点通过局域网相连，绘制节点负责各自场景的绘制、融合节点负责汇总各绘制节点形成的场景图像和相应的像素深度图像，并依据图像深度信息最终融合形成最终图像输出。本***具体通过以下步骤实现并行体绘制，如图1所示：

(1)新一帧绘制开始，各绘制节点分别绘制场景图像，形成场景图及相应的像素深度图；

(2)各绘制节点对第(1)步形成的像素深度图进行基于模板信息的LZW深度信息无损压缩；

(3)各绘制节点对第(1)步所形成的场景图像进行Jpeg压缩；

(4)各绘制节点将第(2)步和第(3)步所形成的压缩后的场景图像和像素深度图通过网络发送给融合节点，融合节点将所接收到的数据进行解压；

(5)融合节点采用改进的direct send图像融合算法，依据深度信息对各绘制节点所绘的场景图像进行深度融合，形成最终图像输出，最后返回第1步开始新一帧图像的绘制。

本发明与现有技术相比的有益效果是：

(1)相对现有技术，本发明提出的基于模板信息的LZW图像深度信息无损压缩方法充分利用了像素深度信息中的数据相关性，即相近的图像深度信息之间的差值较小的特点，实现了以模板信息为基准的图像深度信息的差值传递，通过差值传递过程中数据冗余的大小变化，而不断动态修改模板信息，再进行LZW数据的压缩传递，有效提高了数据压缩的效率，此外，该方法还在应用允许的前提下通过插值技术进一步降低网络信息的传输量。

(2)在sort last体系结构中，最常用的深度合成方法为direct send方法，由于directsend方法在深度融合过程中仅依据深度信息比较，使得并行绘制***中各绘制节点所绘制的图像信息完全独立，仅体现为相互间的遮挡关系，没有体现透明度及图像融合问题。本发明在融合节点对direct send方法加以改进，通过设置各绘制节点图像绘制的alpha通道值，启动混合功能，从而达成更好的图像深度融合效果。

附图说明

图1为节点自定位过程图示；

图2为基于sort-last并行绘制***的深度融合***结构图；

图3为基于sort-last并行绘制***的图像深度融合过程图

图4Jpeg图像压缩过程示意图；

图5Jpeg图像解压过程示意图；

图6为RLE模板数据图示；

图7为深度融合方法效果图对比图

图7a为direct send方法绘制效果；

图7b为本发明方法绘制效果1；

图7c为本发明方法绘制效果2。

具体实施方式

下面结合附图及具体实施方式对本发明进一步详细说明。

(1)新一帧绘制开始，各绘制节点分别绘制场景图像，形成场景图及相应的像素深度图。

这一流程由各绘制节点完成，各绘制节点利用计算机图形学和多媒体技术绘制一帧场景图像，然后从帧缓存中读出场景图像颜色数据及相应的像素深度图像数据。所谓像素深度图像是指与场景图对应位置的像素的深度，即该像素所属的场景物体到视点的距离。

(2)各绘制节点对第(1)步形成的像素深度图进行基于模板信息的LZW深度信息无损压缩。

首先引入本步骤所涉及的一些概念：

深度图像分块：对一帧M像素×N像素尺寸的深度图像，以8像素×8像素为基准对深度图像分块。

模板信息(Template Information)是像素点(x，y)压缩编码过程中的参考模板值，记为TI[x][y]，x＝1，2，…，M；y＝1，2，…，N；

深度信息是第i帧深度图像像素点(x，y)处的深度信息值，记为depth_i[x][y]；

差值信息(Difference Information)是第i帧深度图像像素点(x，y)的深度信息与模板信息的差值，记为DI_i[x][y]；

累积平方和是第i帧第j个图像分块对应的差值信息的平方之和，记为Sum_i[j]；

编码信息表示第i帧深度图像像素点(x，y)需要进行压缩编码的数据，记为Compress_i[x][y]。

标记信息用来标记第i帧第j个图像分块对应的编码信息是否为模板信息，记为Mark[j]，j＝1，2，…S_M，其中s_M为深度图像的分块个数。Mark[j]以字节方式顺序存储，每字节有8位，代表8个分块标记，如该位为1，表示第j个图像分块对应的编码信息的为模板数据，为0表示第j个图像分块对应的编码信息为与模板数据的差值。

基于模板信息的LZW深度信息无损压缩方法的具体步骤如下：

第一步，读取第一帧场景的深度信息，并以之做为模板信息及当前编码信息

即点(x，y)处的深度模板信息为：

TI[x][y]＝depth_i[x][y]，x＝1，2，…，M；y＝1，2，…，N，

当前编码信息为：

Compress_i[x][y]＝TI[x][y]，x＝1，2，…，M；y＝1，2，…，N；i＝1，2，…；

标记第1帧编码信息中所有分块均为模板数据，Mark[j]＝1，j＝1，2，…S_M；

第二步，读取第i帧(i＞1)的深度信息

depth_i[x][y]，x＝1，2，…，M；y＝1，2，…，N；i＝1，2，…；

第三步，计算第i帧(i＞1)深度信息与已有模板信息的差值信息DI_i[x][y]，

DI_i[x][y]＝depth_i[x][y]-TI[x][y]，x＝1，2，…，M；y＝1，2，…，N；i＝1，2，…；

第四步，计算第i帧(i＞1)第j块中所有像素差值信息的累积平方和

$\mathrm{Su}{m}_i\left[j\right]=\underset{x=\mathrm{SX}\left(j\right)}{\overset{\mathrm{EX}\left(j\right)}{\mathrm{\Σ}}}\underset{y=\mathrm{SY}\left(j\right)}{\overset{\mathrm{EY}\left(j\right)}{\mathrm{\Σ}}}D{I}_i{\left[x\right]\left[y\right]}^2,$

其中，SX(j)为第j块x起始序号，EX(j)为第j块x终止序号，SY(j)为第j块y起始序号，EY(j)为第j块y终止序号；

第五步，比较第i帧(i＞1)第j块累计平方和Sum_i[j]与第i-1帧第j块累计平方和Sum_i-1[j]之间的关系，得到以下两种情况：

情况1：Sum_i[j]≤Sum_i-1[j]，说明第i帧时第j块图像深度信息与模板信息之间差别变小或者不变，维持原模板信息不变，并将第i帧时第j块与原模板的差值信息置为当前编码信息，即：

Compress_i[x][y]＝DI_i[x][y]，x∈[SX(j)，EX(j)]，y∈[SY(j)，EY(j)]；

标记第i帧(i＞1)编码信息中的第j分块为深度信息与模板信息间的差值数据，Mark[j]＝0；

情况2：Sum_i[j]＞Sum_i-1[j]，说明第i帧时第j块图像的深度信息与相应的模板信息相差较大，则更新该段内的所有模板数据为第i帧的图像深度数据，即

TI[x][y]＝depth_i[x][y]，x∈[SX(j)，EX(j)]，y∈[SY(j)，EY(j)]；

同时将当前编码信息置为相应的模板信息，即

Compress_i[x][y]＝TI[x][y]，x∈[SX(j)，EX(j)]，y∈[SY(j)，EY(j)]；

标记第i帧(i＞1)编码信息中的第j分块为模板数据，Mark[j]＝1；

第六步，块序号j加1，返回(2.4)，直到遍历完第i帧深度图像的所有分块，进入第七步；

第七步，对当前编码信息及标记信息进行LZW压缩编码，即通过建立一个字符串字典表，用较短的代码来表示较长的字符串从而实现压缩，同时压缩比随着输入编码的数量增加而增大。

例如采用如表1所示的字典表。

表1LZW算法字典表

根据输入序列在字典表中查找相应的码字，即可得出压缩后的LZW编码输出序列，输入序列”ABCDABCDABCD”的编码输出如表2所示。

表2编码输出表

从表2中可以得出，原来的12个字节的浮点数经过编码之后缩短为7个字节的LZW序列，可见经过压缩后数据量明显减少。

第八步，帧号i加1，继续压缩下一帧数据，重复步骤步骤2。

(3)各绘制节点对第(1)步所形成的场景图像进行Jpeg压缩。

这一流程由各绘制节点完成；Jpeg压缩属于有损压缩，能够将图像数据压缩在很小的储存空间中，Jpeg压缩在获得较高的压缩比的同时能展现十分丰富生动的图像，其压缩比通常在10∶1到40∶1之间。Jpeg压缩所去除的冗余信息的主要是高频信息，对色彩的信息保留较好，支持24位真彩色，普遍应用于需要连续色调的图像，本发明采用了标准的Jpeg压缩方法，具体流程如图4所示，也可参见对应的国际标准。

(4)各绘制节点将第(2)步和第(3)步所形成的压缩后的场景图像和像素深度图通过网络发送给融合节点，融合节点将所接收到的数据进行解压。

融合节点的数据接收模块收到各图像绘制节点传送过来的图像数据，图像数据处理模块分别进行基于Jpeg的图像颜色数据有损解压和基于模板信息的LZW图像深度数据无损解压，得到图像深度数据和图像颜色数据。

基于Jpeg的图像颜色数据有损解压流程为标准流程，如图5所示，也可参见对应的国际标准。

基于模板信息的LZW图像深度数据无损解压流程为步骤(2)的逆过程

(5)融合节点采用基于direct send的图像融合算法，依据深度信息对各绘制节点所绘的场景图像进行深度融合，形成最终图像输出，最后返回第1步开始新一帧图像的绘制。

本发明通过设置各绘制节点图像绘制的alpha通道值，启动混合功能，以达成更好的图像深度融合效果。融合节点图像深度融合流程如下：

第一步，将从各绘制节点接收到的图像颜色数据和图像深度数据分别按帧读入内存；

第二步，启动深度缓存功能和混合功能，在该模式下alpha值用于正在处理的片元颜色值与存储在帧缓存中的图像颜色数据的融合；

第三步，比较不同图像绘制节点相同像素点的图像深度信息大小，深度值小，则该点所对应的视点值小，深度值大，则视点值大；

第四步，均匀设置源混合因子和目标混合因子，实现基于alpha值及深度信息的融合。

深度图像压缩方法的对比分析：

在基于sort-last并行绘制***中，采用本发明给出的图像压缩传输的方法与RLE方法进行比较，验证同等情况下图像信息的传输速率。注：在体绘制图像的深度融合中，Chin-FengLin、Yeh-Ching Chung、Don-Lin Yang等提出了RLE数据压缩策略。该方法在灰度图的基础上，把2n*2n个像素大小的场景图像分为n*n块，每块大小为2*2像素，把2*2个像素分为了从0000至1111的16种模板，如图6所示，用一个字节的后4bi即可表示。同时用该字节的前4位表示该模板重复的次数。这样，原来一个2*2像素块占16个字节的深度图像被压缩到了一个字节，以此为基础，再采用RLE行程编码，可以进一步压缩图像数据，进行传递。

分别采用本发明的方法与RLE算法将绘制的水波特效和布料特效进行深度融合，获得运行时的平均帧率、最小帧率、最大帧率、运行时间和总帧数。具体如表3所示，可以看出，在绘制节点构成相同，所绘制场景相同的实验条件下，本发明给出的方法具有较快的帧率。

表3RLE算法与本发明方法效率对比

深度图像融合方法的对比分析：

在基于sort-last并行绘制***中，分别采用direct send方法和本发明方法进行水波特效和布料特效的深度融合。两种方法的最终融合效果如图7所示。图7a为采用direct send方法的深度值比较所得到的最终融合结果，可以看出，水波和布料之间的仅有位置重叠的效果，没有体现出特效融合；图7b和图7c为本发明方法最终融合结果，源、目标混合因组合分别为(GL_ONE，GL_ONE)、(GL_SRC_ALPHA，GL_ZERO)，本发明方法在特效之间进行深度比较的同时，增加了透明度的设置，使得布料浸在水波中的效果，特效融合逼真。

Claims (1)

1.基于sort-last体系结构的并行绘制方法，其特征在于采用sort-last体系结构，该结构由PC机群***构成，包括一个融合节点和若干绘制节点，节点间通过局域网相连，绘制节点负责各自场景的绘制，融合节点负责汇总各绘制节点形成的场景图像和相应的像素深度图像，并依据图像深度信息最终融合形成最终图像输出；具体包括以下步骤

(1)各绘制节点分别绘制场景图像，形成场景图及相应的像素深度图；

(2)各绘制节点对第(1)步形成的像素深度图进行基于模板信息的LZW深度信息无损压缩；

(3)各绘制节点对第(1)步所形成的场景图进行Jpeg压缩；

(4)各绘制节点将第(2)步和第(3)步所形成的压缩后的场景图和像素深度图通过网络发送给融合节点，融合节点将所接收到的数据进行解压；

(5)融合节点采用改进的direct send图像融合算法，依据深度信息对各绘制节点所绘的场景图进行深度融合，形成最终图像输出，返回第(1)步开始新一帧图像的绘制；

所述步骤(2)中提出的基于模板信息的LZW深度信息无损压缩方法，具体包括：

对一帧M像素×N像素尺寸的深度图像，以8像素×8像素为基准对深度图像分块，像素点序号记为(x，y)，x＝1，2，…，M；y＝1，2，…，N；

(2.1)读取第一帧场景的深度信息depth_i[x][y]，x＝1，2，…，M；y＝1，2，…，N，并以之做为模板信息及当前编码信息，

即点(x，y)处的深度模板信息为：

TI[x][y]＝depth_i[x][y]，x＝1，2，…，M；y＝1，2，…，N，

当前编码信息为：

Compress_i[x][y]＝TI[x][y]，x＝1，2，…，M；y＝1，2，…，N；i＝1，2，…；

标记第1帧编码信息中所有分块均为模板数据，Mark[j]＝1，j＝1，2，…S_M，其中S_M为深度图像分块个数；

(2.2)读取第i帧的深度信息，

depth_i[x][y]，x＝1，2，…，M；y＝1，2，…，N；i＝1，2，…；

(2.3)计算第i帧深度信息与已有模板信息的差值信息DI_i[x][y]，

DI_i[x][y]＝depth_i[x][y]-TI[x][y]，x＝1，2，…，M；y＝1，2，…，N；i＝1，2，…；

(2.4)计算第i帧(i＞1)第j块中所有像素差值信息的累积平方和

$\mathrm{Su}{m}_i\left[j\right]=\underset{x=\mathrm{SX}\left(j\right)}{\overset{\mathrm{EX}\left(j\right)}{\mathrm{\Σ}}}\underset{y=\mathrm{SY}\left(j\right)}{\overset{\mathrm{EY}\left(j\right)}{\mathrm{\Σ}}}D{I}_i\left[x\right][y{]}^2,$

其中，SX(j)为第j块x起始序号，EX(j)为第j块x终止序号，SY(j)为第j块y起始序号，EY(j)为第j块y终止序号，

(2.5)比较第i帧第j块累计平方和Sum_i[j]与第i-1帧第j块累计平方和Sum_i-1[j]之间的关系，得到以下两种情况：

情况1：Sum_i[j]≤Sum_i-1[j]，说明第i帧时第j块图像深度信息与模板信息之间差别变小或者不变，维持原模板信息不变，并将第i帧时第j块与原模板的差值信息置为当前编码信息，即：

Compress_i[x][y]＝DI_i[x][y]，x∈[SX(j)，EX(j)]，y∈[SY(j)，EY(j)]；

标记第i帧(i＞1)编码信息中的第j分块为深度信息与模板信息间的差值数据，Mark[j]＝0；

情况2：Sum_i[j]＞Sum_i-1[j]，说明第i帧时第j块图像的深度信息与相应的模板信息相差较大，则更新该段内的所有模板数据为第i帧的图像深度数据，即

TI[x][y]＝depth_i[x][y]，x∈[SX(j)，EX(j)]，y∈[SY(j)，EY(j)]；

同时将当前编码信息置为相应的模板信息，即

Compress_i[x][y]＝TI[x][y]，x∈[SX(j)，EX(j)]，y∈[SY(j)，EY(j)]；

标记第i帧编码信息中的第j分块为模板数据，Mark[j]＝1；

(2.6)块序号j加1，返回(2.4)，直到遍历完第i帧深度图像的所有分块，进入下一步；

(2.7)对当前编码信息及标记信息进行LZW(Lempel Ziv Welch蓝波-立夫-卫曲编码法)压缩编码；

(2.8)帧号i加1，继续压缩下一帧数据，重复步骤(2.2-2.7)；

所述融合节点采用改进的direct send图像融合算法具体如下：

第一步，将从各绘制节点接收到的图像颜色数据和图像深度数据分别按帧读入内存；

第二步，启动深度缓存功能和混合功能，在启动了深度缓存功能和混合功能的模式下alpha值用于正在处理的片元颜色值与存储在帧缓存中的图像颜色数据的融合；

第三步，比较不同图像绘制节点相同像素点的图像深度信息大小，深度值小，则该点所对应的视点值小，深度值大，则视点值大；

第四步，均匀设置源混合因子和目标混合因子，实现基于alpha值及深度信息的融合。

Images