CN104602116A - 一种交互式富媒体可视化渲染方法及*** - Google Patents

Abstract

本发明提供了一种交互式富媒体可视化渲染方法，包括：S1.将包含图形、图像和视频的异构富媒体场景对象进行存储；S2.读取所述异构富媒体场景对象，对所述异构富媒体场景对象进行融合，得到多源异构富媒体场景；S3.对所述多源异构富媒体场景进行可视化渲染。本发明所述的方法及***，将图形、图像、视频进行融合，通过在富媒体场景中设定交互触点，利用人机交互技术，实现场景对象的交互触发，提升富媒体场景可视化描述效率与场景互动能力。

Description

一种交互式富媒体可视化渲染方法及***

技术领域

本发明涉及富媒体领域，具体涉及一种交互式富媒体可视化渲染方法及***。

背景技术

以文字、图像、声音、视频、动画与交互脚本多种形式组合的富媒体具有丰富的表现力与互动性。传统的富媒体可视化展示方法通过某种播放器对富媒体文件内容逐一播放，缺少对可视化场景的交互能力。为体现富媒体互动性优势，通过对富媒体场景对象交互式操作，收集面向不同用户操作的有价值信息，需要研究一种交互式富媒体可视化渲染方法，实现对富媒体场景的可视化沉浸展示。

经文献检索发现，在现有富媒体可视化展示研究中，Adobe公司的Flash Lite player、Ikivo公司的Mobile SVG和Bitflash公司的SVG Player以及符合LASeR或者DIMS标准的富媒体引擎等，采用局部渲染、矢量填充、反走样等方法，实现富媒体场景的可视化渲染，未考虑采用图形、图像、视频、音频、等多元素混合渲染方式提高渲染效率。在人机交互方面，也只是单一的时间轴上的交互，未考虑多角度多方位的场景交互方式。发明专利“一种高效率富媒体展现***和方法”(申请号：201210593871.X)，通过构建数据接收模块、数据解码模块、富媒体展现模块、接收数据缓存模块和解码数据缓存模块，对该解码的富媒体数据的内容进行展现，并采用数据缓存队列机制和解码阻塞机制，提高富媒体展现效率，减少占用***内存，加快***响应速度。发明专利“交互式富媒体互动***的控制方法”(申请号：201010589605.0)，通过构建交互式富媒体互动模型，按照应用需求选择观察者模式、策略模式与组合模式，定义对象间一对多依赖关系，实现交互式富媒体互动，当一个对象的状态发生改变时，所有依赖于它的对象都得到通知并被自动更新，简化应用程序的设计，降低各部分之间的耦合。

发明专利“一种高效率富媒体展现***和方法”(申请号：201210593871.X)，所述的技术方案，以减少富媒体展现***的内存开销，加快富媒体展现***的响应速度为目标，对富媒体数据进行解码、展现。当富媒体内容中包含三维图形元素时，数据解码缓存将不适用于可视化场景的展示，无法提高富媒体展现效率。

发明专利“交互式富媒体互动***的控制方法”(申请号：01010589605.0)，所述的技术方案，以用户的请求为交互主线，将模型和视图连接在一起，不作任何数据处理，交互方式必须遵循规定的关联关系，无法满足用户对富媒体场景对象的个性化互动操作。

综上，现有技术中的富媒体可视化展示方法中，均是对图像、音频与视频播放技术的研究，多是通过使用基于XML规范的轻量级媒体标记语言，配合脚本等多种技术展现富媒体内容，未考虑几何图形、图像、视频、音频等多类型元素混合的可视化渲染表达方式；交互方式主要是通过时间或事件触发场景发生变化，交互形式单一，未考虑渲染过程中沉浸式人机交互方式。

发明内容

针对现有技术的不足，本发明提供一种交互式富媒体可视化渲染方法及***，将图形、图像、视频进行融合，通过在富媒体场景中设定交互触点，利用人机交互技术，实现场景对象的交互触发，提升富媒体场景可视化描述效率与场景互动能力。

第一方面，本发明提出了一种交互式富媒体可视化渲染方法，包括：

S1.将包含图形、图像和视频的异构富媒体场景对象进行存储；

S2.读取所述异构富媒体场景对象，对所述异构富媒体场景对象进行对象融合，得到多源异构富媒体场景；

S3.对所述多源异构富媒体场景进行可视化渲染。

其中，所述步骤S1包括：

构建多层存储架构，将图形、图像、视频异构富媒体场景对象及其属性在存储前进行编码压缩，动态分配静态独立存储空间，以并发方式分别进行读取，其中，存储内部读写操作采用互斥方式，为每个存储访问对象设定独立控制单元，当富媒体场景对象遇到交互触发条件时，将存储访问权授予存储访问优先级最高的富媒体场景对象。

其中，所述步骤S1还包括：

采用渐进式流传输方式，将不同类别富媒体场景对象封装在含有时间戳场景信息的传输层单元里面，所述传输层单元包含一个或多个场景交互命令；当富媒体场景更新时，首先根据传输层单元上的时间戳判断此传输层单元是否需要切换，若需要，立即解析切换，若不需要，保存传输层单元待合适交互触点再处理，为所述传输层单元维护一个缓冲区，各个传输层单元按照时间戳顺序排列，新加入的传输层单元***合适的位置，每次取缓冲区中第一个传输层单元进行处理，以减少对单个对象的遍历次数。

其中，所述对所述异构富媒体场景对象进行对象融合，得到多源异构富媒体场景包括：

(1)输入富媒体场景对象U₁[i],U₂[j],U₃[l]与富媒体场景Scene，i＝0,1,2,…,n-1；j＝0,1,2,…,m-1；l＝0,1,2,…,p-1，其中，U₁[i]为图形对象、U₂[j]为图像对象、U₃[l]为视频对象，i,j,l分别为富媒体场景中图形、图像、视频的个数；

(2)分别抽取图形对象、图像对象和视频对象中的几何形状、离散像素、视频编码的特征参数 $T_{u_1}=\{t_{u_1,1},t_{u_1,2},...,t_{u_1,n-1}\},T_{u_2}=\{t_{u_2,1},t_{u_2,2},...,t_{u_2,n-1}\},$ $T_{u_3}=\{t_{u_3,1},t_{u_3,2},...,t_{u_3,n-1}\};$

(3)计算特征参数在富媒体场景所占的权值，以当前视点到富媒体场景对象的欧氏距离为衡量标准，λ_i＝dist|E_i(x,y,z)-U_j[x,y,z]|，E_i(x,y,z)为视点在富媒体场景中世界坐标值，U_j[x,y,z]为不同元素对象在富媒体场景中的世界坐标值，则U₁[i],U₂[j],U₃[l]的权值分别为：

${\mathrm{\α}}_1={\stackrel{\‾}{\mathrm{\λ}}}_i=\frac{\underset{i}{\overset{n}{\mathrm{\Σ}}}\mathrm{dist}|E_i(x,y,z)-U_1[x,y,z\left]\right|}{\underset{j}{\overset{3}{\mathrm{\Σ}}}\underset{i}{\overset{n}{\mathrm{\Σ}}}\mathrm{dist}|E_i(x,y,z)-U_j[x,y,z\left]\right|}$

${\mathrm{\α}}_2={\stackrel{\‾}{\mathrm{\λ}}}_i=\frac{\underset{i}{\overset{n}{\mathrm{\Σ}}}\mathrm{dist}|E_i(x,y,z)-U_2[x,y,z\left]\right|}{\underset{j}{\overset{3}{\mathrm{\Σ}}}\underset{i}{\overset{n}{\mathrm{\Σ}}}\mathrm{dist}|E_i(x,y,z)-U_j[x,y,z\left]\right|}$

${\mathrm{\α}}_3={\stackrel{\‾}{\mathrm{\λ}}}_i=\frac{\underset{i}{\overset{n}{\mathrm{\Σ}}}\mathrm{dist}|E_i(x,y,z)-U_3[x,y,z\left]\right|}{\underset{j}{\overset{3}{\mathrm{\Σ}}}\underset{i}{\overset{n}{\mathrm{\Σ}}}\mathrm{dist}|E_i(x,y,z)-U_j[x,y,z\left]\right|}$

(4)当U₁[i],U₂[j],U₃[l]共同描述同一富媒体场景Scene时，共享子空间Sub_S为Sub_S＝f(U₁[i],U₂[j],U₃[l])；

(5)在共享子空间内，通过构建学习模型库，计算异构模态信息自适应模型与优化模型参数，动态调整优化场景对象权值，得到最优融合策略：Scene＝α₁U₁[i]+α₂U₂[j]+α₃U₃[l]；

(6)将融合后的特征向量进行特征重构；

(7)输出融合后的多源异构的富媒体场景。

其中，对所述多源异构富媒体场景进行可视化渲染包括：基于视点的几何分块分布式进行渲染，将富媒体场景按元素分为图形场景单元、图像场景单元、视频场景单元，每个场景单元按照位置相关进行编号存储，每种类型场景单元按照对象类别再次分割成若干子单元，子单元按照位置相关进行编号存储，存储内容包含场景单元类型、场景单元位置信息、场景单元所包含的子单元对象、子单元对象的位置信息，在帧渲染的响应逻辑中，根据场景的位置信息确定当前视点所在场景单元与子单元的编号，以及与其相邻的场景单元与子单元的编号。

第一方面，本发明提出了一种交互式富媒体可视化渲染***，包括：

存储模块，用于将包含图形、图像和视频的异构富媒体场景对象进行存储；

融合模块，用于读取所述异构富媒体场景对象，对所述异构富媒体场景对象进行对象融合，得到多源异构富媒体场景；

渲染模块，用于对所述多源异构富媒体场景进行交互式可视化渲染。

其中，所述存储模块具体用于构建多层存储架构，将图形、图像、视频异构富媒体场景对象及其属性在存储前进行编码压缩，动态分配独立存储空间，以并发方式分别进行读取，其中，存储内部读写操作采用互斥方式，为每个存储访问对象设定独立控制单元，当富媒体场景对象遇到交互触发条件时，将存储访问权授予存储访问优先级最高的富媒体场景对象。

其中，所述存储模块还用于采用渐进式流传输方式，将不同类别富媒体场景对象封装在含有时间戳场景信息的传输层单元里面，所述传输层单元包含一个或多个场景交互命令；当富媒体场景更新时，首先根据传输层单元上的时间戳判断此传输层单元是否需要切换，若需要，立即解析切换，若不需要，保存传输层单元待合适交互触点再处理，为所述传输层单元维护一个缓冲区，各个传输层单元按照时间戳顺序排列，新加入的传输层单元***合适的位置，每次取缓冲区中第一个传输层单元进行处理，以减少对单个对象的遍历次数。

其中，所述融合模块具体用于对所述异构富媒体场景对象进行对象融合，得到多源异构富媒体场景，具体包括：

(1)输入富媒体场景对象U₁[i],U₂[j],U₃[l]与富媒体场景Scene，i＝0,1,2,…,n-1；j＝0,1,2,…,m-1；l＝0,1,2,…,p-1，其中，U₁[i]为图形对象、U₂[j]为图像对象、U₃[l]为视频对象，i,j,l分别为富媒体场景中图形、图像、视频的个数；

(2)分别抽取图形对象、图像对象和视频对象中的几何形状、离散像素、视频编码的特征参数 $T_{u_1}=\{t_{u_1,1},t_{u_1,2},...,t_{u_1,n-1}\},T_{u_2}=\{t_{u_2,1},t_{u_2,2},...,t_{u_2,n-1}\},$ $T_{u_3}=\{t_{u_3,1},t_{u_3,2},...,t_{u_3,n-1}\};$

(3)计算特征参数在富媒体场景所占的权值，以当前视点到富媒体场景对象的欧氏距离为衡量标准，λ_i＝dist|E_i(x,y,z)-U_j[x,y,z]|，E_i(x,y,z)为视点在富媒体场景中世界坐标值，U_j[x,y,z]为不同元素对象在富媒体场景中的世界坐标值，则U₁[i],U₂[j],U₃[l]的权值分别为：

${\mathrm{\α}}_1={\stackrel{\‾}{\mathrm{\λ}}}_i=\frac{\underset{i}{\overset{n}{\mathrm{\Σ}}}\mathrm{dist}|E_i(x,y,z)-U_1[x,y,z\left]\right|}{\underset{j}{\overset{3}{\mathrm{\Σ}}}\underset{i}{\overset{n}{\mathrm{\Σ}}}\mathrm{dist}|E_i(x,y,z)-U_j[x,y,z\left]\right|}$

${\mathrm{\α}}_2={\stackrel{\‾}{\mathrm{\λ}}}_i=\frac{\underset{i}{\overset{n}{\mathrm{\Σ}}}\mathrm{dist}|E_i(x,y,z)-U_2[x,y,z\left]\right|}{\underset{j}{\overset{3}{\mathrm{\Σ}}}\underset{i}{\overset{n}{\mathrm{\Σ}}}\mathrm{dist}|E_i(x,y,z)-U_j[x,y,z\left]\right|}$

${\mathrm{\α}}_3={\stackrel{\‾}{\mathrm{\λ}}}_i=\frac{\underset{i}{\overset{n}{\mathrm{\Σ}}}\mathrm{dist}|E_i(x,y,z)-U_3[x,y,z\left]\right|}{\underset{j}{\overset{3}{\mathrm{\Σ}}}\underset{i}{\overset{n}{\mathrm{\Σ}}}\mathrm{dist}|E_i(x,y,z)-U_j[x,y,z\left]\right|}$

(4)当U₁[i],U₂[j],U₃[l]共同描述同一富媒体场景Scene时，共享子空间Sub_S为Sub_S＝f(U₁[i],U₂[j],U₃[l])；

(5)在共享子空间内，通过构建学习模型库，计算异构模态信息自适应模型与优化模型参数，动态调整优化场景对象权值，得到最优融合策略：Scene＝α₁U₁[i]+α₂U₂[j]+α₃U₃[l]；

(6)将融合后的特征向量进行特征重构；

(7)输出融合后的多源异构的富媒体场景。

其中，所述渲染模块具体用于基于视点的几何分块分布式进行渲染，将富媒体场景按元素分为图形场景单元、图像场景单元、视频场景单元，每个场景单元按照位置相关进行编号存储，每种类型场景单元按照对象类别再次分割成若干子单元，子单元按照位置相关进行编号存储，存储内容包含场景单元类型、场景单元位置信息、场景单元所包含的子单元对象、子单元对象的位置信息，在帧渲染的响应逻辑中，根据场景的位置信息确定当前视点所在场景单元与子单元的编号，以及与其相邻的场景单元与子单元的编号。

本发明至少具有如下的有益效果：

本发明所述的方法及***，将图形、图像、视频进行融合，通过在富媒体场景中设定交互触点，利用人机交互技术，实现场景对象的交互触发，提升富媒体场景可视化描述效率与场景互动能力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的交互式富媒体可视化渲染方法的流程图；

图2是本发明实施例一提供的富媒体场景对象存储结构图；

图3是本发明实施例一提供的异构富媒体对象的融合策略示意图；

图4是本发明实施例一提供的富媒体可视化场景实时渲染与交互示意图；

图5是本发明实施例二提供的交互式富媒体可视化渲染***的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，本发明实施例一提出了一种交互式富媒体可视化渲染方法，包括：

步骤101：将包含图形、图像和视频的异构富媒体场景对象进行存储。

在本步骤中，构建多层存储架构，将图形、图像、视频异构富媒体场景对象及其属性在存储前进行编码压缩，动态分配静态独立存储空间，以并发方式分别进行读取，其中，存储内部读写操作采用互斥方式，为每个存储访问对象设定独立控制单元，当富媒体场景对象遇到交互触发条件时，将存储访问权授予存储访问优先级最高的富媒体场景对象。

采用渐进式流传输方式，将不同类别富媒体场景对象封装在含有时间戳场景信息的传输层单元里面，所述传输层单元包含一个或多个场景交互命令；当富媒体场景更新时，首先根据传输层单元上的时间戳判断此传输层单元是否需要切换，若需要，立即解析切换，若不需要，保存传输层单元待合适交互触点再处理，为所述传输层单元维护一个缓冲区，各个传输层单元按照时间戳顺序排列，新加入的传输层单元***合适的位置，每次取缓冲区中第一个传输层单元进行处理，以减少对单个对象的遍历次数。

图2是本发明实施例一提供的富媒体场景对象存储结构图；参见图2，富媒体场景记录不同结构多媒体元素在时间与空间上的组织方式，描述这些元素的生存时间与空间位置范围，同时，描述用户与场景元素之间的交互性。与传统场景读取不同，富媒体场景对象可能是基于XML标记语言的数据，也可能是二进制编码后的数据，本发明在场景树组节点提取空间划分结构信息，将不同结构场景对象进行解析并创建场景树，若进行空间划分结构的组节点及其子节点满足空间划分规则，则直接对其子节点进行读取与解析，以某种方式存储在内存中，以备后续更新或者合成步骤中使用，减少定义新节点操作接口；若空间划分结构作为场景图中的新对象，由于不同结构的对象要求不同的访问接口，则需要定义其对象的访问接口，通过组节点提取结构信息的方式，实现在多个组节点中共享同一种空间划分结构，降低内存开销，便于子节点进行自然存取，简化场景图。

面向由图形，图像，视频等多种元素组成富媒体场景，需要对不同类型对象进行反复存取，扩展性较弱的传统存储架构将造成过高的能源消耗，本发明提出一种异构数据分布式存储算法，构建多层存储架构，将图形、图像、音频、视频等元素及其属性在存储前进行编码压缩，动态分配静态独立存储空间，以并发方式分别进行读取渲染，为确保存储管理对各个渲染元素实时响应，对存储内部读写操作采用互斥方式，为每个存储访问元素设定独立控制单元，当富媒体场景对象遇到交互触发条件时，将存储访问权授予存储访问优先级最高的渲染对象。

为减少对富媒体场景内对象遍历次数，提高读取效率，采用渐进式流传输方式，将不同类别场景对象封装在含有时间戳场景信息的传输层Unit里面，Unit包含一个或多个场景交互命令，如scene、insert、delete、instead等，其中处理scene命令定义为不同类别元素动态切换、解析的过程，此命令指示引擎由当前多媒体切换到另一多媒体展示，insert、delete、instead等命令更新当前场景。当场景更新时，首先根据Unit上的时间戳判断此Unit是否需要切换，若需要，立即解析切换，若不需要，保存Unit待合适交互触点再处理，为Unit维护一个缓冲区，各个Unit按照时间戳顺序排列，新加入的Unit***合适的位置，每次取缓冲区中第一个Unit进行处理，减少对单个对象的遍历次数，实现富媒体对象的有效存储与快速读取。

步骤102：读取所述异构富媒体场景对象，对所述异构富媒体场景对象进行对象融合，得到多源异构富媒体场景。

图3是本发明实施例一提供的异构富媒体对象的融合策略示意图；参见图3，为获取足够富媒体属性及关联关系，利用其之间的属性与关系实现多源异构数据融合，本发明实施例提出一种跨源、跨模态数据的一致性表达方法，如可以用图形、图像、视频、音频等异构互补的多媒体形态共同表达黄瓜白粉病的语义，通过学习某种映射关系，将异构模态信息映射到共享子空间，在同一表达框架下直接对几何形状、离散像素、视频编码等异构数据进行在特征库间的学习度量，通过自适应模型选择与优化模型参数，建立融合策略，实现多源异构多媒体特征之间的重构与融合。

多源异构元素由一族单源信息***构成的，且每个源均是一个单独的信息***, $S=\left\{O_i\right|O_i=(U,T_i,{\left\{V_a\right\}}_{a\∈T_i},f_i)\},$ 其中O_i为一个四元组，U＝{u₁,u₂,…,u_N}为N个不同结构的元素集合，是不同结构元素的特征属性集合，为特征属性a∈T_i的值域，是一个映射函数，对 $\∀u\∈U,a\∈T_i,$ 有f(u,a)∈V_a。融合方法如下：

(1)输入富媒体场景对象U₁[i],U₂[j],U₃[l]与富媒体场景Scene，i＝0,1,2,…,n-1；j＝0,1,2,…,m-1；l＝0,1,2,…,p-1，其中，U₁[i]为图形对象、U₂[j]为图像对象、U₃[l]为视频对象，i,j,l分别为富媒体场景中图形、图像、视频的个数；

(2)分别抽取图形对象、图像对象和视频对象中的几何形状、离散像素、视频编码的特征参数 $T_{u_1}=\{t_{u_1,1},t_{u_1,2},...,t_{u_1,n-1}\},T_{u_2}=\{t_{u_2,1},t_{u_2,2},...,t_{u_2,n-1}\},$ $T_{u_3}=\{t_{u_3,1},t_{u_3,2},...,t_{u_3,n-1}\};$

(3)计算特征参数在富媒体场景所占的权值，以当前视点到富媒体场景对象的欧氏距离为衡量标准，λ_i＝dist|E_i(x,y,z)-U_j[x,y,z]|，E_i(x,y,z)为视点在富媒体场景中世界坐标值，U_j[x,y,z]为不同元素对象在富媒体场景中的世界坐标值，则U₁[i],U₂[j],U₃[l]的权值分别为：

${\mathrm{\α}}_1={\stackrel{\‾}{\mathrm{\λ}}}_i=\frac{\underset{i}{\overset{n}{\mathrm{\Σ}}}\mathrm{dist}|E_i(x,y,z)-U_1[x,y,z\left]\right|}{\underset{j}{\overset{3}{\mathrm{\Σ}}}\underset{i}{\overset{n}{\mathrm{\Σ}}}\mathrm{dist}|E_i(x,y,z)-U_j[x,y,z\left]\right|}$

${\mathrm{\α}}_2={\stackrel{\‾}{\mathrm{\λ}}}_i=\frac{\underset{i}{\overset{n}{\mathrm{\Σ}}}\mathrm{dist}|E_i(x,y,z)-U_2[x,y,z\left]\right|}{\underset{j}{\overset{3}{\mathrm{\Σ}}}\underset{i}{\overset{n}{\mathrm{\Σ}}}\mathrm{dist}|E_i(x,y,z)-U_j[x,y,z\left]\right|}$

${\mathrm{\α}}_3={\stackrel{\‾}{\mathrm{\λ}}}_i=\frac{\underset{i}{\overset{n}{\mathrm{\Σ}}}\mathrm{dist}|E_i(x,y,z)-U_3[x,y,z\left]\right|}{\underset{j}{\overset{3}{\mathrm{\Σ}}}\underset{i}{\overset{n}{\mathrm{\Σ}}}\mathrm{dist}|E_i(x,y,z)-U_j[x,y,z\left]\right|}$

(4)当U₁[i],U₂[j],U₃[l]共同描述同一富媒体场景Scene时，共享子空间Sub_S为Sub_S＝f(U₁[i],U₂[j],U₃[l])；

(5)在共享子空间内，通过构建学习模型库，计算异构模态信息自适应模型与优化模型参数，动态调整优化场景对象权值，得到最优融合策略：Scene＝α₁U₁[i]+α₂U₂[j]+α₃U₃[l]；

(6)将融合后的特征向量进行特征重构；

(7)输出融合后的多源异构的富媒体场景。

融合后的富媒体场景内，在原有多源异构数据模型基础上，通过融合策略构建出最大限度包容原有数据模型，将不同数据模型的数据向统一渲染转换。

步骤103：对所述多源异构富媒体场景进行可视化渲染。

在本步骤中，对所述多源异构富媒体场景进行可视化渲染包括：基于视点的几何分块分布式进行渲染，将富媒体场景按元素分为图形场景单元、图像场景单元、视频场景单元，每个场景单元按照位置相关进行编号存储，每种类型场景单元按照对象类别再次分割成若干子单元，子单元按照位置相关进行编号存储，存储内容包含场景单元类型、场景单元位置信息、场景单元所包含的子单元对象、子单元对象的位置信息，在帧渲染的响应逻辑中，根据场景的位置信息确定当前视点所在场景单元与子单元的编号，以及与其相邻的场景单元与子单元的编号。

图4是本发明实施例一提供的富媒体可视化场景实时渲染与交互示意图；参见图4，为实现富媒体可视化场景的实时渲染，以交互式方式服务大量用户，需采用并行机制加快场景渲染速度，解决内存(显存)、渲染吞吐量等瓶颈问题，本发明提出一种基于视点的几何分块分布式渲染的方法降低每帧场景渲染的模型量。

首先将富媒体场景按元素分为图形场景单元、图像场景单元、视频场景单元，每个场景单元按照位置相关进行编号存储，每种类型场景单元按照对象类别再次分割成若干子单元，子单元按照位置相关进行编号存储，存储内容包含场景单元类型、场景单元位置信息、场景单元所包含的子单元对象、子单元对象的位置信息，在帧渲染的响应逻辑中，根据场景的位置信息可确定当前视点所在场景单元与子单元的编号，以及与其相邻的场景单元与子单元的编号。

其次，在分布式渲染过程中，对同一类型场景单元内的子单元创建正前、左、右、正后、上和下6个方位的渲染节点，此6个渲染节点标示ID与场景单元的标示ID相同，为保证各个渲染节点每帧图像的实时性以及一致性，采用基于视点的几何分块渲染方法，简化每帧场景渲染面片数，同时，采用下一帧场景缓存的方法，在固定时间间隔内，完成多个渲染节点缓存场景的显示以及下一帧场景的缓存更新，避免各渲染节点由于各自渲染任务用时不一致而造成的场景显示不同步。

最后，针对现有富媒体可视化场景在交互操作上对视点限制的不足，用户必须沿着预先设置好的交互方式与富媒体场景进行互动，在富媒体场景渲染过程中，根据场景对象存储组织与分布特性，获取用户感兴趣信息与渲染节点的感知数据，当用户发出交互式触发请求，数据组织和存储结构选择相应节点执行交互任务，并将相对应的场景对象切换到用户视域范围内，因富媒体场景对象具有显著的异构特征，对象类型不同、表示方式不同、生产周期不同，在交互过程中，需要对这些功能与结构差异巨大的异质节点采用有效统一的表达形式，在信息交互过程中，不同节点的信息交互能力，包括信息处理、传输和存储能力以及信息交互角色和需求存在极大差异，因此，在信息有效统一表达的基础上，实现异质节点的智能交互。

本发明实施例将不同结构场景对象进行存储并创建场景树，构建多层存储架构，动态分配图形、图像、音频、视频等元素及其属性静态独立存储空间，以并发方式分别进行读取渲染，确保存储管理对各个渲染元素实时响应，对存储内部读写操作采用互斥方式，为每个存储访问元素设定独立控制单元，当富媒体场景对象遇到交互触发条件时，将存储访问权授予存储访问优先级最高的渲染对象；同时，在场景图组节点中提取空间划分结构信息,在组节点及其子节点满足空间划分规则时，直接对子节点操作，减少定义新节点的操作，实现在多个组节点中共享同一种空间划分结构，降低内存开销，便于子节点进行自然存取，简化场景图。

本发明实施例将富媒体场景按元素分为图形场景单元、图像场景单元、视频场景单元，根据场景的位置信息确定当前视点所在场景单元与子单元的编号，以及与其相邻的场景单元与子单元的编号，在分布式渲染过程中，对同一类型场景单元内的子单元创建不同方位渲染节点，提出一种基于视点的几何分块分布式渲染的方法降低每帧场景渲染的模型量，简化每帧场景渲染面片数；同时在富媒体场景渲染过程中，根据场景对象存储组织与分布特性，获取用户感兴趣信息与渲染节点的感知数据，当用户发出交互式触发请求，数据组织和存储结构选择相应节点执行交互任务，并将相对应的场景对象切换到用户视域范围内，实现富媒体场景的交互触发。

本发明实施例利用富媒体属性及关联关系，提出一种跨源、跨模态数据的一致性表达的多源异构数据融合方法，通过将异构模态信息映射到共享子空间，在同一表达框架下直接对几何形状、离散像素、视频编码等构成的特征库内进行学习，建立自适应模型选择与优化模型参数，在原有多源异构数据模型基础上，通过融合策略构建出最大限度包容原有数据模型，将不同数据模型的数据向统一渲染转换,实现多源异构多媒体特征之间的重构与融合。

综上所述，与现有技术相比，本发明实施例将图形、图像、视频、音频等多类元素混合的富媒体场景内的多源异构元素，按照分布式存储方式，进行解析、读取，面向不同的场景对象动态分配静态独立存储空间，并利用富媒体对象属性及关联关系，通过将异构模态信息映射到共享子空间，在同一表达框架下对对象特征进行学习，建立自适应模型选择与优化模型参数，实现多源异构多媒体特征之间的重构与融合；在帧渲染的响应逻辑中，根据场景位置信息确定当前视点所在场景单元与子单元的编号，以及与其相邻的场景单元与子单元的编号，采用基于视点的几何分块渲染方法，简化每帧场景渲染面片数，完成多个渲染节点缓存场景的显示以及下一帧场景的缓存更新，避免各渲染节点由于各自渲染任务用时不一致而造成的场景显示不同步；为每个存储访问元素设定独立控制单元，当富媒体场景对象遇到交互触发条件时，将存储访问权授予存储访问优先级最高的渲染对象，采用统一表达形式与信息交互能力，获取用户交互式触发请求，通过动态切换用户视域内场景对象，实现富媒体场景的智能交互。

参见图5，本发明实施例二提出了一种交互式富媒体可视化渲染***，包括：

存储模块21，用于将包含图形、图像和视频的异构富媒体场景对象进行存储；

融合模块22，用于读取所述异构富媒体场景对象，对所述异构富媒体场景对象进行对象融合，得到多源异构富媒体场景；

渲染模块23，用于对所述多源异构富媒体场景进行可视化渲染。

其中，所述存储模块21具体用于构建多层存储架构，将图形、图像、视频异构富媒体场景对象及其属性在存储前进行编码压缩，动态分配静态独立存储空间，以并发方式分别进行读取，其中，存储内部读写操作采用互斥方式，为每个存储访问对象设定独立控制单元，当富媒体场景对象遇到交互触发条件时，将存储访问权授予存储访问优先级最高的富媒体场景对象。

另外，所述存储模块21还用于采用渐进式流传输方式，将不同类别富媒体场景对象封装在含有时间戳场景信息的传输层单元里面，所述传输层单元包含一个或多个场景交互命令；当富媒体场景更新时，首先根据传输层单元上的时间戳判断此传输层单元是否需要切换，若需要，立即解析切换，若不需要，保存传输层单元待合适交互触点再处理，为所述传输层单元维护一个缓冲区，各个传输层单元按照时间戳顺序排列，新加入的传输层单元***合适的位置，每次取缓冲区中第一个传输层单元进行处理，以减少对单个对象的遍历次数。

其中，所述融合模块22具体用于对所述异构富媒体场景对象进行对象融合，得到多源异构富媒体场景，具体包括：

(1)输入富媒体场景对象U₁[i],U₂[j],U₃[l]与富媒体场景Scene，i＝0,1,2,…,n-1；j＝0,1,2,…,m-1；l＝0,1,2,…,p-1，其中，U₁[i]为图形对象、U₂[j]为图像对象、U₃[l]为视频对象，i,j,l分别为富媒体场景中图形、图像、视频的个数；

(2)分别抽取图形对象、图像对象和视频对象中的几何形状、离散像素、视频编码的特征参数 $T_{u_1}=\{t_{u_1,1},t_{u_1,2},...,t_{u_1,n-1}\},T_{u_2}=\{t_{u_2,1},t_{u_2,2},...,t_{u_2,n-1}\},$ $T_{u_3}=\{t_{u_3,1},t_{u_3,2},...,t_{u_3,n-1}\};$

(3)计算特征参数在富媒体场景所占的权值，以当前视点到富媒体场景对象的欧氏距离为衡量标准，λ_i＝dist|E_i(x,y,z)-U_j[x,y,z]|，E_i(x,y,z)为视点在富媒体场景中世界坐标值，U_j[x,y,z]为不同元素对象在富媒体场景中的世界坐标值，则U₁[i],U₂[j],U₃[l]的权值分别为：

${\mathrm{\α}}_1={\stackrel{\‾}{\mathrm{\λ}}}_i=\frac{\underset{i}{\overset{n}{\mathrm{\Σ}}}\mathrm{dist}|E_i(x,y,z)-U_1[x,y,z\left]\right|}{\underset{j}{\overset{3}{\mathrm{\Σ}}}\underset{i}{\overset{n}{\mathrm{\Σ}}}\mathrm{dist}|E_i(x,y,z)-U_j[x,y,z\left]\right|}$

${\mathrm{\α}}_2={\stackrel{\‾}{\mathrm{\λ}}}_i=\frac{\underset{i}{\overset{n}{\mathrm{\Σ}}}\mathrm{dist}|E_i(x,y,z)-U_2[x,y,z\left]\right|}{\underset{j}{\overset{3}{\mathrm{\Σ}}}\underset{i}{\overset{n}{\mathrm{\Σ}}}\mathrm{dist}|E_i(x,y,z)-U_j[x,y,z\left]\right|}$

${\mathrm{\α}}_3={\stackrel{\‾}{\mathrm{\λ}}}_i=\frac{\underset{i}{\overset{n}{\mathrm{\Σ}}}\mathrm{dist}|E_i(x,y,z)-U_3[x,y,z\left]\right|}{\underset{j}{\overset{3}{\mathrm{\Σ}}}\underset{i}{\overset{n}{\mathrm{\Σ}}}\mathrm{dist}|E_i(x,y,z)-U_j[x,y,z\left]\right|}$

(4)当U₁[i],U₂[j],U₃[l]共同描述同一富媒体场景Scene时，共享子空间Sub_S为Sub_S＝f(U₁[i],U₂[j],U₃[l])；

(5)在共享子空间内，通过构建学习模型库，计算异构模态信息自适应模型与优化模型参数，动态调整优化场景对象权值，得到最优融合策略：Scene＝α₁U₁[i]+α₂U₂[j]+α₃U₃[l]；

(6)将融合后的特征向量进行特征重构；

(7)输出融合后的多源异构的富媒体场景。

其中，所述渲染模块23具体用于基于视点的几何分块分布式进行渲染，将富媒体场景按元素分为图形场景单元、图像场景单元、视频场景单元，每个场景单元按照位置相关进行编号存储，每种类型场景单元按照对象类别再次分割成若干子单元，子单元按照位置相关进行编号存储，存储内容包含场景单元类型、场景单元位置信息、场景单元所包含的子单元对象、子单元对象的位置信息，在帧渲染的响应逻辑中，根据场景的位置信息确定当前视点所在场景单元与子单元的编号，以及与其相邻的场景单元与子单元的编号。

本发明实施例二所述的***可以用于执行实施例一所述方法的过程，其实现原理与取得的有益效果和实施例一类似，在此不再赘述。

以上实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种交互式富媒体可视化渲染方法，其特征在于，包括：

S1.将包含图形、图像和视频的异构富媒体场景对象进行存储；

S2.读取所述异构富媒体场景对象，对所述异构富媒体场景对象进行融合，得到多源异构富媒体场景；

S3.对所述多源异构富媒体场景进行可视化渲染。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1包括：

构建多层存储架构，将图形、图像、视频异构富媒体场景对象及其属性在存储前进行编码压缩，动态分配独立存储空间，以并发方式分别进行读取，其中，存储内部读写操作采用互斥方式，为每个存储访问对象设定独立控制单元，当富媒体场景对象遇到交互触发条件时，将存储访问权授予存储访问优先级最高的富媒体场景对象。

3.根据权利要求2所述的方法，其特征在于，所述步骤S1还包括：

采用渐进式流传输方式，将不同类别富媒体场景对象封装在含有时间戳场景信息的传输层单元里面，所述传输层单元包含一个或多个场景交互命令；当富媒体场景更新时，首先根据传输层单元上的时间戳判断此传输层单元是否需要切换，若需要，立即解析切换，若不需要，保存传输层单元待合适交互触点再处理，为所述传输层单元维护一个缓冲区，各个传输层单元按照时间戳顺序排列，新加入的传输层单元***合适的位置，每次取缓冲区中第一个传输层单元进行处理，以减少对单个对象的遍历次数。

4.根据权利要求1所述的方法，其特征在于，对所述异构富媒体场景对象进行融合，得到多源异构富媒体场景包括：

(1)输入富媒体场景对象U₁[i],U₂[j],U₃[l]与富媒体场景Scene，i＝0,1,2,…,n-1；j＝0,1,2,…,m-1；l＝0,1,2,…,p-1，其中，U₁[i]为图形对象、U₂[j]为图像对象、U₃[l]为视频对象，i,j,l分别为富媒体场景中图形、图像、视频的个数；

(2)分别抽取图形对象、图像对象和视频对象中的几何形状、离散像素、视频编码的特征参数 $T_{u_1}=\{t_{u_1,1},t_{u_1,2},...,t_{u_1,n-1}\},T_{u_2}=\{t_{u_2,1},t_{u_2,2},...,t_{u_2,n-1}\},$ $T_{u_3}=\{t_{u_3,1},t_{u_2,2},...,t_{u_3,n-1}\};$

(3)计算特征参数在富媒体场景所占的权值，以当前视点到富媒体场景对象的欧氏距离为衡量标准，λ_i＝dist|E_i(x,y,z)-U_j[x,y,z]|，E_i(x,y,z)为视点在富媒体场景中世界坐标值，U_j[x,y,z]为不同元素对象在富媒体场景中的世界坐标值，则U₁[i],U₂[j],U₃[l]的权值分别为：

${\mathrm{\α}}_1={\stackrel{\‾}{\mathrm{\λ}}}_i=\frac{\underset{i}{\overset{n}{\mathrm{\Σ}}}\mathrm{dist}|E_i(x,y,z)-U_1[x,y,z\left]\right|}{\underset{j}{\overset{3}{\mathrm{\Σ}}}\underset{i}{\overset{n}{\mathrm{\Σ}}}\mathrm{dist}|E_i(x,y,z)-U_j[x,y,z\left]\right|}$

${\mathrm{\α}}_2={\stackrel{\‾}{\mathrm{\λ}}}_i=\frac{\underset{i}{\overset{n}{\mathrm{\Σ}}}\mathrm{dist}|E_i(x,y,z)-U_2[x,y,z\left]\right|}{\underset{j}{\overset{3}{\mathrm{\Σ}}}\underset{i}{\overset{n}{\mathrm{\Σ}}}\mathrm{dist}|E_i(x,y,z)-U_j[x,y,z\left]\right|}$

${\mathrm{\α}}_3={\stackrel{\‾}{\mathrm{\λ}}}_i=\frac{\underset{i}{\overset{n}{\mathrm{\Σ}}}\mathrm{dist}|E_i(x,y,z)-U_3[x,y,z\left]\right|}{\underset{j}{\overset{3}{\mathrm{\Σ}}}\underset{i}{\overset{n}{\mathrm{\Σ}}}\mathrm{dist}|E_i(x,y,z)-U_j[x,y,z\left]\right|}$

(4)当U₁[i],U₂[j],U₃[l]共同描述同一富媒体场景Scene时，共享子空间Sub_S为Sub_S＝f(U₁[i],U₂[j],U₃[l])；

(5)在共享子空间内，通过构建学习模型库，计算异构模态信息自适应模型与优化模型参数，动态调整优化场景对象权值，得到最优融合策略：Scene＝α₁U₁[i]+α₂U₂[j]+α₃U₃[l]；

(6)将融合后的特征向量进行特征重构；

(7)输出融合后的多源异构的富媒体场景。

5.根据权利要求1所述的方法，其特征在于，对所述多源异构富媒体场景进行可视化渲染包括：基于视点的几何分块分布式进行渲染，将富媒体场景按元素分为图形场景单元、图像场景单元、视频场景单元，每个场景单元按照位置相关进行编号存储，每种类型场景单元按照对象类别再次分割成若干子单元，子单元按照位置相关进行编号存储，存储内容包含场景单元类型、场景单元位置信息、场景单元所包含的子单元对象、子单元对象的位置信息，在帧渲染的响应逻辑中，根据场景的位置信息确定当前视点所在场景单元与子单元的编号，以及与其相邻的场景单元与子单元的编号。

6.一种交互式富媒体可视化渲染***，其特征在于，包括：

存储模块，用于将包含图形、图像和视频的异构富媒体场景对象进行存储；

融合模块，用于读取所述异构富媒体场景对象，对所述异构富媒体场景对象进行融合，得到多源异构富媒体场景；

渲染模块，用于对所述多源异构富媒体场景进行交互式可视化渲染。

7.根据权利要求6所述的***，其特征在于，所述存储模块具体用于构建多层存储架构，将图形、图像、视频异构富媒体场景对象及其属性在存储前进行编码压缩，动态分配独立存储空间，以并发方式分别进行读取，其中，存储内部读写操作采用互斥方式，为每个存储访问对象设定独立控制单元，当富媒体场景对象遇到交互触发条件时，将存储访问权授予存储访问优先级最高的富媒体场景对象。

8.根据权利要求7所述的***，其特征在于，所述存储模块还用于采用渐进式流传输方式，将不同类别富媒体场景对象封装在含有时间戳场景信息的传输层单元里面，所述传输层单元包含一个或多个场景交互命令；当富媒体场景更新时，首先根据传输层单元上的时间戳判断此传输层单元是否需要切换，若需要，立即解析切换，若不需要，保存传输层单元待合适交互触点再处理，为所述传输层单元维护一个缓冲区，各个传输层单元按照时间戳顺序排列，新加入的传输层单元***合适的位置，每次取缓冲区中第一个传输层单元进行处理，以减少对单个对象的遍历次数。

9.根据权利要求6所述的***，其特征在于，所述融合模块具体用于对所述异构富媒体场景对象进行对象融合，得到多源异构富媒体场景，具体包括：

(1)输入富媒体场景对象U₁[i],U₂[j],U₃[l]与富媒体场景Scene，i＝0,1,2,…,n-1；j＝0,1,2,…,m-1；l＝0,1,2,…,p-1，其中，U₁[i]为图形对象、U₂[j]为图像对象、U₃[l]为视频对象，i,j,l分别为富媒体场景中图形、图像、视频的个数；

(2)分别抽取图形对象、图像对象和视频对象中的几何形状、离散像素、视频编码的特征参数 $T_{u_1}=\{t_{u_1,1},t_{u_1,2},...,t_{u_1,n-1}\},T_{u_2}=\{t_{u_2,1},t_{u_2,2},...,t_{u_2,n-1}\},$ $T_{u_3}=\{t_{u_3,1},t_{u_2,2},...,t_{u_3,n-1}\};$

(3)计算特征参数在富媒体场景所占的权值，以当前视点到富媒体场景对象的欧氏距离为衡量标准，λ_i＝dist|E_i(x,y,z)-U_j[x,y,z]|，E_i(x,y,z)为视点在富媒体场景中世界坐标值，U_j[x,y,z]为不同元素对象在富媒体场景中的世界坐标值，则U₁[i],U₂[j],U₃[l]的权值分别为：

${\mathrm{\α}}_1={\stackrel{\‾}{\mathrm{\λ}}}_i=\frac{\underset{i}{\overset{n}{\mathrm{\Σ}}}\mathrm{dist}|E_i(x,y,z)-U_1[x,y,z\left]\right|}{\underset{j}{\overset{3}{\mathrm{\Σ}}}\underset{i}{\overset{n}{\mathrm{\Σ}}}\mathrm{dist}|E_i(x,y,z)-U_j[x,y,z\left]\right|}$

${\mathrm{\α}}_2={\stackrel{\‾}{\mathrm{\λ}}}_i=\frac{\underset{i}{\overset{n}{\mathrm{\Σ}}}\mathrm{dist}|E_i(x,y,z)-U_2[x,y,z\left]\right|}{\underset{j}{\overset{3}{\mathrm{\Σ}}}\underset{i}{\overset{n}{\mathrm{\Σ}}}\mathrm{dist}|E_i(x,y,z)-U_j[x,y,z\left]\right|}$

${\mathrm{\α}}_3={\stackrel{\‾}{\mathrm{\λ}}}_i=\frac{\underset{i}{\overset{n}{\mathrm{\Σ}}}\mathrm{dist}|E_i(x,y,z)-U_3[x,y,z\left]\right|}{\underset{j}{\overset{3}{\mathrm{\Σ}}}\underset{i}{\overset{n}{\mathrm{\Σ}}}\mathrm{dist}|E_i(x,y,z)-U_j[x,y,z\left]\right|}$

(4)当U₁[i],U₂[j],U₃[l]共同描述同一富媒体场景Scene时，共享子空间Sub_S为Sub_S＝f(U₁[i],U₂[j],U₃[l])；

(5)在共享子空间内，通过构建学习模型库，计算异构模态信息自适应模型与优化模型参数，动态调整优化场景对象权值，得到最优融合策略：Scene＝α₁U₁[i]+α₂U₂[j]+α₃U₃[l]；

(6)将融合后的特征向量进行特征重构；

(7)输出融合后的多源异构的富媒体场景。

10.根据权利要求6所述的***，其特征在于，所述渲染模块具体用于基于视点的几何分块分布式进行渲染，将富媒体场景按元素分为图形场景单元、图像场景单元、视频场景单元，每个场景单元按照位置相关进行编号存储，每种类型场景单元按照对象类别再次分割成若干子单元，子单元按照位置相关进行编号存储，存储内容包含场景单元类型、场景单元位置信息、场景单元所包含的子单元对象、子单元对象的位置信息，在帧渲染的响应逻辑中，根据场景的位置信息确定当前视点所在场景单元与子单元的编号，以及与其相邻的场景单元与子单元的编号。