CN115712351B - 一种面向多人远程混合现实共享场景的分级渲染与交互方法和*** - Google Patents

Abstract

本发明公开了一种面向多人远程混合现实共享场景的分级渲染与交互方法，该发明在云服务中对所有参与者的视角进行聚类，合成若干个主渲染视角，通过背景图、前景图和可交互物体遮罩图，在边侧服务中针对具体视角进行快速的图像加工和合成，输出图像给端侧设备进行显示和交互，并在边侧服务中通过多视角图像的插值实现了对端侧视角变化的快速响应。该发明通过云边端分级渲染的方式，提升了端侧的实时交互能力，同时又降低了云服务渲染压力，有效支撑了多人远程混合现实交互的能力。

Description

一种面向多人远程混合现实共享场景的分级渲染与交互方法 和***

技术领域

本发明属于计算机应用技术领域，尤其涉及一种面向多人远程混合现实共享场景的分级渲染与交互方法和***。

背景技术

混合现实技术是计算机应用的重要方向，在教育、医疗、办公、军事、文旅等等诸多领域都有大量应用。多人远程交互是混合现实重要的发展方向，但现有的技术方案难以支撑多人的远程交互。采用本地渲染的方式对端侧的显示交互设备和计算资源要求较高，硬件成本较大，且不利于推广。采用云渲染的方式对网络带宽要求较大，且当共享场景交互人数较多时，云端多视角渲染压力极大，实时性难以保证。因此，需要提出新的技术架构提升整体***能力。

发明内容

本发明的目的在于针对现有技术的不足，提供一种面向多人远程混合现实共享场景的分级渲染与交互方法和***。本发明通过云边端的分级渲染和交互模式，提升相同算力资源下的用户数量和实时性水平，解决混合现实共享场景下的多用户远程呈现与交互问题。

本发明的目的是通过以下技术方案来实现的：一种面向多人远程混合现实共享场景的分级渲染与交互方法，包括如下步骤：

步骤1：在云服务中搜集多人远程混合现实共享场景中所有参与者的观察视角信息。所述观察视角信息包括每个参与者在共享场景坐标系下的视点位置、视线方向与视角范围；

步骤2：基于参与者视点位置和视角方向的近似度，对所有参与者进行聚类，得到n个参与者集合Ei，i＝1,2,…,n；

步骤3：计算得到每个参与者集合Ei的主视点位置Pi、主视线方向Di和主视角范围Vi，并基于Pi，Di，Vi生成主渲染视角Ri，使得Ri可以覆盖Ei中所有参与者的观察视角；

步骤4：在云服务中，为每个参与者集合Ei分配一个云渲染资源，用于主渲染视角Ri的渲染和交互计算；针对每个主渲染视角Ri，同时渲染背景图Bi、前景图Fi和可交互物体遮罩图Mi。

步骤5：云服务将所述主渲染视角Ri、背景图Bi、前景图Fi和可交互物体遮罩图Mi发送至边侧服务。边侧服务计算Ei中任意参与者j的实际观察视角Rij与主渲染视角Ri之间的相对位姿关系，对Bi、Fi和Mi进行透视变换和裁剪，得到参与者j独有的背景图Bij、前景图Fij和可交互物体遮罩Mij；边侧服务融合背景图Bij和前景图Fij，得到近似于参与者j实际观察视角的显示图像Wij，并将Wij发送给参与者j的端侧设备。

步骤6：参与者j的端侧设备接收到显示图像Wij后实时呈现，记录参与者在Wij图像坐标系下的交互操作，并将交互信息反馈给边侧服务，同时将自身的实时观察视角信息也发送给边侧服务。

步骤7：边侧服务收到基于显示图像Wij的交互位置后，与所述对应的可交互物体遮罩Mij进行对比分析，判断是否属于可交互区域；若属于，则边侧服务将交互信息发送给云服务，由云服务统一处理并执行响应；若不属于，则不进行任何操作。同时，边侧服务将收到的观察视角信息实时上传给云服务，并在云服务下发新的Bi、Fi和Mi之前，根据观察视角的变化，在预先准备的多个不同视角的前景图中选择视角最相近的多张图像进行插值处理，快速生成近似效果的新前景图，并同步地对背景图进行透视变换和裁剪，最后将前后景融合为临时补帧图像，实时下发给端侧设备。

步骤8：云服务根据各边侧收集到的交互信息，判断分析交互逻辑，执行相应交互操作，更新共享场景的状态。

步骤9：循环重复步骤1-8，直至任务中止或结束。

进一步地，所述步骤1中的参与者，包括可自主交互的真实人类，也包括由数据或程序驱动的虚拟数字人。

进一步地，所述步骤2中每个参与者集合Ei中所有参与者两两之间均满足：

a)视点位置的三维几何距离小于距离阈值d；

b)视线方向的角度偏差小于角度阈值theta。

进一步地，所述步骤4中的可交互物体遮罩图Mi，指该视角中可交互物体在渲染平面上的投影图，可交互处取值为1，不可交互处取值为0。其中可交互物体的类型包括二维和三维的虚拟物体及用户界面。

进一步地，所述步骤5和步骤7中的边侧服务融合背景图和前景图，具体融合方法根据端侧设备而定，如果端侧设备执行虚拟现实应用，则前景图叠加在背景图上，输出融合图像；如果端侧设备执行增强现实应用，则根据应用需求和现实环境状态，计算真实物体对前后景的遮挡情况，融合现实图像、带透明通道的前景图及部分被现实物体遮挡后的背景图，输出融合图像。

进一步地，所述步骤7中的预先准备的多个不同视角的前景图，是指在共享场景建立之后，实时交互开始之前，在云服务中对前景物体进行相同距离和间隔的立体环绕拍摄，得到的各个视角的前景物体画面，即为所述的预先准备的多个不同视角的前景图，并发送给各个边侧服务。

本发明还包括一种面向多人远程混合现实共享场景的分级渲染与交互***，包括：

参与者观察视角信息搜集模块，用于在云服务中搜集多人远程混合现实共享场景中所有参与者的观察视角信息；

参与者聚类模块，用于基于参与者视点位置和视角方向的近似度，对所有参与者进行聚类，得到n个参与者集合Ei，i＝1,2,…,n，

主渲染视角生成模块，用于计算得到每个参与者集合Ei的主视点位置Pi、主视线方向Di和主视角范围Vi，并基于Pi，Di，Vi生成主渲染视角Ri，使得Ri可以覆盖Ei中所有参与者的观察视角；

云渲染资源分配模块，用于在云服务中，为每个参与者集合Ei分配一个云渲染资源，用于主渲染视角Ri的渲染和交互计算；针对每个主渲染视角Ri，同时渲染背景图Bi、前景图Fi和可交互物体遮罩图Mi；

边侧服务模块，用于云服务将所述主渲染视角Ri、背景图Bi、前景图Fi和可交互物体遮罩图Mi发送至边侧服务；边侧服务计算Ei中任意参与者j的实际观察视角Rij与主渲染视角Ri之间的相对位姿关系，对Bi、Fi和Mi进行透视变换和裁剪，得到参与者j独有的背景图Bij、前景图Fij和可交互物体遮罩Mij；边侧服务融合背景图Bij和前景图Fij，得到近似于参与者j实际观察视角的显示图像Wij，并将Wij发送给参与者j的端侧设备；

端侧设备模块，用于参与者j的端侧设备接收到显示图像Wij后实时呈现，记录参与者在Wij图像坐标系下的交互操作，并将交互信息反馈给边侧服务，同时将自身的实时观察视角信息也发送给边侧服务；

临时补帧图像融合模块，用于边侧服务收到基于显示图像Wij的交互位置后，与所述对应的可交互物体遮罩Mij进行对比分析，判断是否属于可交互区域；若属于，则边侧服务将交互信息发送给云服务，由云服务统一处理并执行响应；若不属于，则不进行任何操作；同时，边侧服务将收到的观察视角信息实时上传给云服务，并在云服务下发新的Bi、Fi和Mi之前，根据观察视角的变化，在预先准备的多个不同视角的前景图中选择视角最相近的多张图像进行插值处理，快速生成近似效果的新前景图，并同步地对背景图进行透视变换和裁剪，最后将前后景融合为临时补帧图像，实时下发给端侧设备；

云服务交互操作模块，用于云服务根据各边侧收集到的交互信息，判断分析交互逻辑，执行相应交互操作，更新共享场景的状态；

循环操作模块，用于循环重复执行前述各模块的操作，直至任务中止或结束。

本发明还包括一种面向多人远程混合现实共享场景的分级渲染与交互装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现本发明的一种面向多人远程混合现实共享场景的分级渲染与交互方法

本发明还包括一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现本发明的一种面向多人远程混合现实共享场景的分级渲染与交互方法。

本发明的有益效果是：本发明通过对参与者的视角聚类，大大减少了云服务中相似视角的重复渲染，在相同的云计算资源下可有效提升共享场景中的在线用户数量；通过边侧服务对背景图、前景图的快速处理和融合，可在等待云渲染数据下发的间歇自适应调整观察画面，提升了云渲染架构下端侧的实时观感，并可以支撑虚拟现实和增强现实等不同类型的混合现实应用；通过可交互遮罩的分离和处理，在边侧服务就滤除无效的交互信息，提升云服务处理交互的效率。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为一种面向多人远程混合现实共享场景的分级渲染与交互方法的流程图；

图2为主渲染视角合成效果的示例图；

图3a-图3d为主渲染视角同时绘制背景图、前景图和可交互物体遮罩图的效果示例图，图3a是主渲染视角原始视景，图3b是背景图，图3c前景图，图3d是可交互物体遮罩图；

图4a-图4b是背景图透视变换和裁剪的示例图，图4a是原始主渲染视角背景图及用户观测区域，图4b透视变换后的背景图与裁剪区域；

图5为预先立体环绕生成前景物图像的示例图；

图6是本发明的***结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

参考图1，本发明提供一种面向多人远程混合现实共享场景的分级渲染与交互方法，该方法包括如下步骤：

步骤1：在云服务中搜集多人远程混合现实共享场景中所有参与者的观察视角信息。所述观察视角信息包括每个参与者在共享场景坐标系下的视点位置、视线方向与视角范围；

具体地，在云服务中加载共享虚拟场景，获取远程接入的所有参与者的观察视角信息，包括视点位置坐标(x,y,z)、视线方向(alpha,beta,Gamma)与视角范围(fov_width,fov_height)，

步骤2：基于参与者视点位置和视角方向的近似度，对所有参与者进行聚类，得到n个参与者集合Ei，i＝1,2,…,n，且每个集合Ei中所有参与者两两之间均满足：

a)视点位置的三维几何距离小于距离阈值d；

b)视线方向的角度偏差小于角度阈值theta；

具体地，将视点位置的距离阈值设为0.5米，视线方向的角度阈值设为20°，采用凝聚型层次聚类方法对参与者进行聚类，不预设簇的数量，最终得到n个簇，即n个参与者集合。这种设计的优点在于每个集合中的参与者视角都较为相近，可以通过一个统一的视角来模拟替代，从而避免相似画面的重复渲染，大大减少云服务的渲染资源占用，进而提升可支持的在线参与者数量。

步骤3：计算得到每个参与者集合Ei的主视点位置Pi、主视线方向Di和主视角范围Vi，并基于Pi，Di，Vi生成主渲染视角Ri，使得Ri可以覆盖Ei中所有参与者的观察视角；

具体地，以参考图2为例，通过置于前景物体之后一定距离的成像参考面，模拟估计集合内各参与者视角的实际成像区域，计算可覆盖所有成像区域的包围盒。以视角覆盖包围盒为第一约束条件，视点位置位于集合所在的簇范围之内为第二约束条件，通过最优化方法估计出主渲染视角的视点位置、视线方向和视角范围，形成主渲染视角的具体参数。

步骤4：在云服务中，为每个参与者集合Ei分配一个云渲染资源，用于主渲染视角Ri的渲染和交互计算；针对每个主渲染视角Ri，同时渲染背景图Bi、前景图Fi和可交互物体遮罩图Mi。

具体地，在云服务中，为每个主渲染视角申请一个容器化渲染资源，通过并行计算同时绘制背景图、前景图和可交互物体遮罩图，如参考图3所示。其中可交互物体遮罩图指该视角中可交互物体在渲染平面上的投影图，可交互处取值为1，不可交互处取值为0。图3中可见，可交互物体包括三维的前景物体和二维的UI界面中可交互的区域，但并不包含所有前景物体，因为本实施例中并非所有前景物体都支持交互。

步骤5：云服务将所述主渲染视角Ri、背景图Bi、前景图Fi和可交互物体遮罩图Mi发送至边侧服务。边侧服务计算Ei中任意参与者j的实际观察视角Rij与主渲染视角Ri之间的相对位姿关系，对Bi、Fi和Mi进行透视变换和裁剪，得到参与者j独有的背景图Bij、前景图Fij和可交互物体遮罩Mij；边侧服务融合背景图Bij和前景图Fij，得到近似于参与者j实际观察视角的显示图像Wij，并将Wij发送给参与者j的端侧设备。

具体地，云服务发送主渲染视角、背景图、前景图和可交互物体遮罩图至边侧服务。针对每一个参与者，边侧服务首先获取参与者的实际观察视角信息，然后计算主渲染视角至实际观测视角间的三维变换矩阵，采用OpenCV库的warpPerspective函数调用三维变换矩阵，对背景图、前景图、可交互物体遮罩图进行透视变换，快速裁剪生成近似于原有观察视角的新图像，背景图变换效果如参考图4所示；并将前景图和背景图叠加，生成用户可直接观察和交互的显示图像，发送给虚拟现实端侧设备。

这种设计的优点在于，可以通过快速的图像处理实现与参与者实际观察图像相近的视景模拟，是视角聚类合成主渲染视角的配套步骤，避免了每个参与者对背景的独立渲染，大大降低了渲染压力，又保留了参与者自身视角的独立性，不会导致严重失真。

步骤6：参与者j的端侧设备接收到显示图像Wij后实时呈现，记录参与者在Wij图像坐标系下的交互操作，并将交互信息反馈给边侧服务，同时将自身的实时观察视角信息也发送给边侧服务。

具体地，端侧设备接收到显示图像并呈现，通过交互设备采集参与者的交互意图和观察视角变换，反馈给边侧服务。其中交互直接在显示图像中执行，故可在显示图像坐标系下进行，或通过计算转换至图像左边，以交互坐标位置和交互指令类型来表征。这种设计的优点在于提升了交互的便捷性，统一规整到图像空间即可和步骤5生成的可交互物体遮罩图进行对比，从而快速判断交互是否有效，及快速分辨明确交互的对象物体。

步骤7：边侧服务收到基于显示图像Wij的交互位置后，与所述对应的可交互物体遮罩Mij进行对比分析，判断是否属于可交互区域；若属于，则边侧服务将交互信息发送给云服务，由云服务统一处理并执行响应；若不属于，则不进行任何操作。同时，边侧服务将收到的观察视角信息实时上传给云服务，并在云服务下发新的Bi、Fi和Mi之前，根据观察视角的变化，在预先准备的多个不同视角的前景图中选择视角最相近的多张图像进行插值处理，快速生成近似效果的新前景图，并同步地对背景图进行透视变换和裁剪，最后将前后景融合为临时补帧图像，实时下发给端侧设备。

具体地，边侧服务收到交互位置后，和可交互物体遮罩图进行“与”操作，快速判断得到有效交互的具***置，再发送至云服务。这种设计的优点在于可以减少云服务的交互判断，进一步减少云服务的压力，提升整体效率。

同时，边侧服务转发参与者的实际观察视角给云服务，并在云服务更新渲染之前的间歇内，根据视角变化，估计现有视角与前景物体的相对视角坐标，在预先准备的多个不同视角的前景图中选择视角最相近的两张图像，采用结合自适应缩放的运动补偿插值算法，快速生成近似实际观察视角变化下的新前景图，并同步地对背景图进行类似于步骤5中的透视变换和裁剪，最后将前后景融合为临时补帧图像，实时下发给端侧设备。

这种设计的优点在于可以在云端渲染的间歇自适应地合成过渡图像，提升端侧的显示帧率和响应速度，减轻卡顿现象，使参与者体验更流畅。

步骤8：云服务根据各边侧收集到的交互信息，判断分析交互逻辑，执行相应交互操作，更新共享场景的状态。

具体地，云服务收到多参与者同时上传的交互信息后，首先判断参与者的交互权限和优先级，按优先级逐条处理。如同一物体同时被多人交互，则仅选择优先级最高的参与者执行相关交互，避免出现交互冲突。执行交互后，云服务中对场景进行更新，重新渲染各主渲染视角的图像。

步骤9：循环重复步骤1-8，直至任务中止或结束。

具体地，云边端按步骤1-8执行每帧的循环计算，直至任务中止或结束。

需要说明的是，所述步骤7中的预先准备的多个不同视角的前景图，是指在共享场景建立之后，实时交互开始之前，在云服务中对前景物体进行相同距离和间隔的立体环绕拍摄，如参考图5所示，得到的各个视角的前景物体画面，即为所述的预先准备的多个不同视角的前景图，并发送给各个边侧服务。

本发明通过云边端的分级渲染和交互机制，使多人远程共享场景可以进行高效的显示和操作，大大降低了端侧用户的混合现实设备要求和计算资源要求，同时在不需要扩充云服务GPU资源的条件下，仅增设小成本的边侧服务资源，即可提升多人远程混合现实交互的用户数量、交互体验，为远程教育、远程协作等应用提供了更好的支撑。

如图6，本发明还包括一种面向多人远程混合现实共享场景的分级渲染与交互***，包括：

参与者观察视角信息搜集模块，用于在云服务中搜集多人远程混合现实共享场景中所有参与者的观察视角信息；

参与者聚类模块，用于基于参与者视点位置和视角方向的近似度，对所有参与者进行聚类，得到n个参与者集合Ei，i＝1,2,…,n，

主渲染视角生成模块，用于计算得到每个参与者集合Ei的主视点位置Pi、主视线方向Di和主视角范围Vi，并基于Pi，Di，Vi生成主渲染视角Ri，使得Ri可以覆盖Ei中所有参与者的观察视角；

云渲染资源分配模块，用于在云服务中，为每个参与者集合Ei分配一个云渲染资源，用于主渲染视角Ri的渲染和交互计算；针对每个主渲染视角Ri，同时渲染背景图Bi、前景图Fi和可交互物体遮罩图Mi；

边侧服务模块，用于云服务将所述主渲染视角Ri、背景图Bi、前景图Fi和可交互物体遮罩图Mi发送至边侧服务；边侧服务计算Ei中任意参与者j的实际观察视角Rij与主渲染视角Ri之间的相对位姿关系，对Bi、Fi和Mi进行透视变换和裁剪，得到参与者j独有的背景图Bij、前景图Fij和可交互物体遮罩Mij；边侧服务融合背景图Bij和前景图Fij，得到近似于参与者j实际观察视角的显示图像Wij，并将Wij发送给参与者j的端侧设备；

端侧设备模块，用于参与者j的端侧设备接收到显示图像Wij后实时呈现，记录参与者在Wij图像坐标系下的交互操作，并将交互信息反馈给边侧服务，同时将自身的实时观察视角信息也发送给边侧服务；

临时补帧图像融合模块，用于边侧服务收到基于显示图像Wij的交互位置后，与所述对应的可交互物体遮罩Mij进行对比分析，判断是否属于可交互区域；若属于，则边侧服务将交互信息发送给云服务，由云服务统一处理并执行响应；若不属于，则不进行任何操作；同时，边侧服务将收到的观察视角信息实时上传给云服务，并在云服务下发新的Bi、Fi和Mi之前，根据观察视角的变化，在预先准备的多个不同视角的前景图中选择视角最相近的多张图像进行插值处理，快速生成近似效果的新前景图，并同步地对背景图进行透视变换和裁剪，最后将前后景融合为临时补帧图像，实时下发给端侧设备；

云服务交互操作模块，用于云服务根据各边侧收集到的交互信息，判断分析交互逻辑，执行相应交互操作，更新共享场景的状态；

循环操作模块，用于循环重复执行前述各模块的操作，直至任务中止或结束。

本发明还包括一种面向多人远程混合现实共享场景的分级渲染与交互装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现本发明的一种面向多人远程混合现实共享场景的分级渲染与交互方法

本发明还包括一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现图1所示的本发明的一种面向多人远程混合现实共享场景的分级渲染与交互方法。

本发明还提供了图6所示的一种对应于图1的一种面向多人远程混合现实共享场景的分级渲染与交互装置的示意结构图。如图6所述，在硬件层面，该XXX装置包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所述的方法。当然，除了软件实现方式之外，本发明并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(ProgrammableLogic Device,PLD)(例如现场可编程门阵列(Field Programmable Gate Array，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字***“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logiccompiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware DescriptionLanguage，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced BooleanExpression Language)、AHDL(Altera Hardware Description Language)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java HardwareDescription Language)、Lava、Lola、MyHDL、PALASM、RHDL(Ruby Hardware DescriptionLanguage)等，目前最普遍使用的是VHDL(Very-High-Speed Integrated CircuitHardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的***、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本发明的实施例可提供为方法、***或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本发明中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (10)

1.一种面向多人远程混合现实共享场景的分级渲染与交互方法，其特征在于，包括如下步骤：

步骤1：在云服务中搜集多人远程混合现实共享场景中所有参与者的观察视角信息；所述观察视角信息包括每个参与者在共享场景坐标系下的视点位置、视线方向与视角范围；

步骤2：基于参与者视点位置和视角方向的近似度，对所有参与者进行聚类，得到n个参与者集合Ei，i＝1,2,…,n；

步骤3：计算得到每个参与者集合Ei的主视点位置Pi、主视线方向Di和主视角范围Vi，并基于Pi，Di，Vi生成主渲染视角Ri，使得Ri可以覆盖Ei中所有参与者的观察视角；

步骤4：在云服务中，为每个参与者集合Ei分配一个云渲染资源，用于主渲染视角Ri的渲染和交互计算；针对每个主渲染视角Ri，同时渲染背景图Bi、前景图Fi和可交互物体遮罩图Mi；

步骤5：云服务将所述主渲染视角Ri、背景图Bi、前景图Fi和可交互物体遮罩图Mi发送至边侧服务；边侧服务计算Ei中任意参与者j的实际观察视角Rij与主渲染视角Ri之间的相对位姿关系，对Bi、Fi和Mi进行透视变换和裁剪，得到参与者j独有的背景图Bij、前景图Fij和可交互物体遮罩Mij；边侧服务融合背景图Bij和前景图Fij，得到近似于参与者j实际观察视角的显示图像Wij，并将Wij发送给参与者j的端侧设备；

步骤6：参与者j的端侧设备接收到显示图像Wij后实时呈现，记录参与者在Wij图像坐标系下的交互操作，并将交互信息反馈给边侧服务，同时将自身的实时观察视角信息也发送给边侧服务；

步骤7：边侧服务收到基于显示图像Wij的交互位置后，与对应的可交互物体遮罩Mij进行对比分析，判断是否属于可交互区域；若属于，则边侧服务将交互信息发送给云服务，由云服务统一处理并执行响应；若不属于，则不进行任何操作；同时，边侧服务将收到的观察视角信息实时上传给云服务，并在云服务下发新的Bi、Fi和Mi之前，根据观察视角的变化，在预先准备的多个不同视角的前景图中选择视角最相近的多张图像进行插值处理，快速生成近似效果的新前景图，并同步地对背景图进行透视变换和裁剪，最后将前后景融合为临时补帧图像，实时下发给端侧设备；

步骤8：云服务根据各边侧收集到的交互信息，判断分析交互逻辑，执行相应交互操作，更新共享场景的状态；

步骤9：循环重复步骤1-8，直至任务中止或结束。

2.根据权利要求1所述的一种面向多人远程混合现实共享场景的分级渲染与交互方法，其特征在于，所述步骤1中的参与者，包括可自主交互的真实人类，也包括由数据或程序驱动的虚拟数字人。

3.根据权利要求1所述的一种面向多人远程混合现实共享场景的分级渲染与交互方法，其特征在于，所述步骤2中每个参与者集合Ei中所有参与者两两之间均满足：

a)视点位置的三维几何距离小于距离阈值d；

b)视线方向的角度偏差小于角度阈值theta。

4.根据权利要求1所述的一种面向多人远程混合现实共享场景的分级渲染与交互方法，其特征在于，所述步骤4中的可交互物体遮罩图Mi，指该视角中可交互物体在渲染平面上的投影图，可交互处取值为1，不可交互处取值为0；其中可交互物体的类型包括二维和三维的虚拟物体及用户界面。

5.根据权利要求1所述的一种面向多人远程混合现实共享场景的分级渲染与交互方法，其特征在于，所述步骤5中的边侧服务融合背景图和前景图，具体融合方法根据端侧设备而定，如果端侧设备执行虚拟现实应用，则前景图叠加在背景图上，输出融合图像；如果端侧设备执行增强现实应用，则根据应用需求和现实环境状态，计算真实物体对前后景的遮挡情况，融合现实图像、带透明通道的前景图及部分被现实物体遮挡后的背景图，输出融合图像。

6.根据权利要求1所述的一种面向多人远程混合现实共享场景的分级渲染与交互方法，其特征在于，所述步骤7中的边侧服务融合背景图和前景图，具体融合方法根据端侧设备而定，如果端侧设备执行虚拟现实应用，则前景图叠加在背景图上，输出融合图像；如果端侧设备执行增强现实应用，则根据应用需求和现实环境状态，计算真实物体对前后景的遮挡情况，融合现实图像、带透明通道的前景图及部分被现实物体遮挡后的背景图，输出融合图像。

7.根据权利要求1所述的一种面向多人远程混合现实共享场景的分级渲染与交互方法，其特征还在于，所述步骤7中的预先准备的多个不同视角的前景图，是指在共享场景建立之后，实时交互开始之前，在云服务中对前景物体进行相同距离和间隔的立体环绕拍摄，得到的各个视角的前景物体画面，即为所述的预先准备的多个不同视角的前景图，并发送给各个边侧服务。

8.一种面向多人远程混合现实共享场景的分级渲染与交互***，其特征在于，包括：

参与者观察视角信息搜集模块，用于在云服务中搜集多人远程混合现实共享场景中所有参与者的观察视角信息；

参与者聚类模块，用于基于参与者视点位置和视角方向的近似度，对所有参与者进行聚类，得到n个参与者集合Ei，i＝1,2,…,n，

主渲染视角生成模块，用于计算得到每个参与者集合Ei的主视点位置Pi、主视线方向Di和主视角范围Vi，并基于Pi，Di，Vi生成主渲染视角Ri，使得Ri可以覆盖Ei中所有参与者的观察视角；

云渲染资源分配模块，用于在云服务中，为每个参与者集合Ei分配一个云渲染资源，用于主渲染视角Ri的渲染和交互计算；针对每个主渲染视角Ri，同时渲染背景图Bi、前景图Fi和可交互物体遮罩图Mi；

边侧服务模块，用于云服务将所述主渲染视角Ri、背景图Bi、前景图Fi和可交互物体遮罩图Mi发送至边侧服务；边侧服务计算Ei中任意参与者j的实际观察视角Rij与主渲染视角Ri之间的相对位姿关系，对Bi、Fi和Mi进行透视变换和裁剪，得到参与者j独有的背景图Bij、前景图Fij和可交互物体遮罩Mij；边侧服务融合背景图Bij和前景图Fij，得到近似于参与者j实际观察视角的显示图像Wij，并将Wij发送给参与者j的端侧设备；

端侧设备模块，用于参与者j的端侧设备接收到显示图像Wij后实时呈现，记录参与者在Wij图像坐标系下的交互操作，并将交互信息反馈给边侧服务，同时将自身的实时观察视角信息也发送给边侧服务；

临时补帧图像融合模块，用于边侧服务收到基于显示图像Wij的交互位置后，与对应的可交互物体遮罩Mij进行对比分析，判断是否属于可交互区域；若属于，则边侧服务将交互信息发送给云服务，由云服务统一处理并执行响应；若不属于，则不进行任何操作；同时，边侧服务将收到的观察视角信息实时上传给云服务，并在云服务下发新的Bi、Fi和Mi之前，根据观察视角的变化，在预先准备的多个不同视角的前景图中选择视角最相近的多张图像进行插值处理，快速生成近似效果的新前景图，并同步地对背景图进行透视变换和裁剪，最后将前后景融合为临时补帧图像，实时下发给端侧设备；

云服务交互操作模块，用于云服务根据各边侧收集到的交互信息，判断分析交互逻辑，执行相应交互操作，更新共享场景的状态；

循环操作模块，用于循环重复执行前述各模块的操作，直至任务中止或结束。

9.一种面向多人远程混合现实共享场景的分级渲染与交互装置，其特征在于，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现权利要求1-7中任一项所述的一种面向多人远程混合现实共享场景的分级渲染与交互方法。

10.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现权利要求1-7中任一项所述的一种面向多人远程混合现实共享场景的分级渲染与交互方法。