CN116860112B

CN116860112B - 一种基于xr技术的组合场景体验生成方法、***及介质

Info

Publication number: CN116860112B
Application number: CN202311028622.0A
Authority: CN
Inventors: 蔡铁峰
Original assignee: Shenzhen Vocational And Technical University
Current assignee: Shenzhen Vocational And Technical University
Priority date: 2023-08-16
Filing date: 2023-08-16
Publication date: 2024-01-23
Anticipated expiration: 2043-08-16
Also published as: CN116860112A

Abstract

本发明公开了一种基于XR技术的组合场景体验生成方法、***及介质，其体验生成方法包括：步骤S10：生成所述组合场景的各子场景的双目立体视觉体验画面；步骤S20：各子场景双目立体视觉体验画面进行遮挡计算合成为组合场景体验画面，显示给用户看。本发明使组合场景不满足其所有的子场景之间存在分隔面的情况下，尤其是组合场景由虚拟场景与真实场景组成情况下，在具备遮挡一致性时，所有虚拟子场景在分别生成用户体验画面时，不需要生成以及传输对应的体验画面的深度图像，也能正确地为用户生成组合场景体验，从而显著节省了传输深度图像的带宽。

Description

一种基于XR技术的组合场景体验生成方法、***及介质

技术领域

本发明涉及虚拟现实技术领域，尤其涉及一种基于扩展现实(XR)技术的组合场景体验生成方法、***及介质。

背景技术

虚拟现实(VR)、增强现实(AR)、混合现实(MR)等技术等技术相通相融，统称为扩展现实技术(XR)。基于XR技术可以构建由2个以上子场景组合而成的组合场景，其中子场景可以是虚拟场景、数字孪生场景或真实场景。组合场景可以破除场景之间的藩篱构造丰富多彩的体验活动类型，例如在课堂中，可以组合多个单人教学活动场景或多人协同教学活动场景生成包含多个场景的教学组合场景，通过改变包含场景类型与场景数量，可以构建种类繁多的组合场景，其中主要包括：“学中做”场景，“演示-实训”场景，“认知-实训”场景，实训帮助场景，考核竞赛场景，多小组实操演示等。

组合场景子场景既可以是某个用户单机体验，也可以是多个用户的协同体验。在由真实场景与虚拟子场景组合而成的组合场景中，真实场景体验画面由真实摄像头实时生成，虚拟场景体验画面由计算***渲染而成，通过合成真实场景体验画面与虚拟子场景体验画面得到此组合场景的完整体验画面。组合场景包含多个虚拟子场景时，单台计算设备很可能不能负荷此组合场景的渲染。在5G网络、wifi6等高性能无线网络技术赋能下，XR移动终端(5G手机、头显等)所需的存储、计算、渲染等服务都可以放到云端。由此，基于云存储、云计算、云渲染等云服务，单个XR终端所能拥有的计算、存储、渲染能力可以无上限，把组合场景各虚拟子场景部署运行在一个服务器集群上的多台服务器上或1台大型服务器的多块显卡上，各虚拟子场景在不同服务器或不同显卡上分别单独渲染生成体验画面，各子场景体验画面经过传输后汇总到一起，通过图像合成得到组合场景的体验画面，从而基于云服务，可以为用户生成包含大量子场景的XR组合场景沉浸式体验。

当组合场景里的子场景分别单独渲染时，各子场景的用户体验画面，需要通过遮挡计算合成用户对XR组合场景的体验画面。在专利申请《一种基于XR技术的新维度空间构建方法、***及平台》(申请号CN202210022608.9)中，在渲染生成各子场景用户体验画面的同时生成对应的深度图像，各子场景用户体验画面根据深度图像进行遮挡计算。为了减去深度图像的生成与传输，在专利申请《基于XR技术的泛在实训校园构建方法、***及存储介质》(申请号：CN202210908795.0)中，预先规定各子场景之间必须分别都存在分隔面，由场景所处分隔面的位置，可以不需要深度图像就能计算得到各虚拟场景体验画面之间的遮挡关系。但实际应用需求中的很多XR组合场景不能满足各子场景都存在分隔面的要求，例如：由真实校园场景与多个虚拟实训场景组成的组合场景，虚拟实训场景部署在真实校园的广场、建筑大厅等场景，往往虚拟实训场景被真实校园场景里的建筑所环绕，虚拟实训场景与真实校园场景之间不存在能把两者分隔开的分隔面，从而不能适用专利申请《基于XR技术的泛在实训校园构建方法、***及存储介质》(申请号：CN202210908795.0)的构建方法。

发明内容

本发明的主要目的在于提供一种基于XR技术的组合场景体验生成方法、***及介质，即使当所述组合场景不满足所有子场景之间存在分隔面时，所述组合场景各子场景在生成体验画面时，部分虚拟子场景也可以不需要生成传输体验画面对应的深度图像，也能正确完成体验画面的遮挡合成，尤其是当组合场景是由真实场景与1个以上虚拟子场景组成时，即使虚拟子场景与真实场景场景不存在分隔面，所有虚拟子场景可以都不需要生成传输体验画面对应的深度图像，也能正确完成体验画面的遮挡合成。

为实现上述目的，本发明提出一种基于XR技术的组合场景体验生成方法，所述方法包括以下步骤：

步骤S10：生成所述组合场景的各子场景的双目立体视觉体验画面，其中，所有任意虚拟子场景s_i实例实时获取用户p在其坐标系下的位姿，并根据此实时位姿以及s_i的组合用成像区间、用户p在s_i场景空间里的瞳距，生成用户p对场景s_i的双目立体视觉体验画面；

步骤S20：各子场景双目立体视觉体验画面进行遮挡计算合成为组合场景体验画面，显示给用户看；

其中，对于所述组合场景中任意子场景s_j，如果其场景实例没有生成深度图像，在所述步骤S20中，当s_j的体验画面各像素需要和组合场景其它组成对应像素通过深度值比较，获得遮挡关系时，其像素深度值可以由s_j在所述组合场景的显示区间的深度信息表征,另外，组合场景的任意子场景是真实场景或虚拟子场景，各子场景在组合场景的显示区间为凸区间或非凸区间。

作为本发明的进一步改进，在所述步骤S10前面还有步骤S00：设定组合场景体验生成参数，包括设定各虚拟子场景的成像区间、用户p在各虚拟子场景的瞳距、所述组合场景坐标系与各虚拟子场景坐标系的旋转平移变换关系、各子场景在所述组合场景的显示区间、以及各子场景的场景实例分别是否在渲染生成体验画面的同时生成对应的深度图像。

作为本发明的进一步改进，步骤S00设定虚拟子场景是否需要生成深度图像的方式为：s_i为所述组合场景中任意虚拟子场景，当s_i对组合场景里其它子场景都具备遮挡一致性时，则设定s_i的场景实例不需要生成深度图像，否则需要生成深度图像。

作为本发明的进一步改进，在所述步骤S20后面还有步骤S30:所述组合场景接受用户p互动输入，判断此互动输入是否为对子场景的互动，若判断出此互动输入为用户p对任意子场景s_i的互动，则此互动输入转换成场景s_i坐标系下的互动输入，s_i对转换后的互动输入进行响应。

作为本发明的进一步改进，对于任意虚拟子场景s_i，若为s_i在步骤S00中设定在所述组合场景的显示区间为凸区间，当s_i的显示区间与所述组合场景里其它组成的显示区间不相交时，则必有s_i对组合场景里其它组成都具备遮挡一致性，为s_i在步骤S00中设定其场景实例不需要生成深度图像。

作为本发明的进一步改进，对于任意虚拟子场景s_i，如果s_i的场景实例没有生成深度图像，当s_i需要和组合场景其它组成通过深度值比较，通过s_i在所述组合场景的显示区间计算得到深度信息表征值的方式为：根据用户位姿，实时计算s_i在是所述组合场景显示区间边界面向用户p的阴面的深度图像，步骤S10生成的s_i用户体验画面任意像素如果有对物点成像，把所述显示区间边界阴面深度图像对应像素的深度值，赋值给所述像素。

作为本发明的进一步改进，所述组合场景由1个真实场景s₀与1个以上的虚拟子场景组成，在步骤S00设定所有虚拟子场景在所述组合场景的显示区间都是凸区间，这些虚拟子场景彼此之间都不重叠，还设定所有虚拟子场景在步骤S10生成用户p的体验画面时不生成对应深度图像，在步骤S10用户p的XR终端为其生成真实场景s₀的体验画面以及对应的深度图像，在步骤S20各子场景体验画面进行遮挡计算合成为组合场景体验画面时，对于任意子虚拟场景s_i，当计算用户p相同视线上s_i像素与s₀对应像素的遮挡关系时，s_i像素的深度值从s_i在所述组合场景的显示区间计算得到深度信息表征值中检索得到，对于s_i与任意其它虚拟子场景s_j，根据s_i与s_j在所述组合场景显示区间之间的单向遮挡关系，可以得到用户p相同视线上的s_i任意像素与s_j对应像素的遮挡关系。

作为本发明的进一步改进，当真实场景里的人员进入任意虚拟子场景s_i在所述组合场景的显示区间后，若s_i的场景实例没有生成深度图像，则设置s_i的场景实例需要在生成用户p体验画面的同时生成对应的深度图像，当真实场景里的人员离开s_i在所述组合场景的显示区间后，s_i的场景实例停止生成深度图像。

为实现上述目的，本发明还提出一种基于XR技术的组合场景体验生成***，所述***包括存储器、处理器以及存储在所述处理器上的基于XR技术的组合场景体验生成方法程序，所述基于XR技术的组合场景体验生成方法程序被所述处理器运行时执行如上所述方法的步骤。

为实现上述目的，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器调用时执行如上所述的基于XR技术的组合场景体验生成方法的步骤。

本发明一种基于XR技术的组合场景体验生成方法、***及存储介质的有益效果是：

本发明采用上述技术方案，包括：步骤S10：生成所述组合场景的各子场景的双目立体视觉体验画面，其中，所有任意虚拟子场景s_i实时获取用户p在其坐标系下的位姿，并根据此实时位姿以及s_i的组合用成像区间、用户p在s_i场景空间里的瞳距，生成用户p对场景s_i的双目立体视觉体验画面；步骤S20：各子场景双目立体视觉体验画面进行遮挡计算合成为组合场景体验画面，显示给用户看；其中，对于所述组合场景中任意子场景s_j，如果其场景实例没有生成深度图像，在所述步骤S20中，当s_j的体验画面各像素需要和组合场景其它组成对应像素通过深度值比较，获得遮挡关系时，其像素深度值可以由s_j在所述组合场景的显示区间的深度信息表征,另外，组合场景的任意子场景是真实场景或虚拟子场景，各子场景在组合场景的显示区间为凸区间或非凸区间。本发明使组合场景不满足其所有的子场景之间存在分隔面的情况下，尤其是组合场景由虚拟场景与真实场景组成情况下，虚拟子场景具备遮挡一致性时，在分别生成用户体验画面时，不需要生成以及传输对应的体验画面的深度图像，也能正确地为用户生成组合场景体验，从而显著节省了传输深度图像的带宽。

附图说明

图1为本发明基于XR技术的组合场景体验生成方法的流程示意图。

图2为本发明组合场景示例图。

图3为本发明遮挡一致性与显示区间深度信息计算示意图。

图4为本发明第一实施例***构成示意图。

图5为本发明第二实施例***构成示意图。

图6为本发明第四实施例***构成示意图。

图7为本发明第五实施例***构成示意图。

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参照图1，本发明提出一种基于XR技术的组合场景体验生成方法，所述方法包括以下步骤：

另外，在所述步骤S10前面还有步骤S00：设定组合场景体验生成参数，包括设定各虚拟子场景的成像区间、用户p在各虚拟子场景的瞳距、所述组合场景坐标系与各虚拟子场景坐标系的旋转平移变换关系、各子场景在所述组合场景的显示区间、以及各子场景的场景实例分别是否在渲染生成体验画面的同时生成对应的深度图像。

其中，步骤S00设定虚拟子场景是否需要生成深度图像的方式为：s_i为所述组合场景中任意虚拟子场景，当s_i对组合场景里其它子场景都具备遮挡一致性时，则设定s_i的场景实例不需要生成深度图像，否则需要生成深度图像。

在所述步骤S20后面还有步骤S30:所述组合场景接受用户p互动输入，判断此互动输入是否为对子场景的互动，若判断出此互动输入为用户p对任意子场景s_i的互动，则此互动输入转换成场景s_i坐标系下的互动输入，s_i对转换后的互动输入进行响应。

特别地，对于任意虚拟子场景s_i，若为s_i在步骤S00中设定在所述组合场景的显示区间为凸区间，当s_i的显示区间与所述组合场景里其它组成的显示区间不相交时，则必有s_i对组合场景里其它组成都具备遮挡一致性，为s_i在步骤S00中设定其场景实例不需要生成深度图像。

进一步地，对于任意虚拟子场景s_i，如果s_i的场景实例没有生成深度图像，当s_i需要和组合场景其它组成通过深度值比较，通过s_i在所述组合场景的显示区间计算得到深度信息表征值的方式为：根据用户位姿，实时计算s_i在是所述组合场景显示区间边界面向用户p的阴面的深度图像，步骤S10生成的s_i用户体验画面任意像素如果有对物点成像，把所述显示区间边界阴面深度图像对应像素的深度值，赋值给所述像素。

所述组合场景由1个真实场景s₀与1个以上的虚拟子场景组成，在步骤S00设定所有虚拟子场景在所述组合场景的显示区间都是凸区间，这些虚拟子场景彼此之间都不重叠，还设定所有虚拟子场景在步骤S10生成用户p的体验画面时不生成对应深度图像，在步骤S10用户p的XR终端为其生成真实场景s₀的体验画面以及对应的深度图像，在步骤S20各子场景体验画面进行遮挡计算合成为组合场景体验画面时，对于任意子虚拟场景s_i，当计算用户p相同视线上s_i像素与s₀对应像素的遮挡关系时，s_i像素的深度值从s_i在所述组合场景的显示区间计算得到深度信息表征值中检索得到，对于s_i与任意其它虚拟子场景s_j，根据s_i与s_j在所述组合场景显示区间之间的单向遮挡关系，可以得到用户p相同视线上的s_i任意像素与s_j对应像素的遮挡关系。

还有当真实场景里的人员进入任意虚拟子场景s_i在所述组合场景的显示区间后，若s_i的场景实例没有生成深度图像，则设置s_i的场景实例需要在生成用户p体验画面的同时生成对应的深度图像，当真实场景里的人员离开s_i在所述组合场景的显示区间后，s_i的场景实例停止生成深度图像。

下面结合图2至图7，以及第一实施例至第五实施例对本发明一种基于XR技术的组合场景体验生成方法进行详细阐述。

以下对本发明涉及的重要技术术语进行说明。

凸区间

令为三维凸区间，则有如下性质：令/>中有a、b两点，其中a点坐标为b点坐标为/>c点在a、b两点的连线上且在a、b两点之间,c点坐标可以表示为/>其中1＞λ＞0，则c点必然也属于/>

场景与场景实例

场景定义了一个三维空间里包含的对象、对象状态、对象自身运行逻辑、以及对象之间相互作用的逻辑；场景实例是***调用计算机处理器、内存、显卡等计算资源根据场景定义实时运行的程序进程或线程，此程序进程或线程实时计算场景内各对象状态，渲染画面，响应用户的互动。单个场景同时有多个用户体验时，单个场景实例能获得的计算资源如果不能实时为所有用户生成体验画面时，就需要为此场景生成多个场景实例并分配给各用户，这些场景实例之间建立通信连接同步场景内对象状态，各场景实例分别为对应的用户实时生成体验画面，从而各用户共享体验此场景。

XR场景成像区间

用户p在组合场景进行沉浸式互动体验，s_i为构成组合场景/>的子场景之一。在生成组合场景/>的体验时，s_i可能只有部分场景内容需要在组合场景/>内呈现给用户p看，为了限定s_i需要在组合场景/>内呈现给用户p看的场景内容，设定一个三维区间，场景s_i只有在此三维区间的内容在生成用户p的体验画面时需要成像，此设定的三维区间就是XR场景成像区间。其中，成像区间可以无限大，也可以是立方体、球体等任意三维形状区间。

XR场景在组合场景的显示区间

组合场景包含多个子场景，为使子场景之间在组合场景/>内不重叠或减少重叠，对于任意子场景s_i，在设定组合场景/>内设定一个三维区间Ω_i用来呈现s_i，限定s_i在/>的呈现区间，当设定组合场景/>坐标系与子场景s_i坐标系之间的旋转平移缩放关系时，根据此旋转平移缩放关系，三维区间Ω_i映射到子场景s_i得到的三维区间/>可以作为场景s_i的成像区间，反过来，依据此旋转平移缩放关系，场景s_i的成像区间/>映射到组合场景/>得到的三维区间Ω_i可以作为场景s_i在组合场景/>的显示区间。

单向遮挡与双向遮挡

场景s_i和s_j为组合场景的两个子场景，在任意时刻t_k，若在用户p的所有视线上，如果s_i与s_j发生了遮挡，都是s_i的场景内容遮挡的s_j场景内容，则在时刻t_k，对于用户p，场景s_i和s_j单向遮挡，且遮挡关系为s_i单向遮挡s_j；反过来，若在用户p的所有视线上，如果s_i与s_j发生了遮挡，都是s_j的场景内容遮挡的s_i场景内容，则在时刻t_k，对于用户p，场景s_i和s_j单向遮挡，且遮挡关系为s_j单向遮挡s_i；相对地，若在用户p的所有视线上，如果s_i与s_j发生了遮挡，可能是s_i的场景内容遮挡的s_j场景内容，也可能是s_j的场景内容遮挡的s_i场景内容，则在时刻t_k，对于用户p，场景s_i和s_j双向遮挡。若在所有时刻，不管用户p在组合场景/>内什么位姿，都有场景s_i和s_j非双向遮挡，则称：在组合场景/>内，场景s_i和s_j是恒定单向遮挡的。两个不相交的凸区间，它们之间必然是恒定单向遮挡的，详情参见专利申请《基于XR技术的泛在实训校园构建方法、***及存储介质》(申请号：CN202210908795.0)说明书115-116段。

以下对本发明的原理尤其是遮挡一致性进行说明。

图2给出一个组合场景示例，此组合场景由4个子场景组成，在图2所示的用户视线上，场景a、d、c可能发生遮挡，其中，如果场景c与场景d之间发生遮挡，一定是场景d遮挡场景c,但场景a与场景c和场景d之间都不存在分隔面是双向遮挡。场景c和场景d虽然与场景a是双向遮挡，即使在生成体验画面时不生成对应的深度图像，也还有其它方式得到体验画面的可正确与场景a进行遮挡计算的有效深度信息，具体如下。

在图3的a图中，场景A与场景B组合成一个组合场景，用户的某条视线穿过了在此组合场景的场景A显示区间与场景B显示区间,a、b、c、d、e、f为此条视线上的6个点，其中a、f处在场景A显示区，b、c、d、e处在场景B显示区，可以发现，a与b、c、d、e遮挡关系完全一致，都是场景B显示区的点被a遮挡，f点与b、c、d、e的遮挡关系也完全一致，都是场景B显示区的点遮挡点f。由此，如果能计算出a点与b、c、d、e中任意点的遮挡关系，就直接得到了，a点与b、c、d、e中所有点的遮挡关系；同理，如果能计算出f点与b、c、d、e中任意点的遮挡关系，就直接得到了f点与b、c、d、e中所有点的遮挡关系。以图3的b图为例，当计算得到场景B显示区间面对用户视线阳面(显示区间边界向外方向的法线与视线夹角大于90度)边界上点b的深度值时，场景A中与点b共视线的任意点a、f，只需要与点b比较深度值大小，就能确定a、f与场景B显示区间内任意共视线点c的遮挡关系。同理，如图3的c图为例，当计算得到场景B显示区间阴面边界上点e的深度值时，场景A中的任意共视线点a、f，只需要与点e比较深度值大小，就能确定a、f与场景B显示区间内任意共视线点c的遮挡关系。令场景A为组合场景的子场景，场景A在/>的显示区间为Ω，点b为/>中的一个点，当用户p在组合场景/>位置W_k下，对于Ω会与点b会发生遮挡的所有点，如果它们与点b的遮挡关系相同(都遮挡b,或者是都被b遮挡)，则称：组合场景/>内的显示区间Ω在用户位置W_k下对点b具有遮挡一致性。如果在中所有位姿下，都有组合场景/>内的显示区间Ω对点b具有遮挡一致性，则称：组合场景内的显示区间Ω对点b具有遮挡一致性。令场景B也同样为组合场景/>的子场景，场景B在的显示区间为Ω′，如果Ω对Ω′内所有点都具有遮挡一致性，则称：Ω对Ω′具有遮挡一致性。其中，如果Ω为凸区间，Ω′为任意形状的三维区间，Ω与Ω′不重叠，必然有Ω对Ω′具有遮挡一致性。

第一实施例:

本实施例的组合场景是虚实混合组合场景，组合场景由1个真实场景s₀与N个虚拟子场景组成，其中N为大于1的自然数，这些虚拟子场景分别为s₁、s₂、...、s_N。如图4所示，本实施例中，组合场景体验生成***包括：真实场景成像模块、虚拟场景深度信息计算模块、图像合成模块、组合场景参数设定模块、第1虚拟子场景的实例、第2虚拟子场景的实例、...、第N虚拟子场景的实例。其中第1虚拟子场景的实例为虚拟子场景s₁的实例，第2虚拟子场景的实例为虚拟子场景s₂的实例，第N子场景的实例为虚拟子场景s_N的实例。对于视频透视MR头显，真实场景成像模块通过用户MR头显终端上的相机等光电设备生成用户对真实场景的双目立体视觉画面以及对应的深度图像，对于光学透视MR头显，真实场景成像模块通过用户MR头显终端上的相机等光电设备不需要生成双目立体视觉画面但需要生成双目立体视觉深度图像(也可以认为生成了双目立体视觉画面，知识双目立体视觉画面图像里每个像素的颜色值都为0，也就是全黑的图像)。虚拟子场景的实例接受用户接口发送过来的用户实时位姿与互动操作信息，对接收到的互动操作信息进行响应，在用户实时位姿下实时渲染场景成像区间的用户双目立体视觉体验画面，发送到图像合成模块，图像合成模块根据真实场景立体视觉画面对应深度图像，以及虚拟子场景实例生成的深度图像或在虚拟场景深度信息计算模块计算出来的各虚拟子场景在组合场景的深度信息，进行画面之间的遮挡计算合成用户的组合场景体验画面，通过用户接口显示给用户看。用户或***都可以通过组合场景参数设定模块设定组合场景里各虚拟子场景成像区间、各虚拟子场景坐标系与组合场景坐标系的旋转平移缩放关系等参数。真实场景成像模块、虚拟场景深度信息计算模块、图像合成模块、组合场景参数设定模块都部署在用户终端上，第1虚拟子场景的实例、第2虚拟子场景的实例、...、第N虚拟子场景的实例部署运行在云端的云渲染服务器上。

组合场景由1个真实场景s₀与N个虚拟子场景组成的，其中N为大于1的自然数，这些虚拟子场景分别为s₁、s₂、...、s_N，为用户p实时生成组合场景/>的沉浸式体验，其中，为了简便真实场景s₀可与组合场景/>共用坐标系。如图1所示，本实施例的体验生成方法包括如下步骤：

步骤S00：设定组合场景体验生成参数，包括设定各虚拟子场景的成像区间、用户p在各虚拟子场景的瞳距、所述组合场景坐标系与各虚拟子场景坐标系的旋转平移变换关系、各子场景在所述组合场景的显示区间、以及各子场景的场景实例分别是否在渲染生成体验画面的同时生成对应的深度图像；

步骤S30:所述组合场景接受用户p互动输入，判断此互动输入是否为对子场景的互动，若判断出此互动输入为用户p对任意子场景s_i的互动，则此互动输入转换成场景s_i坐标系下的互动输入，s_i对转换后的互动输入进行响应。

下文对各步骤的具体实现进行详细介绍：

步骤S00具体实现如下：

在组合场景参数设定模块，设定各项组合场景参数：设定各虚拟子场景s₁、s₂、...、s_N的成像区间分别为Ω₁、Ω₂、...、Ω_N；设定组合场景内不能部署虚拟场景的三维区间Ω′₀，例如真实场景里的墙体、设备等物品占用的区间不能部署虚拟场景；设定用户p在各虚拟子场景s₁、s₂、...、s_N的瞳距分别为d₁、d₂、...、d_N；用户在组合场景瞳距为设定各虚拟子场景s₁、s₂、...、s_N在组合场景/>的显示区间分别为Ω₁′、Ω′₂、...、Ω′_N；设定各虚拟子场景坐标系到组合场景坐标系的旋转平移缩放关系，对于其中任意虚拟子场景s_i(1≤i≤N)，场景s_i坐标系与组合场景坐标系的旋转平移缩放关系为按Z、X、Y的顺序绕Z、X、Y三个轴旋转角度分别为θⁱ、βⁱ、αⁱ，沿X、Y、Z轴分别平移/>Z、X、Y三个轴同比例缩放系数为λ_i；设定各虚拟子场景实例是否需要生成深度图像，也就是在渲染生成双目立体视觉体验画面时是否同时生成对应的深度图像。

上述这些参数之间并不是完全独立，需要满足如下约束：令用户p的终端生成真实场景立体视觉体验画面或深度图像所使用的瞳距为d₀(d₀需要尽可能与用户p的真实瞳距相同)，用户在组合场景的瞳距/>瞳距对于任意虚拟子场景s_i，有/>任意虚拟子场景s_i，其成像区间Ω_i中任意点b₀，根据s_i坐标系到组合场景/>坐标系的旋转平移缩放关系进行坐标变换后，得到的点/>属于Ω_i′；显示区间Ω₁′、Ω′₂、...、Ω′_N之间彼此不重叠，Ω₁′、Ω′₂、...、Ω′_N都与Ω′₀不重叠；对于任意子虚拟场景s_i，如果其显示区间Ω_i′对Ω′₀、Ω₁′、Ω′₂、...、Ω′_N中除Ω_i′之外其它区间都具备遮挡一致性，则设定s_i的场景实例不需要在渲染生成双目立体视觉体验画面的同时生成对应的深度图像，否则设定s_i的场景实例需要在渲染生成双目立体视觉体验画面的同时生成对应的深度图像。令其场景实例不需要生成深度图像的虚拟子场景集合为Λ，需要生成深度图像的虚拟子场景集合为/>

其中，判断***示区间Ω_i′对Ω′_j是否具备遮挡一致性的方法：在Ω_i′与Ω′_j不重叠的前提下，若Ω_i′是凸区间则Ω_i′对Ω′_j具备遮挡一致性，若Ω_i′为非凸区间，首先获得包围此非凸区间Ω_i′的最小凸区间若/>与Ω′_j不重叠，则/>对Ω′_j具备遮挡一致性，从而有Ω_i′对Ω′_j具有遮挡一致性，否则不具有遮挡一致性。其中获得包围此非凸区间Ω_i′的最小凸区间/>的方法可以人为手动确定或者***自动确定，***自动确定方法为：遍历Ω_i′边界上任意一对边界点，处在边界点之间的所有点中任意点如果不属于Ω_i′，都并入Ω_i′就得到/>

步骤S10具体实现如下：

任意时刻t_j，用户p在组合场景坐标系下位姿为[W_jQ_j]，各虚拟子场景s₁、s₂、...、s_N的实例，从用户接口接收用户p的实时位姿，并根据各自坐标系与组合场景坐标系的旋转平移缩放关系，计算得到用户在各虚拟子场景坐标系下位姿，对于s₁、s₂、...、s_N中任意虚拟场景s_i，根据s_i坐标系与组合场景坐标系的旋转平移缩放关系，计算得到用户p在s_i坐标系下位姿为/>由坐标系的旋转平移缩放关系计算用户p在虚拟子场景坐标系下位姿是领域内技术人员所熟知，在此不进行详细说明。对s₁、s₂、...、s_N中任意虚拟场景s_i，根据用户在s_i的瞳距d_i、位姿/>对其成像区间Ω_i里的场景内容成像，生成沉浸式双目立体视觉体验画面，其中s_i立体视觉画面的左右眼分别用/>与/>表示，其中，/>与/>中需要标识出哪些像素对应的场景内容为空，例如把体验画面图像中场景内容为空的像素的值设为特定值τ_null(例如蓝色)，或者可以用特定的数组进行标识，此数组中每个元素对应图像中的一个像素，元素通过只能取值为0或1来标识对应像素是否成像场景内容为空，在本发明实施例中选择把体验画面图像/>与/>中场景内容为空的像素的值设为特定值τ_null。

对于需要在渲染生成双目立体视觉体验画面的同时生成对应的深度图像的虚拟子场景集合中任意场景s_k，渲染生成的立体视觉体验画面左右眼图像为/>与/>还需要生成对应的深度图像/>与/>其中成像的场景内容为空的像素对应深度值设定某个特定值δ表示，此特定值可以为无穷大。特别注意/>与/>才是s_k在组合场景/>坐标系下的深度图像，其中λ_k为场景s_k坐标系到组合场景/>坐标系的缩放系数。在本实施例中，通过XR终端的成像模块实时采集真实场景s₀的立体视觉画面，生成左右眼立体视觉图像/>与(对于光学透视MR头盔，可以认为生成了所有像素RGB颜色值都为[000]的左右眼立体视觉图像)，对应深度图像/>与/>

在本发明的实施例中，默认所有的图像的成像视场角与分辨率相同，从而不同图像之间的相同图像坐标的像素才会有遮挡关系；如果不同图像之间的成像视场角与分辨率不相同，可以通过插值或采样的方式，使图像之间成像视场角与分辨率转换成相同，这是领域内技术人员常用手段。

各虚拟子场景把生成的立体视觉体验画面图像实时传输给图像合成模块，如果同步生成了深度图像的，还需要把深度图像也实时传输给图像合成模块。

步骤S20具体实现如下：

图像合成模块接收到组合场景包含的真实场景与虚拟子场景实例生成的立体视觉体验画面双目立体视觉图像，还接收到集合中虚拟子场景与真实场景体验画面对应的深度图像，而集合Λ中的虚拟子场景没有传输深度图像。对于Λ中任意场景/>其在组合场景/>中的显示区间为/>实时计算/>的深度信息，可以用/>面向用户p阳面部分的表面深度值表征/>的深度信息，也可以是/>面向用户p阴面部分的表面深度值表征/>的深度信息，或者用阳面部分的表面深度值与阴面部分的表面深度值之间任意值表征/>的深度信息。/>的深度信息同样可以用深度图像表征，在任意时刻t_j，/>的深度信息对于用户p的左眼深度图像用/>表示，右眼深度图像用/>表示。当用/>阳面(面向用户p)部分的表面深度值表征/>的深度信息时，计算方式为：虚拟场景深度信息计算模块从组合场景参数设定模块读取到/>其在组合场景/>中的显示区间为/>用户在组合场景/>瞳距为/>在任意时刻t_j，从用户接口读取到用户p在组合场景坐标系下位姿为[W_j Q_j]，清空组合场景只保留/>的表面，表面法线向外，生成用户p的左右眼图像，图像只会对/>阳面部分的表面成像，对应的深度图像就是/>与/>其中未对表面成像的像素的深度值用某个特定值δ表示；当用/>阴面(背对用户p)部分的表面深度值表征Ω′_k1的深度信息时，计算方式为：虚拟场景深度信息计算模块从组合场景参数设定模块读取到/>其在组合场景/>中的显示区间为/>用户在组合场景/>瞳距为/>在任意时刻t_j，从用户接口读取到用户p在组合场景坐标系下位姿为[W_j Q_j]，清空组合场景/>只保留/>的表面，表面法线向内，生成用户p的左右眼图像，图像只会对/>阴面部分的表面成像，对应的深度图像就是/>与/>其中未对表面成像的像素的深度值用某个特定值δ表示；深度图像中各像素的值也可以任意介于对应阳面部分表面深度值与阴面部分表面深度值。

对于组合场景里虚拟子场景集合Λ中任意子场景/>双目立体视觉体验画面图像任意像素τ如果有对物点成像，由/>在组合场景/>显示区间/>的深度信息表征τ的深度，进而与/>内其它组成的立体视觉画面共用户视线的像素进行深度值比较，得到像素间的遮挡关系。其中，根据用户位姿，实时计算显示区间/>的深度信息，此深度信息可以用对/>阳面或阴面成像对应深度图表征，也可以用深度值介于阳面或阴面成像对应深度图的任意深度图表征。/>体验画面任意像素τ如果有对物点成像，把所述显示区间深度图像与τ共用户视线的像素点深度值，表征为τ的深度值。

图像合成模块实时接收到组合场景包含的真实场景与虚拟子场景生成的双目立体视觉体验画面图像，以及集合中虚拟子场景与真实场景体验画面对应的深度图像，还从虚拟场景深度信息计算模块，实时读取到Λ中所有场景在组合场景/>中的显示区间的深度信息表征值后，就可以进行图像合成。合成具体方式为：在任意时刻t_j，接收到的真实场景s₀的立体视觉体验画面左右眼深度图像为/>与/>对应深度图像/>与/>对于集合中任意场景s_k，接收到的立体视觉画面左右眼为/>与/>对应深度图像为/>与/>(s_k在组合场景/>坐标系下的深度图像为/>与/>λ_k为场景s_k坐标系到组合场景/>坐标系的缩放系数)，对于集合Λ中任意场景/>接收到的立体视觉画面左右眼为/>与从虚拟场景深度信息计算模块读取到的对应显示区间深度信息表征图像为/>与/>令合成后的组合场景/>的用户p立体视觉体验画面左眼图像为/>右眼图像为/>对应深度图像分别为/>初始设置/> 遍历集合/>中所有子场景，对于其中任意子场景s_k，遍历/>所有像素，对于其中任意像素如果/>则：遍历/>所有像素，对于其中任意像素如果/>则：遍历集合Λ中所有子场景，对于其中任意子场景/>遍历/>所有像素，对于其中任意像素/>如果像素有对场景内容成像，从/>中查找出对应深度值/>当此深度值小于/>时，/>遮挡掉/>原有像素，具体为：当/>且/>则且/>遍历/>所有像素，对于其中任意像素如果/>且/>则：注意：/>中取值为τ_null的像素，对应深度值不能取/>与/>中的值，其深度值应该认为是无穷大。完成遍历后，所得的图像与/>就是用户p对组合场景/>的双目立体视觉体验画面。通过用户接口显示此双目立体视觉体验画面给用户p看。

步骤S30具体实现如下：

用户p通过用户接口在组合场景进行互动操作，生成互动操作命令a，互动操作的位置参数为/>姿态角参数为/>用户接口遍历组合场景/>里的所有虚拟子场景显示区间Ω₁′、Ω′₂、...、Ω′_N，如果判断出坐标值为/>的点在显示区间Ω_k′内，其中Ω_k′为虚拟子场景s_k的显示区间，根据s_k坐标系与组合场景/>坐标系的旋转平移缩放关系，把/>坐标系下的位姿参数/>与/>转换成s_k坐标系下的位姿参数，把转换后的位姿参数赋值给互动操作命令a的位姿参数分量，发送转换了位姿参数的互动命令a给虚拟子场景s_k的场景实例，虚拟子场景s_k的场景实例响应此互动操作命令。

在本发明实施例中，还可以设置所有虚拟子场景成像区间为凸区间，则所有虚拟子场景都不需要传输深度图像到图像合成模块。

本实施例有益效果如下：

本实施例适用于虚实融合的组合场景，尤其是适用于MR头显，当虚拟子场景在组合场景的显示区间，与其它子场景显示区间以及组合场景内不能部署虚拟场景的三维区间都具备遮挡一致性时，不需要传输深度图像只需要传输立体视觉体验画面到终端，就能与组合场景其它内容正确进行遮挡计算图像合成，尤其是当所有虚拟子场景成像区间设置为凸区间时，所有虚拟子场景都不需要传输深度图像到用户终端，就能为用户生成虚拟融合组合场景的沉浸式体验，从而显著节省网络带宽。

第二实施例：

在第一实施例基础上，调整***构成得到第二实施例。如图5所示，虚拟场景深度信息计算模块调整为部署到云端服务器上，增加虚拟场景图像合成模块，虚拟场景图像合成模块同样部署在云端服务器上，各虚拟子场景生成的立体视觉体验画面先在虚拟场景图像合成模块进行遮挡计算得到只包含所有虚拟子场景内容的合成图像，所有虚拟子场景内容的合成图像传送到用户终端上的虚实图像合成模块，虚实图像合成模块对包含所有虚拟子场景内容的合成图像与真实场景用户立体视觉体验画面进行遮挡计算得到最终的虚实融合的组合场景体验画面，通过用户接口显示给用户看。参照第一实施例的图像合成方法，生成只包含所有虚拟子场景内容的合成图像的具体实现方法为：在任意时刻t_j，令只包含所有虚拟子场景内容的用户p立体视觉体验画面左眼合成图像为右眼合成图像为对应深度图像分别为/>初始设置/>其中，/>为虚拟子场景s_i生成的用户p的左右眼立体视觉体验画面，若s_i场景实例有同步生成对应深度图像/>则还初始设置/>若没有同步生成对应深度图像，则从虚拟场景深度信息计算模块计算获得s_i在组合场景显示区间深度信息表征值：深度图像/>遍历/>所有像素，对其中任意像素如果的/>值为τ_null，则(δ尽可能大可以为无穷大)，否则/>遍历/>所有像素，对其中任意像素如果/>值为τ_null，则/>(δ尽可能大可以为无穷大)，否则/>然后同样遍历集合Λ以及/>中所有子场景进行遮挡计算图像合成，遮挡计算图像合成过程同第一实施例，不再赘述。合成后得到只包含所有虚拟子场景内容的用户p立体视觉体验画面图像/>以及对应深度图像/>传输到虚实图像合成模块，与实时生成的真实场景的立体视觉体验画面图像/>以及对应深度图像/>进行遮挡计算合成，得到虚实融合组合场景/>的用户体验画面。

有益效果：

和第一实施例比较，虚拟子场景之间的遮挡计算图像合成工作放到了云端，从而本实施例将减小终端进行图像合成的计算量，代价是云端进行了一次图像合成，终端也进行了一次图像合成，可能会增加延时。

第三实施例：

真实场景里的人员可能进入到组合场景里虚拟子场景的显示区间，如果被进入的虚拟子场景在生成体验画面时没有生成对应深度图像，使用虚拟子场景在组合场景显示区间深度信息表征值进行遮挡计算，可能人员与此虚拟子场景的显示内容遮挡计算失真，为了解决失真问题，对第一实施例与第二实施例进行改进，具体改进方式为：当真实场景里的人员进入任意虚拟子场景s_i在所述组合场景的显示区间后，若s_i在步骤S10没有生成深度图像，则设置s_i需要在生成用户p立体视觉体验画面的同时生成对应的深度图像，当真实场景里的人员离开s_i在所述组合场景的显示区间后，则重新设置s_i在生成用户p立体视觉体验画面的同时不生成对应的深度图像，从而在步骤10，s_i停止生成深度图像。其中，判断出真实场景里的人员是否进入虚拟场景子场景s_i在所述组合场景的显示区间Ω_i′的方式为：用计算机视觉算法从真实场景用户体验画面里，计算出真实人员在组合场景的位置，或者计算出真实人员形体在组合场景/>所占用的空间，当真实人员在组合场景/>的位置处于Ω_i′，或者真实人员形体在组合场景/>所占用的空间与Ω_i′相交时，则真实场景里的人员进入虚拟场景子场景s_i在所述组合场景的显示区间Ω_i′。

有益效果：

人员与虚拟子场景的遮挡计算不会失真。

第四实施例：

组合场景改为只由虚拟子场景组合而成，不再包含真实场景，***构成如图6所示，和图4第一实施例的***图相比较只是减掉了真实场景成像模块。本实施例的体验生成方法与第一实施例的体验生成方法相比较减掉和真实场景相关的计算工作，其步骤20与第二实施例相同，在此不再赘述。

有益效果：

可以适配虚拟现实(VR)终端。

第五实施例：

组合场景同样只由虚拟子场景组合而成，不再包含真实场景，***构成如图7所示，和图5第二实施例的***图相比较只是减掉了真实场景成像模块。本实施例的体验生成方法与第二实施例的体验生成方法除了减掉和真实场景相关的计算工作外，其它都相同，在此不再赘述。

有益效果：

可以适配VR终端，同时和第四实施例相比，虚拟子场景之间的遮挡计算图像合成工作放到了云端，从而本实施例将完全免掉了终端进行图像合成的计算量。

此外，为实现上述目的，本发明提出一种基于XR技术的组合场景体验生成***，所述***包括存储器、处理器以及存储在所述处理器上的基于XR技术的组合场景体验生成方法程序，所述基于XR技术的组合场景体验生成方法程序被所述处理器运行时执行上述所有实施例所述组合场景体验生成方法的步骤。

为实现上述目的，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器调用时执行上述所有实施例所述组合场景体验生成方法的步骤。

本发明提出一种基于XR技术的组合场景体验生成方法、***及介质，其体验生成方法包括：步骤S10：生成所述组合场景的各子场景的双目立体视觉体验画面，其中，所有任意虚拟子场景s_i实时获取用户p在其坐标系下的位姿，并根据此实时位姿以及s_i的组合用成像区间、用户p在s_i场景空间里的瞳距，生成用户p对场景s_i的双目立体视觉体验画面；步骤S20：各子场景双目立体视觉体验画面进行遮挡计算合成为组合场景体验画面，显示给用户看；其中，对于所述组合场景中任意子场景s_j，如果其场景实例没有生成深度图像，在所述步骤S20中，当s_j的体验画面各像素需要和组合场景其它组成对应像素通过深度值比较，获得遮挡关系时，其像素深度值可以由s_j在所述组合场景的显示区间的深度信息表征,另外，组合场景的任意子场景是真实场景或虚拟子场景，各子场景在组合场景的显示区间为凸区间或非凸区间。本发明使组合场景不满足其所有的子场景之间存在分隔面的情况下，尤其是组合场景由虚拟场景与真实场景组成情况下，在具备遮挡一致性时，所有虚拟子场景在分别生成用户体验画面时，不需要生成以及传输对应的体验画面的深度图像，也能正确地为用户生成组合场景体验，从而显著节省了传输深度图像的带宽。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，方案利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种基于扩展现实(XR)技术的组合场景体验生成方法，其特征在于，所述方法包括以下步骤：

其中，对于所述组合场景中任意子场景s_j，如果其场景实例没有传输深度图像，在所述步骤S20中，当s_j的体验画面各像素需要和组合场景其它组成对应像素通过深度值比较，获得遮挡关系时，对于其中任意有对物点成像的像素，其像素深度值可以由s_j在所述组合场景的显示区间的深度信息表征,其中，所述显示区间深度信息是基于用户p在组合场景中实时位姿获得的深度信息，另外，组合场景的任意子场景是真实场景或虚拟子场景，各子场景在组合场景的显示区间为凸区间或非凸区间。

2.根据权利要求1所述生成方法，其特征在于，在所述步骤S10前面还有步骤S00：设定组合场景体验生成参数，包括设定各虚拟子场景的成像区间、用户p在各虚拟子场景的瞳距、所述组合场景坐标系与各虚拟子场景坐标系的旋转平移变换关系、各子场景在所述组合场景的显示区间、以及各子场景的场景实例分别是否在渲染生成体验画面的同时生成对应的深度图像。

3.根据权利要求2所述生成方法，其特征在于，步骤S00设定虚拟子场景是否需要生成深度图像的方式为：s_i为所述组合场景中任意虚拟子场景，当s_i对组合场景里其它子场景都具备遮挡一致性时，则设定s_i的场景实例不需要生成深度图像，否则需要生成深度图像。

4.根据权利要求3所述生成方法，其特征在于，在所述步骤S20后面还有步骤S30:所述组合场景接受用户p互动输入，判断此互动输入是否为对子场景的互动，若判断出此互动输入为用户p对任意子场景s_i的互动，则此互动输入转换成场景s_i坐标系下的互动输入，s_i对转换后的互动输入进行响应。

5.根据权利要求4所述生成方法，其特征在于，对于任意虚拟子场景s_i，若为s_i在步骤S00中设定在所述组合场景的显示区间为凸区间，当s_i的显示区间与所述组合场景里其它组成的显示区间不相交时，则必有s_i对组合场景里其它组成都具备遮挡一致性，为s_i在步骤S00中设定其场景实例不需要生成深度图像。

6.根据权利要求5所述生成方法，其特征在于，对于任意虚拟子场景s_i，如果s_i的场景实例没有传输深度图像，其在组合场景中的显示区间为Ω′_i，可以用Ω′_i面向用户p阳面部分的表面深度值表征Ω′_i的深度信息，也可以是Ω′_i面向用户p阴面部分的表面深度值表征Ω′_i的深度信息，或者用阳面部分的表面深度值与阴面部分的表面深度值之间任意值表征Ω′_i的深度信息。

7.根据权利要求6所述的生成方法，其特征在于，所述组合场景由1个真实场景s₀与1个以上的虚拟子场景组成，在步骤S00设定所有虚拟子场景在所述组合场景的显示区间都是凸区间，这些虚拟子场景彼此之间都不重叠，还设定所有虚拟子场景在步骤S10生成用户p的体验画面时不生成对应深度图像，在步骤S10用户p的XR终端为其生成真实场景s₀的体验画面以及对应的深度图像，在步骤S20各子场景体验画面进行遮挡计算合成为组合场景体验画面时，对于任意子虚拟场景s_i，如果s_i的场景实例没有传输深度图像，当计算用户p相同视线上s_i像素与s₀对应像素的遮挡关系时，若此像素有对物点成像，则其深度值从s_i在所述组合场景的显示区间计算得到深度信息表征值中检索得到，对于s_i与任意其它虚拟子场景s_j，根据s_i与s_j在所述组合场景显示区间之间的单向遮挡关系，可以得到用户p相同视线上的s_i任意像素与s_j对应像素的遮挡关系。

8.根据权利要求1-7所述任意一项生成方法，其特征在于，当真实场景里的人员进入任意虚拟子场景s_i在所述组合场景的显示区间后，若s_i的场景实例没有生成深度图像，则设置s_i的场景实例需要在生成用户p体验画面的同时生成对应的深度图像，当真实场景里的人员离开s_i在所述组合场景的显示区间后，s_i的场景实例停止生成深度图像。

9.一种基于XR技术的组合场景体验生成***，其特征在于，所述***包括存储器、处理器以及存储在所述处理器上的基于XR技术的组合场景体验生成方法程序，所述基于XR技术的组合场景体验生成方法程序被所述处理器运行时执行如权利要求1至8任意一项所述的方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器调用时执行权利要求1至8中任一项所述的基于XR技术的组合场景体验生成方法的步骤。