CN113221381A - 一种虚拟现实多视角融合模型的设计方法 - Google Patents

Abstract

本发明公开一种虚拟现实多视角融合模型的设计方法，包括以下步骤：根据交互任务，采集视角类型，获得主视角、辅助视角以及主视角、辅助视角之间的配置模式和融合方法；根据配置模式和融合方法，构建多视角融合模型，多视角融合模型用于获得主视角图像和辅助视角图像，并将辅助视角图像融合到主视角图像中，获得多视角融合图像。本发明的多视角融合模型设计方法，使用户根据交互任务对用户空间感知与交互精度的不同需求与对辅助视角在信息丰富程度、直观性和用户介入程度三个方面的需求，先后确定主辅视角的配置模式和辅助视角的融合方法，以确定合适的多视角融合模型，为用户提供周围环境的空间信息，保证肢体运动姿态的正确性与交互的自然性。

Description

一种虚拟现实多视角融合模型的设计方法

技术领域

本发明涉及虚拟现实多视角融合领域，特别是涉及一种虚拟现实多视角融合模型的设计方法。

背景技术

高功率密度综合传动装置的结构紧凑复杂，良好人机工效是提升产品装配质量的关键，然而难以在概念设计阶段考虑。虚拟现实技术具有沉浸性和交互性，虽可进行更具代入感和真实性的人机工效评价。然而，目前的虚拟现实***，用户由于无法感知视场之外的空间信息，难以保证虚拟装配中装配姿态仿真的实时正确性，因此只能实现固定动作的静态评价。

为保证人机工效评价的装配姿态仿真正确性，虚拟现实环境需要具有全身碰撞反馈功能。而目前为用户提供碰撞反馈的触觉反馈设备直接对用户的身体施加物理刺激来模拟触觉，设备昂贵，且具有局限性。比如，可穿戴设备会限制或干扰工人的自然运动。基于机械臂的触觉反馈设备只能在单一点施加力，不能提供全身的触觉反馈。振动触觉反馈套装会对使用者的运动造成限制，降低姿态仿真精度。

目前的研究表明，第一人称视角1PP适用于手部精细交互任务，为用户提供更好的手、手臂的位置感知，具有更高的交互准确性和效率。缺点是用户的视野可见范围较窄，不能看到全身运动姿态，难以保证装配仿真时全身姿态的正确性。第三人称视角3PP拓展了用户的空间信息感知范围，用户可以感知自身与周围环境的空间位置关系，观察虚拟人体在环境中的活动。缺点是不符合人类的自然交互习惯，对手和手臂装配区域观察有限，降低了交互的准确性和效率。将第一人称视角1PP和第三人称视角3PP结合有助于提升用户在虚拟环境中的交互性能。但是，没有验证第一人称视角1PP和第三人称视角3PP的融合对提升虚拟环境中全身碰撞感知和虚拟人运动控制的影响。

发明内容

本发明的目的是提供一种虚拟现实多视角融合模型的设计方法，以解决上述现有技术存在的问题，使用户在虚拟环境中，能够将交互操作的准确性、高效性与感知自身与周围环境的空间位置关系相结合，提高虚拟装配中装配姿态仿真的实时性和正确性。

为实现上述目的，本发明提供了如下方案：本发明提供一种虚拟现实多视角融合模型的设计方法，包括以下步骤：

根据交互任务，采集视角类型，获得主视角、辅助视角以及所述主视角、所述辅助视角之间的配置模式和融合方法；

根据所述配置模式和所述融合方法，构建多视角融合模型，所述多视角融合模型用于获得主视角图像和辅助视角图像，并将所述辅助视角图像融合到所述主视角图像中，获得多视角融合图像。

优选地，在采集所述视角类型的过程中，所述视角类型至少包括主视角类型、辅助视角类型，所述主视角类型和所述辅助视角类型分别包括第一人称视角或第三人称视角。

优选地，在获得所述配置模式的过程中，将所述主视角类型设置为第一人称视角，将所述辅助视角类型设置为第三人称视角。

优选地，在获得所述配置模式的过程中，将所述主视角类型设置为第三人称视角，将所述辅助视角类型设置为第一人称视角。

优选地，根据所述配置模式，获得所述融合方法，用于表示将所述第三人称视角通过不同的图像融合方式融合到所述第一人称视角中，其中所述图像融合方式至少包括手持式画中画方式、抬头显示画中画方式、手持式微缩世界方式。

优选地，根据所述配置模式，获得所述融合方法，用于表示将所述第一人称视角通过不同的图像融合方式融合到所述第三人称视角中，其中所述图像融合方式至少包括手持式画中画方式、抬头显示画中画方式。

优选地，在获得所述融合方法的过程中，所述主视角采用与虚拟人头部对齐的第一虚拟相机；所述辅助视角相机固定在虚拟场景中心后方，并面向虚拟人。

优选地，在获得所述融合方法的过程中，主视角相机被固定虚拟场景中心后方，并面向虚拟人，并且随着HMD的旋转而旋转；所述辅助视角相机采用固定在虚拟人头部的虚拟相机。

优选地，所述第一虚拟相机的视场角为110°，所述辅助视角相机的视场角为60°。

优选地，所述主视角相机的视场角为110°，所述辅助视角相机的视场角为60°。

本发明公开了以下技术效果：

本发明提供的虚拟现实多视角融合模型的设计方法，将多种视角融合使用户既可以通过第一人称视角观察到手部精细交互，又可以借助第三人称视角感知到自己的肢体与周围环境的空间位置关系和全身运动状态，从而保证装配操作的准确性和直观性，为用户提供周围环境的空间信息，保证肢体运动姿态的正确性与交互的自然性。多视角融合模型提升了虚拟环境中用户的全身碰撞感知、虚拟人运动控制和直观性，为用户提供更多视野外感兴趣区域的空间信息、碰撞细节，用户更加容易理解自己的肢体与障碍物的空间位置关系，也能更直观清晰地观察手部交互操作。在虚拟现实环境中进行紧凑装配空间的装配任务时，用户通过多视角融合模型，不仅可以直观地观察到手部交互区域，保证装配任务完成的准确性和效率，还有助于观察到全身运动姿态，感知自己的肢体与周围零件之间的空间位置关系，减少肢体与零件的互穿，保证装配姿态仿真的正确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中交互任务对用户空间感知与交互精度的不同需求下适用的主辅视角配置模式；

图2为本发明实施例中不同辅助视角融合方法在信息丰富程度、直观性和用户介入程度三个维度上的分布；

图3为本发明实施例中1PP相机设置示意图，其中，(a)为1PP建模示意图，(b)为1PP下用户观察到的画面；

图4为本发明实施例中3PP相机设置示意图，其中，(a)为3PP建模示意图，(b)为3PP下用户观察到的画面；

图5为本发明实施例中主辅视角配置模式示意图，其中，(a)1PP、3PP相机示意图，(b)主视角和辅助视角示意图；

图6为本发明实施例中1PP和3PP相机及两种相机的视角示意图；

图7为本发明实施例中HH PIP模型示意图；

图8为本发明实施例中HUD PIP模型示意图；

图9为本发明实施例中WIM模型示意图；

图10为本发明实施例中五种多视角融合模型示意图；

图11为本发明实施例中某综合传动装置前传动箱的齿轮装配任务的图像示意图，(a)为用户在原***中装配齿轮示意图，(b)为用户在改进***中装配齿轮示意图；

图12为本发明实施例中用户起身准备去抓取轴的图像示意图，(a)为用户在原***中抓取示意图，(b)为用户在改进***中抓取示意图；

图13为本发明虚拟现实多视角融合模型的设计方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明提供一种虚拟现实多视角融合模型的设计方法，参考图13，包括以下步骤：

根据交互任务，采集视角类型，获得主视角、辅助视角以及主视角、辅助视角之间的配置模式和融合方法。

如图1所示，针对交互任务对用户空间感知与交互精度的不同需求提供适用的主辅视角配置模式。其中，横轴代表交互任务对用户的操作精度需求，向左代表该任务对操作精度需求较低，向右代表对操作精度需求较高。纵轴代表交互任务对用户的空间感知需求，向上代表该任务更需要用户对全局空间信息的感知，向下代表该任务更需要用户对临近空间内信息的感知。

不同的辅助视角融合方法的信息丰富程度、直观性以及需要用户介入的程度有一定区别。如图2所示，不同辅助视角融合方法在信息丰富程度、直观性和用户介入程度三个维度上的分布。信息丰富程度指的是辅助视角所能提供给用户的各类信息的完备程度，包括空间信息、碰撞信息、虚拟人的状态信息等。

本实施例中，视角类型包括第一人称视角1PP和第三人称视角3PP。第一人称视角1PP能够提供给用户更好的对近场空间的感知能力，以及更高的操作精度，而第三人称视角3PP可以提供给用户更好的全局空间感知能力，但无法保证操作精度。因此，根据交互任务对用户空间感知与交互精度的不同需求，有如下主、辅视角配置模式：

(1)当交互任务对近场空间感知能力要求较高，同时对操作精度要求较高时，采用1PP作为观察视角；

(2)当交互任务对全局空间感知能力有一定的要求，同时对操作精度要求较高时，采用

作为观察视角；

(3)当交互任务对全局空间感知能力要求较高，同时对操作精度要求较高时，采用

作为观察视角；

(4)当交互任务对全局空间感知能力要求较高，但对操作精度要求较低时，采用3PP作为观察视角；

(5)当交互任务对全局空间感知能力要求较高，且对操作精度有一定要求时，采用

作为观察视角；

(6)当交互任务对全局空间感知能力和操作精度都没有较高要求时，采用1PP或3PP作为观察视角。

第一人称视角1PP是目前虚拟现实设备的通用观察视角，它符合用户自然的观察习惯。基于头戴显示器(Head Mounted Display,HMD)的头动跟踪传感器得到佩戴者头部的运动姿态数据，修改虚拟环境中观察相机的位置，使虚拟环境中的相机视角与操作者的头部朝向一致。HMD上的双目显示屏将虚拟环境的影像投射到用户视网膜上，并基于双目视差原理产生虚拟环境的立体效果。通过这种技术，操作者便能以符合人类观察习惯的1PP观察虚拟环境。

本实施例利用HTC Vive系列的HMD设备实现操作者头部运动捕捉与虚拟场景展示。Vive的HMD上的32个红外传感器以一种特殊的布局方式布置在HMD上，以保证HMD可以从各个角度接收Vive基站发来的定位信号。Vive基站是两个架设在现实环境中的红外线发射器，可以向用户活动空间内按一定频率发出红外信号，不同红外传感器的接收信号时刻存在微小差异。根据红外传感器接受信号时刻表及其在HMD上的位置，推算HMD的位移和旋转数据，用来更新虚拟环境中的主观察相机的位姿数据。在搭建虚拟环境时，将主观察相机与虚拟环境中的虚拟人头部节点重合，就可实现主观察相机的运动与虚拟人头部运动保持一致，保证主观察相机以虚拟人1PP渲染虚拟环境。最后，利用HMD的双目立体显示将主观察相机渲染好的虚拟环境展示给用户，用户就可以通过具有自我虚拟人感觉(Self-Avatar)的1PP视角观察虚拟环境。

本实施例中，高功率密度综合传动装置的装配任务对操作精度和全局空间感知能力都有较高的要求，需要将第一人称视角1PP(简称1PP)和第三人称视角3PP(简称3PP)相互配置，因此，选择(1)以1PP为主视角，3PP为辅助视角(简称为

)，或(2)以3PP为主视角，1PP为辅助视角(简称为

)。

主辅视角配置模式决定了1PP和3PP在交互界面的呈现方式。本实施例中所提出的多视角融合模型可以让用户同时通过1PP和3PP观察虚拟环境，如附图5所示。在附图5(b)所示的交互界面中，主视角占据了用户的大部分视野，辅助视角是通过适当的融合方法集成在显示界面中的。通过排列组合的方式，将附图5(a)所示的1PP虚拟相机和3PP虚拟相机所观察到的场景分别在附图5(b)所示的主视角和辅助视角中呈现，产生了两种主辅视角配置模式，即

附图6是在虚拟环境中建立的1PP相机和3PP相机，以及两种相机所观察到的视角。

在

配置模式中，主视角由与虚拟人头部对齐的视场角为110°的虚拟相机实现，其位置和旋转均跟随HMD的运动而变化；辅助视角相机固定在场景中心后方4米、上方3米，其朝向面向虚拟人，视场角为60°。

在

配置模式中，主视角相机被固定在和

配置模式中辅助视角相机相同的位置，并且随着HMD的旋转而旋转，

中的辅助视角相机是一个固定在虚拟人头部的虚拟相机，

的主视角和辅助视角的视场角分别与

配置模式中的相同。

为了让主辅视角的优点能够更好地结合，避免辅助视角妨碍主视角的正常交互，同时还能提供充足的信息，就需要根据确定的配置模式，确定辅助视角图像界面与主视角图像界面的融合方法。

辅助画面呈现方式包括画中画(PIP)和微缩世界(WIM)。PIP是一种二维的辅助画面呈现方式，将虚拟相机所观察到的场景以画中画的形式通过HMD渲染在用户视野中。WIM是一种三维的辅助画面呈现方式，相当于虚拟现实环境的微缩副本，可通过手旋转WIM模型自由调整观察角度。

手持式(Handheld,HH)操控方式是将呈现方式与手部锚定，用户用手调整其位置，可以调节其距离眼睛的远近，也可以根据需要，选择是否将其放置在视野中。抬头显示(Head-up display,HUD)操控方式是将呈现方式固定在视野中的某一位置，HUD相对于用户头部是静止的，会一直呈现在用户视野中。

本实施例基于呈现方式和操控方式，构建了三种辅助视角融合方法，分别是手持式画中画(简称HH PIP)、抬头显示画中画(简称HUD PIP)，和手持式微缩世界(简称WIM)。

对于HUD PIP、HH PIP与WIM三种辅助视角融合方法，HUD PIP所能展示的信息最少，因为HUD PIP固定在用户视野中的某一位置，相对于用户头部是静止的，只能切换辅助视角在视野中左右的显示位置，无法根据需要调节其距离眼睛的远近。HH PIP所能展示的信息适中，因为HH PIP与手部锚定，用户可以将HH PIP在左右手切换，可用手调整其位置，如调节其距离眼睛的远近，也可根据需要，选择是否将其放置在视野中。WIM所能展示的信息最多，因为WIM是三维的辅助画面呈现方式，用户可通过旋转手腕的方式调节观察角度，获取三维空间下的环境信息。

参照图7，在虚拟环境中建立的HH PIP模型所呈现的图像界面。在

和

观察模式下，HH PIP分别被建立在虚拟人的手部关节点上和手持式控制器上。HH PIP始终面向用户，初始尺寸设置为200mm×150mm，初始位置在用户手的上方200mm处。

参照图8，在虚拟现实环境中建立的HUD PIP模型所呈现的图像界面。与HH PIP不同的是，HUD PIP的位置始终是固定的，其初始尺寸设置为200mm×150mm,初始位置相对于主视角相机向左偏移150mm、向前偏移500mm。

参照图9，在虚拟现实环境中建立的WIM模型所呈现的图像界面。与PIP融合方法最大的不同是，PIP是一种二维的呈现形式，WIM是一种三维的呈现方式。WIM建立在用户的手上，用户的手旋转WIM模型可自由调整观察角度。

基于构建的两种主辅视角配置模式：

和

和三种辅助视角融合方法：HHPIP、HUD PIP、WIM，其中，WIM方法只能融合3PP，1PP无法在WIM模型中表达。因此，在虚拟现实环境中建立以下五种多视角融合模型：

(1)1PP为主视角，以HH PIP方法融合3PP辅助视角(简称

)；

(2)1PP为主视角，以HUD PIP方法融合3PP辅助视角(简称

)；

(3)1PP为主视角，以WIM方法融合3PP辅助视角(简称

)；

(4)3PP为主视角，以HH PIP方法融合1PP辅助视角(简称

)；

(5)3PP为主视角，以HUD PIP方法融合1PP辅助视角(简称

)。

五种多视角融合模型的建模结果如图10所示。

HH PIP、HUD PIP和WIM三种辅助视角融合方法有其各自的优势。因为HH PIP与手部锚定，用户可用手调整其位置，如调节其距离眼睛的远近，也可根据需要，选择是否将其放置在视野中，因此其优点是灵活、便捷，且可调节程度高。因为HUD PIP固定在用户视野中的某一位置，一直呈现在用户的视野范围内，相对于用户头部是静止的，因此，用户的注意力消耗较小、认知负荷低、便于随时观察。因为WIM是三维的辅助画面呈现方式，用户可通过旋转手腕的方式改变观察视角，因此，其优势是直观性强、具有灵活操纵性、观察角度调整自由。

中的3PP辅助视角和

中的1PP辅助视角有其各自的优势。

中的3PP辅助视角可以有效呈现主视角外的空间信息，提升用户对全局空间信息的感知，有助于帮助用户估计虚拟现实环境中物体间的距离、帮助用户定位目标的位置，以及帮助用户在虚拟现实环境中定位自己的位置；

中的1PP辅助视角可以帮助呈现主视角外的空间信息，提高用户对临近空间内信息的感知。

通过对五种多视角融合模型实验可知：辅助视角提升了用户的碰撞感知和直观性，提升了用户在避障和抓取物体的表现，用户更喜欢用有辅助视角的观察方式避障和抓取物体。因为辅助视角为用户提供更多视野外感兴趣区域的空间信息、碰撞细节，也能更直观地展现手部交互操作。

在避障和抓取物体中提供了更强的直观性和碰撞感知，且具有更高的***可用性。因为WIM是一种三维的辅助视角融合方法，用户可以通过旋转手腕的自然方式自由地改变观察角度，提供了更多的空间信息细节，用户更加容易理解自己的肢体与障碍物的空间位置关系，也可以更清晰地观察手部交互区域。

本发明提供的三种辅助视角的融合方法，即HH PIP、HUD PIP和WIM。三种融合方法代表了三种辅助视角控制自由度。HUD PIP方法的用户可干预程度最低，但是会对主视角造成连续干扰。WIM方法提供了最多的环境信息细节，且辅助视角有最灵活的控制策略(辅助视角的位置和观察角度)，但是这些优势会给用户带来更高的认知负荷。HH PIP方法的可控程度介于HUD PIP和WIM之间。

WIM是用户最喜欢的辅助视角融合方式，使用WIM方法比HH PIP、HUD PIP有更高的直观性和碰撞感知。用户可以通过旋转手腕自由地调整WIM的观察角度，操纵灵活性更强，因此可以更好地控制肢体运动和抓取物体。

对于主辅视角配置模式，

比

更加自然。在

中，用户可以更快速地适应观察界面、更自然地避障和抓取物体。而在

中，用户花费更长时间适应观察界面。

以某综合传动装置前传动箱的齿轮装配任务为例，在建立了多视角融合模型的虚拟现实***(以下简称为“改进***”)和未建立多视角融合模型的虚拟现实***(以下简称为“原***”)中分别进行齿轮装配。

图11所示是用户分别在原***与改进***中装配齿轮，其中，每个子图中的左图是用户以全局视角观察到的虚拟现实场景，右图是用户在HMD(Head Mounted Display，头戴显示器)中观察到的虚拟现实场景。如图(a)所示，在原***中，用户仅以第一人称视角进行观察，无法观察到自己的头顶、四肢等是否与前传动箱体发生穿透，无法观察到装配姿势是否正确，用户会倾向于以更舒适但可能不正确的姿势进行装配，因此，用户进行齿轮装配操作时的躯干弯曲程度不足，头部与前传动箱发生穿透，该姿势明显不合理。而如图(b)所示，用户在改进***中可以通过多视角融合模型的WIM辅助视角观察到全身装配姿态，感知到自己的肢体与前传动箱的相对位置关系，保证以正确的姿势完成任务，因此，用户躯干的弯曲程度比图(a)中的弯曲程度大，其头部并未与箱体穿透，该装配姿势合理的。

图12所示是用户在完成惰轮齿轮装配后，起身前往工作台去抓取惰轮轴。其中，每个子图中的左图是观察者以全局视角观察到的虚拟现实场景，右图是用户在HMD中观察到的虚拟现实场景。在图(a)所示的原***中，用户起身后，其视角朝向工作台，前传动箱不在视野范围内，用户的腿部与前传动箱明显穿透，该姿势明显不合理。而在图(b)所示的改进***中，用户可以从多视角融合模型的WIM辅助视角中观察到自己的全身运动姿态，避免了当前传动箱不在其视野范围内时，用户肢体与箱体穿透情况的发生。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

以上所述的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (10)

1.一种虚拟现实多视角融合模型的设计方法，其特征在于：包括以下步骤：

根据交互任务，采集视角类型，获得主视角、辅助视角以及所述主视角、所述辅助视角之间的配置模式和融合方法；

根据所述配置模式和所述融合方法，构建多视角融合模型，所述多视角融合模型用于获得主视角图像和辅助视角图像，并将所述辅助视角图像融合到所述主视角图像中，获得多视角融合图像。

2.根据权利要求1所述的虚拟现实多视角融合模型的设计方法，其特征在于：

在采集所述视角类型的过程中，所述视角类型至少包括主视角类型、辅助视角类型，所述主视角类型和所述辅助视角类型分别包括第一人称视角或第三人称视角。

3.根据权利要求2所述的虚拟现实多视角融合模型的设计方法，其特征在于：

在获得所述配置模式的过程中，将所述主视角类型设置为第一人称视角，将所述辅助视角类型设置为第三人称视角。

4.根据权利要求2所述的虚拟现实多视角融合模型的设计方法，其特征在于：

在获得所述配置模式的过程中，将所述主视角类型设置为第三人称视角，将所述辅助视角类型设置为第一人称视角。

5.根据权利要求3所述的虚拟现实多视角融合模型的设计方法，其特征在于：

根据所述配置模式，获得所述融合方法，用于表示将所述第三人称视角通过不同的图像融合方式融合到所述第一人称视角中，其中所述图像融合方式至少包括手持式画中画方式、抬头显示画中画方式、手持式微缩世界方式。

6.根据权利要求4所述的虚拟现实多视角融合模型的设计方法，其特征在于：

根据所述配置模式，获得所述融合方法，用于表示将所述第一人称视角通过不同的图像融合方式融合到所述第三人称视角中，其中所述图像融合方式至少包括手持式画中画方式、抬头显示画中画方式。

7.根据权利要求5所述的虚拟现实多视角融合模型的设计方法，其特征在于：在获得所述融合方法的过程中，所述主视角采用与虚拟人头部对齐的第一虚拟相机；所述辅助视角相机固定在虚拟场景中心后方，并面向虚拟人。

8.根据权利要求6所述的虚拟现实多视角融合模型的设计方法，其特征在于：在获得所述融合方法的过程中，所述主视角相机被固定虚拟场景中心后方，并面向虚拟人，并且随着HMD的旋转而旋转；所述辅助视角相机采用固定在虚拟人头部的虚拟相机。

9.根据权利要求7所述的虚拟现实多视角融合模型的设计方法，其特征在于：所述第一虚拟相机的视场角为110°，所述辅助视角相机的视场角为60°。

10.根据权利要求8所述的虚拟现实多视角融合模型的设计方法，其特征在于：所述主视角相机的视场角为110°，所述辅助视角相机的视场角为60°。

Images