CN115857700A - 虚拟交互***、方法、装置、设备、存储介质及程序产品 - Google Patents

Abstract

本申请提供的一种虚拟交互***、方法、装置、设备、存储介质及程序产品，包括：眼动追踪组件，被配置为对用户的视线进行追踪，以确定用户进行交互的虚拟物体；手持控制组件，设置至少一个力感应单元，被配置为通过力感应单元检测用户握住手持控制组件的握紧力度，以根据握紧力度与虚拟物体进行交互。本申请在手持控制组件上设置多个力感应单元，来感应用户的握力大小，从而在用户通过眼动追踪组件确定用户想要交互的虚拟物体之后，可以通过感应握力来实现与虚拟物体之间的互动，来模拟握力对物体施加力的程度，以此体现握力属性或虚拟物体承受力的能力，补全用户在虚拟交互时对于力度的感应，使扩展现实技术更为贴合真实场景，提升用户体验。

Description

虚拟交互***、方法、装置、设备、存储介质及程序产品

技术领域

本申请涉及扩展现实技术领域，尤其涉及一种虚拟交互***、方法、装置、设备、存储介质及程序产品。

背景技术

目前，扩展现实(XR)技术已经逐步走进人们的生活及各种相关技术领域，XR技术中的增强现实(AR)、虚拟现实(VR)等技术已经在购物、游戏娱乐、运动健身等领域得到了相应的应用。

但是，相关领域中对于XR技术的动作感应，一般仅体现在方向、距离、速度上的感应，对于力度的感应较为欠缺，使用户的虚拟交互感受并不完整，影响用户体验。

发明内容

有鉴于此，本申请提出一种虚拟交互***、方法、装置、设备、存储介质及程序产品，以此提供一种在XR环境中的压力交互方式，补全用户的虚拟交互感受，提升用户体验。

基于上述目的，本申请提供了一种虚拟交互***，包括：

眼动追踪组件，被配置为对用户的视线进行追踪，以确定所述用户进行交互的虚拟物体；

手持控制组件，设置有至少一个力感应单元，被配置为通过所述力感应单元检测所述用户握住所述手持控制组件的握紧力度，以根据所述握紧力度与所述虚拟物体进行交互。

在一些实施方式中，所述手持控制组件，还包括：

互动按钮，被配置为响应于所述用户的触发，对所述虚拟物体执行锁定交互。

在一些实施方式中，所述手持控制组件，还包括：

运动感应单元，被配置为检测所述用户的手部移动，以根据所述手部移动对所述虚拟物体执行对应的移动交互。

基于同一构思，本申请还提供了一种应用如上任一项所述的虚拟交互***的虚拟交互方法，包括：

根据眼动追踪组件确定的用户的视线，确定所述用户正在关注的虚拟物5体；

响应于获取到针对所述虚拟物体的互动操作，获取手持控制组件的力感应单元检测到的所述用户的握紧力度；

基于预设的互动规则，根据所述握紧力度对所述虚拟物体执行对应的互动操作。

0在一些实施方式中，所述根据所述握紧力度对所述虚拟物体执行对应的互动操作，包括：

响应于所述虚拟物体具有改变外观属性，通过所述力感应单元确定所述用户的发力点，建立所述发力点与所述握紧力度的对应关系，根据所述发力点及对应的所述握紧力度对所述虚拟物体执行改变外观的交互。

5在一些实施方式中，所述根据所述发力点及对应的所述握紧力度对所述虚拟物体执行改变外观的交互，包括：

确定所述发力点在所述虚拟物体上的映射位置，在所述映射位置根据对应的所述握紧力度对所述虚拟物体进行外观改变。

在一些实施方式中，所述手持控制组件，还包括：运动感应单元；0所述根据所述握紧力度对所述虚拟物体执行对应的互动操作，包括：

确定所述虚拟物体对应的力度阈值；

响应于所述握紧力度满足所述力度阈值，通过所述运动感应单元确定所述用户的手部移动数据，根据所述手部移动数据对所述虚拟物体执行对应的移动交互。

5在一些实施方式中，所述确定所述虚拟物体对应的力度阈值之后，所述方法还包括：

响应于所述握紧力度不满足所述力度阈值；

生成力度不足提示信息；或通过所述运动感应单元确定所述用户的手部移动数据，根据所述手部移动数据对所述虚拟物体执行力度不足的移动交互。0在一些实施方式中，所述手部移动数据，至少包括：移动方向、移动速度、移动加速度和/或移动距离。

在一些实施方式中，所述手持控制组件，还包括：互动按钮；

所述响应于获取到针对所述虚拟物体的互动操作，包括：

响应于获取到所述用户对所述互动按钮的触发，根据预设的针对所述虚拟物体的锁定交互规则，对所述虚拟物体进行锁定交互。

在一些实施方式中，所述响应于获取到针对所述虚拟物体的互动操作，包括：

确定预设的所述虚拟物体对应的锁定交互手势，响应于通过所述手持控制组件获取到所述锁定交互手势，根据预设的锁定交互规则，对所述虚拟物体进行锁定交互。

基于同一构思，本申请还提供了一种虚拟交互装置，包括：

确定模块，用于根据眼动追踪组件确定的用户的视线，确定所述用户正在关注的虚拟物体；

获取模块，用于响应于获取到针对所述虚拟物体的互动操作，获取手持控制组件的力感应单元检测到的所述用户的握紧力度；

执行模块，用于基于预设的互动规则，根据所述握紧力度对所述虚拟物体执行对应的互动操作。

基于同一构思，本申请还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上任一项所述的方法。

基于同一构思，本申请还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机实现如上任一项所述的方法。

基于同一构思，本申请还提供了一种计算机程序产品，包括计算机程序指令，当所述计算机程序指令在计算机上运行时，使得计算机执行如上任一项所述的方法。

从上面所述可以看出，本申请提供的一种虚拟交互***、方法、装置、设备、存储介质及程序产品，包括：眼动追踪组件，被配置为对用户的视线进行追踪，以确定用户进行交互的虚拟物体；手持控制组件，设置有至少一个力感应单元，被配置为通过力感应单元检测用户握住手持控制组件的握紧力度，以根据握紧力度与虚拟物体进行交互。本申请利用在手持控制组件上设置多个力感应单元，以此来感应用户的握力大小，从而在用户通过眼动追踪组件确定用户想要交互的虚拟物体之后，可以通过感应握力来实现与虚拟物体之间的互动，来模拟握力对物体施加力的程度，以此体现握力属性或虚拟物体承受力的能力，补全用户在虚拟交互时对于力度的感应，使扩展现实技术更为贴合真实场景，提升用户体验。

附图说明

为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种虚拟交互***的结构示意图；

图2为本申请实施例提供的一种虚拟交互方法的流程示意图；

图3为本申请实施例提供的与可改变外观属性的虚拟物体进行交互的示意图；

图4为本申请实施例提供的与需要进行移动的虚拟物体进行交互的示意图；

图5为本申请实施例提供的一种特定场景中与虚拟物体进行交互的示意图；

图6为本申请实施例提供的一种虚拟交互装置的结构示意图；

图7为本申请实施例提供的电子设备结构示意图。

具体实施方式

为使本说明书的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本说明书进一步详细说明。

可以理解的是，在使用本申请各实施例公开的技术方案之前，均应当依据相关法律法规通过恰当的方式对本申请所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。

例如，在响应于接收到用户的主动请求时，向用户发送提示信息，以明确地提示用户，其请求执行的操作将需要获取和使用到用户的个人信息。从而，使得用户可以根据提示信息来自主地选择是否向执行本申请技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。

作为一种可选的但非限定性的实现方式，响应于接收到用户的主动请求，向用户发送提示信息的方式例如可以是弹窗的方式，弹窗中可以以文字的方式呈现提示信息。此外，弹窗中还可以承载供用户选择“同意”或者“不同意”向电子设备提供个人信息的选择控件。

可以理解的是，上述通知和获取用户授权过程仅是示意性的，不对本申请的实现方式构成限定，其它满足相关法律法规的方式也可应用于本申请的实现方式中。

可以理解的是，本技术方案所涉及的数据(包括但不限于数据本身、数据的获取或使用)应当遵循相应法律法规及相关规定的要求。

为使本说明书的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本说明书进一步详细说明。

需要说明的是，除非另外定义，本申请实施例使用的技术术语或者科学术语应当为本申请所属领域内具有一般技能的人士所理解的通常意义。本申请实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件、物件或者方法步骤涵盖出现在该词后面列举的元件、物件或者方法步骤及其等同，而不排除其他元件、物件或者方法步骤。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

如背景技术部分所述，扩展现实(Extended Reality，简称XR)，是指通过计算机将真实与虚拟相结合，打造一个可人机交互的虚拟环境，这也是增强现实(AugmentedReality，AR)、虚拟现实(Virtual Reality，VR)、混合现实(Mixed Reality，MR)等多种技术的统称。通过将三者的视觉交互技术相融合，为体验者带来虚拟世界与现实世界之间无缝转换的“沉浸感”。在XR技术中，可以允许用户与虚拟的数字世界进行交互，从而为用户提供更为丰富的体验。VR技术和AR技术让用户对数字世界感知的非凡能力也变得越来越流行。但是相关领域中主流的XR交互方式主要包括：手势、眼动、震动、控制器按键、可穿戴设备等等。更多的体现在移动、观察视场改变等方面，对于力量、力度等方面却涉猎较少。在相关技术中，一般用户操作的虚拟角色拿到虚拟物体之后，就可以完成全部的交互动作，例如拿、甩、扔、推等等，但是在现实中进行这些交互必须施加相应的力才能完成，如一个哑铃，只有力度达到之后才能拿起，想扔的远需要施加更大的力及加速度才能完成；想将易拉罐捏扁也需要施加一定的力，在每个施加力的位置对易拉罐进行外观的改变等等。进而可以看出，在当前的领域中，对于力度的感应还相对欠缺，使用户的虚拟交互感受并不完整，影响用户体验。

结合上述实际情况，本申请实施例提供了一种虚拟交互***方案。本申请利用在手持控制组件上设置多个力感应单元，以此来感应用户的握力大小，从而在用户通过眼动追踪组件确定用户想要交互的虚拟物体之后，可以通过感应握力来实现与虚拟物体之间的互动，来模拟握力对物体施加力的程度，以此体现握力属性或虚拟物体承受力的能力，补全用户在虚拟交互时对于力度的感应，使扩展现实技术更为贴合真实场景，提升用户体验。

如图1所示，为本申请实施例的一种虚拟交互***的结构示意图。其中，本申请实施例的虚拟交互***，具体包括：

眼动追踪组件110，被配置为对用户的视线进行追踪，以确定所述用户进行交互的虚拟物体。

手持控制组件120，设置有至少一个力感应单元121，被配置为通过所述力感应单元121检测所述用户握住所述手持控制组件的握紧力度，以根据所述握紧力度与所述虚拟物体进行交互。

在一些实施例中，眼动追踪组件110即为能够实现眼动追踪技术的装置或组成单元，例如各种形式的VR眼镜、眼动仪、进行面部监控或眼部监控的摄像头、红外检测装置等等。其中，眼动追踪，(Eye Tracking)，是指通过测量眼睛的注视点的位置或者眼球相对头部的运动而实现对眼球运动的追踪。能够实现眼动追踪的设备一般是一种能够跟踪测量眼球位置及眼球运动信息的设备，其在视觉***、心理学、认知语言学的研究中有广泛的应用。目前眼动追踪有多种方法，其中最常用的无创手段是通过视频拍摄设备来获取眼睛的位置。而在一些相关领域的VR眼镜中，其可以通过瞳孔角膜反射技术(PCCR)来实现眼动追踪。该技术的基本理念是使用一种光源对眼睛进行照射使其产生明显的反射，并使用一种摄像机采集带有这些反射效果的眼睛的图像。然后使用摄像机采集到的这些图像来识别光源在角膜(闪烁)和瞳孔上的反射。这样我们就能够通过角膜与瞳孔反射之间的角度来计算出眼动的向量，然后将此向量的方向与其他反射的几何特征结合计算出视线的方向。以此，通过眼动追踪组件110可以实时捕捉用户(佩戴者)的视线，确定用户正在关注的位置，而在用户关注的位置处，若是存在虚拟物体，进而可以确定用户可能是想和该虚拟物体进行交互的。当然可以设置一些时间阈值等条件来提升准确性，例如用户只有将视线集中于一个虚拟物体一定时间之后，才认定用户确定了该虚拟物体等等。之后，这里的交互可以是与虚拟物体之间的互动，例如拿起、推动、施加力量、破坏等等。

在一些实施例中，手持控制组件120即为能够被用户握住的手柄或类手柄组件，该手持控制组件120可以为用户提供移动、确认、取消等功能。手持控制组件120上可以设置多个按钮或陀螺仪等，用于用户对虚拟角色的控制。而在本实施例中，用户的手持控制组件120上设置有至少一个力感应单元121，一般设置于用户的手持部位(例如手柄部位等)，用于全方位的感知用户对手持部位的施加力的检测。用户手部在握住手持控制组件120时会通过不同位置对手持控制组件120施加压力，通过力感应单元121可以感应施加力量的大小及施加力量的位置，之后对于力量的方向一般为垂直手持控制组件120表面向下的方向。通过力感应单元121检测用户想要对虚拟物体施加多大的力，从而可以进一步根据该力量的大小进行与用户间的交互。在具体应用场景中，通过眼动追踪组件110确定了一个易拉罐的虚拟物体。在确认后，用户可以通过一些操作来完成对该易拉罐的拿住操作；或者，根据预设逻辑，在用户看向并确定易拉罐后，自动操作虚拟对象对该易拉罐进行拿住操作。之后，通过手持控制组件120上的力感应单元121感应用户的施力大小(即握紧力度)及位置，以此对易拉罐进行捏扁的互动。这里的互动方式可以是预先设定好的，如易拉罐对应的就是捏扁的互动等等，也可以通过询问或根据用户的手势等确定用户想要进行何种互动，例如弹窗询问等等。而在另一个具体应用场景中，通过眼动追踪组件110确定了一个哑铃的虚拟物体。在确认后，根据哑铃对应的互动逻辑，通过力感应单元121感受用户的施力大小(即握紧力度)，判断用户能否拿起哑铃或移动哑铃等，以此来完成对哑铃改变运动状态的互动。

从上面所述可以看出，本申请提供的一种虚拟交互***，包括：眼动追踪组件，被配置为对用户的视线进行追踪，以确定用户进行交互的虚拟物体；手持控制组件，设置有至少一个力感应单元，被配置为通过力感应单元检测用户握住手持控制组件的握紧力度，以根据握紧力度与虚拟物体进行交互。本申请利用在手持控制组件上设置多个力感应单元，以此来感应用户的握力大小，从而在用户通过眼动追踪组件确定用户想要交互的虚拟物体之后，可以通过感应握力来实现与虚拟物体之间的互动，来模拟握力对物体施加力的程度，以此体现握力属性或虚拟物体承受力的能力，补全用户在虚拟交互时对于力度的感应，使扩展现实技术更为贴合真实场景，提升用户体验。

在一些实施例中，如图1所示，所述手持控制组件120，还包括：互动按钮122，被配置为响应于所述用户的触发，对所述虚拟物体执行锁定交互。

在一些实施例中，当用户通过眼动追踪组件110看向一个虚拟物体后，需要最终确认用户是想要与该虚拟物体进行交互的。进而可以在手持控制组件120设置一个互动按钮122，当用户看向一个虚拟物体之后，直接通过触发该互动按钮122，即可确定用户是想要与该虚拟物体进行交互，从而进行锁定的交互，这里锁定交互即为建立用户与该虚拟物体之间的强关联，例如拿起虚拟物体、握住虚拟物体、踩住虚拟物体(手持控制组件120控制脚部时)等等。这样的设置方式可以在用户快速转动视角等情况下，快速完成虚拟物体的确认或锁定，例如用户控制虚拟角色在场景中跑动时，看到一个场景中的一个砖头后就可通过互动按钮122直接进行拿取。而根据前述实施例中的方案，需要用户关注该虚拟物体一定时间的方案，显然存在较大限制，并与现实拿取物体等存在较大差异。通过本实施例的互动按钮122可以更为迅速的做出反应，提升逼真程度。在本实施例中，互动按钮122可以为任意按钮形式，例如下压式按钮、扳机式按钮等等。

在一些实施例中，所述手持控制组件120，还包括：运动感应单元(图中未示出)，被配置为检测所述用户的手部移动，以根据所述手部移动对所述虚拟物体执行对应的移动交互。

在一些实施例中，为了实现对虚拟物体的移动需求，需要检测用户的手部移动或身体移动。例如用户想要拿起虚拟场景中的哑铃，不仅需要检测用户握力够不够拿起哑铃，同时还要检测用户手部的移动方向等，来确定用户想要将哑铃移动至哪里。进而可以在手持控制组件120上设置运动感应单元，通过该运动感应单元可以检测用户的手部移动情况，以此来对虚拟物体的移动进行控制，完成对虚拟物体的移动交互。

基于同一构思，本申请还提供了一种应用如上任一实施例所述的虚拟交互***的虚拟交互方法，如图2所示，具体包括：

步骤201，根据眼动追踪组件确定的用户的视线，确定所述用户正在关注的虚拟物体。

在一些实施例中，通过眼动追踪组件可以对用户的视线及关注点进行确定，例如确定瞳孔中心延伸线的交点位置为关注点。以此当关注点落于场景中的某一虚拟物体时，进而可以确定用户在关注该虚拟物体。

步骤202，响应于获取到针对所述虚拟物体的互动操作，获取手持控制组件的力感应单元检测到的所述用户的握紧力度。

在一些实施例中，根据步骤201，用户关注某一虚拟物体之后，其可以通过一些操作来确定用户是想要和该虚拟物体进行交互的(即互动操作)，例如通过用户完成某一特定手势或动作、触发某一特定按键、注视特定时间等等。当然也可以在用户关注点落在虚拟物体上时，直接确定用户想要和该虚拟物体进行交互等等。这里可以预先设定好互动操作的形式并告知用户。之后，通过手持控制组件上的力感应单元去检测用户对手持控制组件的握紧力度，这里的握紧力度即为用户握紧手持控制组件的施力程度，通过力感应单元可以确定用户的每个施力点及对应的握紧力度。

步骤203，基于预设的互动规则，根据所述握紧力度对所述虚拟物体执行对应的互动操作。

在一些实施例中，不同的虚拟物体可能对应着不同的互动规则，如图3所示，对于易拉罐等较为柔软的虚拟物体，其互动规则可以是将该虚拟物体握紧并使其形变压扁；如图4所示，对于哑铃等较为坚硬的虚拟物体，其互动规则可以是确定对该虚拟物体的握紧力度判断是否能够拿起，或确定对该虚拟物体的推动力度判断是否能够推动；或是两者的结合等等。这些具体的互动规则可以是在设计该虚拟物体时就已经设定好的。之后，根据该互动规则以及检测到的握紧力度对该虚拟物体执行对应的互动操作。例如根据握紧力度对易拉罐挤压变形、将哑铃举起移动等等。而在另一些具体实施例中，由于虚拟场景中，与用户进行交互的虚拟物体的本身属性，或场景属性不同，可以通过握紧力度来控制虚拟物体的移动等互动操作。如图5所示，用户在驾驶虚拟车辆时，其手持控制组件控制的物体为虚拟角色的脚部，用以控制车辆的油门踏板，从而可以通过确定用户的握紧力度来控制踩下油门的力度大小，用户握得越紧油门踩得越深。方便用户的虚拟驾驶操作。

上述实施例的方法应用于前述实施例中相应的虚拟交互***，在前述虚拟交互***的实施例中已经涉及了上述各步骤包括的具体内容的说明以及相应的有益效果，故在本实施例中不再赘述。

在一些实施例中，所述根据所述握紧力度对所述虚拟物体执行对应的互动操作，包括：响应于所述虚拟物体具有改变外观属性，通过所述力感应单元确定所述用户的发力点，建立所述发力点与所述握紧力度的对应关系，根据所述发力点及对应的所述握紧力度对所述虚拟物体执行改变外观的交互。

在一些实施例中，如图3所示，如果该虚拟物体是能够被改变外观的，例如易拉罐，玻璃瓶等等，对于这些虚拟物体其对应的互动规则可以是将其捏变形或捏碎的互动操作。从而根据力感应单元去感应用户手部的每个发力点，并确定每个发力点对应的握力大小(握紧力度)，并建立两者之间的对应关系。以此通过发力点及对应的握紧力度，通过计算可以确定在发力点位置处虚拟物体的变形程度，综合所有发力点处的变形程度之后，进而可以对该虚拟物体进行改变其外观的互动。当然，在一些对施力位置不是很敏感的可改变外观的物体或场景来说，可以仅判断用户左右两侧的握紧力度大小即可，或是只要用户对手持控制组件施加了力，即可让虚拟物体按照既定逻辑进行外观改变。

在一些实施例中，所述根据所述发力点及对应的所述握紧力度对所述虚拟物体执行改变外观的交互，包括：确定所述发力点在所述虚拟物体上的映射位置，在所述映射位置根据对应的所述握紧力度对所述虚拟物体进行外观改变。

在一些实施例中，为了准确确定发力位置，可以将用户对于手持控制组件的发力点等比例映射到该虚拟物体上，在该位置处根据该发力点对应的握紧力度进行施力，以此计算虚拟物体在该处的形变程度，最终完成整个虚拟物体的外观改变。

在一些实施例中，所述手持控制组件，还包括：运动感应单元；所述根据所述握紧力度对所述虚拟物体执行对应的互动操作，包括：确定所述虚拟物体对应的力度阈值；响应于所述握紧力度满足所述力度阈值，通过所述运动感应单元确定所述用户的手部移动数据，根据所述手部移动数据对所述虚拟物体执行对应的移动交互。

在一些实施例中，如图4所示，有些虚拟物体的交互方式为对该虚拟物体的拿起、推动、改变方向等等。而对这些虚拟物体一般需要施加足够的力之后，才能完成相应的操作。从而可以先确定握紧力度的力度大小，只有该力度超过或等于力度阈值之后，用户才能对虚拟物体进行移动的交互。而在移动交互时，为了确定用户想要对虚拟物体移动的方向、力度、速度等属性，进而需要利用运动感应单元对用户的操作进行检测，生成手部移动数据，这里所述手部移动数据可以包括：移动方向、移动速度、移动加速度和/或移动距离等等。通过这些数据能够最终换算为虚拟物体的移动方向、速度、加速度、距离等属性，最终完成对虚拟物体的移动。例如，虚拟物体为哑铃时，首先需要确定用户握住哑铃的力度是否足够，若足够则认为用户能够拿起或推动该哑铃，之后通过运动感应单元检测用户的手部移动数据，通过这些手部移动数据来将对哑铃进行相应的移动。

在一些实施例中，所述确定所述虚拟物体对应的力度阈值之后，所述方法还包括：响应于所述握紧力度不满足所述力度阈值；生成力度不足提示信息；或通过所述运动感应单元确定所述用户的手部移动数据，根据所述手部移动数据对所述虚拟物体执行力度不足的移动交互。

在一些实施例中，根据前述实施例，当用户对手持控制组件施加的力不够时，由于手持控制组件无法真实模拟虚拟物体的重量使用户感受到自己实际上无法移动该虚拟物体，从而需要利用其他方式对用户进行提醒，这里可以通过生成提示信息的方式来提醒用户。例如用户想要挥动手持控制组件来对虚拟物体进行移动时，生成文字提示框，告知用户其施加的力量不够，或是通过震动等方式对用户进行提示。当然，也可以继续获取用户的手部移动数据，但是并不是演示移动虚拟物体的交互，而是演示力度不足的移动交互，例如将虚拟物体举到一半被迫放下；或是控制的虚拟角色对虚拟物体按照手部移动数据确定的移动方向进行推动时无法推动或仅能推动很小的距离等等。

在一些实施例中，所述手持控制组件，还包括：互动按钮；所述响应于获取到针对所述虚拟物体的互动操作，包括：响应于获取到所述用户对所述互动按钮的触发，根据预设的针对所述虚拟物体的锁定交互规则，对所述虚拟物体进行锁定交互。

在一些实施例中，当用户通过眼动追踪组件看向一个虚拟物体后，需要最终确认用户是想要与该虚拟物体进行交互的。进而可以在手持控制组件设置一个互动按钮，当用户看向一个虚拟物体之后，直接通过触发该互动按钮，即可确定用户是想要与该虚拟物体进行交互，从而进行锁定的交互，这里锁定交互即为建立用户与该虚拟物体之间的强关联，例如拿起虚拟物体、握住虚拟物体、踩住虚拟物体(手持控制组件120控制脚部时)等等。当用户触发互动按钮时，确定眼动追踪组件正在关注的虚拟物体，根据预设规则执行相应的锁定互动，例如虚拟物体为易拉罐，则锁定互动为拿起易拉罐，虚拟物体为一个足球，则锁定互动为踩住足球等等。

在一些实施例中，所述响应于获取到针对所述虚拟物体的互动操作，包括：确定预设的所述虚拟物体对应的锁定交互手势，响应于通过所述手持控制组件获取到所述锁定交互手势，根据预设的锁定交互规则，对所述虚拟物体进行锁定交互。

在一些实施例中，当用户通过眼动追踪组件看向一个虚拟物体后，需要最终确认用户是想要与该虚拟物体进行交互的。进而可以通过设定交互手势的方式来确定用户想要与该虚拟物体进行交互，该交互手势可以是预先设定好的或用户指定的一个手势。当用户看向一个虚拟物体之后，直接通过该手势，即可确定用户是想要与该虚拟物体进行交互，从而进行锁定的交互。这里交互手势并不一定都是移动动作，还可以是通过按键等方式，例如用户看向一个虚拟物体后按某个特定按键即认为用户完成了虚拟物体的锁定，这里的交互手势即为用户做了按键的手势。当然在一些实施例中，锁定交互手势可以全部是移动动作或按键结合移动动作等等，其可以利用手持控制组件内置的位移传感器、陀螺仪等单元确定出用户的手部移动情况，以此来对用户的手部移动手势进行确认。

需要说明的是，本申请实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本申请实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本申请实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。

需要说明的是，上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

基于同一构思，与上述任意实施例方法相对应的，本申请还提供了一种虚拟交互装置。

参考图6，所述虚拟交互装置，包括：

确定模块310，用于根据眼动追踪组件确定的用户的视线，确定所述用户正在关注的虚拟物体。

获取模块320，用于响应于获取到针对所述虚拟物体的互动操作，获取手持控制组件的力感应单元检测到的所述用户的握紧力度。

执行模块330，用于基于预设的互动规则，根据所述握紧力度对所述虚拟物体执行对应的互动操作。

为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本申请实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现。

上述实施例的装置用于实现前述实施例中相应的虚拟交互方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

在一些实施例中，所述执行模块330，还用于：

响应于所述虚拟物体具有改变外观属性，通过所述力感应单元确定所述用户的发力点，建立所述发力点与所述握紧力度的对应关系，根据所述发力点及对应的所述握紧力度对所述虚拟物体执行改变外观的交互。

在一些实施例中，所述执行模块330，还用于：

确定所述发力点在所述虚拟物体上的映射位置，在所述映射位置根据对应的所述握紧力度对所述虚拟物体进行外观改变。

在一些实施例中，所述手持控制组件，还包括：运动感应单元；

所述执行模块330，还用于：

确定所述虚拟物体对应的力度阈值；

响应于所述握紧力度满足所述力度阈值，通过所述运动感应单元确定所述用户的手部移动数据，根据所述手部移动数据对所述虚拟物体执行对应的移动交互。

在一些实施例中，所述执行模块330，还用于：

响应于所述握紧力度不满足所述力度阈值；

生成力度不足提示信息；或通过所述运动感应单元确定所述用户的手部移动数据，根据所述手部移动数据对所述虚拟物体执行力度不足的移动交互。

在一些实施例中，所述手部移动数据，至少包括：移动方向、移动速度、移动加速度和/或移动距离。

在一些实施例中，所述手持控制组件，还包括：互动按钮；

所述获取模块320，还用于：

响应于获取到所述用户对所述互动按钮的触发，根据预设的针对所述虚拟物体的锁定交互规则，对所述虚拟物体进行锁定交互。

在一些实施例中，所述获取模块320，还用于：

确定预设的所述虚拟物体对应的锁定交互手势，响应于通过所述手持控制组件获取到所述锁定交互手势，根据预设的锁定交互规则，对所述虚拟物体进行锁定交互。

基于同一构思，与上述任意实施例方法相对应的，本申请还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上任意一实施例所述的虚拟交互方法。

图7示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。

处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。

存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备、动态存储设备等形式实现。存储器1020可以存储操作***和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。

输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入/输出模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。

上述实施例的电子设备用于实现前述任一实施例中相应的虚拟交互方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

基于同一构思，与上述任意实施例方法相对应的，本申请还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任意一实施例所述的虚拟交互方法。

本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的虚拟交互方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

基于同一构思，与上述任意实施例方法相对应的，本申请还提供了一种计算机程序产品，其包括计算机程序。在一些实施例中，所述计算机程序由一个或多个处理器执行，以使得所述处理器执行上述实施例所述的虚拟交互方法。

上述实施例的计算机程序产品用于使处理器执行如上任一实施例所述的虚拟交互方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本申请的范围(包括权利要求)被限于这些例子；在本申请的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本申请实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本申请实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本申请实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本申请实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本申请的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本申请实施例。因此，这些描述应被认为是说明性的而不是限制性的。

尽管已经结合了本申请的具体实施例对本申请进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。

本申请实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本申请实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (15)

1.一种虚拟交互***，其特征在于，包括：

眼动追踪组件，被配置为对用户的视线进行追踪，以确定所述用户进行交互的虚拟物体；

手持控制组件，设置有至少一个力感应单元，被配置为通过所述力感应单元检测所述用户握住所述手持控制组件的握紧力度，以根据所述握紧力度与所述虚拟物体进行交互。

2.根据权利要求1所述的***，其特征在于，所述手持控制组件，还包括：

互动按钮，被配置为响应于所述用户的触发，对所述虚拟物体执行锁定交互。

3.根据权利要求1所述的***，其特征在于，所述手持控制组件，还包括：

运动感应单元，被配置为检测所述用户的手部移动，以根据所述手部移动对所述虚拟物体执行对应的移动交互。

4.一种应用权利要求1至3任一项所述的虚拟交互***的虚拟交互方法，其特征在于，包括：

根据眼动追踪组件确定的用户的视线，确定所述用户正在关注的虚拟物体；

响应于获取到针对所述虚拟物体的互动操作，获取手持控制组件的力感应单元检测到的所述用户的握紧力度；

基于预设的互动规则，根据所述握紧力度对所述虚拟物体执行对应的互动操作。

5.根据权利要求4所述的方法，其特征在于，所述根据所述握紧力度对所述虚拟物体执行对应的互动操作，包括：

响应于所述虚拟物体具有改变外观属性，通过所述力感应单元确定所述用户的发力点，建立所述发力点与所述握紧力度的对应关系，根据所述发力点及对应的所述握紧力度对所述虚拟物体执行改变外观的交互。

6.根据权利要求5所述的方法，其特征在于，所述根据所述发力点及对应的所述握紧力度对所述虚拟物体执行改变外观的交互，包括：

确定所述发力点在所述虚拟物体上的映射位置，在所述映射位置根据对应的所述握紧力度对所述虚拟物体进行外观改变。

7.根据权利要求4所述的方法，其特征在于，所述手持控制组件，还包括：运动感应单元；

所述根据所述握紧力度对所述虚拟物体执行对应的互动操作，包括：

确定所述虚拟物体对应的力度阈值；

响应于所述握紧力度满足所述力度阈值，通过所述运动感应单元确定所述用户的手部移动数据，根据所述手部移动数据对所述虚拟物体执行对应的移动交互。

8.根据权利要求7所述的方法，其特征在于，所述确定所述虚拟物体对应的力度阈值之后，所述方法还包括：

响应于所述握紧力度不满足所述力度阈值；

生成力度不足提示信息；或通过所述运动感应单元确定所述用户的手部移动数据，根据所述手部移动数据对所述虚拟物体执行力度不足的移动交互。

9.根据权利要求7所述的方法，其特征在于，所述手部移动数据，至少包括：移动方向、移动速度、移动加速度和/或移动距离。

10.根据权利要求4所述的方法，其特征在于，所述手持控制组件，还包括：互动按钮；

所述响应于获取到针对所述虚拟物体的互动操作，包括：

响应于获取到所述用户对所述互动按钮的触发，根据预设的针对所述虚拟物体的锁定交互规则，对所述虚拟物体进行锁定交互。

11.根据权利要求4所述的方法，其特征在于，所述响应于获取到针对所述虚拟物体的互动操作，包括：

确定预设的所述虚拟物体对应的锁定交互手势，响应于通过所述手持控制组件获取到所述锁定交互手势，根据预设的锁定交互规则，对所述虚拟物体进行锁定交互。

12.一种虚拟交互装置，其特征在于，包括：

确定模块，用于根据眼动追踪组件确定的用户的视线，确定所述用户正在关注的虚拟物体；

获取模块，用于响应于获取到针对所述虚拟物体的互动操作，获取手持控制组件的力感应单元检测到的所述用户的握紧力度；

执行模块，用于基于预设的互动规则，根据所述握紧力度对所述虚拟物体执行对应的互动操作。

13.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求4至11任一项所述的方法。

14.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机实现权利要求4至11任一项所述的方法。

15.一种计算机程序产品，其特征在于，包括计算机程序指令，当所述计算机程序指令在计算机上运行时，使得计算机执行如权利要求4至11任意一项所述的方法。

Images