CN112148189A - 一种ar场景下的交互方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开提供了一种AR场景下的交互方法、装置、电子设备及存储介质，其中，该方法包括：基于AR设备拍摄的现实场景图像，在AR设备展示与现实场景图像匹配的AR画面；AR画面中展示有至少一个第一虚拟对象的第一AR特效；在检测在AR设备上的目标控制操作、且检测到任一第一虚拟对象满足AR特效切换条件的情况下，在AR画面中展示任一第一虚拟对象切换后的第二AR特效。本公开基于目标控制操作增加了用户与AR设备之间的交互性，基于AR特效切换条件的判断又可以自动实现特效切换，提升了交互效率。

Description

一种AR场景下的交互方法、装置、电子设备及存储介质

技术领域

本公开涉及增强现实(Augmented Reality，AR)技术领域，具体而言，涉及一种AR场景下的交互方法、装置、电子设备及存储介质。

背景技术

AR技术作为一种根据实时计算的摄像机影像的位置及角度，在影像上叠加相应的图像、视频、三维(3-Dimensional，3D)模型以实现虚拟世界与现实世界融合的技术，面向用户提供了一种新的交互体验，因而被广泛应用于消费、医疗、游戏等各种技术领域。

可见，对AR设备呈现的增强现实场景的效果的优化以及交互方式的优化，越发重要。

发明内容

本公开实施例至少提供一种AR场景下的交互方案。

第一方面，本公开实施例提供了一种AR场景下的交互方法，所述方法包括：

基于AR设备拍摄的现实场景图像，在所述AR设备展示与所述现实场景图像匹配的AR画面；所述AR画面中展示有至少一个第一虚拟对象的第一AR特效；

在检测在所述AR设备上的目标控制操作、且检测到任一所述第一虚拟对象满足AR特效切换条件的情况下，在所述AR画面中展示任一所述第一虚拟对象切换后的第二AR特效。

本公开实施例中，通过AR设备可以展示有至少一个第一虚拟对象的第一AR特效的AR画面，在检测在AR设备上的目标控制操作、且检测到任一第一虚拟对象满足AR特效切换条件的情况下，可以展示任一第一虚拟对象的第二AR特效。可知，本公开实施例结合针对AR设备的目标控制操作以及针对第一虚拟对象的AR特效切换条件的判断结果实现了有关虚拟对象的特效切换，基于目标控制操作增加了用户与AR设备之间的交互性，基于AR特效切换条件的判断又可以自动实现特效切换，提升了交互效率。

在一种可能的实施方式中，所述AR画面中还展示有第二虚拟对象，所述第二虚拟对象与所述AR设备之间具有预设相对位姿关系；

所述检测到任一所述第一虚拟对象满足AR特效切换条件，包括：

检测所述第二虚拟对象或所述第二虚拟对象的关联子对象的运行轨迹信息；

基于所述运行轨迹信息以及所述至少一个第一虚拟对象分别在AR画面中的展示位姿，检测到任一所述第一虚拟对象满足AR特效切换条件。

本公开实施例中，可以设置对应触发第一虚拟对象进行AR特效切换的第二虚拟对象，这样，在检测到第二虚拟对象或该虚拟对象的关联子对象的情况下，可以基于上述对象的运行轨迹信息以及第一虚拟对象在AR画面中的展示位姿，确定第一虚拟对象是否满足AR特效切换条件。可知，基于运行轨迹信息以及第一虚拟对象的展示位姿可以将第二虚拟对象和第一对象联系起来，从而形成两个虚拟对象之间的交互，提升了交互体验感。

在一种可能的实施方式中，所述基于所述运行轨迹信息以及所述至少一个第一虚拟对象分别在AR画面中的展示位姿，检测到任一所述第一虚拟对象满足AR特效切换条件，包括：

若所述运行轨迹信息中的轨迹点落入任一所述第一虚拟对象对应的预设位置范围内，则检测到任一所述第一虚拟对象满足AR特效切换条件。

在一种可能的实施方式中，所述检测所述第二虚拟对象或所述第二虚拟对象的关联子对象的运动轨迹信息，包括：

获取所述目标控制操作对应的操控参数信息；

根据所述第二虚拟对象在AR画面中的展示位姿以及确定的所述操控参数信息，确定所述第二虚拟对象或关联子对象的运行轨迹信息。

本公开实施例中，可以基于第二虚拟对象在AR画面中的展示位姿以及目标控制操作对应的操控参数信息确定第二虚拟对象或关联子对象的运行轨迹信息，这里的操控参数信息可以是操作力度、操作方向等信息，不同的操作方向、力度所确定的运行轨迹信息也可以不同。这样，在AR设备上进行AR画面展示的过程中，用户可以通过调整操控参数信息来改变第二虚拟对象或关联子对象的运行轨迹信息，提升AR交互体验感。

在一种可能的实施方式中，根据以下方式确定所述第二虚拟对象在AR画面中的展示位姿：

基于AR设备拍摄的现实场景图像，以及预先构建的三维场景地图，确定所述AR设备的初始定位位姿；

基于所述AR设备的初始定位位姿，通过实时定位与地图构建SLAM，确定所述AR设备的实时定位位姿；

基于所述AR设备的实时定位位姿，以及所述第二虚拟对象与所述AR设备之间在三维场景地图中的预设相对位姿关系，确定所述第二虚拟对象在AR画面中的展示位姿。

本公开实施例可以结合三维场景地图和SLAM实现对AR设备的定位，准确性和实时性均较好，这样所确定的第二虚拟对象在AR画面中的展示位姿将可以随着AR设备的位姿同步发生更新，提升交互体验。

在一种可能的实施方式中，所述检测在所述AR设备上的目标控制操作，包括：

检测作用在所述AR设备上展示的目标虚拟对象的目标触发操作；

其中，所述目标虚拟对象包括以下至少一种：

任一所述第一虚拟对象；所述第二虚拟对象；触发按钮。

在一种可能的实施方式中，根据以下步骤检测作用在所述AR设备上展示的目标虚拟对象的目标触发操作：

响应作用在所述AR设备屏幕上的触发操作，确定与所述触发操作对应的屏幕坐标位置；

基于确定的所述屏幕坐标位置、以及屏幕坐标系与相机坐标系之间的第一转换关系，将所述屏幕坐标位置转换到相机坐标系下的相机坐标位置；

基于转换后的所述相机坐标位置、以及相机坐标系与世界坐标系之间的第二转换关系，将所述相机坐标位置转换到世界坐标系下，得到世界坐标位置；

在所述世界坐标位置落入所述目标虚拟对象对应的位置范围内的情况下，确定检测到作用在所述AR设备上展示的目标虚拟对象的目标触发操作。

本公开实施例中，可以基于坐标系转换关系，将用户在AR设备屏幕上触发的屏幕坐标位置转换到世界坐标系下，进而基于转换得到的世界坐标位置与目标虚拟对象对应的位置范围的匹配结果来确定是否检测到目标触发操作。可知，通过用户与AR设备的交互操作，实现了对目标虚拟对象的控制，增加了交互体验感。

在一种可能的实施方式中，根据以下步骤在AR画面中展示所述第一虚拟对象的第一AR特效：

在基于确定的所述AR设备的实时定位位姿，以及预先构建的三维场景地图，确定所述AR设备到达所述三维场景地图指示的目标交互区域的情况下，在AR画面中展示与所述AR设备的实时定位位姿匹配的第一虚拟对象的第一AR特效。

在一种可能的实施方式中，在AR画面中展示与所述AR设备的实时定位位姿匹配的第一虚拟对象的第一AR特效，包括：

根据预设的不同交互阶段分别对应的所述第一虚拟对象的AR特效数据包，确定当前交互阶段对应的目标AR特效数据包；

基于所述目标AR特效数据包，在AR画面中展示与所述AR设备的实时定位位姿匹配的第一虚拟对象的第一AR特效。

这里，可以先基于不同交互阶段所对应的第一虚拟对象的AR特效数据包确定当前交互阶段对应的目标AR特效数据包，进而进行第一虚拟对象的第一AR特效的展示，也即，不同交互阶段所展示出的第一AR特效可以不同，这可以丰富展示效果，提升交互体验感。

第二方面，本公开实施例还提供了一种AR场景下的交互装置，所述装置包括：

展示模块，用于基于AR设备拍摄的现实场景图像，在所述AR设备展示与所述现实场景图像匹配的AR画面；所述AR画面中展示有至少一个第一虚拟对象的第一AR特效；

切换模块，用于在检测在所述AR设备上的目标控制操作、且检测到任一所述第一虚拟对象满足AR特效切换条件的情况下，在所述AR画面中展示任一所述第一虚拟对象切换后的第二AR特效。

第三方面，本公开实施例还提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如第一方面及其各种实施方式任一所述的AR场景下的交互方法的步骤。

第四方面，本公开实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被电子设备运行时，所述电子设备执行如第一方面及其各种实施方式任一项所述的AR场景下的交互方法的步骤。

关于上述AR场景下的交互装置、电子设备、及计算机可读存储介质的效果描述参见上述AR场景下的交互方法的说明，这里不再赘述。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种AR场景下的交互方法的流程图；

图2(a)示出了本公开实施例所提供的一种AR场景下的交互方法的场景示意图；

图2(b)示出了本公开实施例所提供的一种AR场景下的交互方法的场景示意图；

图3示出了本公开实施例所提供的一种AR场景下的交互装置的示意图；

图4示出了本公开实施例所提供的一种电子设备的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

本公开至少提供了一种AR场景下的交互方案，结合针对AR设备的目标控制操作以及针对第一虚拟对象的AR特效切换条件的判断结果实现了有关虚拟对象的特效切换。

针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

为便于对本实施例进行理解，首先对本公开实施例所公开的一种AR场景下的交互方法进行详细介绍，本公开实施例所提供的AR场景下的交互方法的执行主体一般为具有一定计算能力的电子设备，该电子设备例如包括：用户终端或服务器或其它处理设备，比如可以是与用户终端连接的服务器，该用户终端可以是平板电脑、智能手机、智能穿戴式设备、AR设备(如AR眼镜、AR头盔等)等具有显示功能和数据处理能力的设备，用户终端可以通过应用程序连接服务器。在一些可能的实现方式中，该AR场景下的交互方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

下面对本公开实施例提供的AR场景下的交互方法加以说明。

参见图1所示，为本公开实施例提供的AR场景下的交互方法的流程图，方法包括步骤S101～S102，其中：

S101、基于AR设备拍摄的现实场景图像，在AR设备展示与现实场景图像匹配的AR画面；AR画面中展示有至少一个第一虚拟对象的第一AR特效；

S102、在检测在AR设备上的目标控制操作、且检测到任一第一虚拟对象满足AR特效切换条件的情况下，在AR画面中展示任一第一虚拟对象切换后的第二AR特效。

上述AR场景下的交互方法主要可以应用于各种需要进行AR场景交互的场景中，例如，可以应用于AR游戏场景中，实现对AR游戏场景中的虚拟游戏角色的特效切换等，还可以是应用于AR导航场景中，实现对AR导航场景中的虚拟人物的特效切换等，还可以是应用于其他各种应用场景中，在此不做具体的限制。

本公开实施例提供的AR场景下的交互方法在AR画面中进行有关第一虚拟对象的特效切换之前，可以先检测是否在展示有AR画面的AR设备上获取到目标控制操作，在检测到目标控制操作的情况下，若确定第一虚拟对象满足AR特效切换条件，可以通过AR设备在AR画面中展示切换后的第二AR特效。

上述的AR特效切换条件可以是基于目标控制操作实现的，例如，在对AR设备屏幕进行单击、双击、滑动等操作后，实现第一虚拟对象的特效切换。

这里以AR游戏场景为例，可以是在针对AR设备或者该AR设备所呈现AR画面中的第一虚拟对象(如虚拟人物)执行双击操作后，实现由行走这一第一AR特效到跳跃这一第二AR特效的切换。

除此之外，在不同的应用场景中，除了可以设置多个AR特效，还可以设置不同特效之间的切换顺序，从而实现多个AR特效的顺序展示，例如，在共计3个AR特效的情况下，可以每执行一次单击操作即切换一次特效。

本公开实施例提供的AR场景下的交互方法可以按照上述针对第一虚拟对象的目标控制操作直接实现该第一虚拟对象的AR特效切换，还可以间接通过针对第二虚拟对象的目标控制操作实现第一虚拟对象的AR特效切换，除此之外，还可以是通过针对触发按钮的目标控制操作实现第一虚拟对象的AR特效切换。

在一些实施例中，上述第一虚拟对象、第二虚拟对象和触发按钮均可以作为AR设备上展示的目标虚拟对象，通过对这些目标虚拟对象进行目标触发操作均可以检测到作用在AR设备上的目标控制操作。

本公开实施例中，检测作用在AR设备上展示的目标虚拟对象的目标触发操作的过程具体可以通过如下步骤来实现：

步骤一、响应作用在AR设备屏幕上的触发操作，确定与触发操作对应的屏幕坐标位置；

步骤二、基于确定的屏幕坐标位置、以及屏幕坐标系与相机坐标系之间的第一转换关系，将屏幕坐标位置转换到相机坐标系下的相机坐标位置；

步骤三、基于转换后的相机坐标位置、以及相机坐标系与世界坐标系之间的第二转换关系，将相机坐标位置转换到世界坐标系下，得到世界坐标位置；

步骤四、在世界坐标位置落入目标虚拟对象对应的位置范围内的情况下，确定检测到作用在AR设备上展示的目标虚拟对象的目标触发操作。

这里，首先可以响应用户在AR设备屏幕上执行的触发操作，这里，可以确定对应触发的屏幕坐标位置。由于屏幕坐标系和相机坐标系之间存在第一转换关系以及相机坐标系与世界坐标系之间存在第二转换关系，这时，可以先将屏幕坐标位置转换到相机坐标系下的相机坐标位置，然后再将转换得到的相机坐标位置转换到世界坐标系下，得到世界坐标位置。

其中，上述世界坐标位置可以指示的现实世界中的一个实际物理位置，由于AR设备在进行AR画面展示的过程中是结合现实世界所呈现的目标虚拟对象，因而，对于上述所指示的实际物理位置而言，可以基于该实际物理位置是否落入到目标虚拟对象对应的位置范围的判断结果来确定当前的目标触发操作是否作用到了目标虚拟对象上。也即，如果确定上述实际物理位置落入到目标虚拟对象对应的位置范围内，则可以认为当前的目标触发操作作用到了目标虚拟对象上。

基于上述有关目标虚拟对象的目标触发操作的分析结果，可以确定第一虚拟对象是否满足AR特效切换条件。考虑到通过对第二虚拟对象的间接触发操作所实现的AR特效切换具有更好的交互体验感，本公开实施例中也可以采用上述间接触发操作来实现AR特效切换。

在一些实施例中，第二虚拟对象可以是与AR设备之间具有预设相对位姿关系的虚拟对象。这里的预设相对位姿关系可以包括预设相对位置关系，还可以包括预设相对姿态关系。

有关预设相对位置关系，可以是第二虚拟对象在AR设备之前，相距AR设备呈预设距离的位置关系，这样，AR画面中的第二虚拟对象可以是在AR设备前方呈引导作用，除此之外，第二虚拟对象还可以是与AR设备处于同一位置，同步运动，本公开实施例对此不做具体的限制。

有关预设相对姿态关系，可以是第二虚拟对象与AR设备呈预设夹角的姿态关系，还可以是处于同一姿态。

示例性的，可以将第二虚拟对象与AR设备的位姿进行关联设置，进一步提升交互体验。

这里仍以AR游戏场景为例，这里的第二虚拟对象可以是用于瞄准怪兽这一第一虚拟对象的炮筒，基于上述预设相对位姿关系可以确保炮筒与持有AR设备的用户之间的操作是同步的，例如，在用户将AR设备向上翻转15°的情况下，对应炮筒也可以上扬15°，从而进一步确保交互的体验感。

本公开实施例中，可以通过如下步骤确定第一虚拟对象是否满足AR特效切换条件：

步骤一、检测第二虚拟对象或第二虚拟对象的关联子对象的运行轨迹信息；

步骤二、基于运行轨迹信息以及至少一个第一虚拟对象分别在AR画面中的展示位姿，检测到任一第一虚拟对象满足AR特效切换条件。

这里，有关第二虚拟对象的运行轨迹信息或者第二虚拟对象的关联子对象的运行轨迹信息可以是基于目标控制操作对应的操控参数信息确定的，这样，在第二虚拟对象在AR画面中的展示位姿确定的情况下，可以结合上述操控参数信息，确定运行轨迹信息。

在不同的应用场景下，进行运行轨迹信息的确定所需的操控参数信息也不同。这里的操控参数信息可以是能够操控第二虚拟对象或其关联子对象的运行轨迹的相关参数信息，例如，可以是基于目标控制操作所确定的操控力度、操控方向等信息。

这里仍以AR游戏场景为例，在第二虚拟对象为炮筒、第二虚拟对象的关联子对象是该炮筒可以发射出的炮弹的情况下，上述操控参数信息可以是基于目标控制操作确定的射击力度、射击距离等信息，结合这些信息和炮筒的展示位姿可以以炮弹为发射起点，确定基于该发射起点的有关炮弹的运行轨迹信息。其中，上述射击力度、射击距离等信息可以是基于针对第二虚拟对象执行目标控制操作的触发时长、触发次数等实际操作结果所映射得到的。

这里，在运行轨迹信息中的轨迹点落入任一第一虚拟对象对应的预设位置范围内的情况下，即可以认为检测到任一第一虚拟对象满足AR特效切换条件。

在一些实施例中，为了进一步提升AR场景交互的体验感，可以针对第二虚拟对象执行多次目标控制操作，基于多次目标控制操作的累积控制效果控制第一虚拟对象的AR特效切换。在这种情况下，可以是累积多次(如5次)目标控制操作所确定的运行轨迹信息的轨迹点均落入到某一个第一虚拟对象对应的预设位置范围的情况下，认为这一第一虚拟对象满足AR特效切换条件。

为了便于进一步理解本公开实施例提供的上述基于目标控制操作的多次执行所实现的AR特效切换，接下来可以结合图2(a)和图2(b)所示的AR射击游戏场景进行示例说明。

在如图2(a)所示的AR射击游戏场景中，共计三个第一虚拟对象，分别为章鱼、海胆和乌贼，炮筒作为第二虚拟对象，可以在对海胆执行5次射击操作的情况下，确定切换到海胆消失的AR特效，如图2(b)所示。

本公开实施例提供的AR场景下的交互方法中，有关第二虚拟对象在AR画面中的展示位姿可以是在确定出AR设备的定位位姿信息的情况下，基于定位位姿信息以及第二虚拟对象与AR设备之间在三维场景地图中的预设相对位姿关系所确定的。这里仍以AR游戏场景为例，在第二虚拟对象为炮筒的情况下，可以将AR设备的拍摄方向确定为炮筒的发射方向，两者保持同步。

考虑到AR设备的实时定位位姿的确定作为确定第二虚拟对象的展示位姿的关键步骤，接下来可以对AR设备的实时定位位姿的确定过程进行详细说明。

本公开实施例中，可以基于AR设备拍摄的现实场景图像，以及预先构建的三维场景地图，确定AR设备的定位位姿信息。

其中，上述现实场景图像可以是穿戴AR设备的用户在AR场景进行AR体验的过程中，通过AR设备上设置的摄像头拍摄的相关图像。基于拍摄的相关图像，这里一方面可以采用在AR设备进行基于预先构建的三维场景地图确定AR设备的定位位姿信息的本地定位，另一方面，可以采用服务器的远端定位，也即将拍摄的现实场景图像上传至服务器之后，服务器可以基于预先构建的三维场景地图来确定AR设备的定位位姿信息，本公开实施例对此不做具体的限制。

本公开实施例中的三维场景地图可以是基于点云数据构建的高精地图。这里，可以针对一个特定地点收集大量的照片或者视频，例如，包括不同拍摄时间、不同拍摄角度，不同拍摄位置的照片集合，基于收集的照片集合来恢复特定地点的稀疏特征点云，基于恢复的稀疏特征点云即可以构建对应这一特定地点的高精地图。在一些实施例中，可以基于运动重构(Structure from Motion，SFM)这一三维重建技术来具体实现。

这样，在获取到AR设备上传的现实场景图像之后，首先可以提取照片中的特征点，再将现实场景图像与高精地图对应的稀疏特征点云进行匹配，基于匹配结果可以确定AR设备拍摄现实场景图像过程中的位置和姿态。

由此利用上述三维场景地图可以实现对AR设备进行高精度和高准确性的位姿确认。

本公开实施例还可以结合实时定位与地图构建(Simultaneous LocalizationAnd Mapping,SLAM)技术实现AR设备的定位。本公开实施例可以按照如下步骤来实现联合定位：

步骤一、基于AR设备拍摄的现实场景图像，以及预先构建的三维场景地图，确定AR设备的初始定位位姿；

步骤二、基于AR设备的初始定位位姿，通过实时定位与地图构建SLAM，确定AR设备的实时定位位姿。

这里，首先可以基于三维场景地图对AR设备进行初始定位位姿的确定，在初始定位位姿的基础上，可以通过SLAM，确定AR设备的实时定位位姿。这里的SLAM可以在AR设备自身定位的基础上建造增量式地图，这样，在AR设备的初始定位位姿确定的情况下，即可以确定设备在空间中运动的位置和方向，从而实现AR设备的实时定位，这样，不仅确保了定位的高精度和高准确度，还降低了定位延迟，达到更高的实时性。

在一些实施例中，在基于SLAM进行实时定位的过程中，还可以每隔一个预设时间间隔(如5秒)结合三维场景地图的高精度定位来进行定位校准，从而进一步提升定位的准确度和精度。

基于上述定位方式确定AR设备的实时定位位姿之后，可以基于定位位姿信息，确定AR设备是否位于目标交互区域内。该目标交互区域可以是基于三维场景地图预先设定好的区域，在确定进入AR交互的空间位置范围之后，可以在三维场景地图确定与空间位置范围对应的目标交互区域。

在一些实施例中，考虑到Unity这一引擎工具提供了一套非常完整的图形化界面，包括文本窗口、输入框、拖动框等等，因此，本公开实施例可以基于Unity这一引擎工具实现上述有关目标交互区域在三维场景地图中的设置。

这里，可以先通过Unity的图形化界面实现在Unity展示地图中针对目标交互区域的框选设置，然后再利用Unity展示地图与三维场景地图之间的预设映射关系，将框选后的针对目标交互区域映射至三维场景地图上，从而实现目标交互区域在三维场景地图中的设置。

这里以AR游戏场景为例，上述目标交互区域可以对应一个游戏的不同游戏任务，对应的目标AR交互场景则可以是对应不同游戏任务所依赖的AR游戏场景；上述目标交互区域还可以对应不同的游戏，对应的目标AR交互场景则可以是对应不同游戏所依赖的AR游戏场景，除此之外，还可以采用其它设置方式，在此不做具体的限制。

本公开实施例中，在确定AR设备到达目标交互区域的情况下，可以在AR画面中与AR设备的实时定位位姿匹配的第一虚拟对象的第一AR特效。

本公开实施例中，在不同的目标交互区域中，针对第一虚拟对象可以预先配置有不同的AR特效包(第一AR特效)，该特效包可以包括该第一虚拟对象的特效数据，例如，这里的特效数据可以是针对虚拟人物的语音播报特效。在进行第一AR特效展示的过程中，可以是基于AR设备的实时定位位姿来确定对应的展示效果，例如，在AR设备的拍摄方向相对第一虚拟对象的正面存在一定的夹角的情况下，可以将上述预设的第一AR特效中的虚拟人物旋转对应的角度后再进行展示。

为了进一步的提升交互体验感，本公开实施例提供的AR场景下的交互方法可以针对不同的交互阶段设置不同的AR特效，具体可以包括如下步骤：

步骤一、根据预设的不同交互阶段分别对应的第一虚拟对象的AR特效数据包，确定当前交互阶段对应的目标AR特效数据包；

步骤二、基于目标AR特效数据包，在AR画面中展示与AR设备的实时定位位姿匹配的第一虚拟对象的第一AR特效。

本公开实施例中，可以先基于不同交互阶段所对应的第一虚拟对象的AR特效数据包确定当前交互阶段对应的目标AR特效数据包，进而进行第一虚拟对象的第一AR特效的展示。

示例性的，交互阶段可以是针对穿戴有AR设备的用户的AR体验等级来确定的，这里的AR体验等级可以是基于用户对同一应用场景进行AR体验的次数、时长等信息来确定，例如，对于一个特定应用场景的体验次数更多、体验时长更长的用户，其AR体验等级更高。

针对具有不同AR体验等级的用户而言，可以对应设置不同的交互阶段。

除此之外，本公开实施例中的交互阶段还可以是结合交互场景的具体场景信息所确定的，在此不做赘述。

这里仍以AR游戏场景为例，可以预设有三个不同的交互阶段，交互阶段越高，对应的游戏难度越大，不同的游戏难度可以对应不同的AR特效数据包，这里可以设置游戏难度更大的AR特效数据包所指示的第一虚拟对象的运动速度特效快于游戏难度更小的，在确保展示效果的同时，还进一步提升了AR交互体验度。

在一些实施例中，针对不同的交互阶段不仅可以进行运动速度的特效设置，还可以对第一虚拟对象的生成数量等进行特效设置。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一发明构思，本公开实施例中还提供了与AR场景下的交互方法对应的AR场景下的交互装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述AR场景下的交互方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

参照图3所示，为本公开实施例提供的一种AR场景下的交互装置的示意图，装置包括：展示模块301、切换模块302；其中，

展示模块301，用于基于AR设备拍摄的现实场景图像，在AR设备展示与现实场景图像匹配的AR画面；AR画面中展示有至少一个第一虚拟对象的第一AR特效；

切换模块302，用于在检测在AR设备上的目标控制操作、且检测到任一第一虚拟对象满足AR特效切换条件的情况下，在AR画面中展示任一第一虚拟对象切换后的第二AR特效。

本公开实施例通过AR设备可以展示有至少一个第一虚拟对象的第一AR特效的AR画面，在检测在AR设备上的目标控制操作、且检测到任一第一虚拟对象满足AR特效切换条件的情况下，可以展示任一第一虚拟对象的第二AR特效，基于对AR设备的控制操作实现了有关虚拟对象的特效切换，使得操作虚拟对象的过程更加便捷，另外也提升了用户在参与AR交互过程中的体验感。

在一种可能的实施方式中，AR画面中还展示有第二虚拟对象，第二虚拟对象与AR设备之间具有预设相对位姿关系；

切换模块302，用于按照以下步骤检测到任一第一虚拟对象满足AR特效切换条件：

检测第二虚拟对象或第二虚拟对象的关联子对象的运行轨迹信息；

基于运行轨迹信息以及至少一个第一虚拟对象分别在AR画面中的展示位姿，检测到任一第一虚拟对象满足AR特效切换条件。

在一种可能的实施方式中，切换模块302，用于按照以下步骤基于运行轨迹信息以及至少一个第一虚拟对象分别在AR画面中的展示位姿，检测到任一第一虚拟对象满足AR特效切换条件：

若运行轨迹信息中的轨迹点落入任一第一虚拟对象对应的预设位置范围内，则检测到任一第一虚拟对象满足AR特效切换条件。

在一种可能的实施方式中，切换模块302，用于按照以下步骤检测第二虚拟对象或第二虚拟对象的关联子对象的运动轨迹信息：

获取目标控制操作对应的操控参数信息；

根据第二虚拟对象在AR画面中的展示位姿以及确定的操控参数信息，确定第二虚拟对象或关联子对象的运行轨迹信息。

在一种可能的实施方式中，展示模块301，用于根据以下方式确定第二虚拟对象在AR画面中的展示位姿：

基于AR设备拍摄的现实场景图像，以及预先构建的三维场景地图，确定AR设备的初始定位位姿；

基于AR设备的初始定位位姿，通过实时定位与地图构建SLAM，确定AR设备的实时定位位姿；

基于AR设备的实时定位位姿，以及第二虚拟对象与AR设备之间在三维场景地图中的预设相对位姿关系，确定第二虚拟对象在AR画面中的展示位姿。

在一种可能的实施方式中，切换模块302，用于按照以下步骤检测在AR设备上的目标控制操作：

检测作用在AR设备上展示的目标虚拟对象的目标触发操作；

其中，目标虚拟对象包括以下至少一种：

任一第一虚拟对象；第二虚拟对象；触发按钮。

在一种可能的实施方式中，切换模块302，用于按照以下步骤根据以下步骤检测作用在AR设备上展示的目标虚拟对象的目标触发操作：

响应作用在AR设备屏幕上的触发操作，确定与触发操作对应的屏幕坐标位置；

基于确定的屏幕坐标位置、以及屏幕坐标系与相机坐标系之间的第一转换关系，将屏幕坐标位置转换到相机坐标系下的相机坐标位置；

基于转换后的相机坐标位置、以及相机坐标系与世界坐标系之间的第二转换关系，将相机坐标位置转换到世界坐标系下，得到世界坐标位置；

在世界坐标位置落入目标虚拟对象对应的位置范围内的情况下，确定检测到作用在AR设备上展示的目标虚拟对象的目标触发操作。

在一种可能的实施方式中，展示模块301，用于根据以下步骤在AR画面中展示第一虚拟对象的第一AR特效：

在基于确定的AR设备的实时定位位姿，以及预先构建的三维场景地图，确定AR设备到达三维场景地图指示的目标交互区域的情况下，在AR画面中展示与AR设备的实时定位位姿匹配的第一虚拟对象的第一AR特效。

在一种可能的实施方式中，展示模块301，用于根据以下步骤在AR画面中展示与AR设备的实时定位位姿匹配的第一虚拟对象的第一AR特效：

根据预设的不同交互阶段分别对应的第一虚拟对象的AR特效数据包，确定当前交互阶段对应的目标AR特效数据包；

基于目标AR特效数据包，在AR画面中展示与AR设备的实时定位位姿匹配的第一虚拟对象的第一AR特效。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。

本公开实施例还提供了一种电子设备，如图4所示，为本公开实施例提供的电子设备结构示意图，包括：处理器401、存储器402、和总线403。存储器402存储有处理器401可执行的机器可读指令(比如，图3中的AR场景下的交互装置中展示模块301、切换模块302对应的执行指令等)，当电子设备运行时，处理器401与存储器402之间通过总线403通信，机器可读指令被处理器401执行时执行如下处理：

基于AR设备拍摄的现实场景图像，在AR设备展示与现实场景图像匹配的AR画面；AR画面中展示有至少一个第一虚拟对象的第一AR特效；

在检测在AR设备上的目标控制操作、且检测到任一第一虚拟对象满足AR特效切换条件的情况下，在AR画面中展示任一第一虚拟对象切换后的第二AR特效。

在一种可能的实施方式中，AR画面中还展示有第二虚拟对象，第二虚拟对象与AR设备之间具有预设相对位姿关系；上述处理器401执行的指令中，检测到任一第一虚拟对象满足AR特效切换条件，包括：

检测第二虚拟对象或第二虚拟对象的关联子对象的运行轨迹信息；

基于运行轨迹信息以及至少一个第一虚拟对象分别在AR画面中的展示位姿，检测到任一第一虚拟对象满足AR特效切换条件。

在一种可能的实施方式中，上述处理器401执行的指令中，基于运行轨迹信息以及至少一个第一虚拟对象分别在AR画面中的展示位姿，检测到任一第一虚拟对象满足AR特效切换条件，包括：

若运行轨迹信息中的轨迹点落入任一第一虚拟对象对应的预设位置范围内，则检测到任一第一虚拟对象满足AR特效切换条件。

在一种可能的实施方式中，上述处理器401执行的指令中，检测第二虚拟对象或第二虚拟对象的关联子对象的运动轨迹信息，包括：

获取目标控制操作对应的操控参数信息；

根据第二虚拟对象在AR画面中的展示位姿以及确定的操控参数信息，确定第二虚拟对象或关联子对象的运行轨迹信息。

在一种可能的实施方式中，上述处理器401执行的指令中，根据以下方式确定第二虚拟对象在AR画面中的展示位姿：

基于AR设备拍摄的现实场景图像，以及预先构建的三维场景地图，确定AR设备的初始定位位姿；

基于AR设备的初始定位位姿，通过实时定位与地图构建SLAM，确定AR设备的实时定位位姿；

基于AR设备的实时定位位姿，以及第二虚拟对象与AR设备之间在三维场景地图中的预设相对位姿关系，确定第二虚拟对象在AR画面中的展示位姿。

在一种可能的实施方式中，上述处理器401执行的指令中，检测在AR设备上的目标控制操作，包括：

检测作用在AR设备上展示的目标虚拟对象的目标触发操作；

其中，目标虚拟对象包括以下至少一种：

任一第一虚拟对象；第二虚拟对象；触发按钮。

在一种可能的实施方式中，上述处理器401执行的指令中，根据以下步骤检测作用在AR设备上展示的目标虚拟对象的目标触发操作：

响应作用在AR设备屏幕上的触发操作，确定与触发操作对应的屏幕坐标位置；

基于确定的屏幕坐标位置、以及屏幕坐标系与相机坐标系之间的第一转换关系，将屏幕坐标位置转换到相机坐标系下的相机坐标位置；

基于转换后的相机坐标位置、以及相机坐标系与世界坐标系之间的第二转换关系，将相机坐标位置转换到世界坐标系下，得到世界坐标位置；

在世界坐标位置落入目标虚拟对象对应的位置范围内的情况下，确定检测到作用在AR设备上展示的目标虚拟对象的目标触发操作。

在一种可能的实施方式中，上述处理器401执行的指令中，根据以下步骤在AR画面中展示第一虚拟对象的第一AR特效：

在基于确定的AR设备的实时定位位姿，以及预先构建的三维场景地图，确定AR设备到达三维场景地图指示的目标交互区域的情况下，在AR画面中展示与AR设备的实时定位位姿匹配的第一虚拟对象的第一AR特效。

在一种可能的实施方式中，上述处理器401执行的指令中，在AR画面中展示与AR设备的实时定位位姿匹配的第一虚拟对象的第一AR特效，包括：

根据预设的不同交互阶段分别对应的第一虚拟对象的AR特效数据包，确定当前交互阶段对应的目标AR特效数据包；

基于目标AR特效数据包，在AR画面中展示与AR设备的实时定位位姿匹配的第一虚拟对象的第一AR特效。

上述指令的具体执行过程可以参考本公开实施例中所述的AR场景下的交互方法的步骤，此处不再赘述。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的AR场景下的交互方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例所提供的AR场景下的交互方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的AR场景下的交互方法的步骤，具体可参见上述方法实施例，在此不再赘述。

本公开实施例还提供一种计算机程序，该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software DevelopmentKit，SDK)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (12)

1.一种增强现实AR场景下的交互方法，其特征在于，所述方法包括：

基于AR设备拍摄的现实场景图像，在所述AR设备展示与所述现实场景图像匹配的AR画面；所述AR画面中展示有至少一个第一虚拟对象的第一AR特效；

在检测在所述AR设备上的目标控制操作、且检测到任一所述第一虚拟对象满足AR特效切换条件的情况下，在所述AR画面中展示任一所述第一虚拟对象切换后的第二AR特效。

2.根据权利要求1所述的方法，其特征在于，所述AR画面中还展示有第二虚拟对象，所述第二虚拟对象与所述AR设备之间具有预设相对位姿关系；

所述检测到任一所述第一虚拟对象满足AR特效切换条件，包括：

检测所述第二虚拟对象或所述第二虚拟对象的关联子对象的运行轨迹信息；

基于所述运行轨迹信息以及所述至少一个第一虚拟对象分别在AR画面中的展示位姿，检测到任一所述第一虚拟对象满足AR特效切换条件。

3.根据权利要求2所述的方法，其特征在于，所述基于所述运行轨迹信息以及所述至少一个第一虚拟对象分别在AR画面中的展示位姿，检测到任一所述第一虚拟对象满足AR特效切换条件，包括：

若所述运行轨迹信息中的轨迹点落入任一所述第一虚拟对象对应的预设位置范围内，则检测到任一所述第一虚拟对象满足AR特效切换条件。

4.根据权利要求2或3所述的方法，其特征在于，所述检测所述第二虚拟对象或所述第二虚拟对象的关联子对象的运动轨迹信息，包括：

获取所述目标控制操作对应的操控参数信息；

根据所述第二虚拟对象在AR画面中的展示位姿以及确定的所述操控参数信息，确定所述第二虚拟对象或关联子对象的运行轨迹信息。

5.根据权利要求4所述的方法，其特征在于，根据以下方式确定所述第二虚拟对象在AR画面中的展示位姿：

基于AR设备拍摄的现实场景图像，以及预先构建的三维场景地图，确定所述AR设备的初始定位位姿；

基于所述AR设备的初始定位位姿，通过实时定位与地图构建SLAM，确定所述AR设备的实时定位位姿；

基于所述AR设备的实时定位位姿，以及所述第二虚拟对象与所述AR设备之间在三维场景地图中的预设相对位姿关系，确定所述第二虚拟对象在AR画面中的展示位姿。

6.根据权利要求2-5任一所述的交互方法，其特征在于，所述检测在所述AR设备上的目标控制操作，包括：

检测作用在所述AR设备上展示的目标虚拟对象的目标触发操作；

其中，所述目标虚拟对象包括以下至少一种：

任一所述第一虚拟对象；所述第二虚拟对象；触发按钮。

7.根据权利要求6所述的交互方法，其特征在于，根据以下步骤检测作用在所述AR设备上展示的目标虚拟对象的目标触发操作：

响应作用在所述AR设备屏幕上的触发操作，确定与所述触发操作对应的屏幕坐标位置；

基于确定的所述屏幕坐标位置、以及屏幕坐标系与相机坐标系之间的第一转换关系，将所述屏幕坐标位置转换到相机坐标系下的相机坐标位置；

基于转换后的所述相机坐标位置、以及相机坐标系与世界坐标系之间的第二转换关系，将所述相机坐标位置转换到世界坐标系下，得到世界坐标位置；

在所述世界坐标位置落入所述目标虚拟对象对应的位置范围内的情况下，确定检测到作用在所述AR设备上展示的目标虚拟对象的目标触发操作。

8.根据权利要求1-7任一所述的交互方法，其特征在于，根据以下步骤在AR画面中展示所述第一虚拟对象的第一AR特效：

在基于确定的所述AR设备的实时定位位姿，以及预先构建的三维场景地图，确定所述AR设备到达所述三维场景地图指示的目标交互区域的情况下，在AR画面中展示与所述AR设备的实时定位位姿匹配的第一虚拟对象的第一AR特效。

9.根据权利要求8所述的交互方法，其特征在于，在AR画面中展示与所述AR设备的实时定位位姿匹配的第一虚拟对象的第一AR特效，包括：

根据预设的不同交互阶段分别对应的所述第一虚拟对象的AR特效数据包，确定当前交互阶段对应的目标AR特效数据包；

基于所述目标AR特效数据包，在AR画面中展示与所述AR设备的实时定位位姿匹配的第一虚拟对象的第一AR特效。

10.一种增强现实AR场景下的交互装置，其特征在于，所述装置包括：

展示模块，用于基于AR设备拍摄的现实场景图像，在所述AR设备展示与所述现实场景图像匹配的AR画面；所述AR画面中展示有至少一个第一虚拟对象的第一AR特效；

切换模块，用于在检测在所述AR设备上的目标控制操作、且检测到任一所述第一虚拟对象满足AR特效切换条件的情况下，在所述AR画面中展示任一所述第一虚拟对象切换后的第二AR特效。

11.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至9任一所述的增强现实AR场景下的交互方法的步骤。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被电子设备运行时，所述电子设备执行如权利要求1至9任一所述的增强现实AR场景下的交互方法的步骤。

Images