CN112365607A - 一种增强现实ar交互的方法、装置、设备及存储介质 - Google Patents

Abstract

本公开提供了一种增强现实AR交互的方法、装置、设备及存储介质，其中，该方法包括：获取AR设备采集的作业现场的目标图像；识别目标图像中待安装部件的属性信息；确定与待安装部件的属性信息匹配的目标安装设备，以及目标安装设备上的目标安装区域；通过AR设备展示用于指示待安装部件对应的目标安装区域的AR提示内容。

Description

一种增强现实AR交互的方法、装置、设备及存储介质

技术领域

本公开涉及增强现实(Augmented Reality，AR)技术领域，具体而言，涉及一种增强现实AR交互的方法、装置、设备及存储介质。

背景技术

AR技术作为一种根据实时计算的摄像机影像的位置及角度，在影像上叠加相应的图像、视频、三维(3-Dimensional，3D)模型以实现虚拟世界与现实世界融合的技术，面向用户提供了一种新的交互体验，因而被广泛应用于消费、医疗、工业等各种技术领域。

以工厂作业场景为例，在AR技术应用到这一场景时，由于缺乏针对特定作业场景的相关处理，而导致AR交互体验感较低。

发明内容

本公开实施例至少提供一种增强现实AR交互的方法、装置、设备及存储介质。

第一方面，本公开实施例提供了一种增强现实AR交互的方法，包括：

获取AR设备采集的作业现场的目标图像；

识别所述目标图像中待安装部件的属性信息；

确定与所述待安装部件的属性信息匹配的目标安装设备，以及所述目标安装设备上的目标安装区域；

通过所述AR设备展示用于指示所述待安装部件对应的所述目标安装区域的AR提示内容。

采用上述增强现实AR交互的方法所确定的目标安装区域可以是在从目标图像中识别出待安装部件的属性信息的情况下，基于这一属性信息从目标安装设备上确定的安装区域，这样，用户可以基于AR提示内容的引导功能在确定的目标安装区域进行待安装部件的安装，在实现了AR虚拟环境与真实场景融合的前提下，提升了用户与AR设备之间的交互体验感，且在实际工业场景中通过在采集的目标图像上叠加待安装部件对应的目标安装区域的AR提示内容，可以对工业作业流程，比如部件安装流程进行有效引导。

在一种可能的实施方式中，所述待安装部件的属性信息包括以下至少一种：类别、尺寸、型号、名称。

在一种可能的实施方式中，所述识别所述目标图像中待安装部件的属性信息，包括：

从所述目标图像中提取所述待安装部件的特征信息；

基于提取的所述特征信息与数据库中存储的各个标准安装部件的特征信息，从所述数据库中查找与所述待安装部件匹配的标准安装部件；

将查找到的所述标准安装部件的属性信息，确定为所述待安装部件的属性信息。

本公开实施例的数据库中可以预先存储有标准安装部件的特征信息，这样，在从目标图像中提取出待安装部件的特征信息的情况下，可以基于特征信息比对实现关联的属性信息的确定，也即，利用数据库的比照作用，可以快速的确定出待安装部件的属性信息，从而可以快速准确的确定目标安装区域，并进行AR提示内容的快速展示，以进行有效引导，也能够提升用户与AR设备之间的交互体验感。

在一种可能的实施方式中，所述识别所述目标图像中待安装部件的属性信息，包括：

基于预先训练的用于识别待安装部件的神经网络，识别所述目标图像中待安装部件的属性信息；所述神经网络为基于已标注的部件标识的图像样本训练得到的，每个部件标识具有对应的属性信息。

这里，可以利用神经网络确定目标图像中待安装部件的属性信息，由于神经网络是预先训练好的，仅需将目标图像输入至神经网络即可实现属性信息的确定，操作简单，省时高效。

在一种可能的实施方式中，所述识别所述目标图像中待安装部件的属性信息，包括：

对所述目标图像中的待安装部件进行轮廓检测，得到轮廓检测结果；

确定所述待安装部件的属性信息包括所述轮廓检测结果。

这里，考虑到轮廓特征对于待安装部件的属性的影响，可以先对待安装部件进行轮廓检测，以根据轮廓检测结果来确定待安装部件的属性信息，例如，可以确定部件尺寸、类型等信息，这丰富了属性信息的内容，从而可以为后续更为准确的确定目标安装区域提供数据支持。

在一种可能的实施方式中，所述待安装部件为多个，所述方法还包括：

在通过所述AR设备展示用于指示其中一个所述待安装部件对应的所述目标安装区域的AR提示内容之后，在基于当前获取的目标图像，检测到其中一个所述待安装部件已安装完成的情况下，基于多个待安装部件之间的安装流程信息，确定与下一个所述待安装部件的属性信息匹配的目标安装设备，以及所述目标安装设备上的目标安装区域；

通过所述AR设备展示用于指示下一个所述待安装部件对应的所述目标安装区域的AR提示内容。

这里，考虑到针对特定场景而言，不同待安装部件之间存在着特定的安装顺序，例如，针对三个待安装部件，部件A、部件B和部件C，这三个部件的安装顺序依次是A->B->C，在这种情况下，本公开实施例还可以结合多个待安装部件的安装流程信息，按照操作顺序来展示不同待安装部件对应的AR提示内容，从而有效引导用户完成作业安装流程。

在一种可能的实施方式中，所述通过所述AR设备展示用于指示所述待安装部件对应的所述目标安装区域的AR提示内容，包括：

根据所述目标安装区域在所述作业现场对应的三维地图中的地图位置信息，确定所述目标安装区域在所述目标图像中的图像位置信息；

基于确定的图像位置信息，通过所述AR设备展示用于指示所述待安装部件对应的所述目标安装区域的AR提示内容。

这里，可以基于目标安装区域所在世界坐标系与真实场景图像所在图像坐标系之间的转换关系，确定指向目标安装区域的AR提示内容在AR设备所展示画面上的展示位置，从而使得展示的AR特效是指向待安装部件的，从而有效引导用户完成部件安装流程。

在一种可能的实施方式中，所述通过所述AR设备展示用于指示所述待安装部件对应的所述目标安装区域的AR提示内容，包括：

通过所述AR设备展示标记了所述目标安装区域的AR特效；和/或，

通过所述AR设备展示包含指向所述目标安装区域的位置的AR特效。

本公开实施例中可以基于多种AR特效展示方式来实现有关目标安装区域的AR提示内容的展示，其中，标记目标安装区域的AR特效可以突出目标安装区域，指向目标安装区域位置的AR特效又可以突出待安装部件，以进行有效引导，也能够进一步提升AR交互体验感。

第二方面，本公开实施例还提供了一种增强现实AR交互的装置，包括：

获取模块，用于获取AR设备采集的作业现场的目标图像；

识别模块，用于识别所述目标图像中待安装部件的属性信息；

确定模块，用于确定与所述待安装部件的属性信息匹配的目标安装设备，以及所述目标安装设备上的目标安装区域；

展示模块，用于通过所述AR设备展示用于指示所述待安装部件对应的所述目标安装区域的AR提示内容。

第三方面，本公开实施例还提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如第一方面及其各种实施方式任一所述的增强现实AR交互的方法的步骤。

第四方面，本公开实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被电子设备运行时，所述电子设备执行如第一方面及其各种实施方式任一所述的增强现实AR交互的方法的步骤。

关于上述增强现实AR交互的装置、设备、及计算机可读存储介质的效果描述参见上述增强现实AR交互的方法的说明，这里不再赘述。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种增强现实AR交互的方法的流程图；

图2示出了本公开实施例所提供的另一种增强现实AR交互的方法的流程图；

图3示出了本公开实施例所提供的另一种增强现实AR交互的方法的流程图；

图4示出了本公开实施例所提供的增强现实AR交互的方法的场景示意图；

图5示出了本公开实施例所提供的一种增强现实AR交互的装置的示意图；

图6示出了本公开实施例所提供的一种电子设备的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

经研究发现，在AR技术应用到工厂作业场景时，由于缺乏针对特定作业场景的相关处理，而导致AR交互体验感较低。

基于上述研究，本公开提供了一种增强现实AR交互的方法、装置、设备及存储介质，提升了AR交互体验。

针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

为便于对本实施例进行理解，首先对本公开实施例所公开的一种AR交互的方法进行详细介绍，本公开实施例所提供的AR交互的方法的执行主体一般为具有一定计算能力的电子设备，该电子设备例如包括：用户终端或服务器或其它处理设备，比如可以是与用户终端连接的服务器，该用户终端可以是平板电脑、智能手机、智能穿戴式设备、AR设备(如AR眼镜、AR头盔等)等具有显示功能和数据处理能力的设备，用户终端可以通过应用程序连接服务器。在一些可能的实现方式中，该AR交互的方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

下面对本公开实施例提供的AR交互的方法加以说明。

参见图1所示，为本公开实施例提供的AR交互的方法的流程图，所述方法包括步骤S101～S104，其中：

S101、获取AR设备采集的作业现场的目标图像；

S102、识别目标图像中待安装部件的属性信息；

S103、确定与待安装部件的属性信息匹配的目标安装设备，以及目标安装设备上的目标安装区域；

S104、通过AR设备展示用于指示待安装部件对应的目标安装区域的AR提示内容。

本公开实施例提供的AR交互的方法主要可以应用于工厂作业的交互场景中，例如可以是在操作员手持待安装部件在作业现场的情况下，利用上述AR交互的方法引导操作员将待安装部件安装至特定设备上的特定位置处，AR交互的体验度较好，且在实际工业场景中通过在采集的目标图像上叠加待安装部件对应的目标安装区域的AR提示内容，可以对工业作业流程，比如部件安装流程进行有效引导。

为了便于引导操作员将待安装部件安装至特定设备上的特定位置，本公开实施例提供的AR交互的方法可以通过AR设备展示的能够指示待安装部件对应的目标安装区域的AR提示内容来实现。

在展示AR提示内容之前，本公开实施例可以先确定与待安装部件对应的目标安装区域。在本公开实施中，可以首先识别目标图像中待安装部件的属性信息，然后基于一个安装部件的属性信息所绑定的安装设备及对应的安装区域，确定待安装部件的属性信息所绑定的目标安装设备及该设备上的目标安装区域。

其中，上述有关安装部件与安装设备及对应的安装区域之间的对应关系可以是预先存储的，例如，可以是基于标准作业流程的相关操作确定每个安装部件在当前作业节点配套的安装设备及安装区域，也即，可以从目标图像中识别出待安装部件以及各个安装设备，进而可以基于上述对应关系确定与该待安装部件匹配的目标安装设备及对应的目标安装区域。

本公开实施例中有关待安装部件的属性信息可以是部件类别、尺寸、型号、名称等信息中的一种或多种。在一些实施例中，基于一种属性信息可以确定与之匹配的目标安装设备及对应的安装区域，例如，在一个待安装部件的名称确定的情况下，可以基于当前待安装部件与各安装设备的匹配关系，来确定对应的目标安装区域；在另一些实施例中，往往需要结合多种属性信息来确定与之匹配的目标安装设备及对应的安装区域，这里可以是先基于类别确定大致匹配的目标安装设备，再基于尺寸、型号等信息来精确定位目标安装区域。例如，可以在确定出待安装部件为一个特定型号的螺丝的情况下，这里确定的目标安装区域可以是包括与该螺丝配套的螺帽的安装区域。

除此之外，本公开实施例还可以采用其它能够指示部件属性的信息作为属性信息，在此不做具体的限制。

考虑到有关待安装部件的属性信息的识别对于确定目标安装设备以及目标安装区域的关键作用，接下来可以对识别待安装部件的属性信息的过程进行详细描述。

本公开实施例中，不仅可以通过特征信息对比的方式确定待安装部件的属性信息，还可以基于预先训练的神经网络确定待安装部件的属性信息，还可以通过轮廓检测的方式来确定。具体可以通过如下三个方面分别来进行说明：

第一方面：本公开实施例可以基于特征信息比对的方式来确定待安装部件的属性信息，具体包括如下步骤：

S201、从目标图像中提取待安装部件的特征信息；

S202、基于提取的特征信息与数据库中存储的各个标准安装部件的特征信息，从数据库中查找与待安装部件匹配的标准安装部件；

S203、将查找到的标准安装部件的属性信息，确定为待安装部件的属性信息。

这里，首先可以从目标图像中提取待安装部件的特征信息，然后可以基于提取的特征信息与数据库中存储的各个标准安装部件的特征信息之间的比对结果，从数据库中查找与待安装部件的特征相似度最高的标准安装部件，进而基于数据库中预先存储的有关查找的标准安装部件的属性信息来确定待安装部件的属性信息。

其中，从数据库中查找匹配的标准安装部件的过程，为进行特征匹配的过程。在提取的特征信息以及数据库中存储的特征信息是采用向量表征的情况下，这里的特征匹配可以是计算向量余弦相似度的过程，两个特征信息所对应的向量余弦相似度越高，说明两个特征信息相似度越大，进一步说明两个安装部件也越匹配。

第二方面：本公开实施例中，可以基于预先训练的用于识别待安装部件的神经网络，识别目标图像中待安装部件的属性信息。

其中，为了训练神经网络，可以预先采集多个图像样本，然后对所有的或个别图像样本进行部件标识的标注，这里的部件标识具有对应的属性信息，从而可以将已标注的多个图像样本输入到待训练的神经网络中进行训练，通过训练输入的图像样本与输出的标注结果之间的对应关系来训练神经网络的参数。

在训练得到神经网络的参数的情况下，即可以利用这一参数对目标图像中的待安装部件进行识别，从而得到对应的属性信息。

第三方面：本公开实施例中，可以通过对目标图像中的待安装部件进行轮廓检测，来确定待安装部件的属性信息。

这里，可以先对目标图像进行灰度处理，以便于从目标图像中凸显出待安装部件。针对灰度处理后的目标图像，可以进行多边形拟合，也即，确定可能构成待安装部件的轮廓的边线，进而识别出待安装部件在目标图像中的图像位置信息，基于这一图像位置信息即可以确定出有关待安装部件的属性信息。

本公开实施例提供的AR交互的方法，所识别的待安装部件可以为一个也可以为多个。在待安装部件为一个的情况下，可以按照上述步骤确定该待安装部件的属性信息的情况下，通过AR设备展示能够指示该待安装部件对应的目标安装区域的AR提示内容。在待安装部件为多个的情况下，上述AR交互的方法还可以结合多个待安装部件分别对应的AR提示内容来进行相应的安装指导。

在一些实施例中，考虑到多个待安装部件之间可以是具有先后操作顺序的，也可以是不具有先后操作顺序的，因而，本公开实施例可以适应性的采用多种安装指导方式来进行AR提示内容的展示。

示例性的，在多个待安装部件不具有先后操作顺序的情况下，可以在识别到这多个待安装部件的属性信息的情况下，分别确定与每个待安装部件的属性信息匹配的目标安装设备以及目标安装设备上的目标安装区域，进而可以通过AR设备对多个目标安装区域的展示效果来对应安装相应的待安装部件。

另外，在多个待安装部件具有先后操作顺序的情况下，可以在通过AR设备展示用于指示其中一个待安装部件对应的目标安装区域的AR提示内容之后，基于当前获取的目标图像，检测这一个待安装部件是否已经安装完成，若是，即可以确定与下一个待安装部件的属性信息匹配的目标安装设备，以及目标安装设备上的目标安装区域，并进行下一个安装部件对应的目标安装区域的AR提示内容的展示进而进行顺次的安装引导操作。

本公开实施例中，如图3所示，可以按照如下步骤展示AR提示内容：

S301、根据目标安装区域在作业现场对应的三维地图中的地图位置信息，确定目标安装区域在目标图像中的图像位置信息；

S302、基于确定的图像位置信息，通过AR设备展示用于指示待安装部件对应的目标安装区域的AR提示内容。

这里，首先可以基于世界坐标系与图像坐标系之间的转换关系，将目标安装区域在作业现场对应的三维地图中的地图位置信息转换为目标安装区域在目标图像中的图像位置信息，然后可以在转换后的图像位置信息所指示的图像位置处展示AR提示内容。

其中，本公开实施例中的AR提示内容可以是展示标记了目标安装区域的AR特效，例如，可以是有关目标安装区域的高亮特效提示，还可以是文本特效提示，还可以是包含指向目标安装区域的三维虚拟箭头的AR特效。

为了便于进一步理解本公开实施例提供的AR交互的方法，这里可以结合图4对上述AR展示的过程进行详细说明。

本申请实施例中的AR设备可以获取到包括待安装部件的目标图像，这里的待安装部件可以是手持在操作员手中的，在一些实施例中，可以基于手势识别来确定手持的部件为待安装部件。

在按照上述AR交互的方法识别出手持的待安装部件的属性信息的情况下，可以确定出匹配的目标安装设备以及对应的目标安装区域，这里，可以通过AR设备展示与待安装部件匹配的目标安装区域的AR提示内容，如图4所示，本公开实施例可以是既进行目标安装区域的轮廓的相关提示(如圆形区域所示)，又可以展示指向目标安装区域的三维虚拟箭头，通过在采集的目标图像上叠加待安装部件对应的目标安装区域的AR提示内容，可以对部件安装流程进行有效引导，这样，操作员可以按照相关提示安装待安装部件，提升了AR交互体验，且无需人眼去观察待安装部件所需要安装的区域，这将大大提升作业效率。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一发明构思，本公开实施例中还提供了与AR交互的方法对应的AR交互的装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述AR交互的方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

参照图5所示，为本公开实施例提供的一种AR交互的装置的示意图，装置包括：获取模块501、识别模块502、确定模块503和展示模块504；其中，

获取模块501，用于获取AR设备采集的作业现场的目标图像；

识别模块502，用于识别目标图像中待安装部件的属性信息；

确定模块503，用于确定与待安装部件的属性信息匹配的目标安装设备，以及目标安装设备上的目标安装区域；

展示模块504，用于通过AR设备展示用于指示待安装部件对应的目标安装区域的AR提示内容。

采用上述AR交互的装置所确定的目标安装区域可以是在从目标图像中识别出待安装部件的属性信息的情况下，基于这一属性信息从目标安装设备上确定的安装区域，这样，用户可以基于AR提示内容的引导功能在确定的目标安装区域进行待安装部件的安装，在实现了虚拟环境与真实场景融合的前提下，提升了用户与AR设备之间的交互体验感，且在实际工业场景中通过在采集的目标图像上叠加待安装部件对应的目标安装区域的AR提示内容，可以对工业作业流程，比如部件安装流程进行有效引导。

在一种可能的实施方式中，待安装部件的属性信息包括以下至少一种：类别、尺寸、型号、名称。

在一种可能的实施方式中，识别模块502，用于按照以下步骤识别目标图像中待安装部件的属性信息：

从目标图像中提取待安装部件的特征信息；

基于提取的特征信息与数据库中存储的各个标准安装部件的特征信息，从数据库中查找与待安装部件匹配的标准安装部件；

将查找到的标准安装部件的属性信息，确定为待安装部件的属性信息。

在一种可能的实施方式中，识别模块502，用于按照以下步骤识别目标图像中待安装部件的属性信息：

基于预先训练的用于识别待安装部件的神经网络，识别目标图像中待安装部件的属性信息；神经网络为基于已标注的部件标识的图像样本训练得到的，每个部件标识具有对应的属性信息。

在一种可能的实施方式中，识别模块502，用于按照以下步骤识别目标图像中待安装部件的属性信息：

对目标图像中的待安装部件进行轮廓检测，得到轮廓检测结果；

确定待安装部件的属性信息包括所述轮廓检测结果。

在一种可能的实施方式中，待安装部件为多个，展示模块504，具体用于：

在通过所述AR设备展示用于指示其中一个所述待安装部件对应的所述目标安装区域的AR提示内容之后，在基于当前获取的目标图像，检测到其中一个待安装部件已安装完成的情况下，基于多个待安装部件之间的安装流程信息，确定与下一个待安装部件的属性信息匹配的目标安装设备，以及目标安装设备上的目标安装区域；

通过AR设备展示用于指示下一个待安装部件对应的目标安装区域的AR提示内容。

在一种可能的实施方式中，展示模块504，用于按照以下步骤通过AR设备展示用于指示待安装部件对应的目标安装区域的AR提示内容：

根据目标安装区域在作业现场对应的三维地图中的地图位置信息，确定目标安装区域在目标图像中的图像位置信息；

基于确定的图像位置信息，通过AR设备展示用于指示待安装部件对应的目标安装区域的AR提示内容。

在一种可能的实施方式中，展示模块504，用于按照以下步骤通过AR设备展示用于指示待安装部件对应的目标安装区域的AR提示内容：

通过AR设备展示标记了目标安装区域的AR特效；和/或，

通过AR设备展示包含指向目标安装区域的位置的AR特效。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。

本公开实施例还提供了一种电子设备，如图6所示，为本公开实施例提供的电子设备结构示意图，包括：处理器601、存储器602、和总线603。存储器602存储有处理器601可执行的机器可读指令(比如，图5中的AR交互的装置中获取模块501、识别模块502、确定模块503、展示模块504对应的执行指令等)，当电子设备运行时，处理器601与存储器602之间通过总线603通信，机器可读指令被处理器601执行时执行如下处理：

获取AR设备采集的作业现场的目标图像；

识别目标图像中待安装部件的属性信息；

确定与待安装部件的属性信息匹配的目标安装设备，以及目标安装设备上的目标安装区域；

通过AR设备展示用于指示待安装部件对应的目标安装区域的AR提示内容。

上述指令的具体执行过程可以参考本公开实施例中所述的AR交互的方法的步骤，此处不再赘述。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的AR交互的方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的AR交互的方法的步骤，具体可参见上述方法实施例，在此不再赘述。

其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (11)

1.一种增强现实AR交互的方法，其特征在于，包括：

获取AR设备采集的作业现场的目标图像；

识别所述目标图像中待安装部件的属性信息；

确定与所述待安装部件的属性信息匹配的目标安装设备，以及所述目标安装设备上的目标安装区域；

通过所述AR设备展示用于指示所述待安装部件对应的所述目标安装区域的AR提示内容。

2.根据权利要求1所述的方法，其特征在于，所述待安装部件的属性信息包括以下至少一种：类别、尺寸、型号、名称。

3.根据权利要求1或2所述的方法，其特征在于，所述识别所述目标图像中待安装部件的属性信息，包括：

从所述目标图像中提取所述待安装部件的特征信息；

基于提取的所述特征信息与数据库中存储的各个标准安装部件的特征信息，从所述数据库中查找与所述待安装部件匹配的标准安装部件；

将查找到的所述标准安装部件的属性信息，确定为所述待安装部件的属性信息。

4.根据权利要求1或2所述的方法，所述识别所述目标图像中待安装部件的属性信息，包括：

基于预先训练的用于识别待安装部件的神经网络，识别所述目标图像中待安装部件的属性信息；所述神经网络为基于已标注的部件标识的图像样本训练得到的，每个部件标识具有对应的属性信息。

5.根据权利要求1或2所述的方法，其特征在于，所述识别所述目标图像中待安装部件的属性信息，包括：

对所述目标图像中的待安装部件进行轮廓检测，得到轮廓检测结果；

确定所述待安装部件的属性信息包括所述轮廓检测结果。

6.根据权利要求1～5任一所述的方法，其特征在于，所述待安装部件为多个，所述方法还包括：

在通过所述AR设备展示用于指示其中一个所述待安装部件对应的所述目标安装区域的AR提示内容之后，在基于当前获取的目标图像，检测到其中一个所述待安装部件已安装完成的情况下，基于多个待安装部件之间的安装流程信息，确定与下一个所述待安装部件的属性信息匹配的目标安装设备，以及所述目标安装设备上的目标安装区域；

通过所述AR设备展示用于指示下一个所述待安装部件对应的所述目标安装区域的AR提示内容。

7.根据权利要求1～6任一所述的方法，其特征在于，所述通过所述AR设备展示用于指示所述待安装部件对应的所述目标安装区域的AR提示内容，包括：

根据所述目标安装区域在所述作业现场对应的三维地图中的地图位置信息，确定所述目标安装区域在所述目标图像中的图像位置信息；

基于确定的图像位置信息，通过所述AR设备展示用于指示所述待安装部件对应的所述目标安装区域的AR提示内容。

8.根据权利要求1～7任一所述的方法，其特征在于，所述通过所述AR设备展示用于指示所述待安装部件对应的所述目标安装区域的AR提示内容，包括：

通过所述AR设备展示标记了所述目标安装区域的AR特效；和/或，

通过所述AR设备展示包含指向所述目标安装区域的位置的AR特效。

9.一种增强现实AR交互的装置，其特征在于，包括：

获取模块，用于获取AR设备采集的作业现场的目标图像；

识别模块，用于识别所述目标图像中待安装部件的属性信息；

确定模块，用于确定与所述待安装部件的属性信息匹配的目标安装设备，以及所述目标安装设备上的目标安装区域；

展示模块，用于通过所述AR设备展示用于指示所述待安装部件对应的所述目标安装区域的AR提示内容。

10.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至8任一所述的增强现实AR交互的方法的步骤。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被电子设备运行时，所述电子设备执行如权利要求1至8任一所述的增强现实AR交互的方法的步骤。

Images