CN109656363A - 一种用于设置增强交互内容的方法与设备 - Google Patents

Abstract

本申请的目的是提供一种用于设置增强交互内容的方法与设备。该方法包括基于目标装置对应的目标图像信息确定所述目标图像信息对应的目标特征信息；基于所述目标特征信息，确定对应的目标区域的位置信息；确定所述目标区域所对应的增强交互内容。实现了在实际场景中利用用户设备在线编辑特定区域的增强交互内容，直观得呈现“所见即所得”的效果，且具有高效性。在一些实施例中，用户设备将特定区域及对应的增强交互内容上传至网络设备，以支持批量添加或更新商品对应的增强交互内容，无需对每一款商品重复操作，具有极强的扩展性。

Description

一种用于设置增强交互内容的方法与设备

本申请要求CN 2018110266527(一种用于设置增强交互内容的方法与设备)的优先权。

技术领域

本申请涉及计算机领域，尤其涉及一种用于设置增强交互内容的技术。

背景技术

随着时代的发展，商品更迭的速度越来越快。一般情况下，当商品产生或者更新后，对每一款商品定制化开发为用户提供用户商品的相关说明或者使用操作说明工作量大，且成本高，如果发现错误进行修改，需经过“离线-上线-离线-上线”等流程，繁琐且带来更大的工作量。有时甚至需要更新商品对应的应用程序，使得用户体验较差。

发明内容

本申请的一个目的是提供一种用于设置增强交互内容的方法与设备。

根据本申请的一个方面，提供了一种用于设置增强交互内容的方法，该方法包括：基于目标装置对应的目标图像信息确定所述目标图像信息对应的目标特征信息；基于所述目标特征信息，确定对应的目标区域的位置信息；确定所述目标区域所对应的增强交互内容。

在一些实施例中，上述方法由一用户设备执行。

根据本申请的另一个方面，提供了一种在网络设备端用于设置增强交互内容的方法，该方法包括：接收对应的用户设备发送的关于目标装置的目标特征信息；匹配所述目标特征信息对应的预设特征信息，所述预设特征信息是基于预设图像信息确定的；向所述用户设备发送所述预设特征信息。

根据本申请的一个方面，提供了一种用于设置增强交互内容的设备，其中，该设备包括：

第一模块，用于基于目标装置对应的目标图像信息确定所述目标图像信息对应的目标特征信息；

第二模块，用于基于所述目标特征信息，确定对应的目标区域的位置信息；

第三模块，用于确定所述目标区域所对应的增强交互内容。

根据本申请的另一个方面，提供了一种用于设置增强交互内容的网络设备，其中，该网络设备包括：

第十二模块，用于接收对应的用户设备发送的关于目标装置的目标特征信息；

第十三模块，用于匹配所述目标特征信息对应的预设特征信息，所述预设特征信息是基于预设图像信息确定的；

第十四模块，用于向所述用户设备发送所述预设特征信息。

根据本申请的另一个方面，提供了一种用于设置增强交互内容的方法，该方法包括：

用户设备基于目标装置对应的目标图像信息，确定对应的目标特征信息，将所述目标特征信息发送至对应的网络设备；

所述网络设备接收对应的用户设备发送的关于目标装置的目标特征信息，匹配所述目标特征信息对应的预设特征信息，并向所述用户设备发送所述预设特征信息，其中所述预设特征信息是基于预设图像信息确定的；

所述用户设备基于所述目标特征信息和所述预设特征信息，确定所述用户设备相对于所述目标装置的位姿信息，基于所述目标特征信息确定对应的目标区域的位置信息，并确定所述目标区域所对应的增强交互内容。

根据本申请的另一个方面，提供了一种用于设置增强交互内容的方法，该方法包括：

用户设备基于目标装置对应的目标图像信息确定对应的目标特征信息，基于所述目标特征信息匹配所述目标装置的对应的预设特征信息，基于所述目标特征信息和所述预设特征信息确定所述用户设备相对于所述目标装置的位姿信息，并将所述目标特征信息发送至对应的网络设备，其中所述预设特征信息是基于预设图像信息获取的；

所述网络设备基于所述目标特征信息确定对应的增强交互配置信息，并向所述用户设备发送所述增强交互配置信息；

所述用户设备基于所述增强配置信息确定对应的目标区域的位置信息，并基于所述增强交互配置信息确定所述目标区域所对应的增强交互内容。

根据本申请的另一个方面，提供了一种用于设置增强交互内容的方法，其中，该方法包括：

用户设备基于目标装置对应的目标图像信息确定所述目标图像信息对应的目标特征信息，基于所述目标特征信息确定对应的目标区域的位置信息，并确定所述目标区域所对应的增强交互内容；

所述用户设备向对应的网络设备发送关于所述目标装置的增强交互配置信息；

所述网络设备基于所述增强交互配置信息执行数据更新操作；

其中，所述增强交互配置信息包括以下至少任一项：

至少一个目标区域的位置信息；

至少一个目标区域所对应的增强交互内容。

根据本申请的一个方面，提供了一种用于设置增强交互内容的设备，其中，该设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：

基于目标装置对应的目标图像信息确定所述目标图像信息对应的目标特征信息；基于所述目标特征信息，确定对应的目标区域的位置信息；确定所述目标区域所对应的增强交互内容。

根据本申请的另一个方面，提供了一种用于设置增强交互内容的网络设备，其中，该设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：

接收对应的用户设备发送的关于目标装置的目标特征信息；匹配所述目标特征信息对应的预设特征信息，所述预设特征信息是基于预设图像信息确定的；向所述用户设备发送所述预设特征信息。

根据本申请的另一个方面，提供了一种包括指令的计算机可读介质，所述指令在被执行时使得***进行以下操作：

基于目标装置对应的目标图像信息确定所述目标图像信息对应的目标特征信息；基于所述目标特征信息，确定对应的目标区域的位置信息；确定所述目标区域所对应的增强交互内容。

根据本申请的另一个方面，提供了一种包括指令的计算机可读介质，所述指令在被执行时使得***进行以下操作：

接收对应的用户设备发送的关于目标装置的目标特征信息；匹配所述目标特征信息对应的预设特征信息，所述预设特征信息是基于预设图像信息确定的；向所述用户设备发送所述预设特征信息。

与现有技术相比，本申请利用用户设备的摄像装置获取目标装置的图像信息，基于图像信息确定该目标装置的特征信息，进而确定图像信息中特定区域的位置，用户设备将预先设置或者基于用户的新增、编辑操作设置的对应特定区域的增强交互内容叠加呈现。实现了在实际场景中利用用户设备在线编辑特定区域的增强交互内容，非常直观得呈现“所见即所得”的效果，且具有高效性。在一些实施例中，用户设备将特定区域及对应的增强交互内容上传至网络设备，以支持批量添加或更新商品对应的增强交互内容，无需对每一款商品重复操作，具有极强的扩展性。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出根据本申请一些实施例的应用场景；

图2示出根据本申请一些实施例的用于设置增强交互内容的方法流程图；

图3示出根据本申请一些实施例的在网络设备端用于设置增强交互内容的方法流程图；

图4示出根据本申请一些实施例的用于设置增强交互内容的方法流程图；

图5示出根据本申请另一些实施例的用于设置增强交互内容的方法流程图；

图6示出根据本申请一些实施例的用于设置增强交互内容的设备的功能模块示意图；

图7示出根据本申请一些实施例的用于设置增强交互内容的网络设备的功能模块示意图；

图8示出可被用于实施本申请中各个实施例的示例性***。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本申请作进一步详细描述。

在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

本申请所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品，例如智能手机、平板电脑等，所述移动电子产品可以采用任意操作***，如android操作***、iOS操作***等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。优选地，所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。

当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

在本申请的描述中，“多个”的含义是两个或者更多，除非另有明确具体的限定。

本申请所指的用户设备包括但不限于智能手机、平板电脑、智能眼镜或头盔等计算设备。在一些实施例中，该用户设备还包括用于采集图像信息的摄像装置，该摄像装置一般包括用于将光信号转换为电信号的感光元件，根据需要还可包含用于调整入射光线的传播路径的光线折/反射部件(例如镜头或镜头组件)。为便于用户进行操作，在一些实施例中，所述用户设备还包括显示装置，用于向用户呈现和/或用于设置增强交互内容，其中，在一些实施例中，该增强交互内容叠加呈现于目标装置上，例如通过增强现实(AugmentedReality,AR)的形式呈现而为用户提供人机交互，而目标装置通过用户设备(例如透射式眼镜或具有显示屏幕的其他用户设备)呈现该增强交互内容；其中，该显示装置在一些实施例中为触控屏幕，该触控屏幕不仅能用于输出图形画面，还可用作用户设备的输入装置以接收用户的操作指令(例如与前述增强交互内容互动的操作指令)。当然，本领域技术人员应能理解，用户设备的输入装置不仅限于触控屏幕，其他现有的输入技术如能适用于本申请，也包含在本申请的保护范围内，并以引用方式包含于此。例如，在一些实施例中，用于接收用户的操作指令的输入技术是基于语音控制、手势控制和/或眼球追踪实现的。

以下以一种具有摄像装置和触控屏幕的用户设备为基础，对本申请进行详细描述。但是，本申请并不限于该用户设备，其他现有的或今后可能出现的用户设备如能适用于本申请，也包含在本申请的保护范围内，并以引用方式包含于此。

图1示出根据本申请一些实施例中应用场景示意图。如图1所示在一种具有摄像装置和触控屏幕的用户设备屏幕上呈现一种电器的图像信息，基于该电器的图像信息确定该电器的特征信息确定图像信息中特定区域的位置，用户设备将预先设置的或者基于用户的新增、编辑操作设置的对应特定区域的增强交互内容叠加呈现。实现了在实际场景中利用用户设备在线编辑特定区域的增强交互内容，直观地呈现“所见即所得”的效果，具有高效性，无需改变该电器原有的客户端程序就可以添加或者更新对应的增强交互内容，能够使用户获得支持新电器或者改变现有电器对应的增强交互内容(例如，为用户提供电器的说明内容或者使用方式等内容)，还可以支持多层次的增强交互内容。在一些实施例中，用户设备将特定区域及对应的增强交互内容上传至网络设备，以支持批量添加或更新商品对应的增强交互内容，无需对每一款商品重复操作，具有极强的扩展性。

图2示出根据本申请一个实施例的一种在用户设备端用于设置增强交互内容的方法流程图。该方法包括步骤S101、步骤S102和步骤S103。其中，在步骤S101中，用户设备基于目标装置对应的目标图像信息确定所述目标图像信息对应的目标特征信息；在步骤S102中，用户设备基于所述目标特征信息，确定对应的目标区域的位置信息；在步骤S103中，用户设备确定所述目标区域所对应的增强交互内容。

在此，目标装置包括实际场景中的真实物体，例如电饭煲，空调等；目标装置包括但不限于家用电器、电子设备、机械装置等。目标图像包括呈现在用户设备上的关于目标装置的图像信息，在一些实施例中，目标图像信息由用户设备上的摄像装置采集，其中该摄像装置固定设置于用户设备上，还可以外接采集设备。目标特征信息包括(但不限于)从目标装置对应的目标图像中提取的一个或者多个目标特征点，且这些目标特征点反映该目标图像的特征，例如基于这些目标特征点信息能够识别目标图像中的目标装置。目标区域包括预先设置的与目标装置相对应的区域，或者由用户选择确定的区域。例如，目标区域是用户在用户设备的屏幕上通过点击或画圈选中的区域。在一些实施例中，目标区域的位置信息为目标区域在目标装置所在的世界坐标系下的三维位置。增强交互内容包括在用户设备的屏幕上呈现与目标区域相对应的标签、图像、视频、链接、3D模型或者讨论留言区等，可供用户编辑设置的交互内容。

例如，用户设备获得目标装置(例如，xx型号的电饭煲)呈现在屏幕上的目标图像信息，并根据该目标图像信息确定该目标图像信息对应的目标特征信息，例如用户设备基于特征提取算法对该目标图像信息进行特征提取以获取目标特征信息，其中提取目标特征信息的操作可在用户设备本地完成，也可在对应的网络设备(例如，云)上完成。用户设备基于上述目标特征信息在预存特征库中进行匹配，匹配识别出该目标装置，例如识别出目标图像中的xx型号电饭煲，其中特征库可设置在用户设备，也可设置在网络设备。在一些实施例中，目标区域及对应的增强交互内容已预先设置，用户设备根据从目标图像中提取的目标特征信息，计算获得用户设备的空间位置信息和姿态信息，并将所述目标区域及对应的增强交互内容呈现在用户设备的屏幕的相应位置。在另一些实施例中，该目标区域由用户在用户设备的屏幕上通过点击或画圈的方式增加，或者通过拖动等其它的方式修改其位置，例如，用户设备首先根据从目标图像中提取的目标特征信息，计算获得用户设备的空间位置信息和姿态信息；然后根据用户在用户设备屏幕上的操作确定该目标区域在基于目标装置的世界坐标系下的三维位置。接着，用户设备确定该目标区域相对应的增强交互内容，其中，该目标区域对应的增强交互内容根据用户的新增、编辑等操作确定。例如，用户设备确定目标区域对应的增强交互内容视频，是通过用户的新增操作，在该目标区域对应的位置信息上添加完成的。在一些实施例中，当用户设备相对目标装置的位姿发生改变后，用户设备根据目标区域在基于目标装置的世界坐标系下的三维位置，得到该目标区域在用户设备屏幕中的位置，然后叠加呈现该目标区域相对应的增强交互内容。实现了在实际场景中利用用户设备在线编辑特定区域的增强交互内容，直观得呈现“所见即所得”的效果，具有高效性。

在一些实施例中，所述增强交互内容用于为用户提供所述目标装置的相关信息，例如所述目标装置的文字或多媒体介绍、所述目标装置的各个部件的说明、所述目标装置的使用说明等，并在一些实施例中提供用户交互功能。本领域技术人员应能理解，上述增强交互内容的形式仅为举例，而不构成对本申请的任何限定；其他现有的或者今后可能出现的增强交互内容的形式如能适用于本申请，也包含在本申请的保护范围内，并以引用的方式包含于此。另外，本领域技术人员亦应能理解，上述确定增强交互内容的方式仅为举例，其他现有的或今后可能出现的确定增强交互内容的方式如能适用于本申请，也应包含在本申请的保护范围之内，并在此以引用的方式包含于此。

在一些实施例中，在步骤S101中，用户设备基于目标装置对应的目标图像信息确定所述目标图像信息对应的目标特征信息，并基于所述目标特征信息确定所述用户设备相对于所述目标装置的位姿信息；所述方法还包括步骤S104(未示出)，在步骤S104中，用户设备基于所述位姿信息，叠加呈现所述增强交互内容。在此，位姿信息包括用户设备当前相对于所述目标装置的空间位置信息和姿态信息。

例如，用户设备获得目标装置(例如，xx型号的电饭煲)呈现在屏幕上的目标图像信息，并基于特征提取算法对该目标图像信息进行特征提取以获取目标特征信息，再根据所述目标特征信息计算用户设备当前相对于目标装置的位姿信息。在一些实施例中，目标区域由用户在用户设备的屏幕上通过点击或画圈的方式增加，基于该目标区域在用户设备屏幕上所对应的二维位置信息，及用户设备相对于目标装置的位姿信息，确定该目标区域在基于目标装置的世界坐标系下的三维位置。进而用户新增该目标区域对应的增强交互内容，并由用户设备叠加呈现目标区域及对应的增强交互内容。

在一些实施例中，所述方法还包括步骤S105(未示出)，在步骤S105中用户设备基于更新的目标图像信息，更新所述位姿信息；在步骤S102中，用户设备基于更新后的位姿信息，叠加呈现所述增强交互内容。

例如，用户设备从不同角度、位置获得目标装置呈现在屏幕上的目标图像信息，其中，在一些实施例中，该目标图像信息既可以对应于该目标装置的局部，也可以对应于该目标装置整体。用户设备基于更新后的目标图像信息，利用特征提取算法对该目标图像信息进行特征提取以获取目标特征信息。在目标装置所在的世界坐标系下，用户设备利用确定的目标特征信息，计算获得用户设备更新后相对于目标装置的空间位置信息和姿态信息，进而根据跟踪算法实时更新目标区域在用户设备屏幕上的位置，在用户设备的屏幕上叠加呈现目标区域对应的增强交互内容。其中，跟踪算法可以是三维跟踪算法、二维跟踪算法或其他跟踪算法。就三维跟踪算法而言，对目标图像信息的跟踪可基于SLAM(SimultaneousLocalization And Mapping,即时定位与建图)算法实现。SLAM算法有多种，例如SIFT(Scale-Invariant Feature Transform,尺度不变特征变换)SLAM算法、SURF(Speeded UpRobust Features,加速鲁棒特征)SLAM算法、VINS(Visual-inertial System,视觉惯性***)SLAM算法、ORB(Oriented FAST and Rotated BRIEF)SLAM算法等。

本领域技术人员应能理解，上述更新位姿信息的方式仅为举例，其他现有的或今后可能出现的更新位姿信息的方式如能适用于本申请，也应包含在本申请的保护范围之内，并在此以引用的方式包含于此。

在一些实施例中，在步骤S105中，用户设备基于更新的目标图像信息进行跟踪，以更新所述位姿信息。

例如，用户设备变换拍摄角度、位置获得目标装置呈现在屏幕上的目标图像信息。用户设备基于更新后的目标图像信息，利用特征提取算法对该目标图像信息进行特征提取以获取目标特征信息，并在基于目标装置的世界坐标系下，用户设备利用确定的目标特征信息，计算获得用户设备更新后相对于目标装置的空间位置信息和姿态信息。例如，在用户设备将识别算法得到的信息发送给跟踪算法，进行初始化操作并确定增强交互内容的初始的呈现位置和呈现方式后，用户设备根据更新的目标图像信息，仍然基于上述跟踪算法，跟踪目标图像信息的变化并实时更新用户设备的位姿信息。

其中，上述跟踪算法可以是三维跟踪算法、二维跟踪算法或其他跟踪算法。就三维跟踪算法而言，对目标图像信息的跟踪可基于SLAM(Simultaneous Localization AndMapping,即时定位与建图)算法实现。SLAM算法有多种，例如SIFT(Scale-InvariantFeature Transform,尺度不变特征变换)SLAM算法、SURF(Speeded Up Robust Features,加速鲁棒特征)SLAM算法、VINS(Visual-inertial System,视觉惯性***)SLAM算法、ORB(Oriented FAST and Rotated BRIEF)SLAM算法等。

现有SLAM算法的跟踪框架大致都可以分为如下几个部分：

1)获取摄像头或其它传感器信息；

2)通过摄像头或其它传感器信息估算观察者的位姿；

3)优化不同时刻观察者的位姿、地图点、和回环检测的信息；

4)回环检测判断观察者是否到达过先前的位置；

5)建立地图。

而二维跟踪算法则仅根据二维平面图像信息进行跟踪而不涉及三维信息，输入与输出与三维跟踪基本一致。例如，该二维跟踪算法是KCF核相关滤波跟踪算法。在完成对目标装置的识别之后，跟踪算法不断计算用户设备的新的位姿，以更新目标装置在用户设备的屏幕中的位置。在一个实施例中，基于二维跟踪算法更新用户设备的位姿大致包括以下几个步骤：

1)选择识别目标装置之后得到的用户设备的位姿信息，将其发送给跟踪算法，跟踪算法选取目标装置特征点及对应的匹配模板；

2)根据上一帧的位姿信息，计算1)中特征点和特征点匹配模板上的点在当前帧的位置，在这些位置周围寻找与1)中特征点最匹配的点，得到一个匹配点对；

3)根据2)中的匹配点对，计算当前帧对应的用户设备的位姿信息。

当然，本领域技术人员应能理解，以上所述的三维或二维跟踪算法仅为举例，并不对本申请的具体实施方式进行任何限定，其他现有的或今后可能出现的跟踪算法如能适用于本申请，也包含在本申请的保护范围内，并以引用方式包含于此。

在一些实施例中，在步骤S103中，用户设备基于用户的内容新增操作，新增所述目标区域所对应的增强交互内容。

例如，目标区域对应的增强交互内容根据用户的内容新增操作确定，首先用户在用户设备的屏幕上通过点击或画圈的方式增加目标区域，用户设备根据从目标图像中提取的目标特征信息得到用户设备相对目标装置的位姿从而确定该目标区域在基于目标装置的世界坐标系下的三维位置。然后，用户设备确定该目标区域相对应的增强交互内容，其中在该目标区域新增对应的增强交互内容包括但不限于标签、图像、视频、链接、3D模型或者讨论留言区等交互内容。进而，当用户设备相对目标装置的位姿发生改变后，计算得到该目标区域在用户设备屏幕中对应的位置，然后叠加呈现该目标区域相对应的增强交互内容。

在一些实施例中，在步骤S103中，用户设备基于所述位置信息，确定所述目标区域所对应的增强交互内容。

例如，在一些实施例中，目标区域对应的增强交互内容已预先设置，用户设备利用目标图像确定目标特征信息，计算获得用户设备当前相对于目标装置的位姿信息，并在屏幕上呈现该目标区域对应的增强交互内容。然后，用户设置该目标区域对应的增强交互内容，例如将增强交互内容图片修改为增强交互内容视频。进而，当用户设备再次扫描该目标装置后，目标区域叠加的增强交互内容是修改后的增强交互视频。在另一些实施例中，用户在用户设备的屏幕上通过拖动的方式修改目标区域的位置，用户设备根据从目标图像中提取的目标特征信息，确定该目标区域在基于目标装置的世界坐标系下的三维位置。进而，当用户设备相对目标装置的位姿发生改变后，计算得到该目标区域在用户设备屏幕中对应的位置，然后叠加呈现该目标区域相对应的增强交互内容。还可以进一步修改新的目标区域对应的增强现实内容，方法与上述过程相同，这里不再赘述。其中在该目标区域对应的增强交互内容包括但不限于标签、图像、视频、链接、3D模型或者讨论留言区等交互内容。

在一些实施例中，该方法还包括步骤S106(未示出)。在步骤S106中，用户设备根据用户的内容属性设置操作，设置所述增强交互内容的属性信息。

例如，目标区域对应一个标签，根据用户的内容属性设置操作，将该标签的内容“开始”设置为“开始/关闭”。又例如，目标区域对应一个标签，根据用户的内容属性设置操作，改变该标签的大小、颜色。再例如，目标区域对应一个标签，根据用户的内容属性设置操作，移动该标签的位置或者旋转改变该标签的方向。当用户设备再次扫描该目标装置后，用户设备在屏幕上呈现该目标区域对应的增强交互内容。在一些实施例中，用户的内容属性设置操作相对其他增强交互内容(例如图片、视频或者3D模型)均适用。

本领域技术人员应能理解，上述增强交互内容的属性信息仅为举例，其他现有的或今后可能出现的增强交互内容的属性信息如能适用于本申请，也应包含在本申请的保护范围之内，并在此以引用的方式包含于此。

在一些实施例中，该方法还包括步骤S107(未示出)，在步骤S107中，用户设备根据用户的触发指令设置操作，设置所述增强交互内容所对应的触发指令。

例如，在一些实施例中，用户设备基于目标区域叠加呈现预先设置的对应增强交互内容，例如，用户设备基于目标区域即呈现弹出的增强交互内容标签。在另一些实施例中，用户设备根据用户的触发指令设置操作，设置增强交互内容对应的触发指令。例如，设置通过单击该目标区域来触发弹出叠加的链接；又例如，设置通过双击目标区域来触发显示图片、或播放视频等。

在一些实施例中，在步骤S107中，用户设备根据用户的触发指令设置操作，分别设置多个增强交互内容各自所对应的触发指令。

例如，在一些实施例中，用户设备根据用户的触发指令设置操作，分别设置多个目标区域对应增强交互内容的触发指令，例如设置目标区域a对应增强交互内容视频的触发指令，设置通过双击该目标区域a即触发弹出叠加的增强交互内容视频；设置目标区域b对应增强交互内容标签的触发指令，设置通过单击该目标区域b即触发该标签高亮叠加显示。在另一些实施例中，用户设备根据用户的触发指令设置操作，设置一个目标区域对应的多个增强交互内容的触发指令。例如，设置目标区域c对应的增强交互内容图片的触发指令，设置通过语音“打开”控制该增强交互内容图片放大显示，进而设置通过双击放大的图片即触发相关的增强交互视频呈现。实现了在用户设备屏幕上叠加呈现多层次的增强交互内容。又例如，设置目标区域d对应增强交互内容3D模型、视频的触发指令，设置通过语音“播放”控制该增强交互内容视频播放，设置通过手势控制该增强交互内容3D模型移动或者旋转。

在一些实施例中，该方法还包括步骤S108(未示出)，在步骤S108中，用户设备根据用户的操作序列创建操作，创建对应的操作序列，所述操作序列用于在时序上顺次触发多个增强交互内容。

例如，用户对多个目标区域及对应的增强交互内容创建对应的操作序列，用户设备基于用户确定的目标区域a、目标区域b和目标区域c，并创建该三个目标区域的操作序列，例如该操作序列为依次触发目标区域a、目标区域b和目标区域c分别对应的增强交互内容呈现。例如使目标区域a、目标区域b和目标区域c依次高亮显示。又例如，首先触发目标区域a对应标签“开始”高亮叠加显示，再触发目标区域b对应的图片放大显示，最后触发目标区域c对应的视频播放呈现。

本领域技术人员应能理解，上述创建操作序列的方式仅为举例，其他现有的或今后可能出现的创建操作序列的方式如能适用于本申请，也应包含在本申请的保护范围之内，并在此以引用的方式包含于此。

在一些实施例中步骤S101包括子步骤S101a、子步骤S101b和子步骤S101c(均未示出)。在子步骤S101a中，用户设备基于目标装置对应的目标图像信息，确定对应的目标特征信息；在子步骤S101b中，用户设备基于所述目标特征信息，匹配所述目标装置的对应的预设特征信息，其中所述预设特征信息是基于预设图像信息获取的；在子步骤S101c中，用户设备基于所述目标特征信息和所述预设特征信息，确定所述用户设备相对于所述目标装置的位姿信息。在此，位姿信息包括所述用户设备的空间位置信息和姿态信息。预设特征信息是基于预设图像信息获取的，存储于用户设备本地或者网络设备的特征库中，其中特征库包含一个或多个预先摄制的目标装置的预设图像，还可包含分别从每个图像中提取的特征信息(例如，特征点)；在一些实施例中，预设特征信息(例如，特征点)还可基于预先制作的、目标装置的三维模型确定，例如预设特征信息是根据该三维模型提取三维点云数据或几何数据确定的。

例如，用户设备获得目标装置呈现在屏幕上的目标图像信息，用户设备基于特征提取算法对该目标图像信息进行特征提取以获取目标特征信息，其中提取目标特征信息的操作可在用户设备本地完成，也可在对应的网络设备(例如，云)上完成。用户设备基于所述目标特征信息，在存储于用户设备本地的或网络设备端的特征库中匹配获得相应的预设特征信息。用户设备基于所述目标特征信息和所述预设特征信息，确定所述用户设备相对于所述目标装置的位姿信息。例如在用户设备本地或在与用户设备对应的网络设备上(例如云端服务器)将该目标图像信息和预设的图像或模型等(但不限于此)进行匹配和比对，即可获得所述用户设备当前相对于所述目标装置的空间位置信息和姿态信息，其中，所述预设的图像或模型是对应于相同的(例如，同一型号的)目标装置的。用户设备的位姿信息可基于一指定的坐标系进行，例如指定目标装置所在的世界坐标系下，确定用户设备的空间位置信息和姿态信息。

在一些实施例中，所述目标特征信息包括根据所述目标图像信息确定的多个目标特征点；其中，所述方法还包括步骤S109(未示出)和步骤S110(未示出)，在步骤S109中，用户设备基于所述目标特征点的分布信息，确定所述目标图像信息的有效识别区域；在步骤S110中，用户设备基于所述有效识别区域，更新所述预设图像信息。

例如，用户设备获取关于目标装置的目标图像信息，基于特征提取算法对该目标图像信息进行特征提取以获取多个目标特征点，用户设备基于目标特征点的分布信息，确定该目标图像信息的有效识别区域。例如，预先设置数量阈值，统计目标特征点的数量大于等于预设的数量阈值时，则确定包含这些目标特征点的目标图像信息为有效识别区域。又例如基于多个目标特征点的分布信息，采用K-Means等算法当目标特征点的数量满足预定的数量阈值时，则确定包含这些目标特征点的目标图像信息为有效识别区域。该包含有效识别区域的目标图像信息较完美的反应目标装置的特征，用户设备基于该目标图像信息的有效识别区域，更新存储于特征库中原有的预设图像信息。其中原有预设图像信息与包含有效识别区域的目标图像信息相匹配，特征库中存储一个或多个预设图像信息。在一些实施例中，用户设备基于目标图像对应的目标特征点信息，可计算用户设备的位姿信息，从而获得用户设备的拍摄角度，用户设备屏幕上呈现的目标图像画面占比等信息。

在一些实施例中，该方法还包括步骤S111(未示出)，在步骤S111中，用户设备基于所述目标图像信息，更新所述预设图像信息。

例如，特征库中存在至少一个目标装置有关的预设图像信息，其中该预设图像信息不存在足够多的特征点以匹配目标装置的目标图像。在一些实施例中，当用户获取目标装置有关的目标图像信息时，用户根据经验判断用户设备与目标装置相对位置和角度较为适合，肉眼观察用户设备屏幕上呈现的目标图像画面占比较合适，即该目标图像信息较完美的反映目标装置的特征。用户设备利用该目标图像信息更新原有的预设图像信息。在另一些实施例中，当用户设备拍摄目标图像画面后，利用预设特征提取方法提取此时目标图像中目标装置的特征点，当提取的特征点数量大于或等于预先设定的特征点阈值时，则用户设备提示用户该目标图像信息较完美的反映目标装置的特征；并利用该目标图像信息更新特征库中原有的预设图像信息。

需要说明的是，在不会引起矛盾的前提下，本申请并未限定各不同的方法步骤的先后顺序，并且同一个方法步骤也可能被多次执行。例如在一些实施例中，在预设图像信息被更新后，用户设备基于提取自目标图像信息的目标特征信息匹配所述目标装置的对应的预设特征信息，其中所述预设特征信息是基于更新后的预设图像信息获取的；随后，用户设备基于所述目标特征信息和所述预设特征信息，确定所述用户设备相对于所述目标装置的位姿信息。

在一些实施例中，在子步骤S101b中，用户设备将所述目标特征信息发送至对应的网络设备，并接收所述网络设备返回的预设特征信息。

例如，用户设备将目标装置对应目标图像信息确定的目标特征信息发送至对应的网络设备。网络设备接收用户设备发送的关于目标装置的目标特征信息，并在存储于网络设备的特征库中进行匹配，获得与所述目标特征信息相匹配的预设特征信息，所述预设特征信息是基于预设图像信息确定的；网络设备向用户设备发送该预设特征信息。进而用户设备接收返回的预设特征信息。

在一些实施例中，在步骤S102中，用户设备将所述目标特征信息发送至对应的网络设备，接收所述网络设备返回的关于所述目标装置的增强交互配置信息，并基于所述增强配置信息确定对应的目标区域的位置信息；在步骤S103中，用户设备基于所述增强交互配置信息，确定所述目标区域所对应的增强交互内容。此处，增强交互配置信息包括至少一个目标区域的位置信息或者至少一个目标区域所对应的增强交互内容。

例如，用户设备将目标装置对应目标图像确定的目标特征信息发送至网络设备。网络设备根据目标特征信息匹配获得预设特征信息，其中预设特征信息基于存储于网络设备的预设图像信息获取，进一步基于所述目标特征信息和所述预设特征信息，确定目标特征信息对应的增强交互配置信息。用户设备接收网络设备返回的关于目标装置的增强交互配置信息，并基于该增强交互配置信息确定对应目标区域的位置信息。进而用户设备基于增强交互配置信息，确定目标区域对应的增强交互内容。其中，该增强交互配置信息包括至少一个目标区域的位置信息或者至少一个目标区域所对应的增强交互内容。

在一些实施例中，该方法还包括步骤S112(未示出)，在步骤S112中，用户设备向对应的网络设备发送关于所述目标装置的增强交互配置信息；其中，所述增强交互配置信息包括以下至少任一项：至少一个目标区域的位置信息；至少一个目标区域所对应的增强交互内容。

例如，用户设备将目标图像信息及对应的增强交互配置信息发送至网络设备，其中，所述增强交互配置信息包括至少一个目标区域的位置信息(例如目标区域a在基于目标装置世界坐标系下的三维位置信息)或者至少一个目标区域所对应的增强交互内容(例如目标区域b对应的增强交互图片等内容)。在一些实施例中，实现了多个用户对目标区域及对应增强交互内容的异步、协作操作，进一步通过各自的用户设备向对应的网络设备发送关于所述目标装置的增强交互配置信息。

需要说明的是，虽然在此是以用户设备为例对设置增强交互内容的方式进行描述的，但是设置增强交互内容不仅限于基于用户设备。事实上，在一些实施例中，对增强交互内容的设置也可在其他设备(例如，网络服务器)上进行。

同时还需说明的是，用于提取预设特征信息的预设图像信息不仅限于对实体的目标装置拍照所得。例如在一些实施例中，针对目标装置的三维数字模型，用户在场景中利用脚本生成虚拟摄像机，并将相机放置到识别区域的正面位置，渲染生成相应的数字图像作为预设图像信息。

另外，为了确定对应的目标区域的位置信息，在一些实施例中，用户在编辑器的三维场景中导入目标装置对应的二维目标图像信息之后，对欲设置的增强交互内容的定位是基于该三维场景中的目标图像信息进行的；其中，在一些情形下，目标图像信息中的像素点位于一平面上，该平面平行于三维场景的一个坐标平面。基于用户的拖拽、旋转等操作，用于设置增强交互内容的目标区域相对于目标图像信息在空间中的位置也相应确定。

图3示出根据本申请一个实施例的一种在网络设备端用于设置增强交互内容的方法流程图。该方法包括步骤S201、步骤S202和步骤S203，其中在步骤S201中，网络设备接收对应的用户设备发送的关于目标装置的目标特征信息；在步骤S202中，网络设备匹配所述目标特征信息对应的预设特征信息，其中所述预设特征信息是基于预设图像信息确定的；在步骤S203中，网络设备向所述用户设备发送所述预设特征信息。

例如，网络设备接收用户设备发送的关于目标装置的目标特征信息，基于该目标特征信息匹配所述目标装置对应的预设特征信息，例如在网络设备特征库中匹配获得相应的预设特征信息，该预设特征信息基于预设图像信息确定。进而网络设备向用户设备发送该目标装置的目标特征信息相对应的预设特征信息。在一些实施例中，预设特征信息(例如，特征点)可基于预先制作的、目标装置的三维模型确定，例如预设特征信息是根据该三维模型提取三维点云数据或几何数据确定的。

在一些实施例中，其中，该方法还包括步骤S204(未示出)、步骤S205(未示出)和步骤S206(未示出)，在步骤S204中，网络设备接收所述用户设备发送的关于目标装置的目标特征信息；在步骤S205中，网络设备基于所述目标特征信息确定对应的增强交互配置信息；在步骤S206中，网络设备向所述用户设备发送所述增强交互配置信息。

例如，网络设备接收用户设备发送的关于目标装置的目标特征信息，基于所述目标特征信息匹配确定对应的增强交互配置信息；在一些实施例中，网络设备根据目标特征信息匹配获得预设特征信息，其中预设特征信息基于存储于网络设备的预设图像信息获取，进一步基于所述目标特征信息和所述预设特征信息，确定目标特征信息对应的增强交互配置信息。网络设备向所述用户设备发送对应的增强交互配置信息。

在一些实施例中，该方法还包括步骤S207(未示出)和步骤S208(未示出)，在步骤S207中，网络设备接收所述用户设备发送的关于目标装置的增强交互配置信息；在步骤S208中，网络设备基于所述增强交互配置信息执行数据更新操作。

例如，网络设备接收一个或多个用户设备发送的关于目标装置的增强交互配置信息。在一些实施例中，网络设备接收并新建存储该目标装置及对应的增强交互配置信息；在另一些实施例中，网络设备接收并更新存储用户设备发送的关于目标装置及相对应的增强交互配置信息，将原存储的目标装置及相对应的增强交互配置信息更新为最新接收的目标装置及相对应的增强交互配置信息。

根据本申请的一个方面，提供了一种用于设置增强交互内容的方法。参考图4，该方法包括：

用户设备基于目标装置对应的目标图像信息，确定对应的目标特征信息，将所述目标特征信息发送至对应的网络设备；

所述网络设备接收对应的用户设备发送的关于目标装置的目标特征信息，匹配所述目标特征信息对应的预设特征信息，并向所述用户设备发送所述预设特征信息，其中所述预设特征信息是基于预设图像信息确定的；

所述用户设备基于所述目标特征信息和所述预设特征信息，确定所述用户设备相对于所述目标装置的位姿信息，基于所述目标特征信息确定对应的目标区域的位置信息，并确定所述目标区域所对应的增强交互内容。

根据本申请的另一个方面，提供了一种用于设置增强交互内容的方法。参考图5，该方法包括：

用户设备基于目标装置对应的目标图像信息确定对应的目标特征信息，基于所述目标特征信息匹配所述目标装置的对应的预设特征信息，基于所述目标特征信息和所述预设特征信息确定所述用户设备相对于所述目标装置的位姿信息，并将所述目标特征信息发送至对应的网络设备，其中所述预设特征信息是基于预设图像信息获取的；

所述网络设备基于所述目标特征信息确定对应的增强交互配置信息，并向所述用户设备发送所述增强交互配置信息；

所述用户设备基于所述增强配置信息确定对应的目标区域的位置信息，并基于所述增强交互配置信息确定所述目标区域所对应的增强交互内容。根据本申请的另一个方面，提供了一种用于设置增强交互内容的方法。该方法包括：

用户设备基于目标装置对应的目标图像信息确定所述目标图像信息对应的目标特征信息，基于所述目标特征信息确定对应的目标区域的位置信息，并确定所述目标区域所对应的增强交互内容；

所述用户设备向对应的网络设备发送关于所述目标装置的增强交互配置信息；

所述网络设备基于所述增强交互配置信息执行数据更新操作；

其中，所述增强交互配置信息包括以下至少任一项：

至少一个目标区域的位置信息；

至少一个目标区域所对应的增强交互内容。

图6示出根据本申请一个实施例的一种用于设置增强交互内容的用户设备结构示意图。该设备包括第一模块101、第二模块102和第三模块103。其中，第一模块101用于基于目标装置对应的目标图像信息确定所述目标图像信息对应的目标特征信息；第二模块102用于基于所述目标特征信息，确定对应的目标区域的位置信息；第三模块103用于确定所述目标区域所对应的增强交互内容。

在此，目标装置包括实际场景中的真实物体，例如电饭煲，空调等；目标装置包括但不限于家用电器、电子设备、机械装置等。目标图像包括呈现在用户设备上的关于目标装置的图像信息，在一些实施例中，目标图像信息由用户设备上的摄像装置采集，其中该摄像装置固定设置于用户设备上，还可以外接采集设备。目标特征信息包括(但不限于)从目标装置对应的目标图像中提取的一个或者多个目标特征点，且这些目标特征点反映该目标图像的特征，例如基于这些目标特征点信息能够识别目标图像中的目标装置。目标区域包括预先设置的与目标装置相对应的区域，或者由用户选择确定的区域。例如，目标区域是用户在用户设备的屏幕上通过点击或画圈选中的区域。在一些实施例中，目标区域的位置信息为目标区域在目标装置所在的世界坐标系下的三维位置。增强交互内容包括在用户设备的屏幕上呈现与目标区域相对应的标签、图像、视频、链接、3D模型或者讨论留言区等，可供用户编辑设置的交互内容。

例如，用户设备获得目标装置(例如，xx型号的电饭煲)呈现在屏幕上的目标图像信息，并根据该目标图像信息确定该目标图像信息对应的目标特征信息，例如用户设备基于特征提取算法对该目标图像信息进行特征提取以获取目标特征信息，其中提取目标特征信息的操作可在用户设备本地完成，也可在对应的网络设备(例如，云)上完成。用户设备基于上述目标特征信息在预存特征库中进行匹配，匹配识别出该目标装置，例如识别出目标图像中的xx型号电饭煲，其中特征库可设置在用户设备，也可设置在网络设备。在一些实施例中，目标区域及对应的增强交互内容已预先设置，用户设备根据从目标图像中提取的目标特征信息，计算获得用户设备的空间位置信息和姿态信息，并将所述目标区域及对应的增强交互内容呈现在用户设备的屏幕的相应位置。在另一些实施例中，该目标区域由用户在用户设备的屏幕上通过点击或画圈的方式增加，或者通过拖动等其它的方式修改其位置，例如，用户设备首先根据从目标图像中提取的目标特征信息，计算获得用户设备的空间位置信息和姿态信息，然后根据用户在用户设备屏幕上的操作确定该目标区域在基于目标装置的世界坐标系下的三维位置。接着，用户设备确定该目标区域相对应的增强交互内容，其中，该目标区域对应的增强交互内容根据用户的新增、编辑等操作确定，例如，用户设备确定目标区域对应的增强交互内容视频，是通过用户的新增操作，在该目标区域对应的位置信息上添加完成的。在一些实施例中，当用户设备相对目标装置的位姿发生改变后，用户设备根据目标区域在基于目标装置的世界坐标系下的三维位置，得到该目标区域在用户设备屏幕中的位置，然后叠加呈现该目标区域相对应的增强交互内容。实现了在实际场景中利用用户设备在线编辑特定区域的增强交互内容，直观得呈现“所见即所得”的效果，具有高效性。

在一些实施例中，所述增强交互内容用于为用户提供所述目标装置的相关信息，例如所述目标装置的文字或多媒体介绍、所述目标装置的各个部件的说明、所述目标装置的使用说明等，并在一些实施例中提供用户交互功能。本领域技术人员应能理解，上述增强交互内容的形式仅为举例，而不构成对本申请的任何限定；其他现有的或者今后可能出现的增强交互内容的形式如能适用于本申请，也包含在本申请的保护范围内，并以引用的方式包含于此。另外，本领域技术人员亦应能理解，上述确定增强交互内容的方式仅为举例，其他现有的或今后可能出现的确定增强交互内容的方式如能适用于本申请，也应包含在本申请的保护范围之内，并在此以引用的方式包含于此。

在一些实施例中，第一模块101用于基于目标装置对应的目标图像信息确定所述目标图像信息对应的目标特征信息，并基于所述目标特征信息确定所述用户设备相对于所述目标装置的位姿信息；所述设备还包括第四模块104(未示出)，第四模块104用于基于所述位姿信息，叠加呈现所述增强交互内容。在此，位姿信息包括用户设备当前相对于所述目标装置的空间位置和姿态。

例如，用户设备获得目标装置(例如，xx型号的电饭煲)呈现在屏幕上的目标图像信息，并基于特征提取算法对该目标图像信息进行特征提取以获取目标特征信息，再根据所述目标特征信息计算用户设备当前相对于目标装置的位姿信息。在一些实施例中，目标区域由用户在用户设备的屏幕上通过点击或画圈的方式增加，基于该目标区域在用户设备屏幕上所对应的二维位置信息，及用户设备相对于目标装置的位姿信息，确定该目标区域在基于目标装置的世界坐标系下的三维位置。进而用户新增该目标区域对应的增强交互内容，并由用户设备叠加呈现目标区域及对应的增强交互内容。

在一些实施例中，所述设备还包括第五模块105(未示出)，第五模块105用于基于更新的目标图像信息，更新所述位姿信息；第二模块102用于基于更新后的位姿信息，叠加呈现所述增强交互内容。

例如，用户设备从不同角度、位置获得目标装置呈现在屏幕上的目标图像信息，其中，在一些实施例中，该目标图像信息既可以对应于该目标装置的局部，也可以对应于该目标装置整体。用户设备基于更新后的目标图像信息，利用特征提取算法对该目标图像信息进行特征提取以获取目标特征信息。在目标装置所在的世界坐标系下，用户设备利用确定的目标特征信息，计算获得用户设备更新后相对于目标装置的空间位置信息和姿态信息，进而根据跟踪算法实时更新目标区域在用户设备屏幕上的位置，在用户设备的屏幕上叠加呈现目标区域对应的增强交互内容。其中，跟踪算法可以是三维跟踪算法、二维跟踪算法或其他跟踪算法。就三维跟踪算法而言，对目标图像信息的跟踪可基于SLAM(SimultaneousLocalization And Mapping,即时定位与建图)算法实现。SLAM算法有多种，例如SIFT(Scale-Invariant Feature Transform,尺度不变特征变换)SLAM算法、SURF(Speeded UpRobust Features,加速鲁棒特征)SLAM算法、VINS(Visual-inertial System,视觉惯性***)SLAM算法、ORB(Oriented FAST and Rotated BRIEF)SLAM算法等。

本领域技术人员应能理解，上述更新位姿信息的方式仅为举例，其他现有的或今后可能出现的更新位姿信息的方式如能适用于本申请，也应包含在本申请的保护范围之内，并在此以引用的方式包含于此。

在一些实施例中，第五模块105用于基于更新的目标图像信息进行跟踪，以更新所述位姿信息。

例如，用户设备变换拍摄角度、位置获得目标装置呈现在屏幕上的目标图像信息。用户设备基于更新后的目标图像信息，利用特征提取算法对该目标图像信息进行特征提取以获取目标特征信息，并在基于目标装置的世界坐标系下，用户设备利用确定的目标特征信息，计算获得用户设备更新后相对于目标装置的空间位置信息和姿态信息。例如，在用户设备将识别算法得到的信息发送给跟踪算法，进行初始化操作并确定增强交互内容的初始的呈现位置和呈现方式后，用户设备根据更新的目标图像信息，仍然基于上述跟踪算法，跟踪目标图像信息的变化并实时更新用户设备的位姿信息。

其中，上述跟踪算法可以是三维跟踪算法、二维跟踪算法或其他跟踪算法。就三维跟踪算法而言，对目标图像信息的跟踪可基于SLAM(Simultaneous Localization AndMapping,即时定位与建图)算法实现。SLAM算法有多种，例如SIFT(Scale-InvariantFeature Transform,尺度不变特征变换)SLAM算法、SURF(Speeded Up Robust Features,加速鲁棒特征)SLAM算法、VINS(Visual-inertial System,视觉惯性***)SLAM算法、ORB(Oriented FAST and Rotated BRIEF)SLAM算法等。

现有SLAM算法的跟踪框架大致都可以分为如下几个部分：

1)获取摄像头或其它传感器信息；

2)通过摄像头或其它传感器信息估算观察者的位姿；

3)优化不同时刻观察者的位姿、地图点、和回环检测的信息；

4)回环检测判断观察者是否到达过先前的位置；

5)建立地图。

而二维跟踪算法则仅根据二维平面图像信息进行跟踪而不涉及三维信息，输入与输出与三维跟踪基本一致。例如，该二维跟踪算法是KCF核相关滤波跟踪算法。在完成对目标装置的识别之后，跟踪算法不断计算用户设备的新的位姿，以更新目标装置在用户设备的屏幕中的位置。在一个实施例中，基于二维跟踪算法更新用户设备的位姿大致包括以下几个步骤：

1)选择识别目标装置之后得到的用户设备的位姿信息，将其发送给跟踪算法，跟踪算法选取目标装置特征点及对应的匹配模板；

2)根据上一帧的位姿信息，计算1)中特征点和特征点匹配模板上的点在当前帧的位置，在这些位置周围寻找与1)中特征点最匹配的点，得到一个匹配点对；

3)根据2)中的匹配点对，计算当前帧对应的用户设备的位姿信息。

当然，本领域技术人员应能理解，以上所述的三维或二维跟踪算法仅为举例，并不对本申请的具体实施方式进行任何限定，其他现有的或今后可能出现的跟踪算法如能适用于本申请，也包含在本申请的保护范围内，并以引用方式包含于此。

在一些实施例中，第三模块103用于基于用户的内容新增操作，新增所述目标区域所对应的增强交互内容。

例如，目标区域对应的增强交互内容根据用户的内容新增操作确定，首先用户在用户设备的屏幕上通过点击或画圈的方式增加目标区域，用户设备根据从目标图像中提取的目标特征信息得到用户设备相对目标装置的位姿从而确定该目标区域在基于目标装置的世界坐标系下的三维位置。然后，用户设备确定该目标区域相对应的增强交互内容，其中在该目标区域新增对应的增强交互内容包括但不限于标签、图像、视频、链接、3D模型或者讨论留言区等交互内容。进而，当用户设备相对目标装置的位姿发生改变后，计算得到该目标区域在用户设备屏幕中对应的位置，然后叠加呈现该目标区域相对应的增强交互内容。

在一些实施例中，第三模块103用于基于所述位置信息，确定所述目标区域所对应的增强交互内容。

例如，在一些实施例中，目标区域对应的增强交互内容已预先设置，用户设备利用目标图像确定目标特征信息，计算获得用户设备当前相对于目标装置的位姿信息，并在屏幕上呈现该目标区域对应的增强交互内容。然后，用户设置该目标区域对应的增强交互内容，例如将增强交互内容图片修改为增强交互内容视频。进而，当用户设备再次扫描该目标装置后，目标区域叠加的增强交互内容是修改后的增强交互视频。在另一些实施例中，用户在用户设备的屏幕上通过拖动的方式修改目标区域的位置，用户设备根据从目标图像中提取的目标特征信息，确定该目标区域在基于目标装置的世界坐标系下的三维位置。进而，当用户设备相对目标装置的位姿发生改变后，计算得到该目标区域在用户设备屏幕中对应的位置，然后叠加呈现该目标区域相对应的增强交互内容。还可以进一步修改新的目标区域对应的增强现实内容，方法与上述过程相同，这里不再赘述。其中在该目标区域对应的增强交互内容包括但不限于标签、图像、视频、链接、3D模型或者讨论留言区等交互内容。

在一些实施例中，该设备还包括第六模块106(未示出)，第六模块106用于根据用户的内容属性设置操作，设置所述增强交互内容的属性信息。

例如，目标区域对应一个标签，根据用户的内容属性设置操作，将该标签的内容“开始”设置为“开始/关闭”。又例如，目标区域对应一个标签，根据用户的内容属性设置操作，改变该标签的大小、颜色。再例如，目标区域对应一个标签，根据用户的内容属性设置操作，移动该标签的位置或者旋转改变该标签的方向。当用户设备再次扫描该目标装置后，用户设备在屏幕上呈现该目标区域对应的增强交互内容。在一些实施例中，用户的内容属性设置操作相对其他增强交互内容(例如图片、视频或者3D模型)均适用。

本领域技术人员应能理解，上述增强交互内容的属性信息仅为举例，其他现有的或今后可能出现的增强交互内容的属性信息如能适用于本申请，也应包含在本申请的保护范围之内，并在此以引用的方式包含于此。

在一些实施例中，设备还包括第七模块107(未示出)，第七模块107用于根据用户的触发指令设置操作，设置所述增强交互内容所对应的触发指令。

例如，在一些实施例中，用户设备基于目标区域叠加呈现预先设置的对应增强交互内容，例如，用户设备基于目标区域即呈现弹出的增强交互内容标签。在另一些实施例中，用户设备根据用户的触发指令设置操作，设置增强交互内容对应的触发指令。例如，设置通过单击该目标区域来触发弹出叠加的链接；又例如，设置通过双击目标区域来触发显示图片、或播放视频等。

在一些实施例中，第七模块107用于根据用户的触发指令设置操作，分别设置多个增强交互内容各自所对应的触发指令。

例如，在一些实施例中，用户设备根据用户的触发指令设置操作，分别设置多个目标区域对应增强交互内容的触发指令，例如设置目标区域a对应增强交互内容视频的触发指令，设置通过双击该目标区域a即触发弹出叠加的增强交互内容视频；设置目标区域b对应增强交互内容标签的触发指令，设置通过单击该目标区域b即触发该标签高亮叠加显示。在另一些实施例中，用户设备根据用户的触发指令设置操作，设置一个目标区域对应的多个增强交互内容的触发指令。例如，设置目标区域c对应的增强交互内容图片的触发指令，设置通过语音“打开”控制该增强交互内容图片放大显示，进而设置通过双击放大的图片即触发相关的增强交互视频呈现。实现了在用户设备屏幕上叠加呈现多层次的增强交互内容。又例如，设置目标区域d对应增强交互内容3D模型、视频的触发指令，设置通过语音“播放”控制该增强交互内容视频播放，设置通过手势控制该增强交互内容3D模型移动或者旋转。

在一些实施例中，该设备还包括第八模块108(未示出)，第八模块108用于根据用户的操作序列创建操作，创建对应的操作序列，所述操作序列用于在时序上顺次触发多个增强交互内容。

例如，用户对多个目标区域及对应的增强交互内容创建对应的操作序列，用户设备基于用户确定的目标区域a、目标区域b和目标区域c，并创建该三个目标区域的操作序列，例如该操作序列为依次触发目标区域a、目标区域b和目标区域c分别对应的增强交互内容呈现。例如使目标区域a、目标区域b和目标区域c依次高亮显示。又例如，首先触发目标区域a对应标签“开始”高亮叠加显示，再触发目标区域b对应的图片放大显示，最后触发目标区域c对应的视频播放呈现。

本领域技术人员应能理解，上述创建操作序列的方式仅为举例，其他现有的或今后可能出现的创建操作序列的方式如能适用于本申请，也应包含在本申请的保护范围之内，并在此以引用的方式包含于此。

在一些实施例中，第一模块101包括第一单元101a、第二单元101b和第三单元101c。第一单元101a用于基于目标装置对应的目标图像信息，确定对应的目标特征信息；第二单元101b用于基于所述目标特征信息，匹配所述目标装置的对应的预设特征信息，其中所述预设特征信息是基于预设图像信息获取的；第三单元101c用于基于所述目标特征信息和所述预设特征信息，确定所述用户设备相对于所述目标装置的位姿信息。在此，位姿信息包括所述用户设备的空间位置信息和姿态信息。预设特征信息是基于预设图像信息获取的，存储于用户设备本地或者网络设备的特征库中，其中特征库包含一个或多个预先摄制的目标装置的预设图像，还可包含分别从每个图像中提取的特征信息(例如，特征点)；在一些实施例中，预设特征信息(例如，特征点)还可基于预先制作的、目标装置的三维模型确定，例如预设特征信息是根据该三维模型提取三维点云数据或几何数据确定的。

例如，用户设备获得目标装置呈现在屏幕上的目标图像信息，用户设备基于特征提取算法对该目标图像信息进行特征提取以获取目标特征信息，其中提取目标特征信息的操作可在用户设备本地完成，也可在对应的网络设备(例如，云)上完成。用户设备基于所述目标特征信息，在存储于用户设备本地的或网络设备端的特征库中匹配获得相应的预设特征信息。用户设备基于所述目标特征信息和所述预设特征信息，确定所述用户设备相对于所述目标装置的位姿信息。例如在用户设备本地或在与用户设备对应的网络设备上(例如云端服务器)将该目标图像信息和预设的图像或模型等(但不限于此)进行匹配和比对，即可获得所述用户设备当前相对于所述目标装置的空间位置信息和姿态信息，其中，所述预设的图像或模型是对应于相同的(例如，同一型号的)目标装置的。用户设备的位姿信息可基于一指定的坐标系进行，例如指定目标装置所在的世界坐标系下，确定用户设备的空间位置信息和姿态信息。

在一些实施例中，所述目标特征信息包括根据所述目标图像信息确定的多个目标特征点；其中，所述设备还包括第九模块109(未示出)和第十模块110，第九模块109用于基于所述目标特征点的分布信息，确定所述目标图像信息的有效识别区域；第十模块110用于基于所述有效识别区域，更新所述预设图像信息。

例如，用户设备获取关于目标装置的目标图像信息，基于特征提取算法对该目标图像信息进行特征提取以获取多个目标特征点，用户设备基于目标特征点的分布信息，确定该目标图像信息的有效识别区域。例如，预先设置数量阈值，统计目标特征点的数量大于等于预设的数量阈值时，则确定包含这些目标特征点的目标图像信息为有效识别区域。又例如基于多个目标特征点的分布信息，采用K-Means等算法当目标特征点的数量满足预定的数量阈值时，则确定包含这些目标特征点的目标图像信息为有效识别区域。该包含有效识别区域的目标图像信息较完美的反应目标装置的特征，用户设备基于该目标图像信息的有效识别区域，更新存储于特征库中原有的预设图像信息。其中原有预设图像信息与包含有效识别区域的目标图像信息相匹配，特征库中存储一个或多个预设图像信息。在一些实施例中，用户设备基于目标图像对应的目标特征点信息，可计算用户设备的位姿信息，从而获得用户设备的拍摄角度，用户设备屏幕上呈现的目标图像画面占比等信息。

在一些实施例中，该设备还包括第十一模块111(未示出)，第十一模块111用于基于所述目标图像信息，更新所述预设图像信息。

例如，特征库中存在至少一个目标装置有关的预设图像信息，其中该预设图像信息不存在足够多的特征点以匹配目标装置的目标图像。在一些实施例中，当用户获取目标装置有关的目标图像信息时，用户根据经验判断用户设备与目标装置相对位置和角度较为适合，肉眼观察用户设备屏幕上呈现的目标图像画面占比较合适，即该目标图像信息较完美的反映目标装置的特征。用户设备利用该目标图像信息更新原有的预设图像信息。在另一些实施例中，当用户设备拍摄目标图像画面后，利用预设特征提取方法提取此时目标图像中目标装置的特征点，当提取的特征点数量大于或等于预先设定的特征点阈值时，则用户设备提示用户该目标图像信息较完美的反映目标装置的特征；并利用该目标图像信息更新特征库中原有的预设图像信息。

在一些实施例中，第二单元101b用于将所述目标特征信息发送至对应的网络设备，并接收所述网络设备返回的预设特征信息。

例如，用户设备将目标装置对应目标图像信息确定的目标特征信息发送至对应的网络设备。网络设备接收用户设备发送的关于目标装置的目标特征信息，并在存储于网络设备的特征库中进行匹配，获得与所述目标特征信息相匹配的预设特征信息，所述预设特征信息是基于预设图像信息确定的；网络设备向用户设备发送该预设特征信息。进而用户设备接收返回的预设特征信息。

在一些实施例中，第二模块102用于将所述目标特征信息发送至对应的网络设备，接收所述网络设备返回的关于所述目标装置的增强交互配置信息并基于所述增强配置信息确定对应的目标区域的位置信息；第三模块103用于基于所述增强交互配置信息，确定所述目标区域所对应的增强交互内容。此处，增强交互配置信息包括至少一个目标区域的位置信息或者至少一个目标区域所对应的增强交互内容。

例如，用户设备将目标装置对应目标图像确定的目标特征信息发送至网络设备。网络设备根据目标特征信息匹配获得预设特征信息，其中预设特征信息基于存储于网络设备的预设图像信息获取，进一步基于所述目标特征信息和所述预设特征信息，确定目标特征信息对应的增强交互配置信息。用户设备接收网络设备返回的关于目标装置的增强交互配置信息，并基于该增强交互配置信息确定对应目标区域的位置信息。进而用户设备基于增强交互配置信息，确定目标区域对应的增强交互内容。其中，该增强交互配置信息包括至少一个目标区域的位置信息或者至少一个目标区域所对应的增强交互内容。

在一些实施例中，该设备还包括第十二模块112(未示出)，第十二模块112用于向对应的网络设备发送关于所述目标装置的增强交互配置信息；其中，所述增强交互配置信息包括以下至少任一项：至少一个目标区域的位置信息；至少一个目标区域所对应的增强交互内容。

例如，用户设备将目标图像信息及对应的增强交互配置信息发送至网络设备，其中，所述增强交互配置信息包括至少一个目标区域的位置信息(例如目标区域a在基于目标装置世界坐标系下的三维位置信息)或者至少一个目标区域所对应的增强交互内容(例如目标区域b对应的增强交互图片等内容)。在一些实施例中，实现了多个用户对目标区域及对应增强交互内容的异步、协作操作，进一步通过各自的用户设备向对应的网络设备发送关于所述目标装置的增强交互配置信息。

需要说明的是，虽然在此是以用户设备为例对设置增强交互内容的方式进行描述的，但是设置增强交互内容不仅限于基于用户设备。事实上，在一些实施例中，对增强交互内容的设置也可在其他设备(例如，网络服务器)上进行。

同时还需说明的是，用于提取预设特征信息的预设图像信息不仅限于对实体的目标装置拍照所得。例如在一些实施例中，针对目标装置的三维数字模型，用户在场景中利用脚本生成虚拟摄像机，并将相机放置到识别区域的正面位置，渲染生成相应的数字图像作为预设图像信息。

另外，为了确定对应的目标区域的位置信息，在一些实施例中，用户在编辑器的三维场景中导入目标装置对应的二维目标图像信息之后，对欲设置的增强交互内容的定位是基于该三维场景中的目标图像信息进行的；其中，在一些情形下，目标图像信息中的像素点位于一平面上，该平面平行于三维场景的一个坐标平面。基于用户的拖拽、旋转等操作，用于设置增强交互内容的目标区域相对于目标图像信息在空间中的位置也相应确定。

图7示出根据本申请一个实施例的一种用于设置增强交互内容的网络设备结构示意图。该设备包括第十三模块201、第十四模块202和第十五模块203，其中第十三模块201用于接收对应的用户设备发送的关于目标装置的目标特征信息；第十四模块202用于匹配所述目标特征信息对应的预设特征信息，其中所述预设特征信息是基于预设图像信息确定的；第十五模块205用于向所述用户设备发送所述预设特征信息。

例如，网络设备接收用户设备发送的关于目标装置的目标特征信息，基于该目标特征信息匹配所述目标装置对应的预设特征信息，例如在网络设备特征库中匹配获得相应的预设特征信息，该预设特征信息基于预设图像信息确定。进而网络设备向用户设备发送该目标装置的目标特征信息相对应的预设特征信息。在一些实施例中，预设特征信息(例如，特征点)可基于预先制作的、目标装置的三维模型确定，例如预设特征信息是根据该三维模型提取三维点云数据或几何数据确定的。

在一些实施例中，其中，该设备还包括第十六模块204(未示出)、第十七模块205(未示出)和第十八模块206(未示出)，第十六模块204用于接收所述用户设备发送的关于目标装置的目标特征信息；第十七模块205用于基于所述目标特征信息确定对应的增强交互配置信息；第十八模块206用于向所述用户设备发送所述增强交互配置信息。

例如，网络设备接收用户设备发送的关于目标装置的目标特征信息，基于所述目标特征信息匹配确定对应的增强交互配置信息；在一些实施例中，网络设备根据目标特征信息匹配获得预设特征信息，其中预设特征信息基于存储于网络设备的预设图像信息获取，进一步基于所述目标特征信息和所述预设特征信息，确定目标特征信息对应的增强交互配置信息。网络设备向所述用户设备发送对应的增强交互配置信息。

在一些实施例中，该设备还包括第十九模块207(未示出)和第二十模块208(未示出)。第十九模块207用于接收所述用户设备发送的关于目标装置的增强交互配置信息；第二十模块208用于基于所述增强交互配置信息执行数据更新操作。

例如，网络设备接收一个或多个用户设备发送的关于目标装置的增强交互配置信息。在一些实施例中，网络设备接收并新建存储该目标装置及对应的增强交互配置信息；在另一些实施例中，网络设备接收并更新存储用户设备发送的关于目标装置及相对应的增强交互配置信息，将原存储的目标装置及相对应的增强交互配置信息更新为最新接收的目标装置及相对应的增强交互配置信息。

本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如前任一项所述的方法被执行。

本申请还提供了一种计算机程序产品，当所述计算机程序产品被计算机设备执行时，如前任一项所述的方法被执行。

本申请还提供了一种计算机设备，所述计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个计算机程序；

当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前任一项所述的方法。

图8示出了可被用于实施本申请中所述的各个实施例的示例性***。

如图8所示，在一些实施例中，***800能够作为各所述实施例中的任意一个用户设备或者网络设备。在一些实施例中，***800可包括具有指令的一个或多个计算机可读介质(例如，***存储器或NVM/存储设备820)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如，(一个或多个)处理器805)。

对于一个实施例，***控制模块810可包括任意适当的接口控制器，以向(一个或多个)处理器805中的至少一个和/或与***控制模块810通信的任意适当的设备或组件提供任意适当的接口。

***控制模块810可包括存储器控制器模块830，以向***存储器815提供接口。存储器控制器模块830可以是硬件模块、软件模块和/或固件模块。

***存储器815可被用于例如为***800加载和存储数据和/或指令。对于一个实施例，***存储器815可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，***存储器815可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。

对于一个实施例，***控制模块810可包括一个或多个输入/输出(I/O)控制器，以向NVM/存储设备820及(一个或多个)通信接口825提供接口。

例如，NVM/存储设备820可被用于存储数据和/或指令。NVM/存储设备820可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。

NVM/存储设备820可包括在物理上作为***800被安装在其上的设备的一部分的存储资源，或者其可被该设备访问而不必作为该设备的一部分。例如，NVM/存储设备820可通过网络经由(一个或多个)通信接口825进行访问。

(一个或多个)通信接口825可为***800提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。***800可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。

对于一个实施例，(一个或多个)处理器805中的至少一个可与***控制模块810的一个或多个控制器(例如，存储器控制器模块830)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器805中的至少一个可与***控制模块810的一个或多个控制器的逻辑封装在一起以形成***级封装(SiP)。对于一个实施例，(一个或多个)处理器805中的至少一个可与***控制模块810的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器805中的至少一个可与***控制模块810的一个或多个控制器的逻辑集成在同一模具上以形成片上***(SoC)。

在各个实施例中，***800可以但不限于是：服务器、工作站、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中，***800可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，***800包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。

需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解，计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等，相应地，计算机程序指令被计算机执行的方式包括但不限于：该计算机直接执行该指令，或者该计算机编译该指令后再执行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机读取并安装该指令后再执行对应的安装后程序。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。

通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个***传送到另一***的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如，光纤、同轴等))和能传播能量波的无线(未有导的传输)介质，诸如声音、电磁、RF、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。

作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括，但不限于，易失性存储器，诸如随机存储器(RAM,DRAM,SRAM)；以及非易失性存储器，诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性和铁磁/铁电存储器(MRAM,FeRAM)；以及磁性和光学存储设备(硬盘、磁带、CD、DVD)；或其它现在已知的介质或今后开发的能够存储供计算机***使用的计算机可读信息/数据。

在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (33)

1.一种用于设置增强交互内容的方法，其中，该方法包括：

基于目标装置对应的目标图像信息确定所述目标图像信息对应的目标特征信息；

基于所述目标特征信息，确定对应的目标区域的位置信息；

确定所述目标区域所对应的增强交互内容。

2.根据权利要求1所述的方法，其中，所述基于目标装置对应的目标图像信息确定所述目标图像信息对应的目标特征信息，包括：

基于目标装置对应的目标图像信息确定所述目标图像信息对应的目标特征信息，并基于所述目标特征信息确定所述用户设备相对于所述目标装置的位姿信息；

所述方法还包括：

基于所述位姿信息，叠加呈现所述增强交互内容。

3.根据权利要求2所述的方法，其中，所述方法还包括：

基于更新的目标图像信息，更新所述位姿信息；

所述基于所述位姿信息，叠加呈现所述增强交互内容，包括：

基于更新后的位姿信息，叠加呈现所述增强交互内容。

4.根据权利要求3所述的方法，其中，所述基于更新的目标图像信息，更新所述位姿信息，包括：

基于更新的目标图像信息进行跟踪，以更新所述位姿信息。

5.根据权利要求1所述的方法，其中，所述确定所述目标区域所对应的增强交互内容，包括：

基于用户的内容新增操作，新增所述目标区域所对应的增强交互内容。

6.根据权利要求1所述的方法，其中，所述确定所述目标区域所对应的增强交互内容，包括：

基于所述位置信息，确定所述目标区域所对应的增强交互内容。

7.根据权利要求5或6所述的方法，其中，所述方法还包括：

根据用户的内容属性设置操作，设置所述增强交互内容的属性信息。

8.根据权利要求5至7中任一项所述的方法，其中，所述方法还包括：

根据用户的触发指令设置操作，设置所述增强交互内容所对应的触发指令。

9.根据权利要求8所述的方法，其中，所述根据用户的触发指令设置操作，设置所述增强交互内容所对应的触发指令，包括：

根据用户的触发指令设置操作，分别设置多个增强交互内容各自所对应的触发指令。

10.根据权利要求8或9所述的方法，其中，所述方法还包括：

根据用户的操作序列创建操作，创建对应的操作序列，所述操作序列用于在时序上顺次触发多个增强交互内容。

11.根据权利要求1所述的方法，其中，所述基于目标装置对应的目标图像信息确定所述目标图像信息对应的目标特征信息，包括：

基于目标装置对应的目标图像信息，确定对应的目标特征信息；

基于所述目标特征信息，匹配所述目标装置的对应的预设特征信息，其中所述预设特征信息是基于预设图像信息获取的；

基于所述目标特征信息和所述预设特征信息，确定所述用户设备相对于所述目标装置的位姿信息。

12.根据权利要求11所述的方法，其中，所述目标特征信息包括根据所述目标图像信息确定的多个目标特征点；

所述方法还包括：

基于所述目标特征点的分布信息，确定所述目标图像信息的有效识别区域；

基于所述有效识别区域，更新所述预设图像信息。

13.根据权利要求11所述的方法，其中，所述方法还包括：

基于所述目标图像信息，更新所述预设图像信息。

14.根据权利要求11所述的方法，其中，所述基于所述目标特征信息，匹配所述目标装置的对应的预设特征信息，包括：

将所述目标特征信息发送至对应的网络设备，并接收所述网络设备返回的预设特征信息。

15.根据权利要求11所述的方法，其中，所述基于所述目标特征信息，确定对应的目标区域的位置信息，包括：

将所述目标特征信息发送至对应的网络设备，并接收所述网络设备返回的关于所述目标装置的增强交互配置信息；

基于所述增强配置信息确定对应的目标区域的位置信息；

所述确定所述目标区域所对应的增强交互内容，包括：

基于所述增强交互配置信息，确定所述目标区域所对应的增强交互内容。

16.根据权利要求1所述的方法，其中，所述方法还包括：

向对应的网络设备发送关于所述目标装置的增强交互配置信息；

其中，所述增强交互配置信息包括以下至少任一项：

至少一个目标区域的位置信息；

至少一个目标区域所对应的增强交互内容。

17.一种在网络设备端用于设置增强交互内容的方法，其中，该方法包括：

接收对应的用户设备发送的关于目标装置的目标特征信息；

匹配所述目标特征信息对应的预设特征信息，所述预设特征信息是基于预设图像信息确定的；

向所述用户设备发送所述预设特征信息。

18.根据权利要求17所述的方法，其中，所述方法还包括：

接收所述用户设备发送的关于目标装置的目标特征信息；

基于所述目标特征信息确定对应的增强交互配置信息；

向所述用户设备发送所述增强交互配置信息。

19.根据权利要求17或18所述的方法，其中，所述方法还包括：

接收所述用户设备发送的关于目标装置的增强交互配置信息；

基于所述增强交互配置信息执行数据更新操作。

20.一种在用户设备端用于设置增强交互内容的设备，其中，该设备包括：

第一模块，用于基于目标装置对应的目标图像信息确定所述目标图像信息对应的目标特征信息；

第二模块，用于基于所述目标特征信息，确定对应的目标区域的位置信息；

第三模块，用于确定所述目标区域所对应的增强交互内容。

21.根据权利要求20所述的设备，其中，所述第一模块，用于

基于目标装置对应的目标图像信息确定所述目标图像信息对应的目标特征信息，并基于所述目标特征信息确定所述用户设备相对于所述目标装置的位姿信息；

所述设备还包括：

第四模块，用于基于所述位姿信息，叠加呈现所述增强交互内容。

22.根据权利要求21所述的设备，其中，所述设备还包括：

第五模块，用于基于更新的目标图像信息，更新所述位姿信息；

所述第四模块，用于

基于更新后的位姿信息，叠加呈现所述增强交互内容。

23.根据权利要求21所述的设备，其中，所述第五模块，用于

基于更新的目标图像信息进行跟踪，以更新所述位姿信息。

24.根据权利要求20所述的设备，其中，所述第三模块，用于

基于用户的内容新增操作，新增所述目标区域所对应的增强交互内容。

25.根据权利要求20所述的设备，其中，所述第三模块，用于

基于所述位置信息，确定所述目标区域所对应的增强交互内容。

26.根据权利要求24或25所述的设备，其中，所述设备还包括：

第六模块，用于根据用户的内容属性设置操作，设置所述增强交互内容的属性信息。

27.根据权利要求20所述的设备，其中，所述第一模块包括：

第一单元，用于基于目标装置对应的目标图像信息，确定对应的目标特征信息；

第二单元，用于基于所述目标特征信息，匹配所述目标装置的对应的预设特征信息，其中所述预设特征信息是基于预设图像信息获取的；

第三单元，用于基于所述目标特征信息和所述预设特征信息，确定所述用户设备相对于所述目标装置的位姿信息。

28.一种用于设置增强交互内容的网络设备，其中，该设备包括：

第十三模块，用于接收对应的用户设备发送的关于目标装置的目标特征信息；

第十四模块，用于匹配所述目标特征信息对应的预设特征信息，所述预设特征信息是基于预设图像信息确定的；

第十五模块，用于向所述用户设备发送所述预设特征信息。

29.一种用于设置增强交互内容的方法，其中，该方法包括：

用户设备基于目标装置对应的目标图像信息，确定对应的目标特征信息，将所述目标特征信息发送至对应的网络设备；

所述网络设备接收对应的用户设备发送的关于目标装置的目标特征信息，匹配所述目标特征信息对应的预设特征信息，并向所述用户设备发送所述预设特征信息，其中所述预设特征信息是基于预设图像信息确定的；

所述用户设备基于所述目标特征信息和所述预设特征信息，确定所述用户设备相对于所述目标装置的位姿信息，基于所述目标特征信息确定对应的目标区域的位置信息，并确定所述目标区域所对应的增强交互内容。

30.一种用于设置增强交互内容的方法，其中，该方法包括：

用户设备基于目标装置对应的目标图像信息确定对应的目标特征信息，基于所述目标特征信息匹配所述目标装置的对应的预设特征信息，基于所述目标特征信息和所述预设特征信息确定所述用户设备相对于所述目标装置的位姿信息，并将所述目标特征信息发送至对应的网络设备，其中所述预设特征信息是基于预设图像信息获取的；

所述网络设备基于所述目标特征信息确定对应的增强交互配置信息，并向所述用户设备发送所述增强交互配置信息；

所述用户设备基于所述增强配置信息确定对应的目标区域的位置信息，并基于所述增强交互配置信息确定所述目标区域所对应的增强交互内容。

31.一种用于设置增强交互内容的方法，其中，该方法包括：

用户设备基于目标装置对应的目标图像信息确定所述目标图像信息对应的目标特征信息，基于所述目标特征信息确定对应的目标区域的位置信息，并确定所述目标区域所对应的增强交互内容；

所述用户设备向对应的网络设备发送关于所述目标装置的增强交互配置信息；

所述网络设备基于所述增强交互配置信息执行数据更新操作；

其中，所述增强交互配置信息包括以下至少任一项：

至少一个目标区域的位置信息；

至少一个目标区域所对应的增强交互内容。

32.一种用于设置增强交互内容的设备，其中，该设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行根据权利要求1至19中任一项所述方法的操作。

33.一种包括指令的计算机可读介质，所述指令在被执行时使得***进行根据权利要求1至19中任一项所述方法的操作。