CN111445583A - 增强现实处理方法及装置、存储介质和电子设备 - Google Patents

Abstract

本公开提供了一种增强现实处理方法、增强现实处理装置、计算机可读存储介质和电子设备，涉及增强现实技术领域。该增强现实处理方法包括：接收由第一设备上传的图像，并对所述图像进行识别以确定所述图像中包含的目标对象；若根据所述目标对象的类型，检索到关联对象类型中存在与所述目标对象的类型相同的类型，则识别所述目标对象的感兴趣区域；解析所述目标对象对应的锚点信息，以使第二设备对所述锚点信息以及所述感兴趣区域进行渲染，并在所述第二设备上显示所述目标对象。本公开可以提高在增强现实场景中操作的效率和准确性。

Description

增强现实处理方法及装置、存储介质和电子设备

技术领域

本公开涉及增强现实技术领域，具体而言，涉及一种增强现实处理方法、增强现实处理装置、计算机可读存储介质和电子设备。

背景技术

增强现实(Augmented Reality，AR)是一种将虚拟信息与真实世界融合的技术。近年来，增强现实技术已延伸至多个应用领域。

相关技术中，一般通过智能手机扫描周围的场景，然后在场景中放置虚拟物体，在不同位置和视角下观察该虚拟物体；或者通过不同的交互方式来控制虚拟物体的动作或者行为，来实现AR体验。

然而，上述方式中，所有的信息处理过程均需要在终端设备上执行。因此，信息处理的过程受终端设备本身的性能的影响较大，使得增强现实场景中执行操作的准确度低且操作效率低。另外，采用终端设备作为AR平台，资源消耗较多，导致应用范围具有一定的局限性。

发明内容

本公开提供一种增强现实处理方法、增强现实处理装置、计算机可读存储介质和电子设备，进而至少在一定程度上克服操作准确性差以及操作效率低的问题。

根据本公开的一个方面，提供了一种增强现实处理方法，应用于云端，包括：接收由第一设备上传的图像，并对所述图像进行识别以确定所述图像中包含的目标对象；若根据所述目标对象的类型，检索到关联对象类型中存在与所述目标对象的类型相同的类型，则识别所述目标对象的感兴趣区域；解析所述目标对象对应的锚点信息，以使第二设备对所述锚点信息以及所述感兴趣区域进行渲染，并在所述第二设备上显示所述目标对象。

根据本公开的一个方面，提供一种增强现实处理装置，应用于云端，所述装置包括：目标对象识别模块，用于接收由第一设备上传的图像，并对所述图像进行识别以确定所述图像中包含的目标对象；区域确定模块，用于若根据所述目标对象的类型，检索到关联对象类型中存在与所述目标对象的类型相同的类型，则识别所述目标对象的感兴趣区域；锚点解析模块，用于解析所述目标对象对应的锚点信息，以使第二设备对所述锚点信息以及所述感兴趣区域进行渲染，并在所述第二设备上显示所述目标对象。

根据本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述任意一项所述的增强现实处理方法。

根据本公开的一个方面，提供一种电子设备，包括：处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述处理器执行时，使得所述处理器实现如上述任意一项所述的增强现实处理方法。

在本公开的一些实施例所提供的技术方案中，云端根据第一设备输出的图像来识别图像中包含的目标对象，并在关联对象类型中存在于目标对象的类型相同的类型时，确定目标对象的感兴趣区域，进而将感兴趣区域以及目标对象的类型发送至第二设备以便于根据解析得到的锚点信息进行渲染以进行显示。一方面，相比于相关技术中利用终端设备作为增强现实平台而言，本公开实施例中提供了云端架构，以云端架构来为终端设备提供支持，利用云端来进行图像的识别以及类型匹配识别感兴趣区域等过程，由于云端具有丰富的计算资源，因此不会受到终端设备本身性能的影响，将复杂的算法迁移至云端，能够提高计算效率和准确性，从而提高在增强现实场景中操作的准确性和操作效率。另一方面，由于云端处理了复杂的计算过程，因此减少了终端设备的资源消耗，不会增加终端设备的负载，提高了可靠性且减少了局限性，增加了应用范围。再一方面，通过云端对图像中包含的目标对象进行识别，并根据对象匹配结果来选择合适的方式确定感兴趣区域进而解析锚点信息，使得第二设备根据锚点信息来进行显示目标对象，提高了显示目标对象的效率，提高了便捷性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了可以应用本公开实施例的增强现实处理方法或增强现实处理装置的示例性***架构的示意图；

图2示出了适于用来实现本公开实施例的电子设备的结构示意图；

图3示意性示出了根据本公开示例性实施例的增强现实处理方法的流程图；

图4示出了本公开实施例中识别图像中包含的目标对象的流程示意图；

图5示出了本公开实施例中对锚点信息进行转换的流程示意图；

图6示出了本公开实施例中增强现实处理方法的具体流程的示意图；

图7示意性示出了本公开示例性实施例中增强现实处理装置的方框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。另外，下面所有的术语“第一”、“第二”仅是为了区分的目的，不应作为本公开内容的限制。

图1示出了可以应用本公开实施例的增强现实处理方法或增强现实处理装置的示例性***架构的示意图。

如图1所示，***架构100可以包括第一设备110、云端120以及第二设备130，第二设备的数量可以为一个或多个，且多个第二设备的类型和位置可以相同或不同。通过第一设备、云端和第二设备，可以构建多人AR场景。

第一设备110通常可以是执行重定位的设备，是增强现实场景的参与端。第一设备110上可以集成有实现SLAM(Simultaneous Localization And Mapping，即时定位与地图构建)的模块，并可以安装并运行增强现实场景的应用程序。本公开对第一设备110的类型不做限制，可以是手机、平板电脑以及例如AR眼镜、AR头盔、智能手表等智能可穿戴设备。又例如，第一设备110还可以是AR头盔与游戏手柄的组合，来实现体感式的增强现实场景。

云端120可以存储建图设备在建图过程中生成的信息，以便第一设备进行重定位。在进行增强现实游戏的过程中，云端120执行增强现实游戏的交互数据处理过程，也就是说，第一设备110生成的数据可以通过云端120进行处理并反馈。另外，在本公开的一些实施例中，云端120还用于提供增强现实场景的设备配置要求，以便为第一设备110分配虚拟对象，并响应第一设备110的空间状态变化对虚拟对象进行控制。

在如图1所示的云端120参与处理的实施例中，第一设备110可以获取图像，并将图像发送给云端120。在云端120确定出图像中包含的目标对象的情况下，云端120可以确定出与目标对象的类型对应的感兴趣区域，并且解析出该目标对象对应的锚点信息，使得第二设备130对锚点信息以及感兴趣区域进行渲染并显示。本领域技术人员容易理解的是，本公开中在云端存储锚点信息并发送至第二设备，以便用户可以借助于该锚点信息在第二设备中看到目标对象。

应当理解的是，本公开参与增强现实场景的设备终端除了第一设备和第二设备设备之外，还可以包括其他设备，且其他设备的类型可以与此处的第一设备和第二设备相同或不同，本公开对其他设备的数量和类型等不做限制。

图2示出了适于用来实现本公开示例性实施方式的一种电子设备的示意图，也就是说，第一设备可以被配置为例如图2所示的设备。需要说明的是，图2示出的电子设备仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

本公开的电子设备至少包括处理器和存储器，存储器用于存储一个或多个程序，当一个或多个程序被处理器执行时，使得处理器可以实现本公开示例性实施方式的增强现实处理方法。

具体的，如图2所示，电子设备200可以包括：处理器210、内部存储器221、外部存储器接口222、通用串行总线(Universal Serial Bus，USB)接口230、充电管理模块240、电源管理模块241、电池242、天线1、天线2、移动通信模块250、无线通信模块260、音频模块270、扬声器271、受话器272、麦克风273、耳机接口274、传感器模块280、显示屏290、摄像模组291、指示器292、马达293、按键294以及用户标识模块(Subscriber IdentificationModule，SIM)卡接口295等。其中传感器模块280可以包括深度传感器2801、压力传感器2802、陀螺仪传感器2803、气压传感器2804、磁传感器2805、加速度传感器2806、距离传感器2807、接近光传感器2808、指纹传感器2809、温度传感器2810、触摸传感器2811、环境光传感器2812及骨传导传感器2813等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备200的具体限定。在本申请另一些实施例中，电子设备200可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。

处理器210可以包括一个或多个处理单元，例如：处理器210可以包括应用处理器(Application Processor，AP)、调制解调处理器、图形处理器(Graphics ProcessingUnit，GPU)、图像信号处理器(Image Signal Processor，ISP)、控制器、视频编解码器、数字信号处理器(Digital Signal Processor，DSP)、基带处理器和/或神经网络处理器(Neural-etwork Processing Unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。另外，处理器210中还可以设置存储器，用于存储指令和数据。

USB接口230是符合USB标准规范的接口，具体可以是MiniUSB接口，MicroUSB接口，USBTypeC接口等。USB接口230可以用于连接充电器为电子设备200充电，也可以用于电子设备200与***设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如AR设备等。

充电管理模块240用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。电源管理模块241用于连接电池242、充电管理模块240与处理器210。电源管理模块241接收电池242和/或充电管理模块240的输入，为处理器210、内部存储器221、显示屏290、摄像模组291和无线通信模块260等供电。

电子设备200的无线通信功能可以通过天线1、天线2、移动通信模块250、无线通信模块260、调制解调处理器以及基带处理器等实现。

移动通信模块250可以提供应用在电子设备200上的包括2G/3G/4G/5G等无线通信的解决方案。

无线通信模块260可以提供应用在电子设备200上的包括无线局域网(WirelessLocal Area Networks，WLAN)(如无线保真(Wireless Fidelity，Wi-Fi)网络)、蓝牙(Bluetooth，BT)、全球导航卫星***(Global Navigation Satellite System，GNSS)、调频(Frequency Modulation，FM)、近距离无线通信技术(Near Field Communication，NFC)、红外技术(Infrared，IR)等无线通信的解决方案。

电子设备200通过GPU、显示屏290及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏290和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器210可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

电子设备200可以通过ISP、摄像模组291、视频编解码器、GPU、显示屏290及应用处理器等实现拍摄功能。在一些实施例中，电子设备200可以包括1个或N个摄像模组291，N为大于1的正整数，若电子设备200包括N个摄像头，N个摄像头中有一个是主摄像头。

内部存储器221可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器221可以包括存储程序区和存储数据区。外部存储器接口222可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备200的存储能力。

电子设备200可以通过音频模块270、扬声器271、受话器272、麦克风273、耳机接口274及应用处理器等实现音频功能。例如音乐播放、录音等。

音频模块270用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块270还可以用于对音频信号编码和解码。在一些实施例中，音频模块270可以设置于处理器210中，或将音频模块270的部分功能模块设置于处理器210中。

扬声器271，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备200可以通过扬声器271收听音乐，或收听免提通话。受话器272，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备200接听电话或语音信息时，可以通过将受话器272靠近人耳接听语音。麦克风273，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风273发声，将声音信号输入到麦克风273。电子设备200可以设置至少一个麦克风273。耳机接口274用于连接有线耳机。

针对电子设备200包括的传感器，深度传感器2801用于获取景物的深度信息。压力传感器2802用于感受压力信号，可以将压力信号转换成电信号。陀螺仪传感器2803可以用于确定电子设备200的运动姿态。气压传感器2804用于测量气压。磁传感器2805包括霍尔传感器。电子设备200可以利用磁传感器2805检测翻盖皮套的开合。加速度传感器2806可检测电子设备200在各个方向上(一般为三轴)加速度的大小。距离传感器2807用于测量距离。接近光传感器2808可以包括例如发光二极管(LED)和光检测器，例如光电二极管。指纹传感器2809用于采集指纹。温度传感器2810用于检测温度。触摸传感器2811可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏290提供与触摸操作相关的视觉输出。环境光传感器2812用于感知环境光亮度。骨传导传感器2813可以获取振动信号。

按键294包括开机键，音量键等。按键294可以是机械按键。也可以是触摸式按键。马达293可以产生振动提示。马达293可以用于来电振动提示，也可以用于触摸振动反馈。指示器292可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。SIM卡接口295用于连接SIM卡。电子设备200通过SIM卡和网络交互，实现通话以及数据通信等功能。

本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

计算机可读存储介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。

附图中的流程图和框图，图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

图3示意性示出了本公开的示例性实施方式的增强现实处理方法的流程图，该增强现实处理方法可以应用于增强现实场景中。参考图3所示，以云端作为执行主体，该增强现实处理方法可以包括步骤S310至步骤S330，详细介绍如下：

在步骤S310中，接收由第一设备上传的图像，并对所述图像进行识别以确定所述图像中包含的目标对象。

本公开实施例中，第一设备可以是执行多人AR交互过程的多个AR设备中的任意一个设备，第一设备可以为具有图像采集功能的终端设备或者是增强现实设备，具体可以通过配置的前置摄像头或者是多个后置摄像头等来采集图像。第一设备可以支持现有的增强现实引擎，以便于基于该现有的增强现实引擎执行AR交互。第一设备的类型可以包括但不限于手机、平板电脑、AR眼镜、AR头盔等。

第一设备上还可以包括AR应用程序、摄像头、SLAM(Simultaneous Localizationand Mapping，即时定位与地图构建)模块以及IMU(Inertial measurement unit，惯性测量单元)。当检测到对于第一设备上的预设应用的开启操作时，可以通过第一设备拍摄当前所处环境的场景图像作为建立的地图中的图像，还可以利用其配备的深度传感器获取与拍摄到的图像对应的深度信息。预设应用可以是用户从终端设备上已安装的应用程序中选定具有增强现实功能的应用程序，例如AR应用。

本公开实施例中，拍摄的图像可以为静态图像或者是处于运动状态的图像等等。图像中可以包括一个或多个对象，例如在拍摄猫的图像时，可能会拍摄到猫周围的环境，如杯子、小熊玩偶等，则猫、杯子、小熊玩偶等均为图像中包含的对象。

在第一设备获取到图像后，可以基于其中包含的增强现实引擎将拍摄的图像输出至云端。云端可以包括对象识别与跟踪模块，还可以包括锚管理模块。其中，对象识别与跟踪模块用于对图像进行识别以及对识别到的目标对象进行追踪。锚管理模块用于对锚点信息进行调整、修改或者是增加等管理操作。需要说明的是，本公开实施例中的云端以及云端中包含的模块具有平***立性，可以支持所有具有增强现实能力的平台。第一设备可以将拍摄的图像持续发送至云端，以提高传输效率和保证识别的连续性。

云端接收到第一设备发送的图像后，可以对该图像进行识别处理。以确定出该图像中包含的目标对象。目标对象可以为该图像包含的图像内容或者是元素，目标对象可以为猫、狗、或者是桌子等物体或者是人物。图像中包含的目标对象可以为一个或者是多个，此处不做限定。

云端在对图像进行识别时，可以通过对象识别与跟踪模型，采用训练好的机器学习模型来执行识别处理，以提高识别效率和识别准确性。该训练好的机器学习模型可以例如是卷积神经网络(Convolutional Neural Networks，CNN)，本公开对机器学习模型的模型结构和参数配置均不做限制。

本公开还可以提供一种该机器学习模型的训练方法。训练的过程可以在云端实现，也可以在其他终端设备上训练完成后，由其他终端设备将训练后的模型上传至云端。

图4中示意性示出了识别图像中包含的目标对象的流程图，参考图4中所示，可以通过步骤S410和步骤S420来执行：

在步骤S410中，通过训练好的机器学习模型对所述图像进行特征提取，获取所述图像的图像特征；

在步骤S420中，对所述图像特征进行预测处理，以确定所述图像中包含的所述目标对象。

本公开实施例中，可以通过训练好的机器学习模型的卷积层、池化层、全连接层来提取用于表征图像的特征或特点的特征数据来作为图像特征。卷积层中卷积核的大小、数量可以根据实际需要进行设定。特征数据可以包括但不限于形状特征、纹理特征等等。

其中，为了提高特征数据提取的准确性，可以对机器学习模型进行训练，以得到训练好的机器学习模型。具体地，训练模型的过程可以包括：根据样本图像以及样本图像的类型对机器学习模型进行训练，得到训练好的机器学习模型。本公开实施例中，样本图像指的是已经得知类型的图像。样本图像可以与待处理的图像中包含的对象相同或不同，样本图像的场景可以与待处理的图像相同或不同。样本图像的数量可以为多个，以用于提升训练的准确性和可靠性。进一步地，可以将样本图像作为机器学习模型的输入，得到样本图像的预测类型，进而根据人工确定的样本图像的类型对模型进行训练，直至预测类型与人工标注的类型一致或者是直至模型收敛为止，以结束模型训练过程并得到训练好的机器学习模型，提高模型的准确性和可靠性。

本公开实施例中，在得到图像的特征数据之后，可以通过训练好的机器学习模型对特征数据进行预测处理，以得到图像中包含的所有对象的类型。此处的预测处理可以通过卷积层对图像特征进行卷积操作以及通过全连接层对图像特征进行全连接处理来实现。通过训练好的机器学习模型来对图像中的对象进行识别，可以提高对象识别的准确性和效率。除此之外，也可以采用其他合适的方式来识别图像中的对象，此处不做具体限定。在得到目标对象的类型之后，还可以用文字、向量或者是其他类型的标识来唯一表示每一个类型，以便于通过唯一标识快速区分每一种类型。

需要说明的是，本公开实施例中，可以将训练好的机器学习模型部署至云端，以提高处理效率，减少终端设备的资源消耗。

举例而言，终端设备采集的当前帧的图像为图像1，将图像1输入至训练好的机器学习模型，通过训练好的机器学习模型对其进行卷积操作得到图像1中包含的目标对象为杯子。

在步骤S320中，若根据所述目标对象的类型，检索到关联对象类型中存在与所述目标对象的类型相同的类型，则识别所述目标对象的感兴趣区域。

本公开实施例中，在确定第一设备拍摄的目标对象的类型之后，可以根据目标对象的类型在现有的关联对象类型中进行检索。关联对象类型指的是云端中预先存储的多个存在关联锚点信息的对象类型，以用于其他终端设备进行检索和匹配。通过云端中的锚管理模块、对象识别与跟踪模块，可以为对象类型和锚点信息之间建立关联。对于关联对象类型而言，可以与锚点信息存在关联关系，例如对于类型1而言，其锚点信息为位置A、图片B、文字C等等。

具体地，可以将目标对象的类型与多个关联对象类型中包含的每个类型进行匹配，以得到用于表示是否一致的匹配结果。如果匹配结果为目标对象的类型与关联对象类型其中之一匹配成功，则确定云端中存储的关联对象类型中存在与目标对象的类型相同的类型。如果匹配结果为目标对象的类型与关联对象类型中的所有类型匹配失败，则确定云端中存储的关联对象类型中不存在与目标对象的类型相同的类型。进一步地，可以根据匹配结果来对目标对象的锚点信息进行处理，从而在第二设备上显示目标对象对应的虚拟模型，实现增强现实场景中的交互操作。通过将目标对象的类型与关联对象类型进行匹配，能够根据匹配结果快速确定其锚点信息，提高确定的效率。

首先对匹配结果为存在与目标对象的类型相同的类型进行说明。如果确定关联对象类型中存在与目标对象的类型相同的类型，则可以将检索结果反馈至云端的对象识别与跟踪模块，并启动对象识别与跟踪模块，来通过对象识别与跟踪模块识别目标对象的感兴趣区域。感兴趣区域是从图像中选择的一个图像区域，这个区域是图像分析所关注的重点。选择出感兴趣区域以便进行进一步处理。感兴趣区域可以通过方框、圆、椭圆、不规则多边形等方式勾勒出出来。使用感兴趣区域确定图像中要处理的目标，可以减少处理时间，提高效率确增加精度。启用对象跟踪功能后，重要的或者移动的区域将会进行高质量无损编码，而对那些不移动，不被选择的区域降低其码率和图像质量，进行标准清晰度视频压缩，甚至是不传输这部分区域视频，达到节省网络带宽占用和视频存储空间。

由于在增强现实场景中，第一设备可能随着用户的移动而处于移动状态从而使得目标对象处于移动状态，为了实现放置目标对象以及与目标对象进行交互的功能，可以通过对象跟踪的方式确定该目标对象的感兴趣区域。具体地，对所述目标对象进行跟踪，确定放置所述目标对象的位置；将所述位置所在区域确定为所述目标对象的所述感兴趣区域，并对所述感兴趣区域进行实时跟踪，以将所述目标对象放置在所述感兴趣区域。

目标对象所在位置可以根据目标对象所位于的放置物体而确定，放置物体即用于支撑目标对象的真实物体。放置物体可以是静态的或者是处于运动状态的物体，可以为室内或者是室外的任何物体，例如可以为茶几、桌子、沙发等物体。因此，目标对象所对应的放置物体的位置即用于表示目标对象所在位置。进一步地，可以确定目标对象所在的放置物体的位置的区域，并将其作为感兴趣区域。因此本公开实施例中的感兴趣区域指的是用于放置目标对象的区域。举例而言，目标对象杯子所放置的物体为茶几、则可以识别出茶几，并将茶几所在区域提取出来，以便于对茶几所在区域进行实时跟踪得到目标对象杯子的感兴趣区域，从而将目标对象放置在茶几所在区域。

本公开实施例中，可以将计算机生成的图像中目标对象的虚拟模型放置在真实场景中的物体上。当真实场景中的物体由于用户移动使得摄像头移动或者是物体本身发生移动时，可以使用追踪算法来追踪真实场景中的放置的对象的位置和/或方向，并利用生成的追踪数据，使得目标对象可以跟随放置的物体而移动，从而继续维持在放置的物体之上，产生真实的增强现实效果。

对放置物体进行追踪时，可以持续稳定跟踪第一设备的位置和姿态相对于周围环境的变化，同时输出周围环境特征的三维坐标信息。具体可以采用各种合适的追踪算法来实现，使得用户可以移动和从任意角度进行浏览，即使离开回来后，放置的目标对象仍会停留在最初的位置。

需要补充的是，在识别出目标对象的感兴趣区域之后，可以将该目标对象的类型以及感兴趣区域的具体信息回传至SLAM模块，以便于SLAM模块进行进一步处理。

继续参考图3中所示，在步骤S330中，解析所述目标对象对应的锚点信息，以使第二设备对所述锚点信息以及所述感兴趣区域进行渲染，并在所述第二设备上显示所述目标对象。

本公开实施例中，锚点信息可以与目标对象相对应，具体可以根据检索结果，从匹配的关联对象类型对应的锚点信息而确定，即将匹配的关联对象类型对应的锚点信息作为该目标对象的锚点信息。锚点信息具体可以包括目标对象的位置以及用于描述目标对象的内容。用于描述目标对象的内容可以以及用于表示目标对象为何种物体，即代表目标对象的类型，具体可以包括但不限于文字、图像、视频以及音频中的任意一种或多种的组合。目标对象的位置指的则是目标对象的虚拟模型在第一设备的参考坐标系中的坐标。锚点信息可以由第一设备生成后托管至云端进行存储，以便于第二设备进行查看以及与目标对象进行交互。在对锚点信息进行托管时，第一设备可以发送可视映射数据至云端，且可视映射数据可以被云端处理成稀疏点云数据，以便于对第一设备发送的稀疏点云数据进行托管。可视映射数据可以包括关键点信息以及地图点信息等等。

第二设备处于与第一设备相同的场景中，可以是执行多人AR交互过程的多个AR设备中的另一个设备，其类型可以与第一设备相同，例如，第一设备和第二设备都是手机，或都是AR眼镜。另外，第一设备与第二设备的类型可以不同，例如，第一设备为手机、第二设备为AR眼镜。本公开对第一设备和第二设备的类型不做限制。第二设备上也可以包括AR应用程序、摄像头、SLAM模块以及惯性测量单元。

第一设备和第二设备单独开机，分别使用配备的摄像模组扫描现实场景，建立各自的地图。摄像模组可以是单目摄像模组，也可以是双目或多目摄像模组。

第二设备的上层AR应用程序在通过SLAM模块获取到框有目标对象的感兴趣区域以及目标对象的类型信息之后，可以在应用程序APP层对感兴趣区域以及目标对象进行渲染。渲染的同时可以响应于终端设备的解析请求而解析锚点信息。发出解析请求的终端设备可以为需要查看目标对象的终端设备，例如可以为第二设备。

解析锚点信息可以使得给定物理空间内的多台终端设备使用之前托管的锚点信息来建立公共的参照框架。第二设备会将可视特征描述符从当前框架发送到云端以像云端发送解析请求。云端在接收到解析请求之后，会尝试将可视特征与锚点信息中的稀疏点云数据相匹配。如果匹配成功，则可以进行锚点解析。如此一来，可以针对每个终端设备，将已解析的锚点信息置于环境中相同的位置和方位，达到多人AR的功能。

云端在解析完目标对象对应的锚点信息之后，可以将锚点信息发送至每一个需要查看目标对象的处于同一增强现实场景中的第二设备。由于第一设备和第二设备不同，所处的位置和姿态可能不同，因此云端可以基于第一设备和第二设备之间的位置关系来将解析得到的锚点信息发送至第二设备。具体地，可以将锚点信息由第一设备的参考坐标系转换到第二设备的参考坐标系以获取转换后的锚点信息，并将所述转换后的锚点信息发送至第二设备。其中，第一设备的参考坐标系可以是第一设备在启动AR应用时，根据第一设备当前所在的位置而建立的坐标系。例如，获取第一设备的重力加速度方向，将第一设备当前所在位置作为参考坐标系的原点，将重力加速度方向作为参考坐标系的Z轴，与Z轴垂直的X轴和Y轴的具体朝向可以不限定。第二设备的参考坐标系可以是指第二设备在启动AR应用时，根据第二设备当前所在位置建立的坐标系，实现方法可参见第一设备的参考坐标系，在此不再赘述。通过将锚点信息由第一设备的参考坐标系转换至第二设备的参考坐标系下，可以使得第二设备准确完整地查看目标对象的锚点信息。

图5中示意性示出了转换锚点信息的步骤，参考图5中所示，具体可以包括步骤S510和步骤S520，其中：

在步骤S510中，根据所述第一设备的位姿信息和所述第二设备的位姿信息，获取所述第二设备与所述第一设备之间的相对位姿关系；

在步骤S520中，基于所述相对位姿关系将所述锚点信息转换至所述第二设备的参考坐标系，得到所述转换后的锚点信息。

本公开实施例中，相对位姿关系可以是指两个终端设备的参考坐标系的映射关系。具体可以根据第二设备中的当前帧相对于第一设备的参考坐标系的位姿和当前帧的位姿信息，获取第二设备与第一设备之间的相对位姿关系。具体可以通过基于特征描述子的方式等视觉特征匹配的方式将第一设备构建的稠密地图中的点云信息与当前帧的图像特征关联，从而获取当前帧相对于第一设备的参考坐标系的位姿。

进一步地，云端可以按照相对位姿关系将锚点信息从第一设备的参考坐标系转换至第二设备的参考坐标系，具体可以对锚点信息中包含的位置信息进行转换，从而实现将第一设备上传的目标对象的锚点信息发送在第二设备上。在第二设备获取到解析的锚点信息之后，可以对锚点信息以及目标对象的感兴趣区域同时进行渲染显示，以便于在第二设备上的相应位置显示目标对象和感兴趣区域，实现多人AR场景中多个用户从不同位置查看目标对象的效果。

通过图5中的技术方案，可以使得各个终端设备查看到云端托管的第一设备上传的关于目标对象的锚点信息，提高第二设备查看锚点信息的准确性和针对性，能够准确地实现多人AR场景。

除此之外，第二设备也可以通过扫描周围场景，采用与第一设备同样的方式对目标对象的转换后的锚点信息进行调整操作。调整操作可包括但不限于编辑、修改以及增加等操作。例如，当目标对象是一个商场时，可以增加评价信息等与目标对象关联的信息，以对锚点信息进行更新。第二设备在对转换后的锚点信息进行完调整操作后，可以将更新后的锚点信息上传至云端的锚管理模块进行托管，以便于更新该模块中存储的关于目标对象的锚点信息。通过对锚点信息进行更新，可以及时掌握最新的锚点信息，以便于用户查看到最准确的目标对象对应的虚拟物体，提高交互体验感和真实感。

本公开实施例中，在根据目标对象的类型从关联对象类型中进行检索时，如果未检索到与目标对象的类型相同的类型，则确定不存在与目标对象的类型相同的类型。在这种情况下，可以将目标对象的类型传输至第二设备，以便于第二设备根据目标对象的类型建立目标对象对应的锚点信息，并对锚点信息进行托管，以根据锚点信息显示目标对象。

如果云端中包含的对象识别与跟踪模块检测到的目标对象不在锚管理模块中存在关联的对象的范围内，则可以将目标对象的类型反馈给第二设备的SLAM模块，以通过第二设备的SLAM模块进行后续处理。具体地，可以通过第二设备的SLAM模块传递给上层的AR应用程序APP，AR应用程序APP可以根据云端中的对象识别与跟踪模块识别到的新的目标对象，新建关于该目标对象的锚点信息，即进行新增锚点的操作。新建的锚点信息可以包括目标对象的位置、目标对象的具体内容等等。进一步地，可以将新建的锚点信息及识别到的目标对象的类型上传至锚管理模块进行关联，以便于云端对锚点信息进行托管。对锚点信息进行托管的过程可以包括：第二设备会将目标对象关联的锚点信息的相关可视映射数据从用户的环境发送到云端。上传后，该锚点信息会被云端处理成稀疏点云数据，以便于第二设备获取稀疏点云数据确定两个设备之间的关系，并根据稀疏点云数据在第二设备上显示目标对象。其中，稀疏点云数据可以用于体现三维真实世界的测试化描述。通过第二设备对目标对象的锚点信息进行新建以及上传至云端，可以让其他用户使用时能够查看不匹配的新增的目标对象的锚点信息，增强了多人AR场景的互动性及社交属性。

图6中示意性示出了增强现实处理方法的具体流程图，参考图6中所示，主要包括以下步骤：

在步骤S601中，第一设备的惯性测量单元和摄像头将数据传输至SLAM模块。

在步骤S602中，SLAM模块将采集到的图像传输至云端的对象识别与跟踪模块，以通过对象识别与跟踪模块对不断上传的图像识别出其中包含的目标对象。

在步骤S603中，云端中的锚管理模块根据目前传递过来的对象类型，在现有关联的对象类型中进行检索，如果发现有相同的对象类型，则进行对象与锚点信息关联，并将结果反馈给对象识别与跟踪模块。

在步骤S604中，对象识别与跟踪模块收到有对应关联的对象信息后启动对象跟踪，实时跟踪上传图像中所识别出的目标对象的感兴趣区域，将对象类型及感兴趣区域信息回传至SLAM模块。

在步骤S605中，SLAM模块将感兴趣区域发送至应用程序，应用程序对其进行渲染，对锚点信息进行托管，并根据对象类型信息发送信息给云端的锚管理模块请求解析该目标对象关联的锚点信息。

在步骤S606中，锚管理模块将解析得到的该目标对象关联的锚点信息返回至应用程序。

综上所述，基于本公开示例性实施方式的增强现实处理方法，一方面，以云端架构来为终端设备提供支持，利用云端来进行图像的识别以及类型匹配、识别感兴趣区域等过程，由于云端具有丰富的计算资源，因此不会受到终端设备本身性能的影响，将复杂的算法迁移至云端，能够提高计算效率和准确性，从而提高在增强现实场景中操作的准确性和操作效率。另一方面，减少了终端设备的资源消耗，提高了多人AR场景的可靠性和稳定性，增加了应用范围。再一方面，可以利用云端实现锚点信息的匹配和确定，通过匹配提高了效率，并且通过确定感兴趣区域，能够提高渲染的准确性，且不会给终端设备造成过多的负担，实施简单确实施性强。又一方面，通过第一设备与第二设备的相对位姿关系对第一设备的锚点信息进行转换，并且用户可以调整锚点信息，能够提高用户的参与感和增强现实交互的真实性。进一步地，通过对目标对象的类型在关联对象类型中进行检索，采用不同的方式对不同的检索结果的锚点信息进行处理，从而提高了处理的全面性和准确性。

应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

进一步的，本示例实施方式中还提供了一种增强现实处理装置，应用于至少第一设备参与的增强现实游戏中。

图7示意性示出了本公开的示例性实施方式的增强现实处理装置的方框图。参考图7所示，根据本公开的示例性实施方式的增强现实处理装置700可以包括以下模块：

目标对象识别模块701，用于接收由第一设备上传的图像，并对所述图像进行识别以确定所述图像中包含的目标对象；

区域确定模块702，用于若根据所述目标对象的类型，检索到关联对象类型中存在与所述目标对象的类型相同的类型，则识别所述目标对象的感兴趣区域；

锚点解析模块703，用于解析所述目标对象对应的锚点信息，以使第二设备对所述锚点信息以及所述感兴趣区域进行渲染，并在所述第二设备上显示所述目标对象。

在本公开的一种示例性实施例中，目标对象识别模块包括：特征提取模块，用于通过训练好的机器学习模型对所述图像进行特征提取，获取所述图像的图像特征；预测模块，用于对所述图像特征进行预测处理，以确定所述图像中包含的所述目标对象。

在本公开的一种示例性实施例中，区域确定模块包括：位置确定模块，用于对所述目标对象进行跟踪，确定放置所述目标对象的位置；区域跟踪模块，用于将所述位置所在区域确定为所述目标对象的所述感兴趣区域，并对所述感兴趣区域进行实时跟踪，以将所述目标对象放置在所述感兴趣区域。

在本公开的一种示例性实施例中，锚点解析模块包括：锚点发送模块，用于响应于所述第二设备发送的解析请求，解析所述目标对象对应的锚点信息，并将所述锚点信息发送至所述第二设备。

在本公开的一种示例性实施例中，锚点发送模块包括：锚点转换模块，用于将所述锚点信息由所述第一设备的参考坐标系转换到所述第二设备的参考坐标系以获取转换后的锚点信息，并将所述转换后的锚点信息发送至所述第二设备。

在本公开的一种示例性实施例中，锚点转换模块包括：位姿确定模块，用于根据所述第一设备的位姿信息和所述第二设备的位姿信息，获取所述第二设备与所述第一设备之间的相对位姿关系；转换控制模块，用于基于所述相对位姿关系将所述锚点信息转换至所述第二设备的参考坐标系，得到所述转换后的锚点信息。

在本公开的一种示例性实施例中，所述装置还包括：锚点更新模块，用于根据所述第二设备对于所述锚点信息的调整操作，对所述目标对象的锚点信息进行更新。

在本公开的一种示例性实施例中，所述装置还包括：锚点新建模块，用于若确定不存在与所述目标对象的类型相同的类型，则将所述目标对象的类型传输至所述第二设备，以便于所述第二设备根据所述目标对象的类型建立所述目标对象对应的锚点信息，并对所述锚点信息进行托管，以显示所述目标对象。

由于本公开实施方式的增强现实处理装置的各个功能模块与上述方法实施方式中相同，因此在此不再赘述。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (11)

1.一种增强现实处理方法，应用于云端，其特征在于，包括：

接收由第一设备上传的图像，并对所述图像进行识别以确定所述图像中包含的目标对象；

若根据所述目标对象的类型，检索到关联对象类型中存在与所述目标对象的类型相同的类型，则识别所述目标对象的感兴趣区域；

解析所述目标对象对应的锚点信息，以使第二设备对所述锚点信息以及所述感兴趣区域进行渲染，并在所述第二设备上显示所述目标对象。

2.根据权利要求1所述的增强现实处理方法，其特征在于，所述对所述图像进行识别以确定所述图像中包含的所述目标对象，包括：

通过训练好的机器学习模型对所述图像进行特征提取，获取所述图像的图像特征；

对所述图像特征进行预测处理，以确定所述图像中包含的所述目标对象。

3.根据权利要求1所述的增强现实处理方法，其特征在于，所述识别所述目标对象的感兴趣区域，包括：

对所述目标对象进行跟踪，确定放置所述目标对象的位置；

将所述位置所在区域确定为所述目标对象的所述感兴趣区域，并对所述感兴趣区域进行实时跟踪，以将所述目标对象放置在所述感兴趣区域。

4.根据权利要求1所述的增强现实处理方法，其特征在于，所述解析所述目标对象对应的锚点信息，包括：

响应于所述第二设备发送的解析请求，解析所述目标对象对应的锚点信息，并将所述锚点信息发送至所述第二设备。

5.根据权利要求4所述的增强现实处理方法，其特征在于，所述将所述锚点信息发送至所述第二设备，包括：

将所述锚点信息由所述第一设备的参考坐标系转换到所述第二设备的参考坐标系以获取转换后的锚点信息，并将所述转换后的锚点信息发送至所述第二设备。

6.根据权利要求5所述的增强现实处理方法，其特征在于，所述将所述锚点信息由所述第一设备的参考坐标系转换到所述第二设备的参考坐标系以获取转换后的锚点信息，包括：

根据所述第一设备的位姿信息和所述第二设备的位姿信息，获取所述第二设备与所述第一设备之间的相对位姿关系；

基于所述相对位姿关系将所述锚点信息转换至所述第二设备的参考坐标系，得到所述转换后的锚点信息。

7.根据权利要求1所述的增强现实处理方法，其特征在于，所述方法还包括：

根据所述第二设备对于所述锚点信息的调整操作，对所述目标对象的锚点信息进行更新。

8.根据权利要求1所述的增强现实处理方法，其特征在于，所述方法还包括：

若确定不存在与所述目标对象的类型相同的类型，则将所述目标对象的类型传输至所述第二设备，以便于所述第二设备根据所述目标对象的类型建立所述目标对象对应的锚点信息，并对所述锚点信息进行托管，以显示所述目标对象。

9.一种增强现实处理装置，其特征在于，应用于云端，所述装置包括：

目标对象识别模块，用于接收由第一设备上传的图像，并对所述图像进行识别以确定所述图像中包含的目标对象；

区域确定模块，用于若根据所述目标对象的类型，检索到关联对象类型中存在与所述目标对象的类型相同的类型，则识别所述目标对象的感兴趣区域；

锚点解析模块，用于解析所述目标对象对应的锚点信息，以使第二设备对所述锚点信息以及所述感兴趣区域进行渲染，并在所述第二设备上显示所述目标对象。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至8中任一项所述的增强现实处理方法。

11.一种电子设备，其特征在于，包括：

处理器；

存储器，用于存储一个或多个程序，当所述一个或多个程序被所述处理器执行时，使得所述处理器实现如权利要求1至8中任一项所述的增强现实处理方法。

Images