CN115713702A - 一种基于增强现实的物体遮挡关系确认方法及应用 - Google Patents

Abstract

本申请公开了一种基于增强现实的物体遮挡关系确认方法及应用，包括：提取真实图像中真实物体的第一物体信息；基于提取到的第一物体信息，与预设虚拟物体的第二物体信息，同时输入遮挡预测网络，所述遮挡预测网络包括编码器和解码器，所述解码器的前N层设置有用以聚合全局信息的全局上下文结构，以及在所述编码器和解码器之间设置有细节增强模块，在训练过程中基于遮挡预测网络预测的遮挡掩膜和相应的真实掩膜来计算损失；基于训练好的所述遮挡预测网络，输出目标掩膜，以基于所述目标掩膜预测第一物体与所述第二物体之间的遮挡关系。本申请实施例用于预测真实物体与虚拟物体之间互相的遮挡情况，使得在实际应用场景中效果更佳真实。

Description

一种基于增强现实的物体遮挡关系确认方法及应用

技术领域

本申请涉及人工智能技术领域，尤其涉及一种基于增强现实的物体遮挡关系确认方法及应用。

背景技术

为了使得真实物体和虚拟物体之间的交互更加贴合真实环境，Battisti等人提出在RGB图像中自动定位手的位置，并通过用于手部跟踪的辅助红外立体摄像机估计手的深度信息(Battisti C,Messelodi S,Poiesi F.Seamless bare-hand interaction inmixed reality[C]//2018IEEE International Symposium on Mixed and AugmentedReality Adjunct(ISMAR-Adjunct).IEEE,2018:198-203.)为了将手的深度信息和与RGB图像中手的相关像素更好地进行关联，该文章使用距离变换算法将手部深度信息和像素信息进行紧密关联。然后将手部的深度信息与虚拟物体的渲染深度进行比较，以确定手部和虚拟物体的遮挡情况。

Battisti等人利用深度传感器设备LeapMotion获得手部的深度信息，然后将其与虚拟物体的渲染深度相比较，从而确定手和虚拟物体的遮挡情况。但是该方法需要用到额外的深度传感器，并且存在由于角度等问题导致手部的深度信息不准确以及获取的深度和渲染深度不匹配等问题，使得手抓取虚拟物体时与真实情况差异较大。Qi等人提出的利用深度传感器设备LeapMotion并结合手部跟踪的方法来预测手部和虚拟物体的遮挡情况，但是该方法在使用时需要人工设置使用者手的形状，使用繁琐。

发明内容

本申请实施例提供一种基于增强现实的物体遮挡关系确认方法及应用，用以预测真实物体与虚拟物体之间互相的遮挡情况，使得在实际应用场景中效果更佳真实。

本申请实施例提供一种基于增强现实的物体遮挡关系确认方法，包括：

提取真实图像中真实物体的第一物体信息；

基于提取到的第一物体信息，与预设虚拟物体的第二物体信息，同时输入遮挡预测网络，其中所述遮挡预测网络用以预测所述第一物体与所述第二物体之间的遮挡关系，所述遮挡预测网络包括编码器和解码器，所述解码器的前N层设置有用以聚合全局信息的全局上下文结构，以及在所述编码器和解码器之间设置有细节增强模块，在训练过程中基于遮挡预测网络预测的遮挡掩膜和相应的真实掩膜来计算损失；

基于训练好的所述遮挡预测网络，输出目标掩膜，以基于所述目标掩膜预测第一物体与所述第二物体之间的遮挡关系。

可选的，所述编码器以及所述解码器均包括多层的卷积层与BN层的融合结构，在部分同等深度的融合结构结构之间设置有所述细节增强模块。

可选的，所述细节增强模块被配置为从所述编码器前M层的融合结构的任一层分别提取所述第一物体、所述第二物体的细节特征，并计算获得增强的低层次特征，满足：

F′_l＝(α-U(M)*β)*F_l

其中，U(M)表示对预测的置信度M进行上采样，预测的置信度M是对高层次特征F_h利用卷积操作和Softmax提取获得的，F_l表示解码器对应的层级融合结构的输出特征，F'_l表示解码器对应的层级融合结构的增强的低层次特征，α表示计算基数，β表示缩放因子。

可选的，所述细节增强模块还被配置为将上采样之后的高层次特征F_h与增强的低层次特征F'_l进行结合，并通过卷积操作进行融合。

可选的，训练所述遮挡预测网络的过程包括：

对于遮挡预测网络的预测结果，利用softmax函数来获得标签映射，满足：

其中，b_i表示任意像素i的类别，k表示不同的类别，p_i,k是遮挡预测网络中softmax层之前的输出，表示任意像素i属于类别k的概率，λ是与权重相关的参数，用来控制每个类别的权值，e^λp_i,k表示像素i属于类别k的调和权重；

通过Sobel算子计算类别b_i和真实标签y_i的梯度方向t(b_i),t(y_i)，并将角域内的均方损失作为局部光滑损失函数来获得光滑的边界，满足：

其中，H×W表示目标区域的大小。

可选的，训练所述遮挡预测网络的过程还包括采用如下损失函数进行训练：

其中，L_o表示迭代损失，Ω表示手和虚拟物体之间的重叠区域，β和δ用来控制Ω的值，y_i和p_i分别表示任意像素i的真实类别和预测类别。

可选的，训练所述遮挡预测网络的过程还包括采用如下损失函数进行训练：

其中，Ω表示手和虚拟物体之间的重叠区域，β和δ用来控制Ω的值，y_i和p_i分别表示任意像素i的真实类别和预测类别，

表示第j次迭代时的损失。

本申请实施例还提出一种基于增强现实的物体抓取方法，包括如下步骤：

提取真实图像中的手部信息；

基于提取到的手部信息，与预设虚拟物体的虚拟物体信息，同时输入遮挡预测网络，其中所述遮挡预测网络用以预测所述第一物体与所述第二物体之间的遮挡关系，所述遮挡预测网络包括编码器和解码器，所述解码器的前N层设置有用以聚合全局信息的全局上下文结构，以及在所述编码器和解码器之间设置有细节增强模块，在训练过程中基于遮挡预测网络预测的遮挡掩膜和相应的真实掩膜来计算损失；

基于训练好的所述遮挡预测网络，输出目标掩膜，以基于所述目标掩膜预测手部与所述虚拟物体之间的遮挡关系；

基于预测的遮挡关系完成物体抓取。

本申请实施例还提出一种终端设备，包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序被处理器执行时实现前述的基于增强现实的物体遮挡关系确认方法的步骤。

本申请实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现前述的基于增强现实的物体遮挡关系确认方法的步骤。

本申请实施例设计了深度学习神经网络模型，通过全局上下文模块、细节增强模块使得模型可以关注到全局信息和细节特征，实现预测真实物体与虚拟物体之间互相的遮挡情况，使得在实际应用场景中效果更佳真实。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本申请实施例的物体遮挡关系确认方法的基本流程图；

图2为本申请实施例的遮挡预测网络输入输出关系流程；

图3为本申请实施例的遮挡预测网络结构示例；

图4为本申请实施例的遮挡预测网络的细节增强模块结构示例。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本申请实施例提供一种基于增强现实的物体遮挡关系确认方法，如图1所示，包括如下步骤：

本申请实施例用于确定真实物体与虚拟物体之间的遮挡关系，在步骤S101中，提取真实图像中真实物体的第一物体信息。

在步骤S102中，基于提取到的第一物体信息，与预设虚拟物体的第二物体信息，同时输入遮挡预测网络。其中如图2所示，所述遮挡预测网络用以预测所述第一物体与所述第二物体之间的遮挡关系。所述遮挡预测网络包括编码器和解码器，所述解码器的前N层设置有用以聚合全局信息的全局上下文结构GC，以及在所述编码器和解码器之间设置有细节增强模块，在训练过程中基于遮挡预测网络预测的遮挡掩膜和相应的真实掩膜来计算损失。在步骤S103中，基于训练好的所述遮挡预测网络，输出目标掩膜，以基于所述目标掩膜预测第一物体与所述第二物体之间的遮挡关系。

本申请实施例设计了深度学习神经网络模型，通过全局上下文模块、细节增强模块使得模型可以关注到全局信息和细节特征，实现预测真实物体与虚拟物体之间互相的遮挡情况，使得在实际应用场景中效果更佳真实。

在一些实施例中，所述编码器以及所述解码器均包括多层的卷积层与BN层的融合结构，在部分同等深度的融合结构结构之间设置有所述细节增强模块。如图3所示，作为一种具体示例，为了解决卷积操作只提取局部区域特征的缺陷，本申请在解码器的前两层中引入全局上下文结构GC来聚合全局的信息。而卷积层提取到的特征中往往包含丰富的细节信息，为了更加清晰地得到手和虚拟物体之间的边界，本申请引入细节增强模块，如图3所示，在所述编码器的前四层设置有细节增强模块并连接至解码器的对应层级，且解码器通过卷积层+Softmax进行输出。

在一些实施例中，如图4所示，所述细节增强模块被配置为从所述编码器前M层的融合结构的任一层分别提取所述第一物体、所述第二物体的细节特征，并计算获得增强的低层次特征，满足：

F′_l＝(α-U(M)*β)*F_l

其中，U(M)表示对预测的置信度M进行上采样，预测的置信度M是对高层次(深层次)特征F_h利用卷积操作和Softmax提取获得的，F_l表示解码器对应的层级融合结构的输出特征，F'_l表示解码器对应的层级融合结构的增强的低层次特征，α表示计算基数，β表示缩放因子。

在一些实施例中，所述细节增强模块还被配置为将上采样之后的高层次特征F_h与增强的低层次特征F'_l进行结合，并通过卷积操作进行融合。

具体的示例中，F'_l满足：F'_l＝(2-U(M)*1.5)*F_l，其中U(M)表示对预测的置信度M进行上采样，将M的尺寸调整为对应浅层特征图的大小，(2-U(M)*1.5)表示将像素值大小的范围从0.33到1缩放为1.5到0.5，并将其作为权重来表示浅层细节特征的重要性。

然后本实施例中对高层次特征F_h进行上采样，将上采样之后的高层次特征与增强的低层次特征F'_l进行结合，并最终通过卷积操作将其融合。

在一些实施例中，训练所述遮挡预测网络的过程包括：

为了得到手和虚拟物体之间更加光滑的边界，本申请提出局部平滑损失函数。具体对于遮挡预测网络的预测结果p，利用softmax函数来获得标签映射b，满足：

其中，b_i表示任意像素i的类别，k表示不同的类别，例如k＝1～3表示共有三个不同的类别，分别为手、虚拟物体和背景，p_i,k是遮挡预测网络中softmax层之前的输出，表示任意像素i属于类别k的概率，λ是与权重相关的参数，用来控制每个类别的权值，

表示像素i属于类别k的调和权重。

通过Sobel算子计算类别b_i和真实标签y_i的梯度方向t(b_i),t(y_i)，并将角域内的均方损失作为局部光滑损失函数来获得光滑的边界，满足：

其中，H×W表示目标区域的大小。

除了真实物体和虚拟物体之间光滑的边界，真实物体和虚拟物体的重叠部分同样是预测真实物体和虚拟物体互相遮挡部分的关键。在一些实施例中，为了让模型更好地识别出重叠区域，训练所述遮挡预测网络的过程还包括采用如下损失函数进行训练：

其中，L_o表示迭代损失，Ω表示手和虚拟物体之间的重叠区域，β和δ用来控制Ω的值，y_i和p_i分别表示任意像素i的真实类别和预测类别。由此可以使得模型关注到手和虚拟物体的重叠部分。

前述训练方式，如果过分关注重叠部分会使得模型丢失全局信息，为了解决这一问题，在一些实施例中，训练所述遮挡预测网络的过程还包括采用如下改进的损失函数进行训练：

其中，Ω表示手和虚拟物体之间的重叠区域，β和δ用来控制Ω的值，y_i和p_i分别表示任意像素i的真实类别和预测类别，

表示第j次迭代时的损失，

表示从第一次迭代开始模型会逐渐减少对重叠区域的关注，使得模型随着训练迭代的增加，自适应的调整全局信息的权重，由此通过设计的损失函数可以使模型可以逐渐关注全局信息。

在遮挡预测网络训练过程中，具体可以使用遵循标准差为0.1的零均值高斯分布的随机噪声初始化模型的参数，例如在训练过程中批大小值设置为32，优化器选择Adam并且将动量设置为0.9。学习率采用多项式调整策略，衰减速度为0.9。训练时使用随机旋转、翻转、随机锐度等多种数据增强方法来扩充数据集。

本申请实施例提出了一种预测真实物体和虚拟物体之间互相遮挡情况的方法，使得相关的应用场景更加自然拟真。本申请设计了深度学习神经网络模型，通过全局上下文模块获取手部姿态的全局信息，并通过细节增强模块使得模型可以关注到细节特征。本申请设计用于获取更加光滑的手部和虚拟物体之间边界的损失函数和用于获取更加准确的手部和虚拟物体重叠部分的损失函数。

本申请实施例还提出一种基于增强现实的物体抓取方法，包括如下步骤：

提取真实图像中的手部信息；

基于提取到的手部信息，与预设虚拟物体的虚拟物体信息，同时输入遮挡预测网络，其中所述遮挡预测网络用以预测所述第一物体与所述第二物体之间的遮挡关系，所述遮挡预测网络包括编码器和解码器，所述解码器的前N层设置有用以聚合全局信息的全局上下文结构，以及在所述编码器和解码器之间设置有细节增强模块，在训练过程中基于遮挡预测网络预测的遮挡掩膜和相应的真实掩膜来计算损失；

基于训练好的所述遮挡预测网络，输出目标掩膜，以基于所述目标掩膜预测手部与所述虚拟物体之间的遮挡关系；

基于预测的遮挡关系完成物体抓取。

本申请实施例提出了一种手在抓取虚拟物体时预测手和虚拟物体之间互相遮挡情况的方法，使得手在抓取虚拟物体时更加自然拟真。

本申请实施例还提出一种终端设备，包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序被处理器执行时实现前述的基于增强现实的物体遮挡关系确认方法的步骤。

本申请实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现前述的基于增强现实的物体遮挡关系确认方法的步骤。

本申请实施例设计了深度学习神经网络模型，通过全局上下文模块、细节增强模块使得模型可以关注到全局信息和细节特征，实现预测真实物体与虚拟物体之间互相的遮挡情况，使得在实际应用场景中效果更佳真实。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本申请的保护之内。

Claims (10)

1.一种基于增强现实的物体遮挡关系确认方法，其特征在于，包括：

提取真实图像中真实物体的第一物体信息；

基于提取到的第一物体信息，与预设虚拟物体的第二物体信息，同时输入遮挡预测网络，其中所述遮挡预测网络用以预测所述第一物体与所述第二物体之间的遮挡关系，所述遮挡预测网络包括编码器和解码器，所述解码器的前N层设置有用以聚合全局信息的全局上下文结构，以及在所述编码器和解码器之间设置有细节增强模块，在训练过程中基于遮挡预测网络预测的遮挡掩膜和相应的真实掩膜来计算损失；

基于训练好的所述遮挡预测网络，输出目标掩膜，以基于所述目标掩膜预测第一物体与所述第二物体之间的遮挡关系。

2.如权利要求1所述的基于增强现实的物体遮挡关系确认方法，其特征在于，所述编码器以及所述解码器均包括多层的卷积层与BN层的融合结构，在部分同等深度的融合结构结构之间设置有所述细节增强模块。

3.如权利要求2所述的基于增强现实的物体遮挡关系确认方法，其特征在于，所述细节增强模块被配置为从所述编码器前M层的融合结构的任一层分别提取所述第一物体、所述第二物体的细节特征，并计算获得增强的低层次特征，满足：

F_l′＝(α-U(M)*β)*F_l

其中，U(M)表示对预测的置信度M进行上采样，预测的置信度M是对高层次特征F_h利用卷积操作和Softmax提取获得的，F_l表示解码器对应的层级融合结构的输出特征，F_l′表示解码器对应的层级融合结构的增强的低层次特征，α表示计算基数，β表示缩放因子。

4.如权利要求3所述的基于增强现实的物体遮挡关系确认方法，其特征在于，所述细节增强模块还被配置为将上采样之后的高层次特征F_h与增强的低层次特征F_l′进行结合，并通过卷积操作进行融合。

5.如权利要求3所述的基于增强现实的物体遮挡关系确认方法，其特征在于，训练所述遮挡预测网络的过程包括：

对于遮挡预测网络的预测结果，利用softmax函数来获得标签映射，满足：

其中，b_i表示任意像素i的类别，k表示不同的类别，p_i,k是遮挡预测网络中softmax层之前的输出，表示任意像素i属于类别k的概率，λ是与权重相关的参数，用来控制每个类别的权值，

表示像素i属于类别k的调和权重；

通过Sobel算子计算类别b_i和真实标签y_i的梯度方向t(b_i),t(y_i)，并将角域内的均方损失作为局部光滑损失函数来获得光滑的边界，满足：

其中，H×W表示目标区域的大小。

6.如权利要求5所述的基于增强现实的物体遮挡关系确认方法，其特征在于，训练所述遮挡预测网络的过程还包括采用如下损失函数进行训练：

其中，L_o表示迭代损失，Ω表示手和虚拟物体之间的重叠区域，β和δ用来控制Ω的值，y_i和p_i分别表示任意像素i的真实类别和预测类别。

7.如权利要求5所述的基于增强现实的物体遮挡关系确认方法，其特征在于，训练所述遮挡预测网络的过程还包括采用如下损失函数进行训练：

其中，Ω表示手和虚拟物体之间的重叠区域，β和δ用来控制Ω的值，y_i和p_i分别表示任意像素i的真实类别和预测类别，

表示第j次迭代时的损失。

8.一种基于增强现实的物体抓取方法，其特征在于，包括如下步骤：

提取真实图像中的手部信息；

基于提取到的手部信息，与预设虚拟物体的虚拟物体信息，同时输入遮挡预测网络，其中所述遮挡预测网络用以预测所述第一物体与所述第二物体之间的遮挡关系，所述遮挡预测网络包括编码器和解码器，所述解码器的前N层设置有用以聚合全局信息的全局上下文结构，以及在所述编码器和解码器之间设置有细节增强模块，在训练过程中基于遮挡预测网络预测的遮挡掩膜和相应的真实掩膜来计算损失；

基于训练好的所述遮挡预测网络，输出目标掩膜，以基于所述目标掩膜预测手部与所述虚拟物体之间的遮挡关系；

基于预测的遮挡关系完成物体抓取。

9.一种终端设备，其特征在于，包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的基于增强现实的物体遮挡关系确认方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的基于增强现实的物体遮挡关系确认方法的步骤。

Images