CN110084816B - 物体分割方法、装置、计算机可读存储介质和计算机设备 - Google Patents

Abstract

本申请涉及一种物体分割方法、装置、计算机可读存储介质和计算机设备，包括：获取待处理图像的初始特征图，将初始特征图输入连续的自顶向下网络和自底向上网络中计算得到第一阶段特征图，分别在自顶向下网络和自底向上网络中根据区域上下文编码RCE对第一阶段特征图进行更新，得到更新后的第一阶段特征图。将更新后的第一阶段特征图作为输入进行迭代融合及更新计算，直到达到预设迭代次数得到目标特征图，根据目标特征图对待处理图像进行物体分割。RCE可以利用特征图的不同子区域来计算上下文特征从而对特征图进行更新，能够捕获特征图中多尺度子区域的上下文信息。迭代融合能够聚合所有级别的上下文信息，避免信息的流失，提高物体分割的准确性。

Description

物体分割方法、装置、计算机可读存储介质和计算机设备

技术领域

本申请涉及计算机技术领域，特别是涉及一种物体分割方法、装置、计算机可读存储介质和计算机设备。

背景技术

随着人工智能和无人驾驶技术的不断发展，也对计算机视觉提高出了更高的要求。物体分割一直是计算机视觉中长期存在的技术难题之一。物体分割包括语义分割和实例分割。其中，语义分割指的是将图中每一点像素标注为某个物体类别，同一物体的不同实例不需要单独分割出来。而实例分割是物体检测与语义分割的综合体，相对物体检测只得到物体的边界框，实例分割可精确到物体的边缘；相对语义分割，实例分割可以标注出图上同一物体的不同个体。

然而，目前采用传统方法对图像进行物体分割，分割结果的准确性不是太高，不能满足越来越精细化的需求。

发明内容

基于此，有必要针对传统方法对图像进行物体分割得到的分割结果的准确性不是太高的技术问题，提供一种物体分割方法、装置、计算机可读存储介质和计算机设备。

一种物体分割方法，包括：

获取待处理图像的初始特征图；

将所述初始特征图输入连续的自顶向下网络和自底向上网络中计算得到第一阶段特征图，分别在所述自顶向下网络和所述自底向上网络中根据区域上下文编码RCE对所述第一阶段特征图进行更新，得到更新后的第一阶段特征图；

将所述更新后的第一阶段特征图作为输入进行迭代融合及更新处理，直到达到预设迭代次数得到目标特征图；

根据所述目标特征图对所述待处理图像进行物体分割。

在其中一个实施例中，所述连续的自顶向下网络和自底向上网络采用密集路径连接。

在其中一个实施例中，所述将所述初始特征图输入连续的自顶向下网络和自底向上网络中计算得到第一阶段特征图，包括：

所述第一阶段特征图包括两组特征图；

将所述初始特征图输入自顶向下网络中计算得到所述第一阶段特征图中的第一组特征图；

将所述第一阶段特征图中的第一组特征图输入至自底向上网络中计算得到第一阶段特征图中的第二组特征图。

在其中一个实施例中，所述分别在所述自顶向下网络和所述自底向上网络中根据区域上下文编码RCE对所述第一阶段特征图进行更新，得到更新后的第一阶段特征图，包括：

在所述自顶向下网络中根据区域上下文编码RCE生成基于每一层特征图的子区域的上下文特征图，将所述上下文特征图传播到所述自顶向下网络中的其他层特征图，对所述自顶向下网络中的其他层特征图进行更新，得到更新后的第一阶段特征图中的第一组特征图；

在所述自底向上网络中根据区域上下文编码RCE生成基于每一层特征图的子区域的上下文特征图，将所述上下文特征图传播到所述自底向上网络中的其他层特征图对所述自底向上网络中的其他层特征图进行更新，得到更新后的第一阶段特征图中的第二组特征图。

在其中一个实施例中，所述根据区域上下文编码RCE生成基于每一层特征图的子区域的上下文特征图，包括：

将每一层特征图划分为不同尺度的子区域；

将相同尺度的子区域进行加权和计算得到所述尺度的子区域的全局表示；

将所述全局表示重新分配到所述尺度的子区域，将所述尺度的子区域聚合生成基于每一层特征图的子区域的上下文特征图。

在其中一个实施例中，所述区域上下文编码RCE对于每一层特征图包括多个并行分支，每个所述并行分支分别对同一尺度的子区域进行处理。

在其中一个实施例中，所述迭代融合及更新处理的过程，包括：

将所述第一阶段特征图中的第一组特征图和第二组特征图进行融合，得到第二阶段特征图中的第一组特征图；

将所述第二阶段特征图中的第一组特征图与所述第一阶段特征图中的第二组特征图进行融合，得到第二阶段特征图中的第二组特征图；

根据区域上下文编码RCE在所述自顶向下网络中对所述第二阶段特征图中的第一组特征图进行更新，得到更新后的第二阶段特征图中的第一组特征图；

根据区域上下文编码RCE在所述自底向上网络中对所述第二阶段特征图中的第二组特征图进行更新，得到更新后的第二阶段特征图中的第二组特征图；

将所述更新后的第二阶段特征图作为下一次迭代融合及更新计算的输入进行迭代融合及更新计算，直到达到预设迭代次数得到目标特征图。

在其中一个实施例中，所述获取待处理图像的初始特征图，包括：

将待处理图像输入至自底向上网络计算得到初始特征图。

在其中一个实施例中，所述目标特征图为自底向上网络所得到的特征图。

一种物体分割装置，所述装置包括：

初始特征图获取模块，用于获取待处理图像的初始特征图；

特征图生成模块，用于将所述初始特征图输入连续的自顶向下网络和自底向上网络中计算得到第一阶段特征图，分别在所述自顶向下网络和所述自底向上网络中根据区域上下文编码RCE对所述第一阶段特征图进行更新，得到更新后的第一阶段特征图；

迭代处理模块，用于将所述更新后的第一阶段特征图作为输入进行迭代融合及更新计算，直到达到预设迭代次数得到目标特征图；

物体分割模块，用于根据所述目标特征图对所述待处理图像进行物体分割。

一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述方法的步骤。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述方法的步骤。

上述物体分割方法、装置、计算机可读存储介质和计算机设备，获取待处理图像的初始特征图，将初始特征图输入连续的自顶向下网络和自底向上网络中计算得到第一阶段特征图，分别在自顶向下网络和自底向上网络中根据区域上下文编码RCE对第一阶段特征图进行更新，得到更新后的第一阶段特征图。将更新后的第一阶段特征图作为输入进行迭代融合及更新计算，直到达到预设迭代次数得到目标特征图，根据目标特征图对待处理图像进行物体分割,目标特征图为自底向上网络所得到的特征图。区域上下文编码RCE可以利用特征图的不同子区域来计算上下文特征从而对每一阶段的特征图进行更新，能够捕获特征图中多尺度子区域的上下文信息。迭代融合能够聚合所有级别的上下文信息，避免信息的流失，进而提高物体分割的准确性。

附图说明

图1A为一个实施例中物体分割方法的分割结果图；

图1B为一个实施例中物体分割方法的流程示意图；

图2为一个实施例中网络结构及特征图的示意图；

图3为图1B中第一组特征图和第二组特征图生成方法的流程示意图；

图4为图1B中更新后的第一组特征图和第二组特征图生成方法的流程示意图；

图5为一个实施例中根据区域上下文编码RCE生成基于每一层特征图的子区域的上下文特征图方法的流程示意图；

图6为一个实施例中根据区域上下文编码RCE生成基于每一层特征图的子区域的上下文特征图方法的示意图；

图7为图1B中迭代融合及更新处理过程的流程示意图；

图8为图1B中迭代融合及更新处理过程的示意图；

图9为一个实施例中物体分割装置的结构框图；

图10为图9中特征图生成模块的结构框图；

图11为一个实施例中计算机设备的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

如图1A所示，在一个实施例中，提供了一种经过物体分割方法所得到的分割结果图。在图1A中采用该物体分割方法对每张图像中不同的物体进行了分割。

如图1B所示，在一个实施例中，提供了一种物体分割方法。参照图1B，该物体分割方法具体包括如下步骤：

S102，获取待处理图像的初始特征图。

其中，待处理图像为进行物体分割的图像。待处理图像可以是实时采集的图像，也可以是来自其他任何设备的图像。此处，待处理图像可以是视频数据，也可以是图片数据。特征图指的是对待处理图像通过卷积神经网络进行计算所得到的特征图。初始特征图具体是将待处理图像输入至主干网络进行卷积计算所得到的，在这里，主干网络可以是自底向上网络。自底向上网络是一种卷积神经网络，当然，主干网络也可以是其他类型的卷积神经网络。

S104，将初始特征图输入连续的自顶向下网络和自底向上网络中计算得到第一阶段特征图，分别在自顶向下网络和自底向上网络中根据区域上下文编码RCE对第一阶段特征图进行更新，得到更新后的第一阶段特征图。

自顶向下网络和自底向上网络指的是不同类型的卷积神经网络。其中，自顶向下网络将高层大尺度语义信息向下传播到较浅的网络层，而自底向上的网络将较小尺度的可视细节编码到较深的网络层。连续的自顶向下网络和自底向上网络指的是在自顶向下的网络之后连接了一个自底向上的网络，从而构成了新的网络，该连续的自顶向下网络和自底向上网络为最顶层和最底层的特征图之间的信息传播构建了一个快捷方式。因此，连续的自顶向下和自底向上的网络被用来学习不同层次上更强大的特征图。

区域上下文编码(Region Context Encoding，RCE)指的是区域上下文编码(RCE)机制，该机制连接输入特征图的所有子区域，使每个子区域都能够灵活地传播其信息。区域上下文编码(RCE)机制采用多个并行分支实现，将自顶向下/自底向上网络生成的特征图输入到每个RCE分支。在每个RCE分支中，首先将特征图划分为规则的、不同尺度的子区域；然后将一层特征图中相同尺度的子区域进行加权和，从而将所有子区域聚合成一个全局表示；最后将全局表示重新分配到尺度的子区域，再将该层特征图所有分支的结果与输入特征图相加，生成该层特征图的上下文特征图。这允许每个子区域向新特征图的所有子区域传递信息。每个分支对特征图执行不同的细分，生成不同尺度的子区域。

具体的，将初始特征图先输入自顶向下网络进行处理得到与该自顶向下网络对应的特征图，再将该处理结果输入至与自顶向下网络连接的自底向上网络进行处理，得到与该自底向上网络对应的特征图，这两个特征图构成了第一阶段特征图。然后在自顶向下网络中分别根据区域上下文编码RCE生成基于每一层特征图的子区域的上下文特征图，将上下文特征图通过自顶向下网络传播到自顶向下网络中的其他层特征图，从而对自顶向下网络中的其他层特征图进行更新。同理，在自底向上网络中分别根据区域上下文编码RCE生成基于每一层特征图的子区域的上下文特征图，将上下文特征图通过自底向上网络传播到自底向上网络中的其他层特征图，从而对自底向上网络中的其他层特征图进行更新。上述两者更新后的特征图就构成了更新后的第一阶段特征图。

S106，将更新后的第一阶段特征图作为输入进行迭代融合及更新处理，直到达到预设迭代次数得到目标特征图。

将根据区域上下文编码RCE更新之后的第一阶段特征图作为输入进行迭代融合处理，得到第二阶段特征图。根据区域上下文编码RCE对第二阶段特征图进行更新，得到更新之后的第二阶段特征图。再将更新之后的第二阶段特征图作为输入进行迭代融合处理，得到第三阶段特征图。根据区域上下文编码RCE对第三阶段特征图进行更新，得到更新之后的第四阶段特征图，如此迭代下去，直到达到预设迭代次数停止，此时，最后得到的特征图即为目标特征图。

S108，根据目标特征图对待处理图像进行物体分割，目标特征图为自底向上网络所得到的特征图。

在得到了目标特征图之后，就可以根据目标特征图对待处理图像进行物体分割。具体的，对待处理图像进行物体分割，即可以实现将待处理图像中的不同的物体以及同一物体的不同个体进行分割开来。其中，目标特征图为自底向上网络所得到的特征图。

上述物体分割方法，获取待处理图像的初始特征图，将初始特征图输入连续的自顶向下网络和自底向上网络中计算得到第一阶段特征图，分别在自顶向下网络和自底向上网络中根据区域上下文编码RCE对第一阶段特征图进行更新，得到更新后的第一阶段特征图。将更新后的第一阶段特征图作为输入进行迭代融合及更新计算，直到达到预设迭代次数得到目标特征图，根据目标特征图对待处理图像进行物体分割。区域上下文编码RCE可以利用特征图的不同子区域来计算上下文特征从而对每一阶段的特征图进行更新，能够捕获特征图中多尺度子区域的上下文信息。迭代融合能够聚合所有级别的上下文信息，避免信息的流失，进而提高物体分割的准确性。

在一个实施例中，连续的自顶向下网络和自底向上网络采用密集路径连接。

具体的，图2为一个实施例中网络结构及特征图的示意图。图2中箭头所示均为网络结构，长方形块所示均为特征图。若箭头自顶指向下，则箭头所示为自顶向下网络，若箭头自底指向上，则箭头所示为自底向上网络。

在图2(a)中，左图箭头所示为主干网络，右图箭头所示为自顶向下网络。在图2(b)中，左图箭头所示为主干网络，右图箭头所示为采用密集路径连接的自顶向下网络。在图2(c)中，左图箭头所示为主干网络，将主干网络所得的特征图输入至右图箭头所示连续的自顶向下网络和自底向上网络。其中，在连续的自顶向下网络和自底向上网络中，将由自顶向下网络进行卷积计算所得的特征图输入至自底向上网络中进行卷积计算得到特征图。在图2(d)中，左图箭头所示为主干网络，将主干网络所得的特征图输入至右图箭头所示连续的自顶向下网络和自底向上网络，该连续的自顶向下网络和自底向上网络均采用密集路径连接。在本申请实施例中，主干网络为自底向上网络，且在本申请实施例中，主要采用图2(d)箭头所示的网络结构实现物体分割。

在图2(c)中，连续的自顶向下网络和自底向上网络都只能在相邻特征图之间直接传播上下文信息，而在相邻的特征图之外传播上下文信息，则需要经过多个阶段间接进行传播，间接传播必然会导致重要信息的衰减。

本申请实施例中，连续的自顶向下网络和自底向上网络均采用密集路径连接，密集路径就可以在上下文信息传播的每个阶段都直接通信所有的特征图，从而能够在所有级别上直接有效地增强特征图，避免了重要信息在间接传播过程中的不断衰减，以至于降低最后物体分割结果的准确性。

在一个实施例中，如图3所示，将初始特征图输入连续的自顶向下网络和自底向上网络中计算得到第一阶段特征图，包括：第一阶段特征图包括两组特征图；

S1042，将初始特征图输入自顶向下网络中计算得到第一阶段特征图中的第一组特征图；

S1044，将第一阶段特征图中的第一组特征图输入至自底向上网络中计算得到第一阶段特征图中的第二组特征图。

具体的，如图2(d)所示，由主干网络(图2(d)左图箭头所示)进行卷积计算得到初始特征图，将初始特征图输入至(图2(d)右图箭头所示)连续的自顶向下网络和自底向上网络，且该连续的自顶向下网络和自底向上网络采用密集路径连接。其中，先将初始特征图输入至密集的自顶向下网络进行卷积计算得到第一阶段特征图中的第一组特征图。然后将第一阶段特征图中的第一组特征图输入至密集的自底向上网络进行卷积计算得到第一阶段特征图中的第二组特征图。

本申请实施例中，连续的自顶向下网络和自底向上网络为最顶层和最底层的特征图之间的信息传播构建了一个快捷方式。因此，连续的自顶向下和自底向上的网络被用来学习不同层次上更强大的特征图。且该连续的自顶向下网络和自底向上网络采用密集路径连接，密集路径就可以在上下文信息传播的每个阶段都直接通信所有的特征图，从而能够在所有级别上直接有效地增强特征图，避免了重要信息在间接传播过程中的不断衰减。因此，在本申请实施例中，分别从连续和密集两个维度上提高了物体分割结果的准确性。

在一个实施例中，如图4所示，分别在自顶向下网络和自底向上网络中根据区域上下文编码RCE对第一阶段特征图进行更新，得到更新后的第一阶段特征图，包括：

S1046，在自顶向下网络中根据区域上下文编码RCE生成基于每一层特征图的子区域的上下文特征图，将上下文特征图传播到自顶向下网络中的其他层特征图，对自顶向下网络中的其他层特征图进行更新，得到更新后的第一阶段特征图中的第一组特征图。

具体的，在图2(d)中间部分箭头所示的密集连接的自顶向下网络中，根据区域上下文编码RCE生成基于每一层特征图的子区域的上下文特征图，再通过图2(d)中间部分箭头所示的所有连接将该上下文特征图传播到自顶向下网络中的其他层特征图。从而实现对自顶向下网络中的其他层特征图进行更新，得到更新后的第一阶段特征图中的第一组特征图。

S1048，在自底向上网络中根据区域上下文编码RCE生成基于每一层特征图的子区域的上下文特征图，将上下文特征图传播到自底向上网络中的其他层特征图对自底向上网络中的其他层特征图进行更新，得到更新后的第一阶段特征图中的第二组特征图。

具体的，在图2(d)右侧部分箭头所示的密集连接的自底向上网络中，根据区域上下文编码RCE生成基于每一层特征图的子区域的上下文特征图，再通过图2(d)右侧部分的所有连接将该上下文特征图传播到自底向上网络中的其他层特征图。从而实现对自底向上网络中的其他层特征图进行更新，得到更新后的第一阶段特征图中的第二组特征图。

本申请实施例中，根据区域上下文编码RCE机制，并通过密集连接的路径对第一阶段特征图进行更新。该机制连接输入特征图的所有子区域，使每个子区域都能够灵活地传播其信息，从而避免每一层特征图的子区域中所包含的信息的流失。且采用密集连接的路径，将根据区域上下文编码RCE机制所得的基于每一层特征图的子区域的上下文特征图，传播到同一网络中的其他层特征图。采用密集路径就可以实现上下文特征图传播时都直接通信所有的特征图，从而能够在所有级别上直接有效地增强特征图，避免了重要信息在间接传播过程中的不断衰减，以至于降低最后物体分割结果的准确性。

在一个实施例中，如图5所示，根据区域上下文编码RCE生成基于每一层特征图的子区域的上下文特征图，包括：

S502，将每一层特征图划分为不同尺度的子区域；

S504，将相同尺度的子区域进行加权和计算得到该尺度的子区域的全局表示；

S506，将全局表示重新分配到该尺度的子区域，将该尺度的子区域聚合生成基于每一层特征图的子区域的上下文特征图。

具体的，如图6所示，区域上下文编码RCE机制对于每一层特征图的处理包括多个并行分支，在不同的分支中对输入特征图进行不同尺度的划分。例如在图6中，对输入特征图(a)采用三种不同尺度的划分，划分为3×3，5×5，7×7的子区域，每一个分支中的子区域的尺度是相同的。区域上下文编码RCE机制首先使用单独的卷积层来处理输入特征图(a)，然后用处理结果来计算子区域(b)的特征，并在每个分支中将相同尺度的子区域进行加权和计算得到该尺度下子区域的全局表示。

在得到了全局表示之后，将全局表示重新分配到该尺度的子区域，将该尺度的子区域聚合生成基于每一层特征图的子区域的上下文特征图。具体的，因为全局表示(c)分别在对应的分支中来连接所有的子区域，所以全局表示就可以向所有子区域(d)传播信息得到每个分支的处理结果。最后，再将所有分支的处理结果与输入特征图(a)相加，生成基于输入特征图(a)的上下文特征图(e)，该上下文特征图(e)可以用R来表示。

更具体的，给定由自顶向下/自底向上网络生成的特征图Fⁱ∈R^H×W×C，对特征图Fⁱ∈R^H×W×C进行卷积并将其划分为K×K的子区域。通过对每个子区域内的神经元进行累加，得到了一个特征图

又有：

其中(x,y)表示

的位置，用S(x,y)表示

中包含一组神经元的子区域，

表示子区域S(x,y)的特征。通过调整所有子区域的重要性来对所有子区域的特征进行求和，从而得到连接所有子区域的全局表示。为此，可以简单地应用可学的K×K卷积与ReLU激活

其中没有填充。这就产生了一个c维特征向量(如图6(c)所示)。其他的可学习的K×K卷积内核用于反卷积这个c维特征向量，其中没有填充，得到一个新的特征图

然后将所有分支的

特征图添加到输入特征图Fⁱ中，生成特征图Rⁱ∈R^H×W×C:

对于公式2，使用了Fⁱ的3个不同的细分(3×3，5×5,7×7的子区域)来计算特征图的集合

通过将特征图划分成更多的子区域，可以显著地增加需要学习的参数的数量。

本申请实施例中，对于每层输入特征图，区域上下文编码RCE机制都采用多个分支，在每个分支中将特征图划分为不同尺度的子区域，再对同一尺度的子区域计算出一个全局变量。因此，每一个分支就对应一个全局变量。

再将某一分支的全局变量对应重新分配到该分支所对应的尺度下所划分的子区域得到每个分支的处理结果，最后将所有分支的处理结果与输入特征图相加，生成基于该输入特征图的上下文特征图。与输入特征图对应的多个全局变量就包含了输入特征图中不同尺度子区域的上下文信息，所以最终所生成的基于该输入特征图的上下文特征图所包含的信息就更加全面。

通过RCE机制所得到的每层特征图的子区域的上下文特征图，会通过密集连接传播到其他层特征图中。然后其他层特征图也是通过RCE机制，得到该特征图的子区域的上下文特征图。因此，由于RCE机制，每一层特征图不同尺度的子区域就可以影响其他层特征图的任何位置。相对于采用密集路径实现上下文特征图传播时都直接通信所有的特征图，从而能够在所有级别上直接有效地增强特征图，避免了重要信息在间接传播过程中的不断衰减。RCE机制进一步使得每一层特征图不同尺度的子区域就可以影响其他层特征图的任何位置。所以，进一步提高了物体分割结果的准确性。

在一个实施例中，区域上下文编码RCE对于每一层特征图包括多个并行分支，每个并行分支分别对同一尺度的子区域进行处理。

具体的，如图6所示，区域上下文编码RCE机制对于每一层特征图的处理包括多个并行分支(图6所示为三个分支)，在不同的分支中对输入特征图进行不同尺度的划分。例如在图6中，对输入特征图(a)采用三种不同尺度的划分，划分为3×3，5×5,7×7的子区域，每一个分支中的子区域的尺度是相同的。每个并行分支分别对同一尺度的子区域进行处理。当然，上述实施例中所采用的三种不同尺度的划分只是举例，也可以采用一种、两种、四种或者更多种不同尺度的划分。还可以对输入特征图采取不规则的划分，即每个分支中的子区域的尺度是不同的，但是每个分支中的子区域的尺度具有不同的特定规律。

区域上下文编码RCE机制首先使用单独的卷积层来处理输入特征图(a)，然后用处理结果来计算子区域(b)的特征，并在每个分支中将相同尺度的子区域进行加权和计算得到该尺度下子区域的全局表示。在得到了全局表示之后，将全局表示重新分配到该尺度的子区域，将该尺度的子区域聚合生成基于每一层特征图的子区域的上下文特征图。

本申请实施例中，RCE机制在不同的分支中对输入特征图进行不同尺度的划分，所以从不同分支中所计算出的全局表示是具有差异性的，这样再将全局表示重新分配到该尺度的子区域，将该尺度的子区域聚合生成基于每一层特征图的子区域的上下文特征图。最终所生成的基于该输入特征图的上下文特征图就包括了差异性全局表示所包含的所有信息，因此最终所生成的基于该输入特征图的上下文特征图所包含的信息就更加全面，避免了单一分支所造成的信息遗失。

在一个实施例中，如图7所示，迭代融合及更新处理的过程，包括：

S702，将第一阶段特征图中的第一组特征图和第二组特征图进行融合，得到第二阶段特征图中的第一组特征图。

具体的，如图8所示，为迭代融合及更新处理过程的示意图，让t表示阶段(0≤t≤T)。图8中包括了两个阶段，第一阶段相关的数据用右下标为t的字母来表示，第二阶段相关的数据用右下标为t+1的字母来表示，

和

为自顶向下和自底向上的第t阶段第i层的特征图。假设此时t取值为1，则

为自顶向下网络的第一阶段第i层的第一组特征图。

为自底向上网络的第一阶段第i层的第二组特征图。

将第一阶段特征图中的第一组特征图和第二组特征图进行融合，得到第二阶段特征图中的第一组特征图。实际为将第一阶段特征图中某层的第一组特征图和第二组特征图进行融合，得到第二阶段特征图中该层的第一组特征图。在图8中，即为将特征图

和

融合为

同理，对于第一阶段其他层的特征图也是将该层的第一组特征图和第二组特征图进行融合，得到第二阶段特征图中该层的第一组特征图。

S704，将第二阶段特征图中的第一组特征图与第一阶段特征图中的第二组特征图进行融合，得到第二阶段特征图中的第二组特征图。

实际指的是将第二阶段特征图中某层的第一组特征图与第一阶段特征图中该层的第二组特征图进行融合，得到第二阶段特征图中该层的第二组特征图。在图8中，即为将特征图

和

融合为

同理，对于第二阶段其他层的第二组特征图也是按照相同的方式生成。

因此，上下文信息在两个网络之间以锯齿形的方式传播。所以本申请实施例中的网络也称之为锯齿形网络(ZigZagNet)。该锯齿形网络包括密集连接的、连续的自顶向下网络和自底向上网络，且该自顶向下网络和自底向上网络之间以锯齿形的方式迭代融合更新以传播上下文信息。

S706，根据区域上下文编码RCE在自顶向下网络中对第二阶段特征图中的第一组特征图进行更新，得到更新后的第二阶段特征图中的第一组特征图。

S708，根据区域上下文编码RCE在自底向上网络中对第二阶段特征图中的第二组特征图进行更新，得到更新后的第二阶段特征图中的第二组特征图。

在得到了第二阶段特征图之后，根据区域上下文编码RCE在各自的网络中对第二阶段特征图进行更新，得到更新后的第二阶段特征图。第二阶段特征图包括第一组特征图和第二组特征图，其中第一组特征图包括多层特征图，第二组特征图包括相同数目的多层特征图。更新的过程具体为：在自顶向下网络中分别根据区域上下文编码RCE生成基于每一层特征图的子区域的上下文特征图，将上下文特征图通过自顶向下网络传播到自顶向下网络中的其他层特征图，从而对自顶向下网络中的其他层特征图进行更新。同理，在自底向上网络中分别根据区域上下文编码RCE生成基于每一层特征图的子区域的上下文特征图，将上下文特征图通过自底向上网络传播到自底向上网络中的其他层特征图，从而对自底向上网络中的其他层特征图进行更新。上述两者更新后的特征图就构成了更新后的第二阶段特征图。

S710，将更新后的第二阶段特征图作为下一次迭代融合及更新计算的输入进行迭代融合及更新计算，直到达到预设迭代次数得到目标特征图。

具体的，将更新后的第二阶段特征图作为输入进行迭代融合，得到第三阶段特征图，再根据区域上下文编码RCE在各自的网络中对第三阶段特征图进行更新，得到更新后的第三阶段特征图。同理进行下一次迭代融合及更新计算，直到达到预设迭代次数得到目标特征图。在本申请实施例中，可以取迭代次数为三次，当然在其他实施例中，迭代次数可以是其他任意数值。

本申请实施例中，通过迭代融合使得特征图所包含的上下文信息在自顶向下网络和自底向上网络之间以锯齿形的方式传播。即实现了在自顶向下和自底向上的网络之间迭代地交换上下文信息，加强了两种网络直接的信息交流，避免了单一网络所造成的信息遗失，提高了物体分割的准确性。

在一个实施例中，对图8所示的迭代融合及更新处理的计算过程进行详细的说明。

在阶段t+1中自顶向下的网络计算特征图有

其中t＝0,…,T-1。在本申请实施例中T最大为3，当然也可以设定T最大取到其他数值。通过将来自更高层次

的上下文特征图集与融合的特征图集

的乘积相加，对特征映射

进行建模，其中

其中

是卷积内核，σ表示Relu激活函数，初始化时t＝0，使用Bⁱ表示由骨架FCN计算的特征图，用它构造

在接下来的迭代中，通过卷积和激活它们的总和，将上一个迭代中自顶向下和自底向上的网络生成的

和

融合起来。因此，与传统的单向上下文信息传播不同，自顶向下网络接收上一个迭代的自顶向下和自底向上的上下文信息，以细化新的特征图

此外，使用区域上下文编码(RCE)来生成基于

的子区域的上下文特征图

RCE将分区之间的关系编码到上下文特征图中。通过使用不同的子区域尺度，为

提供了更丰富的上下文信息。

同样的，使用自底向上的网络来计算特征图

有：

其中有：

注意，这里不像公式4那样融合阶段t的两个特征图，而是融合图

和

因为在流程的这一点上

已经可用，并且包含比

更精确的信息。最后，利用公式(4)融合图

和

得到用于分割的图

在一个实施例中，获取待处理图像的初始特征图，包括：

将待处理图像输入至自底向上网络计算得到初始特征图。

本申请实施例中，如图2(d)左图所示为自底向上网络，将待处理图像输入至该自底向上网络进行卷积计算，就得到了初始特征图。

在一个实施例中，目标特征图为自底向上网络所得到的特征图。

本申请实施例中，在经过多次迭代融合及更新计算，直到达到预设迭代次数时，得到最后阶段的特征图。该最后阶段的特征图包括第一组特征图和第二组特征图。其中，第一组特征图为由自顶向下网络计算所得的特征图，第二组特征图为由自底向上网络计算所得的特征图。但是，在物体分割时是根据最后阶段的第二组特征图进行的，所以目标特征图就为最后阶段的自底向上网络所得到的特征图。最后阶段的自底向上网络所得到的特征图是最新的、且包含了最为丰富的上下文信息，所以采用最后阶段的自底向上网络所得到的特征图进行物体分割，就提高了分割结果的准确性。

在一个实施例中，如图9所示，提供了一种物体分割装置900，装置包括：初始特征图获取模块920、特征图生成模块940、迭代处理模块960及物体分割模块980。其中，

初始特征图获取模块920，用于获取待处理图像的初始特征图；

特征图生成模块940，用于将初始特征图输入连续的自顶向下网络和自底向上网络中计算得到第一阶段特征图，分别在自顶向下网络和自底向上网络中根据区域上下文编码RCE对第一阶段特征图进行更新，得到更新后的第一阶段特征图；

迭代处理模块960，用于将更新后的第一阶段特征图作为输入进行迭代融合及更新计算，直到达到预设迭代次数得到目标特征图，目标特征图为自底向上网络所得到的特征图；

物体分割模块980，用于根据目标特征图对待处理图像进行物体分割。

在一个实施例中，如图10所示，特征图生成模块940包括：第一组特征图生成模块942及第二组特征图生成模块944。其中，

第一组特征图生成模块942，用于将初始特征图输入自顶向下网络中计算得到第一阶段特征图中的第一组特征图；

第二组特征图生成模块944，用于将第一阶段特征图中的第一组特征图输入至自底向上网络中计算得到第一阶段特征图中的第二组特征图。

在一个实施例中，如图10所示，特征图生成模块940还包括：特征图更新模块946。其中，

特征图更新模块946，用于在自顶向下网络中根据区域上下文编码RCE生成基于每一层特征图的子区域的上下文特征图，将上下文特征图传播到自顶向下网络中的其他层特征图，对自顶向下网络中的其他层特征图进行更新，得到更新后的第一阶段特征图中的第一组特征图；

特征图更新模块946，还用于在自底向上网络中根据区域上下文编码RCE生成基于每一层特征图的子区域的上下文特征图，将上下文特征图传播到自底向上网络中的其他层特征图对自底向上网络中的其他层特征图进行更新，得到更新后的第一阶段特征图中的第二组特征图。

在一个实施例中，如图10所示，特征图更新模块946包括区域上下文编码RCE模块946a，区域上下文编码RCE模块946a用于将每一层特征图划分为不同尺度的子区域；将相同尺度的子区域进行加权和计算得到尺度的子区域的全局表示；将全局表示重新分配到尺度的子区域，将尺度的子区域聚合生成基于每一层特征图的子区域的上下文特征图。

在一个实施例中，如图10所示，迭代处理模块960，还用于将第一阶段特征图中的第一组特征图和第二组特征图进行融合，得到第二阶段特征图中的第一组特征图；

将第二阶段特征图中的第一组特征图与第一阶段特征图中的第二组特征图进行融合，得到第二阶段特征图中的第二组特征图；

根据区域上下文编码RCE在自顶向下网络中对第二阶段特征图中的第一组特征图进行更新，得到更新后的第二阶段特征图中的第一组特征图；

根据区域上下文编码RCE在自底向上网络中对第二阶段特征图中的第二组特征图进行更新，得到更新后的第二阶段特征图中的第二组特征图；

将更新后的第二阶段特征图作为下一次迭代融合及更新计算的输入进行迭代融合及更新计算，直到达到预设迭代次数得到目标特征图。

在一个实施例中，如图10所示，初始特征图获取模块920，还用于将待处理图像输入至自底向上网络计算得到初始特征图。

图11示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是终端或服务器。如图11所示，该计算机设备包括该计算机设备包括通过***总线连接的处理器、存储器、网络接口、输入装置、显示屏、摄像头、声音采集装置及扬声器。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作***，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现物体分割方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行物体分割方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，本申请提供的物体分割装置可以实现为一种计算机程序的形式，计算机程序可在如图11所示的计算机设备上运行。计算机设备的存储器中可存储组成该物体分割装置的各个程序模块，比如，图9所示的初始特征图获取模块920、特征图生成模块940、迭代处理模块960及物体分割模块980。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的物体分割方法中的步骤。

例如，图11所示的计算机设备可以通过如图9所示的物体分割装置中的

初始特征图获取模块920执行步骤S102。计算机设备可通过特征图生成模块940执行步骤S104。计算机设备可通过迭代处理模块960执行步骤S106。计算机设备可通过物体分割模块980执行步骤S108。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述物体分割方法的步骤。此处物体分割方法的步骤可以是上述各个实施例的物体分割方法中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述物体分割方法的步骤。此处物体分割方法的步骤可以是上述各个实施例的物体分割方法中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种物体分割方法，包括：

获取待处理图像的初始特征图；

将所述初始特征图输入自顶向下网络中计算得到第一阶段特征图中的第一组特征图；其中，所述第一阶段特征图包括两组特征图；将所述第一阶段特征图中的第一组特征图输入至自底向上网络中计算得到第一阶段特征图中的第二组特征图；其中，自顶向下网络和自底向上网络采用密集路径连接；在所述自顶向下网络中根据区域上下文编码RCE生成基于每一层特征图的子区域的上下文特征图，将所述上下文特征图传播到所述自顶向下网络中的其他层特征图，对所述自顶向下网络中的其他层特征图进行更新，得到更新后的第一阶段特征图中的第一组特征图；在所述自底向上网络中根据区域上下文编码RCE生成基于每一层特征图的子区域的上下文特征图，将所述上下文特征图传播到所述自底向上网络中的其他层特征图对所述自底向上网络中的其他层特征图进行更新，得到更新后的第一阶段特征图中的第二组特征图；其中，区域上下文编码RCE指区域上下文编码(RCE)机制，所述机制连接输入特征图的所有子区域，使每个子区域都传播特征图信息；

将所述更新后的第一阶段特征图作为输入进行迭代融合及更新处理，直到达到预设迭代次数得到目标特征图，所述目标特征图为自底向上网络所得到的特征图；

根据所述目标特征图对所述待处理图像进行物体分割。

2.根据权利要求1所述的方法，其特征在于，所述根据区域上下文编码RCE生成基于每一层特征图的子区域的上下文特征图，包括：

将每一层特征图划分为不同尺度的子区域；

将相同尺度的子区域进行加权和计算得到所述尺度的子区域的全局表示；

将所述全局表示重新分配到所述尺度的子区域，将所述尺度的子区域聚合生成基于每一层特征图的子区域的上下文特征图。

3.根据权利要求2所述的方法，其特征在于，所述区域上下文编码RCE对于每一层特征图包括多个并行分支，每个所述并行分支分别对同一尺度的子区域进行处理。

4.根据权利要求1所述的方法，其特征在于，所述迭代融合及更新处理的过程，包括：

将所述第一阶段特征图中的第一组特征图和第二组特征图进行融合，得到第二阶段特征图中的第一组特征图；

将所述第二阶段特征图中的第一组特征图与所述第一阶段特征图中的第二组特征图进行融合，得到第二阶段特征图中的第二组特征图；

根据区域上下文编码RCE在所述自顶向下网络中对所述第二阶段特征图中的第一组特征图进行更新，得到更新后的第二阶段特征图中的第一组特征图；

根据区域上下文编码RCE在所述自底向上网络中对所述第二阶段特征图中的第二组特征图进行更新，得到更新后的第二阶段特征图中的第二组特征图；

将所述更新后的第二阶段特征图作为下一次迭代融合及更新计算的输入进行迭代融合及更新计算，直到达到预设迭代次数得到目标特征图。

5.根据权利要求1所述的方法，其特征在于，所述根据所述目标特征图对所述待处理图像进行物体分割，包括：

根据所述目标特征图对所述待处理图像中的不同的物体以及同一物体的不同个体进行物体分割。

6.一种物体分割装置，其特征在于，所述装置包括：

初始特征图获取模块，用于获取待处理图像的初始特征图；

特征图生成模块，用于将所述初始特征图输入自顶向下网络中计算得到第一阶段特征图中的第一组特征图；其中，所述第一阶段特征图包括两组特征图；将所述第一阶段特征图中的第一组特征图输入至自底向上网络中计算得到第一阶段特征图中的第二组特征图；其中，自顶向下网络和自底向上网络采用密集路径连接；在所述自顶向下网络中根据区域上下文编码RCE生成基于每一层特征图的子区域的上下文特征图，将所述上下文特征图传播到所述自顶向下网络中的其他层特征图，对所述自顶向下网络中的其他层特征图进行更新，得到更新后的第一阶段特征图中的第一组特征图；在所述自底向上网络中根据区域上下文编码RCE生成基于每一层特征图的子区域的上下文特征图，将所述上下文特征图传播到所述自底向上网络中的其他层特征图对所述自底向上网络中的其他层特征图进行更新，得到更新后的第一阶段特征图中的第二组特征图；其中，区域上下文编码RCE指区域上下文编码(RCE)机制，所述机制连接输入特征图的所有子区域，使每个子区域都传播特征图信息；

迭代处理模块，用于将所述更新后的第一阶段特征图作为输入进行迭代融合及更新计算，直到达到预设迭代次数得到目标特征图；

物体分割模块，用于根据所述目标特征图对所述待处理图像进行物体分割。

7.根据权利要求6所述的装置，其特征在于，所述特征图生成模块，用于：

将每一层特征图划分为不同尺度的子区域；

将相同尺度的子区域进行加权和计算得到所述尺度的子区域的全局表示；

将所述全局表示重新分配到所述尺度的子区域，将所述尺度的子区域聚合生成基于每一层特征图的子区域的上下文特征图。

8.根据权利要求6所述的装置，其特征在于，所述迭代处理模块，用于：

将所述第一阶段特征图中的第一组特征图和第二组特征图进行融合，得到第二阶段特征图中的第一组特征图；

将所述第二阶段特征图中的第一组特征图与所述第一阶段特征图中的第二组特征图进行融合，得到第二阶段特征图中的第二组特征图；

根据区域上下文编码RCE在所述自顶向下网络中对所述第二阶段特征图中的第一组特征图进行更新，得到更新后的第二阶段特征图中的第一组特征图；

根据区域上下文编码RCE在所述自底向上网络中对所述第二阶段特征图中的第二组特征图进行更新，得到更新后的第二阶段特征图中的第二组特征图；

将所述更新后的第二阶段特征图作为下一次迭代融合及更新计算的输入进行迭代融合及更新计算，直到达到预设迭代次数得到目标特征图。

9.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至5中任一项所述方法的步骤。

10.一种计算机设备，包括存储器和处理器，其特征在于，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至5中任一项所述方法的步骤。

Images