CN109409371A - 用于图像的语义分割的***和方法 - Google Patents

Abstract

本发明提供一种用于检测输入图像中的对象的实例的方法和***。检测图像中的对象的实例的方法包括：从输入图像提取多个核心实例特征；根据核心实例特征计算多尺度分辨率下的多个特征图；根据核心实例特征计算检测框；针对检测框的每个检测框计算特征图的多尺度分辨率下的分割掩膜；合并多尺度分辨率下的多个分割掩膜，以针对在图像中检测到的每个对象生成实例掩膜；通过由辅助网络计算像素级度量来细化所述实例掩膜的置信度得分；以及输出所述实例掩膜作为检测到的实例。

Description

用于图像的语义分割的***和方法

相关申请的交叉引用

本申请要求于2017年8月18日在美国专利和商标局提交的美国临时专利申请No.62/547,740的优先权和利益，其全部公开内容通过引用并入本文。

技术领域

本公开一般地涉及计算机视觉。具体地，本公开涉及用于图像的语义分割的***和方法。

背景技术

图像识别***提供一种计算机应用，其检测并识别来自数字图像或视频帧的一个或多个对象。基于深度学习的***和方法已经在视觉理解方面实现越来越精确的表现。但是，可能很难在图像中检测到相对较小、杂乱或被其他对象遮挡的对象。其他典型的***可能无法检测此类实例，也可能无法检测整个对象的一部分，也可能无法将对象的不同部分组合到整个对象中。例如，***可能将被遮挡的第一用户的面部和第二用户的肩部错误地检测为同一用户。

发明内容

本公开的实施例的方面涉及用于输入图像的语义分割的***和方法。

根据本公开的一个实施例，用于检测输入图像中的对象的实例的方法包括：从所述输入图像提取多个核心实例特征；根据所述核心实例特征计算多尺度分辨率下的多个特征图；根据所述核心实例特征计算多个检测框，每个检测框对应于在所述图像中检测到的对象；针对所述检测框的每个检测框计算所述特征图的多尺度分辨率下的多个分割掩膜；合并所述多尺度分辨率下的所述多个分割掩膜，以针对在所述输入图像中检测到的每个对象生成实例掩膜，所述实例掩膜与置信度得分相关联；通过由辅助网络计算像素级度量来细化所述实例掩膜的置信度得分；以及输出所述实例掩膜作为所述输入图像中的对象的检测到的实例。

可以通过将所述输入图像提供至完全卷积实例语义分割网络来提取所述多个核心实例特征。

可以通过将所述核心实例特征提供至特征金字塔网络来计算多尺度分辨率下的特征图。

所述特征金字塔网络可以通过以下步骤来产生所述多个特征图中的特征图：对来自所述完全卷积实例语义分割网络的所述核心实例特征进行上采样；将卷积核应用于先前特征图以产生卷积的先前特征图；以及将上采样的核心实例特征和卷积的先前特征图进行组合来生成所述特征图。

所述特征金字塔网络可以通过使用最近邻技术来对所述核心实例特征进行上采样。

所述特征金字塔网络可以通过使用去卷积层和插值卷积核来对所述核心实例特征进行上采样。

合并所述多尺度分辨率下的所述多个分割掩膜以生成所述实例掩膜可以包括：计算交集与自身之比度量并移除其中交集与自身之比度量超过阈值的实例。

可以通过将所述核心实例特征提供至区域建议网络来计算所述检测框。

所述方法还可以包括：针对所述输入图像的每个像素计算所属边界框，所属边界框中的每一个指定该像素所属的实例的边界框位置；针对所述输入图像中的每个像素计算多个密度度量；以及根据所述密度度量对所述实例掩膜进行过滤，以最小化根据所述实例掩膜和所述密度度量计算出的差分掩膜差异。

针对所述输入图像的每个像素计算所属边界框可以包括：计算表示该像素的所属边界框的四个特征矢量，所述四个特征矢量包括最顶像素、最底像素、最左像素和最右像素。

细化所述实例掩膜的置信度得分可以包括：根据所述图像中检测到的对象的所属边界框来计算平均边界框；计算所述实例掩膜和所述平均边界框之间的交并比度量；以及基于所述交并比度量来缩放所述实例掩膜的置信度得分。

根据所述密度度量对所述实例掩膜进行过滤可以包括：针对所述图像中的每个像素计算像素密度差异；针对每个实例掩膜计算差分掩膜差异；以及最小化生存掩膜集合的差分掩膜差异。

可以通过以下操作来最小化所述生存掩膜集合的差分掩膜差异：使用贪婪搜索通过迭代地切换具有更大差分掩膜差异的实例掩膜的生存状态来更新生存掩膜集合，直到所述差分掩膜差异被最小化为止。

根据本公开的一个实施例，一种用于检测输入图像中的对象的实例的***包括：核心实例特征提取网络，其被配置为从所述输入图像生成多个核心实例特征；多尺度分辨率特征图计算器，其被配置为根据所述核心实例特征计算多尺度分辨率下的多个特征图；检测框计算器，其被配置为根据所述核心实例特征计算多个检测框，每个检测框对应于在所述图像中检测到的对象；分割掩膜预测网络，其被配置为针对所述检测框中的每个检测框计算所述特征图的多尺度分辨率下的多个分割掩膜；金字塔分割网络，其被配置为合并所述多尺度分辨率下的所述多个分割掩膜，以针对在所述输入图像中检测到的每个对象生成实例掩膜，所述实例掩膜与置信度得分相关联；基于区域建议网络(RPN)的得分细化模块，其被配置为通过计算像素级度量来细化所述实例掩膜的置信度得分；以及输出模块，其被配置为输出所述实例掩膜作为所述输入图像中的对象的检测到的实例。

所述核心实例特征提取网络可以包括完全卷积实例语义分割网络。

所述多尺度分辨率特征图计算器可以包括特征金字塔网络。

所述特征金字塔网络可以被配置为通过以下步骤生成所述多个特征图中的特征图：对来自所述完全卷积实例语义分割网络的所述核心实例特征进行上采样；将卷积核应用于先前特征图以产生卷积的先前特征图；以及将上采样的核心实例特征和卷积的先前特征图进行组合来生成所述特征图。

所述特征金字塔网络可以被配置为使用最近邻技术对所述核心实例特征进行上采样。

所述特征金字塔网络可以被配置为使用去卷积层和插值卷积核对所述核心实例特征进行上采样。

所述金字塔分割网络可以被配置为：通过计算交集与自身之比度量并移除其中交集与自身之比度量超过阈值的实例来合并所述多尺度分辨率下的所述多个分割掩膜以生成所述实例掩膜。

所述检测框计算器可以包括区域建议网络(RPN)。

所述的***，还可以包括：所属边界框预测网络，其被配置为针对所述输入图像的每个像素计算所属边界框，所属边界框中的每一个指定该像素所属的实例的边界框位置；密度预测网络，其被配置为针对所述输入图像中的每个像素计算多个密度度量；以及基于密度的过滤模块，其被配置为根据所述密度度量对所述实例掩膜进行过滤，以最小化根据所述实例掩膜和所述密度度量计算出的差分掩膜差异。

所述所属边界框预测网络可以被配置为：通过计算表示所述输入图像的每个像素的所属边界框的四个特征矢量来计算该像素的所属边界框，所述四个特征矢量包括最顶像素、最底像素、最左像素和最右像素。

所述基于RPN的得分细化模块可以被配置为通过以下步骤来细化所述实例掩膜的置信度得分：根据所述图像中检测到的对象的所属边界框来计算平均边界框；计算所述实例掩膜和所述平均边界框之间的交并比度量；以及基于所述交并比度量来缩放所述实例掩膜的置信度得分。

所述基于密度的过滤模块可以被配置为通过以下步骤根据所述密度度量对所述实例掩膜进行过滤：针对所述图像中的每个像素计算像素密度差异；针对每个实例掩膜计算差分掩膜差异；以及最小化生存掩膜集合的差分掩膜差异。

可以通过以下操作来最小化所述生存掩膜集合的差分掩膜差异：使用贪婪搜索通过迭代地切换具有更大差分掩膜差异的实例掩膜的生存状态来更新生存掩膜的集合，直到所述差分掩膜差异被最小化为止。

附图说明

图1A示出根据一个实施例的利用多神经网络用于实例语义分割的本***的示例性框图。

图1B是根据本公开的一个实施例的用于语义分割的方法的流程图。

图2A示出根据本公开的一个实施例的图像的位置回归目标图的示例性示图。

图2B示出根据本公开的一个实施例的根据两个输入图像计算的四个特征的两个示例。

图3是根据本公开的一个实施例的用于细化对象分割掩膜得分的方法的流程图。

图4示出根据本公开的一个实施例的用于密度预测的示例性示图。

图5是根据本公开的一个实施例的用于基于密度的过滤的方法的流程图。

图6(a)示出没有FPN层的比较FCIS架构的示例性示图。

图6(b)示出根据本公开的一个实施例的在FCIS中并入FPN的架构的示例性示图。

图6(c)示出根据本公开的一个实施例的使用FPN多尺度聚合的示例性示图。

图7示出根据本公开的各个实施例的使用不同级别的FPN特征的结果的示例。

具体实施方式

根据一个实施例，本公开描述用于快速且准确的实例语义分割的***和方法。本***和方法针对图像中的对象类的每个实例提供基于对类的像素级标注的实例分割，并且以图像中属于对象的每个实例的特定像素的掩膜的形式产生每个对象检测，产生对象类别的分类，并产生检测的置信度得分。

例如，街景的图像的语义分割可以用标签“汽车”对与场景中的每辆“汽车”相关联的所有像素进行标记，用标签“自行车”对与自行车上的人相关联的所有像素进行标记，并且可以用标签“行人”对与在场景中步行的人相关联的所有像素进行标记。此外，语义分割***可以针对图像中的对象的每个单独实例(例如，场景中的汽车的每个实例)生成单独的实例掩膜，该单独的实例掩膜标识与对象的单独实例相对应的图像的像素。例如，如果语义分割***在图像中检测到三辆汽车和两个行人，则输出五个单独的实例掩膜：每辆车一个实例掩膜，每个行人一个实例掩膜。

本公开描述一种***和方法，该***和方法通过以下操作而以与对比技术相比更高的精确度来执行实例分割：即，推断关于每个像素位置的附加“完整性”信息并且使用该信息来指导对对象的检测，其中所述附加“完整性”信息指示对象的完整性。本公开的实施例进一步利用可以有效地以不同尺度提取图像的分层特征并且以统一的方式聚集这些分层特征的结构或体系结构。本公开的实施例利用并聚集不同尺度的信息，这改善了关于较小物体和在拥挤场景中的性能。可以使用标注的训练数据(例如，使用受监督的学习过程)来训练本公开的实施例。通过多任务学习，训练过程可以是端到端的，其中由附加的深度神经网络提供的附加信息指示实例掩膜具有完整的独立对象，这在杂乱和遮挡的情况下提高性能。

根据一个实施例，本公开的实施例通过以下方式利用关于对象的“完整性”的信息，例如，通过赞成检测整个对象(例如，通过提高检测整个对象的置信度得分)，同时阻止将对象的部分视为一个实体(例如，通过降低检测部分对象的置信度得分)或者将多个对象或者属于不同对象的部分的联合视为一个实体。本公开的实施例通过有效地提取不同尺度的信息并聚集这种信息来进一步改进关于小对象(例如，构成整个输入图像的一小部分的对象)的性能。本公开的一些实施例包括实例分割模块，其检测图像中的对象并产生相应类别、所属像素和置信度得分。本公开的实施例还包括预测关于对象完整性的信息的神经网络层，以及利用它们来改善实例分割性能的技术。本公开的实施例还可以减少产生虚假检测的可能性。

根据一个实施例的实例分割***使用像素级的所属边界框位置信息来评估每个实例分割与其相关联的像素的一致性，以便过滤掉错误的检测。本公开的实施例进一步使用实例密度预测来评估检测完整性并进行调整以改善拥挤场景中的检测和对小物体的检测。本公开的实施例还提供来自不同尺度下的特征的实例语义分割掩膜的有效融合。

在下文中，将参照附图更详细地描述示例实施例，其中相同的附图标记始终表示相同的元件。然而，本公开可以以各种不同的形式来实施，并且不应该被解释为仅限于本文所示的实施例。相反，提供这些实施例作为示例，以使得本公开将是全面和完整的，并且将向本领域技术人员充分传达本公开的方面和特征。因此，可能不会描述对于本领域普通技术人员来说完全理解本公开的方面和特征所不需要的过程、元件和技术。除非另有说明，否则在整个附图和书面描述中，相同的附图标记表示相同的元件，并且因此将不重复其描述。在附图中，为了清楚起见，可能会夸大元件、层和区域的相对尺寸。

图1A示出根据一个实施例的利用多个神经网络用于语义分割的本***的示例性框图。图1B是根据本公开的一个实施例的用于语义分割的方法的流程图。

如图1A和图1B所示，根据一个实施例，用于实例语义分割的***10包括完全卷积实例语义分割(FCIS)核心网络100，其在2100处对来自输入图像20(例如，包含一个或多个对象的场景的位图图像，例如街道的照片)的初始图像进行处理以提取核心神经网络特征102。根据本公开的一个实施例，核心神经网络是提取输入图像的不同级别的表示的完全卷积神经网络。完全卷积神经网络的特点是速度快，可以应用于任何输入图像。这与具有完全连接层的网络(例如，掩膜递归(recurrent)卷积神经网络(Mask-RCNN))相反，其往往较慢，具有较多参数并且需要针对输入图像大小进行调整。

核心神经网络特征102被提供给特征金字塔网络(FPN)200和区域建议网络(RPN)300两者。

FPN 200在2200处生成输入图像的较高分辨率特征图210、230和250，并且可以应用上采样以在多个分辨率或尺度下生成特征图。通常，通过最大或平均池化(pooling)而在核心完全卷积核(例如，FCIS核心网络100)中对特征图进行下采样，以改善经训练的表示的质量并且管理或约束深度神经网络(例如，在包含许多隐藏层的神经网络中)的计算复杂度的增加。根据本公开的实施例的一些方面，FPN 200包括最终表示，其具有比FCIS核心网络100的输出更高的分辨率并且也包含来自高级别表示的信息。因此，在一个实施例中，FPN200使用最近邻法对第一特征图210进行上采样以生成更高分辨率的第二特征图220，将卷积核变换应用于具有相同上采样分辨率的第一特征图210，然后将这两个表示组合成上采样的特征图的分辨率下的第三特征图230。然后可以进一步对第三特征图230进行上采样以生成第四特征图240，并且在卷积表示之后与具有类似分辨率的另一个核组合以生成第五特征图250。这可以重复，直到达到最终特征图的期望分辨率，其限制为输入图像的分辨率。该网络被称为特征“金字塔”，因为特征图的大小在每个级别增加(例如，级别210、230和250的特征图)。应该理解的是，在不偏离本公开的范围的情况下，可以有任何数量或级别的特征图。

在一些实施例中，FPN由去卷积层执行上采样而不是最近邻上采样。在一个实施例中，通过训练过程，去卷积层学习插值卷积核以通过简单地***零来在上采样之后与特征图进行卷积。

本公开的实施例不仅将具有最高分辨率的最终表示视为FPN的输出，而且将金字塔的所有级别(例如，特征图210、230和250)视为不同的多尺度表示的提供者，其中每个表示是当前尺度下的表示和较小尺度下的表示的组合。如分开的箭头201、203和205所示，多分辨率特征图210、230和250(多尺度分辨率下的特征图)被提供给分割掩膜预测网络400，其在下面更详细地描述。

在2300处，RPN 300生成对应于各个特征的位置的多个检测框或边界框(RPNBBoxes)302。每个检测框由多个框坐标限定，其标识与图像中的一个对象相对应的感兴趣区域(例如，RPN针对其在图像中检测到的每个对象生成检测框)。实例语义分割的质量取决于不会错过任何检测的相当准确的RPN。但是，查全率高(不错过检测)通常也会导致多错误检测。

多分辨率特征图210、230和250以及边界框302被提供给分割掩膜预测网络400或分割掩膜头部，其在2400处在来自FPN 200的特征图210、230和250的各个分辨率下针对每个对象类生成或预测分割掩膜。分割掩膜头部是完全卷积深度神经网络，其被训练为针对来自RPN 300的每个边界框302并且针对每个对象类预测分割掩膜。分割掩膜预测网络400(或分割掩膜头部)被配置为根据与RPN边界框对应的裁剪后的特征图(例如，由RPN边界框所裁剪的特征图的一部分)预测分割掩膜，可以通过一次性预测进行预测或者在将与RPN对应的特征图裁剪池化成各单元的固定大小的网格之后针对每个网格单元进行预测。分割掩膜头部400进一步被配置为针对每个类(例如，将由实例语义分割***10检测的每个对象类，其中类可以包括例如人、狗、猫、汽车、垃圾、家具等)提供像素级分类得分，并且还可以提供落入掩膜内部或外部的像素级得分。在每个掩膜上聚合像素级得分以产生掩膜的置信度得分。根据本公开的一个实施例，实例语义分割***10通过聚集不同尺度的所有中间特征图来提供分割掩膜预测(而不是使用单个特征或者针对每个感兴趣的区域仅选择一个单独的金字塔尺度来提供分割掩膜预测)。在图1A所示的实施例中，三个尺度下的特征显示为410、430和450，其表示来自由FPN 200计算的不同特征图210、230和250的具有不同特征尺度的特征图。

通常，后阶段特征图(例如，第三特征图230和第五特征图250)具有较大的感受野并且还具有比前阶段特征图(例如，第一特征图210)更高的分辨率。因此，后阶段特征图可能更适合于检测某些类型的对象，例如非常小的对象或需要更大的全局视图来理解它们的语义的对象。然而，前阶段特征图(例如，来自级别210)对于噪声可能更稳健，因为它们具有比更高级别特征图更低的分辨率，并且可能更适合于识别大对象。本公开的一些实施例包括在FPN上的掩膜预测头部470，其从各层和各RPN边界框取得多尺度特征图以针对来自各个FPN尺度(例如，来自FPN 210、230和250的分辨率尺度/级别)并在各个RPN边界框302内的各个类(连同分类得分或置信度得分)预测分割掩膜。

然后将分割掩膜402提供给金字塔分割网络500以在2500处生成针对特定对象的分割掩膜502，其是根据分割掩膜预测网络400生成的不同分辨率(例如，以多分辨率特征图410、430和450的不同分辨率)下的各个掩膜生成的。根据一个实施例，本***学习在FPN的多个尺度下预测的分割掩膜的组合。对于每个类，每个掩膜和RPN框由像素级得分定义。

本公开的各个实施例可以使用不同的方法来组合在不同尺度下估计的FPN分割掩膜。一种方法是学***均组合取每个边界框内的特定类的所有FPN分割掩膜，并将每个像素的得分指定为所组合的各个FPN掩膜的平均得分。而最大组合为掩膜中每个像素分配最大得分。非最大抑制组合选择其像素的聚合得分最大的FPN分割掩膜作为生存掩膜，并消除所有其他掩膜。在所有情况下，金字塔分割网络的输出掩膜通常应该比直接从核心完全卷积网络的单个输出预测的掩膜更精确。它比对不同尺度的输入图像多次运行实例语义分割网络要快得多。

根据一个实施例，本***提供金字塔分割网络，以防止基于与同一类的其他检测完全重叠的检测的误判。本***包括被称为交集与自身之比(IoS)的度量，其消除了几乎完全包含在其他检测中的检测：IoS＝(与其他检测的相交区域)/自身区域；如果IoS＝1，则意味着该检测完全包含在另一个检测中并且可以安全地丢弃。因此，本***可以丢弃IoS超过某个阈值的检测，其中阈值是小于1但接近1的值(由此表明在另一个区域中有很大程度的包含)。

由FPN 200产生的诸如第三特征图250的较高分辨率特征图也被提供给所属边界框(BBBox)预测网络600和密度预测网络800。BBBox预测网络600和密度预测网络800在这里可以被称为“辅助网络”。

在2600处，BBBox预测网络600针对输入图像20中的每个像素计算所属边界框(例如，像素坐标)，其包含该像素是其一部分的对象。更详细地，根据一个实施例，BBBox预测网络被训练为针对每个像素产生它所属的(最主要的)实例掩膜的边界框的坐标。为了简化训练，通过回归到真实标准图(而不是通过直接回归到边界框的坐标)来训练BBBox预测网络600以输出四个特征图，每个特征图具有与输入图像20相同的大小，其中特征图的每个像素分别表示它与其所属边界框的顶边、底边、左边和右边的距离。这样，根据本公开的一个实施例的BBBox预测网络600不预测边界框，而是预测由其四个角(实例中最顶部的像素、最底部的像素、最左侧的像素和最右侧的像素)定义的多边形。该多边形可以提供不一定为矩形的对象的实例的更准确表示。所属边界框在此可以被称为矩形或多边形预测。

根据一个实施例，BBBox预测网络600直接针对每个像素预测所属实例位置。在图像中的每个像素处，预测定义其所属实例的边界框位置的矢量。在一些实施例中，矢量包括左上角和右下角的坐标，这给这些实施例的边界框带来矩形形状。这样，BBBox预测网络600针对每个像素计算边界框602，表示为具有原始图像的分辨率的4通道图。

在一个实施例中，通过在原始神经网络内的基础层的顶部(在最终卷积层上或者在特征金字塔网络200的层上)添加计算头部层来实现BBBox预测网络600。新的完全卷积层可以被构造为头部。最终的输出是4通道图，所述4通道图具有与被上采样回图像的分辨率的基层相同的分辨率。

在用于训练BBBox预测网络600的训练过程期间，如下地计算真实标准位置。令o_k表示第k真实标准对象，令bbox(o_k)表示o_k的边界框坐标，并且令t_ij表示像素i∈o_k的绝对位置目标。为便于讨论，假设存在四个通道(顶坐标、左坐标、底坐标、右坐标)，其中这四个通道定义实例o_k的边界框坐标，其中j属于{1,2,3,4}。

对于背景像素(例如，不对应于诸如车辆或人的对象的像素)，不对预测应用损失，而是由BBBox预测网络600针对背景像素填充零。

然而，卷积神经网络(CNN)是平移不变的，所以神经元不知道它所观察的感受野的偏移，但是需要该信息来预测绝对坐标。这是通过添加xy坐标图作为特征的一部分来解决的。在一个实施例中，训练过程回归到缩放的相对位置目标

其为每个像素到其所属边界框的顶边、底边、左边和右边的距离。这里，缩放因子λ_pos可以设为10/w(其中w是图像的宽度)，以使得目标足够小以便网络可以回归到该目标。在经验上，由于权重初始化尺度，网络往往会产生小值，因此很难回归到800这样的值。因为像素坐标y(i)、x(i)和λ_pos对于所有i都是已知的，所以t_ij可以从中恢复。图2A示出根据本公开的一个实施例的图像的位置回归目标图的示例性示图。具体而言，图2A示出四组图像1010、1020、1030和1040。四组图像1010、1020、1030和1040中的每一组分别包括输入图像1012、1022、1032和1042。四组图像1010、1020、1030和1040中的每一组还包括图像1014、1024、1034和1044，其描绘到边界框的底部的距离(其中较亮的部分指示较大的距离而较暗的部分指示较小的距离)。另外，四组图像中的每一组包括图像1016、1026、1036和1046，其示出到边界框的左侧的距离(其中较亮的部分指示较小的距离而较暗的部分指示较大的距离)。图2B示出根据本公开的一个实施例的根据两个相应的输入图像1052和1062计算的四个特征的两个示例1050和1060。每行中的前四幅图像描绘根据输入图像(最右侧显示的图像)计算的四个特征(到边界框的最顶侧、最左侧、最底侧和最右侧的距离)。对于第一行1050，图像1059、1058、1056和1054分别描绘到边界框的最顶侧、最左侧、最底侧和最右侧的距离，其中在图像1059和1058中较亮的部分表示较小的距离而较暗的部分指示较大距离，而在图像1056和1054中较亮的部分表示较大距离而较暗的部分指示较小距离。类似地，对于第二行1060，图像1069、1068、1066和1064分别描绘到最顶侧、最左侧、最底侧和最右侧的距离。

根据一个实施例，本***对图使用L₂回归来训练网络，因为不是所有像素在度量和结果质量中都是同等重要的，并且对于所有像素使用相同的权重将相比于较小的杂乱的对象更多地集中于较大的对象。在一些实施例中，不常见的类被加权得更多(与每个类中的实例的数量成反比)。在一些实施例中，来自较小对象的像素被加权得更多(与对象中像素的数量成反比)。在一些实施例中，具有较大位置值的回归被加权得较少，使得100像素对象中错位20个像素的位置受到的惩罚的量与1000像素对象中错位200个像素相同(与物体长度或高度成反比)。

测试性能时，确定预测并将其转换回t_ij。然后，对于来自先前操作的每个检测o_k，由BBBox预测网络600计算的掩膜对其像素i∈o_k迭代以计算RPN bbox(o_k)与t_ij(i∈o_k)之间的一致性级别。在各种实施例中，这可以通过例如计算所有边界框的交并比(IoU)来完成，其中|o_k|表示检测实例o_k中的像素数量

或通过计算平均的边界框的IoU来完成

根据一个实施例，将该一致性得分与阈值进行比较，并且如果其低于阈值，则减小o_k的检测置信度。

由BBBox预测网络600计算的边界框(BBBoxes)602被提供给基于区域建议网络(RPN)的得分细化模块700，其在2700处基于分割掩膜502和边界框602之间的一致性水平调整由金字塔分割网络500生成的分割掩膜502中的置信度来生成调整后的分割掩膜702。

图3是根据本公开的一个实施例的用于细化对象分割掩膜得分的方法的流程图。更具体地，由金字塔分割网络500生成的每个实例分割掩膜502的得分基于与该实例分割掩膜相关联的RPN边界框302与来自BBBox预测网络600的预测的所属边界框602之间的一致性程度来细化。如上所述，原始图像20的每个像素具有与其相关联的由BBBox预测网络600计算的预测BBBox。在2710处，基于RPN的得分细化模块700对被分类为处于分割掩膜502内的所有像素的预测BBBox进行平均以产生平均的预测BBBox。在2730处，基于RPN的得分细化模块700计算平均的预测BBBox和与该掩膜相关联的RPN BBBox之间的交并比(IoU)度量(多个预测BBBox之间的交集的面积除以它们的并集的面积)。在2750处，基于RPN的得分细化模块700与掩膜的对应IoU度量成比例地缩放掩膜的得分，以生成实例掩膜的细化得分。较大的IoU度量指示RPN和与该掩膜相关的BBBox网络结果之间的一致性，并且该掩膜的置信度增加。

在2800处，密度预测网络(DPN)800根据高分辨率特征图204(例如，第三特征图250)计算密度度量802，密度度量802针对每个像素，依照邻域中重叠实例的数量(例如，该像素处不可见或被遮挡的对象的数量)来指示实例(该像素是其一部分)的大小的度量和该像素的像素邻域的拥挤度的度量。更详细地，密度预测网络800的分层密度预测网络810被训练为使用分层特征812计算每个像素的度量，其中该度量以重叠实例的数量来指示该像素所属实例的大小的度量以及它的邻域的拥挤度的度量。属于较小对象实例和/或拥挤区域中的像素将具有较大的密度，因为可能有许多重叠的包含给定像素的边界框，如由密度预测模块830(其也可被认为是分层密度预测网络810的最终层)基于分层特征812所计算的。密度预测网络800被训练为针对每个像素p预测其所属实例的大小的倒数的总和：

其中size(I)指在输入图像20中检测到的对象的实例的估计大小(例如，以像素的数量而言)。等同地，针对像素i的像素级密度图d可如下所示：

其中size(o_k)是对象o_k中的像素的数量。通常，可以通过回归到真实标准密度图来训练密度预测网络800。每个像素p的预测的所属边界框的面积也可以用来细化其对size(I)的估计。

根据一个实施例，本***进一步修改检测到的对象掩膜的置信度得分以更好地匹配对某个区域中存在多少对象的估计。典型的FCIS(例如FCIS核心网络100)在杂乱的对象上表现较差。但是，FCIS会检测遮挡图案和小尺度图案。虽然网络可能难以确定哪个对象是遮挡物以及哪个对象是被挡物(被遮挡的对象)，但网络可以粗略估计在任何特定区域内有多少对象。如此，在一些实施例中，在估计之后，本***通过改变检测的置信度得分来减少或消除预测密度图与根据检测计算的密度之间的任何差异。

通常，可以通过为每个实例对象分配均匀分布在其像素上的质量1来调整置信度得分。当物体重叠时，重叠区域中像素的密度是所有密度的总和。以这种方式，当密度较高时，可以推断该区域中是由于具有较小尺寸的对象、由于遮挡还是由于彼此重叠的对象而存在更多的实例。此外，图像的密度图的总和是其内的对象的总数。

图4示出根据本公开的一个实施例的用于密度预测的示例性示图。图4(a)描绘真实标准实例及其对应的边界框。本***确定并预测图像的像素密度，其中每个实例的质量为1。这可以用于引导检测置信度以符合对象完整性。

可以计算整个图像的密度，或者可以通过对属于一个类别的对象进行排他性总计来分别计算每个类别的密度。预测每类密度需要更多的计算能力，但是提供了比一次计算所有类的密度更精确的结果。可以根据真实标准来计算密度以得到真实标准密度(参见图4(b))，或者可以根据所选择的检测来计算密度(例如，通过利用(render)置信度高于某个阈值的检测的掩膜(参见图4(c)和图4(d))。

根据一个实施例，本***通过添加与FCIS得分图平行的另一个头部来直接从网络预测像素级密度。在一些实施例中，预测可以是回归，或者在其他实施例中是量化值分类。在预测为回归的情况下，因为密度变化很大，可以将密度回归到密度的对数值log(d_i)。当没有物体时，密度将为零，并且不能将其回归到log(0)——本***使用小于每张图像1个对象的密度值作为这些像素的代表性回归目标(例如，可以使用log(0.25/(640×1280))≈-15.00)。

在2900处，在获得调整后的分割掩膜702和密度度量802两者之后，根据一个实施例的基于密度的过滤模块900利用检测置信度阈值对检测置信度进行阈值化，以产生最终分割图并使其结果可视化。更详细地，基于密度的过滤模块900可基于所计算的密度度量802来过滤调整后的掩膜实例702，以便减少或最小化这些计算之间的差异。

一般地，用于检测图像中的对象的实例的方法通常是过度检测的，并且因此，根据本公开的一些实施例，只有那些满足(例如，超过)阈值C(例如，就置信度得分而言，例如0.7的阈值)的检测实例将作为输出最终实例掩膜和它们各自的置信度得分902被返回(例如，通过在显示装置上显示检测到的类以供用户查看来可视化，或提供给控制算法以控制例如自主车辆)，并且评估性能的度量将更多地集中于高置信度的检测。

根据本公开的一个实施例，为了考虑调整后的掩膜实例702中的过度检测，可以根据密度度量802去除(或“切换至关闭”)一些调整后的掩膜实例702。对此，在一些实施例中，基于密度的过滤模块900计算剩余检测的像素级密度，并从预测密度减去像素密度以获得每个像素的“差异”。对于每个像素，差异图是基于置信度得分满足阈值C而被过滤的输出检测的密度图与密度预测之间的不匹配。可以通过以下方式减小差异图的绝对值的总和：将那些过滤后的输出检测的置信度得分从高于阈值0.7(开启)的值切换或修改至低于0.7的值(关闭)，或反之亦然：

onoff:{o_k∈detections}→{1,0}

当在2900处应用阈值时，来自所有类的生存掩膜共同定义整个图像(例如，输入图像20的所有像素)的生存分割图，根据其计算如上所定义的像素密度。图5是根据本公开的一个实施例的用于基于密度的过滤的方法的流程图。

在2910处，基于密度的过滤模块900针对图像的各个像素计算像素密度差异，其中将单个像素的密度差异定义为计算的像素密度与通过密度预测网络800预测的像素密度之间的差异。将掩膜密度差异(MDD)定义为包含在对应于该掩膜的图像区域内所包含的所有像素的像素密度差异的总和。切换掩膜密度差异(TMDD)是在其生存状态已经切换(如果其是非生存的则切换至生存，反之亦然)后的掩膜密度差异MDD。差分掩膜差异(DMD)被定义为掩膜密度差异和切换掩膜密度差异之间的差(DMD＝MDD-TMDD)。基于密度的过滤调整预测的实例分割掩膜的得分，以减小来自DPN 800的预测的掩膜密度与来自生存分割图的实际计算的掩膜密度之间的差异。

因此，在2930处，基于密度的过滤模块900计算每个实例掩膜702的DMD。在2950处，基于密度的过滤模块900切换具有最大DMD的掩膜的生存状态。然后针对与该切换的掩膜重叠的所有实例掩膜重新计算DMD，并找到具有最大DMD的掩膜，并且切换其生存状态，依此类推，直到DMD被最小化为止。

在一个实施例中，这种最小化是通过贪婪搜索来执行的，即，将导致优化功能最大程度降低的检测切换至开启或关闭。这样，在2970处，基于密度的过滤模块900确定DMD是否已经最小化(例如，当没有可以进一步减小MDD的切换时)。如果否，则处理在2930处继续以重新计算DMD并在2950处切换另一个掩膜。另一方面，如果DMD最小化，则在2990处，基于密度的过滤模块900重新分配置信度得分以匹配切换的生存状态。在贪婪搜索收敛后，可以通过在[0，0.7](例如要切换至关闭的实例掩膜)和[0.7,1](例如要切换至开启的实例掩膜)之间的简单双射线性映射来改变与切换不一致的置信度得分的置信度。

然后输出满足阈值置信度得分的所得到的生存掩膜实例的集合作为每个类的最终掩膜，同时输出这些掩膜各自的置信度得分。

如上所述，本公开的一些实施例包括具有FCIS的特征金字塔架构。特征金字塔状结构已被用于其他领域。一种具体的架构，即特征金字塔网络(FPN)，通过仅使用最终的最大尺度而在对象检测中获得有竞争力结果，并且进一步用于掩膜递归卷积神经网络(Mask-RCNN)中。

本公开的实施例的方面涉及在一次正向传递中有效地产生或训练特征金字塔，其中多尺度上的特征在所有金字塔层上行为类似，并且都具有作为识别网络中的顶层的高级别信息，同时也被用于与FCIS一起对各种不同尺寸的输入图像进行操作(例如，基本上独立于输入图像的尺寸进行操作)。

图6(a)示出没有FPN层的比较FCIS架构的示例性示图。图6(b)示出根据本公开的一个实施例的在FCIS中并入FPN 6200的架构的示例性示图。图6(c)示出根据本公开的一个实施例的使用FPN多尺度聚合的示例性示图。

根据本公开的一个实施例，用FPN 6200构建FCIS的方法首先从公共的预先训练的神经网络(例如，ResNet-101)开始，并且将预先训练的神经网络的卷积层根据它们的空间分辨率(或者等价地，根据在图像尺度上的相邻特征图像素之间的跨度(stride))分成各组。例如，conv1组的跨度为2，而conv5组的跨度为32。每组的顶层分别被称为{C₁,……,C₅}。然后，顶层卷积输出迭代地经过上采样和横向连接以分别产生金字塔输出{P₅,……,P₁}。首先(例如，使用最近的邻居)对每个较粗糙的金字塔层P_n+1进行两次上采样，然后使相应的卷积层C_n输出经历一次1×1卷积，并将结果添加到经上采样的P_n+1，其提供P_n输出。最后，对金字塔输出{P₅,……,P₁}中的每一个执行预测(例如，区域建议、感兴趣区域(RoI)的池化)。

根据一个实施例，本***将FPN 6200适配到本框架中(参见图6(b))。将RPN 6300的各个区域建议框池化成k×k单元的网格。针对这些k²单元中的每一个并针对每一类预测两个掩膜。第一掩膜预测表示背景的像素。第二掩膜预测表示前景的像素。总的来说，这导致2k²个位置敏感的得分图，因为每个得分图都取决于k×k网格中单元的位置。因此，当使用FCIS型框架时，对于每个类别，最终输出具有专用于每个网格位置(内部和外部)的2k²个通道。这些得分图通过在C₅层顶部添加1×1卷积层来预测，由于扩张卷积，该卷积层具有16而不是32的跨度。在本公开的一些实施例中，还应用FPN技术来构建P₃金字塔层或者{P₃，P₂}两个金字塔层(如图6(b)所示)或{P₃，P₂，P₁}金字塔层中的全部。这些层比FCIS的特征图有更小的跨度(8,4和2)。在一些实施例中，卷积层可以被放置在最精细的金字塔层上，以获得更高分辨率的得分图。所有超参数(例如，权重初始化、特征图中的通道数量等)与FCIS保持相同。

尽管RPN还可以使用不同尺度的FPN特征，但是在一些实施例中，为了简化计算，仅对金字塔最精细的层执行得分图计算(其类似于RoI池化)，而RPN的输入保持不变。

在各种实施例中，可以以不同的方式使用特征金字塔层。一种方式是仅使用最精细的层，如图6(b)所示，其中仅使用P₂。另一种方式是基于对象大小或检测大小选择性地使用特定层。在又一实施例中，应用所有金字塔层上的头部(参见例如图6(c)，其中P₂和P₃两者均被使用)。头部共享相同的权重，将每个特征金字塔层作为输入，并产生不同大小的得分图作为输出。Mask-RCNN或FCIS中的池化层会生成固定大小的得分图或特征图(例如21×21)，并可应用于所有不同大小的输出图，以针对每个感兴趣区域和每个尺度获得一个固定大小的图。本***通过应用平均缩减或最大缩减来在不同尺度上进行聚合，以针对每个感兴趣区域获得一组图，其将具有与从单个金字塔尺度获得的维度相同的维度。然后应用流水线的其余部分，例如柔性最大(softmax)和损耗层或随后的卷积层。

图7示出根据本公开的各种实施例的使用不同级别的FPN特征的结果的示例。更详细地，每行示出用于四个不同语义分割***的输出检测边界框：基线***(标记为“org.feat map”)以及使用不同金字塔层的***(标记为“FPN P₁”、“FPN P₂”和“FPN P₃”)。如图7所示，FPN P₂提供比仅包含FCIS的基线***(例如，在“org.feat map”中描绘的)更准确的结果，并且比由FPN P₃和FPN P₁产生的结果更准确。例如，在org.feat map、FPN P₃和FPN P₁各自的输出7000、7003和7001中，包含前景中的椅子的轮廓还延伸以包括在后面的背景中并位于前景中的椅子的左侧的椅子。另一方面，FPN P₂的输出7002显示对前景椅子和背景椅子的分别检测。图像7100、7103、7102和7101分别描绘基线***、FPN P₃、FPN P₂和FPN P₁针对不同输入图像的输出。如7100中所示，基线***在图像中仅检测到一把椅子，而FPN P₃、FPN P₂和FPN P₁都检测到两把单独的椅子，如7103、7102和7101所示。

应该理解的是，尽管在这里可以使用术语“第一”、“第二”、“第三”等来描述各种元件、部件、区域、层和/或部分，但是这些元件、部件、区域、层和/或部分不应被这些术语限制。这些术语用于将一个元件、部件、区域、层或部分与另一个元件、部件、区域、层或部分区分开。因此，所讨论的第一元件、第一部件、第一区域、第一层或第一部分可以被称为第二元件、第二部件、第二区域、第二层或第二部分，而不脱离本公开的范围。

本文所使用的术语仅用于描述特定实施例的目的，而不旨在作为本公开的限制。如本文所使用的，除非上下文另外明确指出，否则单数形式“一”和“一个”也旨在包括复数形式。还应理解的是，当在本说明书中使用时，术语“包括”、“包含”、“涵盖”和/或“含有”指定所提及的特征、整体、步骤、操作、元件和/或部件的存在，但是不排除一个或多个其他特征、整体、步骤、操作、元件和/或部件和/或其组合的存在或添加。如本文所使用的，术语“和/或”包括一个或多个相关的列出项的任何和所有组合。诸如“至少……中的一个”之类的表述当在元素列表之前时，修饰整个元素列表而不是修饰该列表的单个元素。

如本文所使用的，术语“基本上”、“约”和类似术语被用作近似术语而不是程度术语，并且旨在说明本领域的普通技术人员将认识到的测量值或计算值中的固有偏差。此外，当描述本公开的实施例时，使用“可以”是指“本公开的一个或多个实施例”。如本文所使用的，术语“使用”可以被认为与术语“利用”同义。而且，术语“示例性”旨在指代示例或说明。

这里描述的根据本公开的实施例的电子或电气装置和/或任何其他相关装置或部件可以利用任何合适的硬件(例如，通用中央处理单元和/或专用集成电路)、固件(例如，现场可编程门阵列)、软件(例如，要由通用中央处理单元和/或诸如图形处理单元或矢量处理器的更专用处理单元执行的机器可读指令)或者软件、固件和硬件的组合来实施。例如，这些装置的各种组件可以形成在一个集成电路(IC)芯片上或形成在分开的IC芯片上。此外，可以在柔性印刷电路膜、带载封装(TCP)、印刷电路板(PCB)上实施这些装置的各种组件或者在一个基板上形成这些装置的各种组件。此外，这些装置的各种组件可以是在一个或多个计算装置中在一个或多个处理器上运行的进程或线程，其执行计算机程序指令并与其他***组件进行交互以执行本文所述的各种功能。计算机程序指令存储在可以使用标准存储器装置(例如，随机存取存储器(RAM))在计算装置中实现的存储器中。计算机程序指令也可以存储在其他非暂时性计算机可读介质中，例如CD-ROM、闪存驱动器等。而且，本领域技术人员应该认识到，可以将各种计算装置的功能组合或集成到单个计算装置中，或者可以将特定计算装置的功能分布在一个或多个其他计算装置上而不偏离本公开的示例性实施例的范围。

一般而言，深度神经网络包括布置成层的多个神经元。输入数据(例如，在这种情况下为输入图像)被提供给神经元的输入层并在神经元的输出层产生输出数据。在深度神经网络的情况下，在输入层和输出层之间存在多于一个的神经元“隐藏层”，其中一般而言，一层中的神经元接收来自前一层的输入并将其输出提供给下一层，其中每个神经元产生输出，该输出是它接收的输入的总和的数学函数(例如，逻辑函数)。

层的神经元之间的连接与权重相关联，其中在发送神经元和接收神经元之间进行每个连接。沿连接传输的值在提供给接收神经元之前按连接的权重进行缩放。

训练神经网络的过程通常涉及向神经网络提供训练数据(例如，样本输入图像和样本输入图像的期望输出)并更新神经网络的权重，直到神经网络根据样本输入图像产生与期望输出相匹配或近似的输出。训练神经网络的方法包括例如后向传播算法。

如上所述，可以在通用计算机***上执行训练神经网络。此外，诸如图形处理单元之类的矢量处理器和/或通用计算机***上的矢量运算(例如，单指令多数据或SIMD指令)也可用于训练神经网络，因为训练过程经常是可并行化的。在一些情况下，诸如现场可编程门阵列(FPGA)的可编程硬件或诸如ASIC的专用硬件可用于训练神经网络。训练过程的结果包括用于神经网络各层之间的连接的一组权重。

当操作经训练的神经网络时，连接的权重通常固定为在训练过程期间计算的值。将输入数据(例如，输入图像)提供给神经元的输入层(其执行计算)，将输出与训练后的权重相乘，并将输出传递到下一神经元层(该过程可称为前向传播)。

因为连接的权重通常是固定的，所以部署在生产***中的神经网络通常将其权重预先设置为训练值。因此，部署在嵌入式***上的经训练的神经网络通常可以具有固定的(例如，存储在存储器中的)神经网络权重，并且部署在FPGA上的经训练的神经网络可以将其权重设置好(例如，编程到表示神经元的元素之间的连接)。类似地，ASIC可以使用例如神经形态硬件来实现神经网络，在所述神经形态硬件中使用电路元件(例如，具有与权重相一致的电阻值的电阻器)来设置权重。

除非另外定义，否则这里使用的所有术语(包括技术术语和科学术语)具有与本公开所属领域的普通技术人员通常理解的含义相同的含义。将进一步理解的是，诸如在通用字典中定义的那些术语应该被解释为具有与其在相关技术和/或本说明书的上下文中的含义相一致的含义，并且不应该被解释为理想化或过于正式的意义，除非在此明确地如此定义。

尽管已经说明和描述了本公开的某些实施例，但是本领域的普通技术人员应该理解，可以对所描述的实施例进行某些修改和改变而不脱离如通过所附权利要求及其等同物所定义的本公开的范围。

Claims (26)

1.一种用于检测输入图像中的对象的实例的方法，所述方法包括：

从所述输入图像提取多个核心实例特征；

根据所述核心实例特征计算多尺度分辨率下的多个特征图；

根据所述核心实例特征计算多个检测框，所述检测框中的每一个对应于在所述图像中检测到的对象；

针对所述检测框的每个检测框计算所述特征图的多尺度分辨率下的多个分割掩膜；

合并所述多尺度分辨率下的所述多个分割掩膜，以针对在所述输入图像中检测到的每个对象生成实例掩膜，所述实例掩膜与置信度得分相关联；

通过由辅助网络计算像素级度量来细化所述实例掩膜的置信度得分；以及

输出所述实例掩膜作为所述输入图像中的对象的检测到的实例。

2.根据权利要求1所述的方法，其中，通过将所述输入图像提供至完全卷积实例语义分割网络来提取所述多个核心实例特征。

3.根据权利要求2所述的方法，其中，通过将所述核心实例特征提供至特征金字塔网络来计算多尺度分辨率下的特征图。

4.根据权利要求3所述的方法，其中，所述特征金字塔网络通过以下步骤来产生所述多个特征图中的特征图：

对来自所述完全卷积实例语义分割网络的所述核心实例特征进行上采样；

将卷积核应用于先前特征图以产生卷积的先前特征图；以及

将上采样的核心实例特征和卷积的先前特征图进行组合来生成该特征图。

5.根据权利要求4所述的方法，其中，所述特征金字塔网络通过使用最近邻技术来对所述核心实例特征进行上采样。

6.根据权利要求4所述的方法，其中，所述特征金字塔网络通过使用去卷积层和插值卷积核来对所述核心实例特征进行上采样。

7.根据权利要求1所述的方法，其中，合并所述多尺度分辨率下的所述多个分割掩膜以生成所述实例掩膜包括：计算交集与自身之比度量并移除其中所述交集与自身之比度量超过阈值的实例。

8.根据权利要求1所述的方法，其中，通过将所述核心实例特征提供至区域建议网络来计算所述检测框。

9.根据权利要求1所述的方法，还包括：

针对所述输入图像的每个像素计算所属边界框，所述所属边界框中的每一个指定该像素所属的实例的边界框位置；

针对所述输入图像中的每个像素计算多个密度度量；以及

根据所述密度度量对所述实例掩膜进行过滤，以最小化根据所述实例掩膜和所述密度度量计算出的差分掩膜差异。

10.根据权利要求9所述的方法，其中，针对所述输入图像的每个像素计算所属边界框包括：计算表示该像素的所属边界框的四个特征矢量，所述四个特征矢量包括最顶像素、最底像素、最左像素和最右像素。

11.根据权利要求9所述的方法，其中，细化所述实例掩膜的置信度得分包括：

根据所述图像中检测到的对象的所属边界框来计算平均边界框；

计算所述实例掩膜和所述平均边界框之间的交并比度量；以及

基于所述交并比度量来缩放所述实例掩膜的置信度得分。

12.根据权利要求9所述的方法，其中，根据所述密度度量对所述实例掩膜进行过滤包括：

针对所述图像中的每个像素计算像素密度差异；

针对每个实例掩膜计算差分掩膜差异；以及

最小化生存掩膜集合的差分掩膜差异。

13.根据权利要求12所述的方法，其中，通过以下操作来最小化所述生存掩膜集合的差分掩膜差异：使用贪婪搜索通过迭代地切换具有更大差分掩膜差异的实例掩膜的生存状态来更新所述生存掩膜集合，直到所述差分掩膜差异被最小化为止。

14.一种用于检测输入图像中的对象的实例的***，所述***包括：

核心实例特征提取网络，其被配置为从所述输入图像生成多个核心实例特征；

多尺度分辨率特征图计算器，其被配置为根据所述核心实例特征计算多尺度分辨率下的多个特征图；

检测框计算器，其被配置为根据所述核心实例特征计算多个检测框，所述检测框中的每一个对应于在所述图像中检测到的对象；

分割掩膜预测网络，其被配置为针对所述检测框中的每个检测框计算所述特征图的多尺度分辨率下的多个分割掩膜；

金字塔分割网络，其被配置为合并所述多尺度分辨率下的所述多个分割掩膜，以针对在所述输入图像中检测到的每个对象生成实例掩膜，所述实例掩膜与置信度得分相关联；

基于区域建议网络的得分细化模块，其被配置为通过计算像素级度量来细化所述实例掩膜的置信度得分；以及

输出模块，其被配置为输出所述实例掩膜作为所述输入图像中的对象的检测到的实例。

15.根据权利要求14所述的***，其中，所述核心实例特征提取网络包括完全卷积实例语义分割网络。

16.根据权利要求15所述的***，其中，所述多尺度分辨率特征图计算器包括特征金字塔网络。

17.根据权利要求16所述的***，其中，所述特征金字塔网络被配置为通过以下步骤生成所述多个特征图中的特征图：

对来自所述完全卷积实例语义分割网络的所述核心实例特征进行上采样；

将卷积核应用于先前特征图以产生卷积的先前特征图；以及

将上采样的核心实例特征和卷积的先前特征图进行组合来生成该特征图。

18.根据权利要求17所述的***，其中，所述特征金字塔网络被配置为使用最近邻技术对所述核心实例特征进行上采样。

19.根据权利要求17所述的***，其中，所述特征金字塔网络被配置为使用去卷积层和插值卷积核对所述核心实例特征进行上采样。

20.根据权利要求14所述的***，其中，所述金字塔分割网络被配置为：通过计算交集与自身之比度量并移除其中所述交集与自身之比度量超过阈值的实例来合并所述多尺度分辨率下的所述多个分割掩膜以生成所述实例掩膜。

21.根据权利要求14所述的***，其中，所述检测框计算器包括区域建议网络。

22.根据权利要求14所述的***，还包括：

所属边界框预测网络，其被配置为针对所述输入图像的每个像素计算所属边界框，所述所属边界框中的每一个指定该像素所属的实例的边界框位置；

密度预测网络，其被配置为针对所述输入图像中的每个像素计算多个密度度量；以及

基于密度的过滤模块，其被配置为根据所述密度度量对所述实例掩膜进行过滤，以最小化根据所述实例掩膜和所述密度度量计算出的差分掩膜差异。

23.根据权利要求22所述的***，其中，所述所属边界框预测网络被配置为：通过计算表示所述输入图像的每个像素的所属边界框的四个特征矢量来计算该像素的所属边界框，所述四个特征矢量包括最顶像素、最底像素、最左像素和最右像素。

24.根据权利要求22所述的***，其中，所述基于RPN的得分细化模块被配置为通过以下步骤来细化所述实例掩膜的置信度得分：

根据所述图像中检测到的对象的所属边界框来计算平均边界框；

计算所述实例掩膜和所述平均边界框之间的交并比度量；以及

基于所述交并比度量来缩放所述实例掩膜的置信度得分。

25.根据权利要求22所述的方法，其中，所述基于密度的过滤模块被配置为通过以下步骤根据所述密度度量对所述实例掩膜进行过滤：

针对所述图像中的每个像素计算像素密度差异；

针对每个实例掩膜计算差分掩膜差异；以及

最小化生存掩膜集合的差分掩膜差异。

26.根据权利要求25所述的***，其中，通过以下操作来最小化所述生存掩膜集合的差分掩膜差异：使用贪婪搜索通过迭代地切换具有更大差分掩膜差异的实例掩膜的生存状态来更新所述生存掩膜集合，直到所述差分掩膜差异被最小化为止。