CN111598841A - 基于正则化稠密连接特征金字塔的实例显著性检测方法 - Google Patents

Abstract

一种基于正则化稠密连接特征金字塔的实例显著性检测的方法。该方法的目的是构造稠密连接的特征金字塔来进行图像实例级显著性检测。该方法设计了一种新的卷积神经网络模型，这种新的卷积神经网络模型通过构建该发明提出的正则化的稠密连接在原有特征金字塔的基础上构造一个新的特征金字塔。稠密连接为构建新特征金字塔提供了更多的低层级特征，而正则化操作在稠密连接提供更多低层级特征的情况内更好地提取其中的有用信息而刨除无用信息。此外，利用多级RoIAlign方法进行特征聚合可以更精确地对实例进行分割。使用该方法检测出的显著性实例，可以用于重要目标分割、自适应图像压缩、图像检索等应用领域。

Description

基于正则化稠密连接特征金字塔的实例显著性检测方法

技术领域

本发明属于图像处理技术领域，特别涉及到一种基于多层次上下文特征融合的显著性物体检测的方法。

背景技术

实例显著性物体检测相对显著性检测来说，是一个较新的问题。显著性检测致力于模拟人类视觉***来检测一张图像中显著的物体或者区域，而最近的显著性模型研究成果也在显著性物体检测上取得了巨大的成功，但很少有研究实例显著性检测的成果。实例显著性物体检测技术相比显著性物体检测技术，它需要检测出输入图像下每个显著性实例，且生成每个显著性实例的像素级分割，而不是简单地生成输入图像对应的无法区分出不同显著性实例的显著性图。实例显著性物体检测和显著性物体检测也类似，因为它们在计算机视觉中都有着广泛的用途，比如图像检索、视觉跟踪、场景分类、基于内容的视频压缩和弱监督学习。虽然已经有一些实例显著性模型已经被提出了，但是实例显著性检测的精度仍然差强人意，尤其是在很多复杂的场景下。

实例显著性检测方法一般使用卷积神经网络作为主体。卷积神经网络的主干网络通常由几个堆叠在一起的卷积/池化模块组成，其中靠近输入的模块被称作底层，而离输入较远的模块被称作高层。在深度学习社区中，人们普遍认为神经网络的高层包含语义相关的信息，而神经网络的底层包含辅助的细节信息。2017年在IEEE CVPR上发表的“Instance-level salient object segmentation”提出的MSRNet是第一个使用卷积神经网络设计实例显著性检测方法的文章，其先使用显著性检测方法预测出输入图像的显著性图，再使用卷积神经网络预测出显著性轮廓，最后利用“Multiscale Combinatorial Grouping”中的MCG方法生成建议的物体分割结果生成实例显著性检测结果。这个方法的不足之处在于：它是基于后处理的手段生成的实例显著性检测结果，这种处理手段难以优化，因为它需要分阶段地对每个阶段单独进行优化，也正是因此它的检测效果很差；此外，它的检测速度也很慢，难以用于实际的应用中。2019年在IEEE CVPR上发表的“S4Net:Single Stage Salient-Instance Segmentation”在Mask R-CNN的基础上设计了能整体进行优化的实例显著性分割方法，这种方法的创新点是学习“GrabCut:Interactive foreground extraction usingiterated graph cuts”中的策略，通过整合检测到的实例区域及其周围的一小部分背景来预测每个实例的像素级分割结果，这种操作被叫做RoIMasking。除此之外，它也利用扩张卷积设计了一个分割分支来从特征金字塔中的一个特定的特征层级上预测检测到的每个实例的像素级分割。虽然这种方法能取得相对于2017年在IEEE CVPR上发表的MSRNet方法较好的效果，但这种方法缺陷在于它没有很充分地利用多层级的卷积特征来预测显著性实例的位置和对应的像素级分割，无法更充分捕捉周围的环境信息从而导致检测准确度的下降。

发明内容

本发明目的是更加充分地利用多层级的卷积特征，通过引入正则化的稠密连接构建更加强大的特征金字塔，通过多级的RoIAlign方法充分考虑多层级的卷积特征从而更加精确地预测每个实例的像素级分割结果。为了实现本发明的目的，本发明提出了一种基于正则化稠密连接特征金字塔的实例显著性检测方法，该方法采用新的卷积神经网络模型，通过输入一张任意大小的图像，就可以高效的检测出图像中显著性实例和每个实例对应的像素级分割结果，该方法能够进行更准确的实例显著性检测。

和以往的方法相比，本发明主要的创造性在于两点：首先，本发明设计了正则化的稠密连接构建新的特征金字塔，它不同于传统方法构建的特征金字塔，它可以更加充分地利用多层级的卷积特征，在特征金字塔构建的每个阶段吸收有用信息而过滤无用信息；其次，本发明提出了多级RoIAlign来获得每个检测到的实例的感兴趣区域的特征金字塔，并设计了一个解码器来自适应地对多层级特征作池化操作从而获得更好的像素级分割预测结果。

本发明的技术方案：

基于正则化稠密连接(regularized dense connections)特征金字塔的实例显著性检测方法，该方法包含如下步骤：

a.设计一个新的卷积神经网络模型，该模型依次分为三大部分，第一个是特征提取部分，第二个是侧向物体框预测分支部分，第三个是物体像素级分割分支部分；

b.用户向所述卷积神经网络模型中输入一张任意大小的图片到模型的特征提取部分，即一个带有特征金字塔增强的卷积神经网络中，并输出一个特征金字塔；所述的特征金字塔增强是先利用“FCOS:Fully Convolutional One-Stage Object Detection”中的特征金字塔增强方法生成增强的特征金字塔，再在该基础上使用正则化稠密连接构建新的特征金字塔；

c.步骤b中生成的特征金字塔的每个特征层级都连接着所述卷积神经网络模型的第二部分即侧向物体框预测分支，得到预测到的物体框级别的显著性实例；

d.利用步骤c中预测出的物体框级别的显著性实例，在“Mask R-CNN”中提出的RoIAlign方法基础上，对步骤b中生成的特征金字塔进行特征复用，即使用多级RoIAlign方法，得到每个预测到的显著性实例的感兴趣区域(Region ofInterest)特征金字塔，再利用模型的第三部分即物体像素级分割分支部分得到每个实例的像素级分割预测结果，最后将这些预测结果对应到原图的各个位置，得到最后实例级的显著性物体检测结果。

其中，步骤b所述正则化稠密连接指使用正则化强化后的稠密连接。

步骤d所述多级RoIAlign指对步骤b中生成的特征金字塔的每个层级都使用RoIAlign。

本发明的优点和有益效果：

本发明通过使用正则化的稠密连接来构建新的特征金字塔，更充分地利用了多层级的卷积特征，且可以有选择地在构建特征金字塔的每个层级时吸收有用信息而过滤无用信息。本发明提出的多级RoIAlign方法在预测每个实例对应的像素级分割时更好地利用了特征金字塔中的各个层级的不同信息，可以更精确地预测出对应的像素级分割。

附图说明

图1为本发明的操作步骤。

图2为本发明设计的使用正则化的稠密连接构建新的特征金字塔方法。

图3为基于新的卷积神经网络架构进行实例显著性检测的效果图和其他方法的对比。

具体实施方式

下面结合附图，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

如图1所示基于正则化稠密连接特征金字塔的实例显著性检测方法，该方法的具体操作如下：

a.本发明设计的卷积神经网络模型依次含有三大部分：特征提取、侧向物体框预测、物体像素级分割预测，其中的特征提取方法使用了主干网络构建初始的特征金字塔，主干网络可以是Karen Simonyan发表的“Very Deep Convolutional Networks for Large-Scale Image Recognition”文章中提到的VGG16架构，也可以是Kaiming He发表的“Deepresidual learning for image recognition”文章中提到的ResNet架构，或者其他的基础网络架构。针对ResNet网络来说，我们去掉了ResNet中最后的全局平均池化操作和接下来的全连接预测操作，只保留前面的操作。ResNet一共有5个阶段，每个阶段都使用了一个最大池化操作隔开，我们取后三个阶段的最后输出(最大池化前的最后输出)作为初始的特征金字塔，记为C₃,C₄,C₅，它们下标值3、4、5分别代表其大小为原始输入图像的1/8、1/16、1/32大小。在初始的特征金字塔C₃,C₄,C₅的基础上，利用2019年在IEEEICCV上发表的“FCOS:FullyConvolutionalOne-StageObjectDetection”中的特征金字塔增强方法生成增强的五级通道皆为256的特征金字塔P₃,P₄,P₅,P₆,P₇，依次分别代表对应特征图的长宽值为原始输入图像的1/8、1/16、1/32、1/64、1/128。在这之后，通过使用正则化的稠密连接在旧特征金字塔P₃,P₄,P₅,P₆,P₇的每个阶段，递推地重新构建出新的特征金字塔P₃′,P₄′,P₅′,P₆′,P₇′。稠密连接可以用下式表示：

P₃'＝F(P₃),

P_j+1'＝F[P_j+1+DownSample(P_j')],3＜j＜7,

P_j'＝F{φ[Concat(P_m',P_m+1',...,P_j-1',P_j)]},3＜j≤7,

其中，

代表一个卷积核大小为3×3的卷积操作，它的输出通道是256，DownSample是下采样操作，它将P_j′下采样至与P_j+1一样的大小，Concat是将括号内的特征层按通道方向拼接成更大的一个特征层，φ操作是一个卷积核大小为3×3的卷积操作，它的输出通道也是256。正则化的稠密连接则是在稠密连接基础上，在构建新特征金字塔的每个层级上引入正则化操作：

R_j代表正则化使用的注意力图，σ操作是逐元素使用Sigmoid操作将所有值归一化到[0,1]之间，

操作仍然代表一个卷积核大小为3×3的卷积操作，它的输出通道是256。在构建新特征金字塔的每个层级的特征拼接阶段，我们对P_j以外的特征图应用了下式：

代表P_t′经正则化后的特征图，DownSample是下采样操作，它将P_t′下采样至与R_j一样的大小，“·”操作代表矩阵间逐元素的乘法(Hadamardproduct)。使用正则化的稠密连接构建新特征金字塔的每个层级可由下式表示：

代表一个卷积核大小为3×3的卷积操作，它的输出通道是256；Concat是将括号内的特征层按通道方向拼接成更大的一个特征层。正则化的稠密连接构建特征金字塔可见图2。

b.在通过正则化的稠密连接构建新的特征金字塔后，在特征金字塔的每个层级都连接一个侧向的物体框预测分支，它们的参数可以是共享的。这里我们使用了2019年在IEEE ICCV上发表的“FCOS:FullyConvolutionalOne-StageObjectDetection”方法中的无锚定框(anchor-free)的单阶段(one-stage)检测器，且实现细节在该发明中没有任何改动。通过在特征金字塔上的每个层级都应用该检测器，可以得到大量的建议的物体框(object proposals)及每个建议的物体框所对应的显著值和中心值(centernessvalue)。

c.按照中心值和显著值乘积作为可信度值，将单阶段检测器检测出的建议的物体框的可信度从大到小排序，应用非极大值抑制方法，从最大可信度的建议框和比它可信度小的所有建议框进行比较，将两建议框面积交并比(IoU)大于0.4的低可信度建议框筛除。

d.再从第二大可信度的建议框开始，重复c.流程，得到经非极大值抑制方法过滤后的物体框级别的显著性实例。

e.在通过侧向的物体框检测分支得到物体框级别的显著性实例后，通过该信息，对特征金字塔的每个层级中每个物体框的区域使用RoIAlign方法进行特征聚合，即多级RoIAlign的方法得到特征金字塔P₃′,P₄′,P₅′,P₆′,P₇′的每个层级下的感兴趣区域(regionof interest)特征金字塔D₃′,D₄′,D₅′,D₆′,D₇′，它们的大小依次为：32×32，16×16，8×8，4×4，4×4。

f.构建一个简易的从小分辨率的顶层到大分辨率的高层的解码器，这个解码器先将D₆′和D₇′作逐元素加法，再经过一个卷积核大小为3×3的卷积层得到一个中间结果M₆。使用双线性插值改变中间结果M₆的特征图大小至和D₅′相同的大小，将得出的结果和D₅′作逐像素加法，得到新的中间结果M₅。使用双线性插值改变中间结果M₅的特征图大小至和D₄′相同的大小，将得出的结果和D₄′作逐像素加法，得到新的中间结果M₄。使用双线性插值改变中间结果M₄的特征图大小至和D₃′相同的大小，将得出的结果和D₃′作逐像素加法，得到中间结果M₃。再将M₃通过一个卷积核大小为1×1的卷积层，得到每个显著性实例的32×32大小的像素级分割结果。结合物体框的位置和预测结果通过双线性插值等方法映射到原图所对应的位置上，得到每个显著性实例所对应的像素级分割结果(如图1中的子图(c)所示)。

图3是本发明与过去方法的对比，由于目前公开在知名会议期刊上发表的只有背景技术中提到的两个工作(2017IEEE CVPR：MSRNet，2019IEEE CVPR：S4Net)。因为MSRNet没有将测试的所有结果进行公布而只公布了在测试数据上的精度值，且S4Net在测试数据上的精度值要远远高于MSRNet，故本发明只与更新更好的S4Net进行比较。第一列是输入图像，第二列是对应的正确的标注结果，第三列是本发明方法的结果，最右边是其他方法的结果。可以清晰的看到，本发明方法能够取得更好的实例显著性检测效果。第一个和第六个例子说明本发明可以更完整地检测出图片中较大的物体，而其他方法对于较大的物体往往只能检测出物体的一部分。第二、三、四、五、七、八个例子说明本发明有更小的虚检率，且对物体轮廓检测的较为贴合，而其他方法对于物体轮廓检测的不够细致，有较多锯齿且不够贴合，还有更高的虚检率，不利于实际的应用。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本发明的保护范围。

Claims (3)

1.基于正则化稠密连接(regularized dense connections)特征金字塔的实例显著性检测方法，其特征在于，该方法包含如下步骤：

a.设计一个新的卷积神经网络模型，该模型分为三大部分，第一个是特征提取部分，第二个是侧向物体框预测分支部分，第三个是物体像素级分割分支部分；

b.用户向所述卷积神经网络模型中输入一张任意大小的图片到模型的特征提取部分，即一个带有特征金字塔增强的卷积神经网络中，并输出一个特征金字塔；所述的特征金字塔增强是先利用“FCOS:Fully Convolutional One-Stage Object Detection”中的特征金字塔增强方法生成增强的特征金字塔，再在该基础上使用正则化稠密连接构建新的特征金字塔；

c.步骤b中生成的特征金字塔的每个特征层级都连接着所述卷积神经网络模型的第二部分即侧向物体框预测分支，得到预测到的物体框级别的显著性实例；

d.利用步骤c中预测出的物体框级别的显著性实例，在“Mask R-CNN”中提出的RoIAlign方法基础上，对步骤b中生成的特征金字塔进行特征复用，即使用多级RoIAlign方法，得到每个预测到的显著性实例的感兴趣区域(Region ofInterest)特征金字塔，再利用模型的第三部分即物体像素级分割分支部分得到每个实例的像素级分割预测结果，最后将这些预测结果对应到原图的各个位置，得到最后实例级的显著性物体检测结果。

2.根据权利要求1所述的基于正则化稠密连接特征金字塔的实例显著性检测方法，其特征在于：步骤b所述正则化稠密连接指使用正则化强化后的稠密连接。

3.根据权利要求1所述的基于正则化稠密连接特征金字塔的实例显著性检测方法，其特征在于：步骤d所述多级RoIAlign指对步骤b中生成的特征金字塔的每个层级都使用RoIAlign。

Images