CN113486899A - 一种基于互补分支网络的显著性目标检测方法 - Google Patents

Abstract

本发明提供一种基于互补分支网络的显著性目标检测方法，所述方法首先将若干张图像的标签，通过标签重定义模块，得到扩展的多样化的显著性标签；接着将提取的骨干网络的特征，通过信息交换模块，得到具有判别力的显著性特征；最后将不同的特征分别对应不同的标签，并分别通过连通流损失，得到显著性结果图。本发明通过提出的标签重定义模块，使得给定的标签扩展充足，并将有用的先验知识作为辅助性标签，通过提出的信息交换模块来融合捕获来自不同分支结构的互补特征信息，通过提出的连通流损失来计算分支合并的总损失，从而监督整个网络的优化，保证了复杂场景的显著性目标检测的准确性。

Description

一种基于互补分支网络的显著性目标检测方法

技术领域

本发明属于计算机视觉领域，尤其涉及一种基于互补分支网络的显著性目 标检测方法。

背景技术

近年来，显著性目标检测成为计算机视觉领域的研究热点，其目的是获取 在给定的任何图像或视频中人眼视觉感受最显著的目标区域。该技术拥有广泛 的应用前景，例如：图像检索、视频压缩、视觉追踪、机器人导航等。

传统的显著性目标检测方法主要依靠手工提取的有限的信息，如颜色和条 纹等。当前，由于深度学习的发展，新型的显著性目标检测方法层出不穷。这 些方法可以粗糙地划分为两个类别，即基于聚合的方法和基于边缘的方法。

通常，前者通过编码器提取多层特征并与解码器进行融合以得到显著图， 而后者通过借助边缘标签先验的帮助对掩膜标签进行监督从而得到显著图，尽 管这些方法已经取得了瞩目的进展，但是仍然存在一些挑战。具体来说，当面 向模糊、遮挡、光照、旋转和不同尺度的显著性目标检测时，这些方法往往难 以达到令人满意的效果。

因此，提出一种基于互补分支网络的显著性目标检测方法，能够适用于复 杂场景，保证了复杂场景的显著性目标检测的准确性。

发明内容

为了解决上述技术问题，本发明提供一种基于互补分支网络的显著性目标 检测方法，所述方法步骤如下：

步骤一：将若干张图像的标签，通过标签重定义模块，得到扩展的多样化 的显著性标签；

步骤二：将提取的骨干网络的特征，通过信息交换模块，得到具有判别力 的显著性特征；

步骤三：将不同的特征分别对应不同的标签，并分别通过连通流损失，得 到显著性结果图。

优选的，所述的标签重定义模块全面地生成了关注于body或detail的强 化的或弱化的标签，主要步骤包括：

令b和f分别表示前景像素和背景像素，对于每个前景像素，可以通过距 离转换函数计算最近的背景像素，其可以定义为：

其中，dist(·)表示成对像素点之间的欧式距离，将转换后的值归一化到[0, 1]区间，其可以描述为：

考虑将归一化后的值与初始像素值l相作用以消除前景的特征扩散与背景 的干扰传播,而形成body标签和detail标签，其可以描述为：

按照所有像素的二维空间分布，设计了两个平滑分布函数来重新定义多样 化标签，其可以定义为：

其中，β＝(4/π)arctan(1/α)，α是一个可调参数，α的值为0.3。

优选的，所述的信息交换模块抛弃了浅层的特征而保留了深层的特征，多 个分支的特征逐步地进行由深到浅的融合，主要步骤包括：

对于直接提取自骨干网络的编码特征E＝{E₁,E₂,E₃,E₄,E₅}，对应的通道数分别 为{128,256,512,1024,2048}，由于浅层的特征{E₁}引入了大量的时间负载却只带来微 弱的能力提升，因而将深层的特征{E₁,E₂,E₃,E₄}考虑在内；

对于四种不同类型的解码特征SB＝{SB₂,SB₃,SB₄}，WB＝{WB₂,WB₃,WB₄}， SD＝{SD₂,SD₃,SD₄}和WD＝{WD₂,WD₃,WD₄}，被统一地压缩到64个通道数，具体是强 化的body流分支和弱化的body流分支这两个分支负责收集body特征，强化的 detail流分支和弱化的detail流分支这两个分支负责收集detail特征；

对于解码特征I＝{I₂,I₃,I₄}，它们聚合自四个连通分支来交换信息，这四个分 支是并行地而非顺序地相连，互补性使得特征交互特别紧密；

为了使特征在整个框架中有良好的流动，建立了中间连接，分为两个阶段， 第一阶段对应于第一次迭代，而第二阶段对应于第二次迭代或更多次迭代，这 两个阶段的程序完全独立，其可以定义为：

其中，Cat(·)和Up(·)分别表示concatenation操作和upsample操作，上 标数字代表迭代数。

优选的，所述的连通流损失是合并了来自不同分支的总损失，这些损失依 据分支流任务的特殊性，选择性地使用交叉熵损失和交并比损失，主要步骤包 括：

连通流损失合并来源于强化的body流、弱化的body流、强化的detail流、 弱化的detail流和分割任务的总损失，其计算公式为：

其中，λ是一个超参数，用来平衡两个损失项的重要性，它的数值默认为1；

利用交叉熵损失来计算第一项损失，其计算公式为：

利用交并比损失来计算第二项损失，其计算公式为：

因交叉熵损失会考虑局部结构而忽略全局结构，交并比损失会同时考虑它 们，因此使用交叉熵损失来处理四个分支流，只考虑局部结构而忽略全局结构。

与现有技术相比，本发明的有益效果为：

本发明通过提出标签重定义模块，使得给定的标签扩展充足，并将有用的 先验知识作为辅助性标签，通过提出的信息交换模块来融合捕获来自不同分支 结构的互补特征信息，通过提出的连通流损失来计算分支合并的总损失，从而 监督整个网络的优化，保证了复杂场景的显著性目标检测的准确性。

附图说明

图1为本发明的总体网络架构图；

图2为本发明的双平滑分布图；

图3为本发明的多样化标签示例图；

图4为本发明的两阶段程序图；

图5为本发明的方法与其它方法的结果可视化对比图。

具体实施方式

以下结合附图对本发明做进一步描述：

实施例：

如附图1所示，本发明选取ResNet-50作为骨干网络，涵盖了三个核心的 组成部分，包括标签重定义模块、信息交换模块和连通流损失

提供一种基于互补分支网络的显著性目标检测方法，所述方法步骤如下：

步骤一：

标签中蕴含着大量的启发式知识，这对于提高网络的性能是至关重要的。

为此，提出标签重定义模块来从给定的标签中扩展充足的且有用的先验知 识作为辅助性标签。

令b和f分别表示前景像素和背景像素，对于每个前景像素，可以通过距 离转换函数计算最近的背景像素，其可以定义为：

其中，dist(·)表示成对像素点之间的欧式距离，将转换后的值归一化到[0, 1]区间，其可以描述为：

考虑将归一化后的值与初始像素值l相作用以消除前景的特征扩散与背景 的干扰传播,而形成body标签和detail标签，其可以描述为：

按照所有像素的二维空间分布，设计了两个平滑分布函数来重新定义多样 化标签，其可以定义为：

其中，β＝(4/π)arctan(1/α)，α是一个可调参数，如图2所示，两个映射函 数(a)-(b)分别为弯曲凸凹函数和弯曲凹凸函数，当α无限趋近于0时，这两个 函数分别接近水平线和垂直线，而当α无限趋近于∞时，这两个函数都靠近原 始的线。

除此之外，它们还拥有一些固有的特性，即它们关于直线y＝x是互相对称 的，它们关于点(0.5,0.5)是中心对称的，它们是均匀地分散在[0,0.5)区间 和(0,1]区间，通常情况下，α的值默认为0.3。

如图3所示，(a)-(f)分别为给定的图片、真实的标签、强化的body标签、 弱化的body标签、强化的detail标签和弱化的detail标签，与初始标签相比， 获得的标签包含了相对更加富裕的信息。

步骤二：产生自不同分支的特征融合对于提升网络的性能也很关键，因此， 提出信息交换模块来融合捕获来自不同分支结构的互补特征信息。

对于直接提取自骨干网络的编码特征E＝{E₁,E₂,E₃,E₄,E₅}，对应的通道数分别 为{128,256,512,1024,2048}，由于浅层的特征{E₁}引入了大量的时间负载却只带来微 弱的能力提升，因而将深层的特征{E₁,E₂,E₃,E₄}考虑在内；

对于四种不同类型的解码特征SB＝{SB₂,SB₃,SB₄}，WB＝{WB₂,WB₃,WB₄}， SD＝{SD₂,SD₃,SD₄}和WD＝{WD₂,WD₃,WD₄}，被统一地压缩到64个通道数，具体是强 化的body流分支和弱化的body流分支这两个分支负责收集body特征，强化的 detail流分支和弱化的detail流分支这两个分支负责收集detail特征；

对于解码特征I＝{I₂,I₃,I₄}，它们聚合自四个连通分支来交换信息。这四个分 支是并行地而非顺序地相连，互补性使得特征交互特别紧密；

为了使特征在整个框架中有良好的流动，建立了中间连接，分为两个阶段， 第一阶段对应于第一次迭代，而第二阶段对应于第二次迭代或更多次迭代，这 两个阶段的程序完全独立，其可以定义为：

其中，Cat(·)和Up(·)分别表示concatenation操作和upsample操作，上 标数字代表迭代数。

这两个交互阶段如图4所示，其中(a)-(b)分别为第一阶段流程和第二阶 段流程，为避免过于复杂，如同第一阶段一样，第二阶段的迭代次数也设置为1， 但框架的信息交换不参与在第一次迭代中，仅参与在第二次迭代中。

步骤三：所有连通的分支均应当贡献一定的损失给主干使得特征能够依次 互补，因此，提出连通流损失来计算分支合并的总损失，从而监督整个网络的 优化。

连通流损失是合并了来自不同分支的总损失，这些损失依据分支流任务的 特殊性，选择性地使用交叉熵损失和交并比损失，主要步骤包括：

连通流损失合并来源于强化的body流、弱化的body流、强化的detail流、 弱化的detail流和分割任务的总损失，其计算公式为：

其中，λ是一个超参数，用来平衡两个损失项的重要性，它的数值默认为1。

利用交叉熵损失来计算第一项损失，其计算公式为：

利用交并比损失来计算第二项损失，其计算公式为：

因交叉熵损失会考虑局部结构而忽略全局结构，交并比损失会同时考虑它 们，因此使用交叉熵损失来处理四个分支流，只考虑局部结构而忽略全局结构。

对比例1：

为了验证本发明方法的优越性，在五个公共基准数据集上与其它方法进行 了对比实验：

数据集包括ECSSD、DUT-OMRON、PASCAL-S、HKU-IS和DUTS，所有实验均采 用PyTorch学习库在GeForce RTX 2080Ti GPU环境中实施。

如图5所示，(a)-(h)分别为给定的图片、真实的标签、本发明方法、LDF 方法、PoolNet方法、CPD方法、AFNet方法和EGNet方法的结果，这些结果证 明了利用本发明方法来实现复杂场景下的显著性检测是可行的且有效的，此外， 本发明方法同时也适用于检测小型的、中型的和大型的，单个的、两个的和多 个的，以及阴影的、遮挡的和低对比度的显著性目标。

在本发明的描述中，需要理解的是，术语“同轴”、“底部”、“一端”、 “顶部”、“中部”、“另一端”、“上”、“一侧”、“顶部”、“内”、 “前部”、“中央”、“两端”等指示的方位或位置关系为基于附图所示的方 位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指 的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解 为对本发明的限制。

此外，术语“第一”、“第二”、“第三”、“第四”仅用于描述目的， 而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量， 由此，限定有“第一”、“第二”、“第三”、“第四”的特征可以明示或者 隐含地包括至少一个该特征。

在本发明中，除非另有明确的规定和限定，术语“安装”、“设置”、“连 接”、“固定”、“旋接”等术语应做广义理解，例如，可以是固定连接，也 可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直 接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元 件的相互作用关系，除非另有明确的限定，对于本领域的普通技术人员而言， 可以根据具体情况理解上述术语在本发明中的具体含义。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言， 可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变 化、修改、替换和变型，本发明的范围由所附权利要求及等同物限定。

Claims (4)

1.一种基于互补分支网络的显著性目标检测方法，其特征在于，所述方法步骤如下：

步骤一：将若干张图像的标签，通过标签重定义模块，得到扩展的多样化的显著性标签；

步骤二：将提取的骨干网络的特征，通过信息交换模块，得到具有判别力的显著性特征；

步骤三：将不同的特征分别对应不同的标签，并分别通过连通流损失，得到显著性结果图。

2.如权利要求1所述的一种基于互补分支网络的显著性目标检测方法，其特征在于，所述的标签重定义模块全面地生成了关注于body或detail的强化的或弱化的标签，主要步骤包括：

令b和f分别表示前景像素和背景像素，对于每个前景像素，可以通过距离转换函数计算最近的背景像素，其可以定义为：

其中，dist(·)表示成对像素点之间的欧式距离，将转换后的值归一化到[0,1]区间，其可以描述为：

考虑将归一化后的值与初始像素值l相作用以消除前景的特征扩散与背景的干扰传播,而形成body标签和detail标签，其可以描述为：

按照所有像素的二维空间分布，设计了两个平滑分布函数来重新定义多样化标签，其可以定义为：

其中，β＝(4/π)arctan(1/α)，α是一个可调参数，α的值为0.3。

3.如权利要求1所述的一种基于互补分支网络的显著性目标检测方法，其特征在于，所述的信息交换模块抛弃了浅层的特征而保留了深层的特征，多个分支的特征逐步地进行由深到浅的融合，主要步骤包括：

对于直接提取自骨干网络的编码特征E＝{E₁,E₂,E₃,E₄,E₅}，对应的通道数分别为{128,256,512,1024,2048}，由于浅层的特征{E₁}引入了大量的时间负载却只带来微弱的能力提升，因而将深层的特征{E₁,E₂,E₃,E₄}考虑在内；

对于四种不同类型的解码特征SB＝{SB₂,SB₃,SB₄}，WB＝{WB₂,WB₃,WB₄}，SD＝{SD₂,SD₃,SD₄}和WD＝{WD₂,WD₃,WD₄}，被统一地压缩到64个通道数，具体是强化的body流分支和弱化的body流分支这两个分支负责收集body特征，强化的detail流分支和弱化的detail流分支这两个分支负责收集detail特征；

对于解码特征I＝{I₂,I₃,I₄}，它们聚合自四个连通分支来交换信息，这四个分支是并行地而非顺序地相连，互补性使得特征交互特别紧密；

为了使特征在整个框架中有良好的流动，建立了中间连接，分为两个阶段，第一阶段对应于第一次迭代，而第二阶段对应于第二次迭代或更多次迭代，这两个阶段的程序完全独立，其可以定义为：

其中，Cat(·)和Up(·)分别表示concatenation操作和upsample操作，上标数字代表迭代数。

4.如权利要求1所述的一种基于互补分支网络的显著性目标检测方法，其特征在于，所述的连通流损失是合并了来自不同分支的总损失，这些损失依据分支流任务的特殊性，选择性地使用交叉熵损失和交并比损失，主要步骤包括：

连通流损失合并来源于强化的body流、弱化的body流、强化的detail流、弱化的detail流和分割任务的总损失，其计算公式为：

其中，λ是一个超参数，用来平衡两个损失项的重要性，它的数值默认为1；

利用交叉熵损失来计算第一项损失，其计算公式为：

利用交并比损失来计算第二项损失，其计算公式为：

因交叉熵损失会考虑局部结构而忽略全局结构，交并比损失会同时考虑它们，因此使用交叉熵损失来处理四个分支流，只考虑局部结构而忽略全局结构。

Images