CN116524207A - 基于边缘检测辅助的弱监督rgbd图像显著性检测方法 - Google Patents

Abstract

本发明涉及一种基于边缘检测辅助的弱监督RGBD图像显著性检测方法，包括以下步骤：步骤S1：建立包含涂鸦标注图的弱监督RGBD图像显著性检测训练集，并进行数据增强；步骤S2：设计多层次、多任务的弱监督RGBD图像显著性检测网络；步骤S3：设计融合模块；步骤S4：设计基于边缘检测辅助的弱监督RGBD图像显著性检测网络，并设计损失函数优化网络参数；步骤S5：将待测RGBD图像输入训练好的基于边缘检测辅助的弱监督RGBD图像显著性检测模型中，得到显著性检测结果。应用本技术方案能够实现性能较好的弱监督RGBD图像显著性检测。

Description

基于边缘检测辅助的弱监督RGBD图像显著性检测方法

技术领域

本发明涉及图像处理以及计算机视觉技术领域，特别是基于边缘检测辅助的弱监督RGBD图像显著性检测方法。

背景技术

显著性目标检测是计算机视觉领域中的一项重要研究内容，它的目标在于模拟人类的视觉感知***来找到图像中最引人注意的物体，并对其进行像素级别的分割。作为一个基础的图像处理问题，它在目标检测、语义分割、视频跟踪和图像理解等任务中都起着关键作用。

随着卷积神经网络的发展，许多基于深度学习的图像显著性检测方法被提出，与传统方法相比，这些方法在性能上有了很大的提升。但深度学习需要使用大量的训练数据作为支持，而强监督显著性检测模型需要的逐像素标注标签的获取代价十分昂贵，因此，弱监督图像显著性检测如今已成为了众多学者积极探索的一个研究方向。

弱监督图像显著性检测对不完整的弱级别标注进行建模，然后依靠模型强大的泛化能力推断出完整的显著性目标，常用的弱级别标注包括噪声标签、图像级标签、边界框以及涂鸦标签等。与逐像素标注标签相比，这些低成本标签无法提供完整的显著性物体结构细节，这给显著性检测网络模型恢复细致的显著性物体边缘结构带来了更大的挑战。目前大多数方法选择引入传统无监督显著性检测方法、图像分类任务或边缘检测任务等作为辅助，利用它们帮助确定显著性物体的位置和边缘。然而在一些复杂场景中，仅靠彩色图像提供的颜色和纹理特征，强监督显著性检测难以解决的边缘定位问题将在弱监督情况下变得更加困难。弱监督RGBD图像显著性检测通过引入深度图，将深度图包含的丰富结构信息和位置信息作为补充，能够提高复杂场景中的显著性目标检测能力。但其在引入深度图的同时也带来了新的问题，例如彩色图像和深度图之间的跨模态冲突问题、深度图粗糙的边缘问题以及低质量深度图带来的噪音问题等。

发明内容

有鉴于此，本发明的目的在于提供一种基于边缘检测辅助的弱监督RGBD图像显著性检测方法，该方法能够实现性能较好的弱监督RGBD图像显著性检测。

为实现上述目的，本发明采用如下技术方案：基于边缘检测辅助的弱监督RGBD图像显著性检测方法，包括以下步骤：

步骤S1：建立包含涂鸦标注图的弱监督RGBD图像显著性检测训练集，并进行数据增强；

步骤S2：设计多层次、多任务的弱监督RGBD图像显著性检测网络，使用该网络得到多尺度边缘细化的显著性预测结果；

步骤S3：设计融合模块，使用该模块融合多尺度边缘细化的显著性预测结果，得到最终的显著性预测结果；

步骤S4：设计基于边缘检测辅助的弱监督RGBD图像显著性检测网络，并设计损失函数优化网络参数，得到训练好的基于边缘检测辅助的弱监督RGBD图像显著性检测模型；

步骤S5：将待测RGBD图像输入训练好的基于边缘检测辅助的弱监督RGBD图像显著性检测模型中，得到显著性检测结果。

在一较佳的实施例中，所述步骤S1具体为：

步骤S11：划分数据集，按照一定比例划分为训练集和测试集；

步骤S12：对于训练集，在“Adobe Photoshop 2020”软件中使用画笔工具对每组RGBD图像进行涂鸦标注，具体地说，用黑色涂鸦标注部分显著性前景区域，用白色涂鸦部分标注背景区域，无标注区域则用灰色表示；

步骤S13：对训练集中的图像进行数据增强，具体操作包括加入噪声、随机裁剪、翻转图像，并对训练集和测试集中每组RGBD图像的彩色图像和深度图进行归一化，以突出前景区域。

在一较佳的实施例中，所述步骤S2具体为：

步骤S21：首先，分别将彩色图像和深度图输入两支VGG16网络中，接着将5个卷积层Conv1，Conv2，Conv3，Conv4和Conv5和池化层Pool5提取到的6个层次的特征分别作为多层次彩色图像特征和多层次深度图特征/>

步骤S22：设计初始显著性预测分支，在6个层次中的每个层次先拼接彩色图像特征和深度图特征/>接着将拼接特征送入跨模态特征融合模块CFF进行彩色图像特征和深度图特征的融合；跨模态特征融合模块由一个3×3卷积层、通道注意力、空间注意力和一个3×3卷积层串联组成。最后融合后的特征再通过卷积核为1的卷积层将其降至1维，该过程用公式表示如下：

其中表示第k层的初始显著性特征，/>和/>分别表示第k层的彩色图像特征和深度图特征，⊕表示拼接操作，F_CFF表示初始显著性预测分支中的跨模态特征融合模块，Conv_1×1代表卷积核为1的卷积层；

步骤S23：设计边缘检测分支，得到边缘特征E_k的过程与初始显著性预测分支相同，公式如下：

其中E_k表示第k层的边缘特征，和/>分别表示第k层的彩色图像特征和深度图特征，⊕表示拼接操作，F_CFF′表示边缘检测分支中的跨模态特征融合模块，Conv_1×1代表卷积核为1的卷积层。

步骤S24：设计边缘细化显著性预测模块；在6个层次中的每个层次先拼接初始显著性特征和边缘特征E_k，接着通过卷积核为1的卷积层将拼接特征的维度降至1维，公式如下：

其中S_k表示第k层的边缘细化的显著性特征，和E_k分别表示第k层的初始显著性特征和边缘特征，⊕表示拼接操作，Conv_1×1代表卷积核为1的卷积层。

在一较佳的实施例中，所述步骤S3具体为：

步骤S31：设计融合模块；设计融合模块，逐层将深层特征整合至浅层特征，具体过程用公式表示如下：

S_final＝σ(Conv_3×3(H₁))

其中H_k表示第k层的聚合特征，S_k表示第k层的边缘细化的显著性特征，F_up表示上采样，Conv_3×3代表卷积核为3的卷积层，σ表示Sigmoid激活函数，S_final表示最终的显著性预测结果。

在一较佳的实施例中，所述步骤S4具体为：

步骤S41：组合步骤S2设计的多层次、多任务的弱监督RGBD图像显著性检测网络和步骤S3设计的融合模块，得到基于边缘检测辅助的弱监督RGBD图像显著性检测网络；

步骤S42：设计基于边缘检测辅助的弱监督RGBD图像显著性检测网络的损失函数如下：

其中L表示最终训练的损失函数，∑表示求和，k∈{1,…6}， 和分别是作用在初始显著性预测分支第k层、边缘细化显著性预测模块第k层和最终的显著性预测结果上的部分交叉熵损失，/> 和/>分别是作用在初始显著性预测分支第k层、边缘细化显著性预测模块第k层和最终的显著性预测结果上的平滑损失，/>是作用在边缘检测分支第k层上的交叉熵损失。 和/>的具体计算公式如下：

S_k′＝σ(S_k)

E_k′＝σ(E_k)

其中σ表示Sigmoid激活函数，和/>分别表示初始显著性预测分支中第k层的初始显著性特征和第k层的初始显著性预测图，S_k和S_k′分别表示边缘细化显著性预测模块中第k层的边缘细化的显著性特征和第k层的边缘细化的显著性预测图，Y表示输入的涂鸦标注图，U表示涂鸦标注图Y中的涂鸦区域，(i,j)∈U表示位于涂鸦区域中的像素，log表示log函数，S_final表示最终显著性预测结果图，Δ表示求导，/>ΔI[i,j]、ΔG[i,j和ΔS_final[i,j]分别表示对第k层的初始显著性预测图、第k层的边缘细化的显著性预测图、彩色图像、深度图和最终显著性预测结果图求导后的图，|·|表示取绝对值，e为常数，α为固定参数，/>定义为/>以避免结果为0，E_k和E_k′分别表示边缘检测分支中第k层的边缘特征和第k层的边缘图，E表示输入的边缘图，[i,j]表示图像的第i行和第j列像素，Y[i,j]、/>S_final[i,j]、/>ΔS′_k、ΔI[i,j]、ΔG[i,j]、E[i,j]和E_k′[i,j]分别表示图像Y、/>S′_k、S_final、/>ΔS′_k、ΔI、ΔG、E和E_k′的第i行和第j列像素处的值；

步骤S43：以批次为单位重复上述步骤S2至步骤S4，直至步骤S4中计算得到的损失函数值收敛并趋于稳定，保存网络参数，完成基于边缘检测辅助的弱监督RGBD图像显著性检测网络的训练过程，得到基于边缘检测辅助的弱监督RGBD图像显著性检测模型。

与现有技术相比，本发明具有以下有益效果：充分利用彩色图像和深度图相结合提供的优势的同时，规避深度图带来的问题，实现性能较好的弱监督RGBD图像显著性检测。

附图说明

图1是本发明优选实施例的实现流程图。

图2是本发明优选实施例中一组RGBD图像和其对应的涂鸦标注图示例。

图3是本发明优选实施例中网络模型结构图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式；如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

本发明提供一种基于边缘检测辅助的弱监督RGBD图像显著性检测方法，如图1所示，包括以下步骤：

步骤S1：建立包含涂鸦标注图的弱监督RGBD图像显著性检测训练集，并进行数据增强；

步骤S2：设计多层次、多任务的弱监督RGBD图像显著性检测网络，使用该网络得到多尺度边缘细化的显著性预测结果；

步骤S3：设计融合模块，使用该模块融合多尺度边缘细化的显著性预测结果，得到最终的显著性预测结果；

步骤S4：设计基于边缘检测辅助的弱监督RGBD图像显著性检测网络，并设计损失函数优化网络参数，得到训练好的基于边缘检测辅助的弱监督RGBD图像显著性检测模型；

步骤S5：将待测RGBD图像输入训练好的基于边缘检测辅助的弱监督RGBD图像显著性检测模型中，得到显著性检测结果。

进一步地，步骤S1具体包括以下步骤：

步骤S11：划分数据集，按照一定比例划分为训练集和测试集；

步骤S12：对于训练集，在“Adobe Photoshop 2020”软件中使用画笔工具对每组RGBD图像进行涂鸦标注，具体地说，用黑色涂鸦标注部分显著性前景区域，用白色涂鸦部分标注背景区域，无标注区域则用灰色表示；

步骤S13：对训练集中的图像进行数据增强，具体操作包括加入噪声、随机裁剪、翻转图像，并对训练集和测试集中每组RGBD图像的彩色图像和深度图进行归一化，以突出前景区域。

进一步地，步骤S2具体包括以下步骤：

步骤S21：首先，分别将彩色图像和深度图输入两支VGG16网络中，接着将5个卷积层Conv1，Conv2，Conv3，Conv4和Conv5和池化层Pool5提取到的6个层次的特征分别作为多层次彩色图像特征和多层次深度图特征/>

步骤S22：设计初始显著性预测分支，在6个层次中的每个层次先拼接彩色图像特征和深度图特征/>接着将拼接特征送入跨模态特征融合模块CFF进行彩色图像特征和深度图特征的融合；跨模态特征融合模块由一个3×3卷积层、通道注意力、空间注意力和一个3×3卷积层串联组成。最后融合后的特征再通过卷积核为1的卷积层将其降至1维，该过程用公式表示如下：

其中表示第k层的初始显著性特征，/>和/>分别表示第k层的彩色图像特征和深度图特征，⊕表示拼接操作，F_CFF表示初始显著性预测分支中的跨模态特征融合模块，Conv_1×1代表卷积核为1的卷积层；

步骤S23：设计边缘检测分支，得到边缘特征E_k的过程与初始显著性预测分支相同，公式如下：

其中E_k表示第k层的边缘特征，和/>分别表示第k层的彩色图像特征和深度图特征，⊕表示拼接操作，F_CFF′表示边缘检测分支中的跨模态特征融合模块，Conv_1×1代表卷积核为1的卷积层。

步骤S24：设计边缘细化显著性预测模块；在6个层次中的每个层次先拼接初始显著性特征和边缘特征E_k，接着通过卷积核为1的卷积层将拼接特征的维度降至1维，公式如下：

其中S_k表示第k层的边缘细化的显著性特征，和E_k分别表示第k层的初始显著性特征和边缘特征，⊕表示拼接操作，Conv_1×1代表卷积核为1的卷积层。

进一步地，步骤S3具体包括以下步骤：

步骤S31：设计融合模块；设计融合模块，逐层将深层特征整合至浅层特征，具体过程用公式表示如下：

S_final＝σ(Conv_3×3(H₁))

其中H_k表示第k层的聚合特征，S_k表示第k层的边缘细化的显著性特征，F_up表示上采样，Conv_3×3代表卷积核为3的卷积层，σ表示Sigmoid激活函数，S_final表示最终的显著性预测结果。

进一步地，步骤S4具体包括以下步骤：

步骤S41：组合步骤S2设计的多层次、多任务的弱监督RGBD图像显著性检测网络和步骤S3设计的融合模块，得到基于边缘检测辅助的弱监督RGBD图像显著性检测网络；

步骤S42：设计基于边缘检测辅助的弱监督RGBD图像显著性检测网络的损失函数如下：

其中L表示最终训练的损失函数，∑表示求和，k∈{1,…6}， 和分别是作用在初始显著性预测分支第k层、边缘细化显著性预测模块第k层和最终的显著性预测结果上的部分交叉熵损失，/> 和/>分别是作用在初始显著性预测分支第k层、边缘细化显著性预测模块第k层和最终的显著性预测结果上的平滑损失，/>是作用在边缘检测分支第k层上的交叉熵损失。 和/>的具体计算公式如下：

S_k′＝σ(S_k)

E_k′＝σ(E_k)

其中σ表示Sigmoid激活函数，和/>分别表示初始显著性预测分支中第k层的初始显著性特征和第k层的初始显著性预测图，S_k和S_k′分别表示边缘细化显著性预测模块中第k层的边缘细化的显著性特征和第k层的边缘细化的显著性预测图，Y表示输入的涂鸦标注图，U表示涂鸦标注图Y中的涂鸦区域，(i,j)∈U表示位于涂鸦区域中的像素，log表示log函数，S_final表示最终显著性预测结果图，Δ表示求导，/>ΔS′_k、ΔI[i,j]、ΔG[i,j和ΔS_final[i,j]分别表示对第k层的初始显著性预测图、第k层的边缘细化的显著性预测图、彩色图像、深度图和最终显著性预测结果图求导后的图，|·|表示取绝对值，e为常数，α为固定参数，/>定义为/>以避免结果为0，E_k和E_k′分别表示边缘检测分支中第k层的边缘特征和第k层的边缘图，E表示输入的边缘图，[i,j]表示图像的第i行和第j列像素，Y[i,j]、/>S′_k[i,j]、S_final[i,j]、/>ΔS′_k、ΔI[i,j]、ΔG[i,j]、E[i,j]和E_k′[i,j]分别表示图像Y、/>S′_k、S_final、/>ΔS′_k、ΔI、ΔG、E和E_k′的第i行和第j列像素处的值；

步骤S43：以批次为单位重复上述步骤S2至步骤S4，直至步骤S4中计算得到的损失函数值收敛并趋于稳定，保存网络参数，完成基于边缘检测辅助的弱监督RGBD图像显著性检测网络的训练过程，得到基于边缘检测辅助的弱监督RGBD图像显著性检测模型。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (5)

1.基于边缘检测辅助的弱监督RGBD图像显著性检测方法，其特征在于，包括以下步骤：

步骤S1：建立包含涂鸦标注图的弱监督RGBD图像显著性检测训练集，并进行数据增强；

步骤S2：设计多层次、多任务的弱监督RGBD图像显著性检测网络，使用该网络得到多尺度边缘细化的显著性预测结果；

步骤S3：设计融合模块，使用该模块融合多尺度边缘细化的显著性预测结果，得到最终的显著性预测结果；

步骤S4：设计基于边缘检测辅助的弱监督RGBD图像显著性检测网络，并设计损失函数优化网络参数，得到训练好的基于边缘检测辅助的弱监督RGBD图像显著性检测模型；

步骤S5：将待测RGBD图像输入训练好的基于边缘检测辅助的弱监督RGBD图像显著性检测模型中，得到显著性检测结果。

2.根据权利要求1所述的基于边缘检测辅助的弱监督RGBD图像显著性检测方法，其特征在于，所述步骤S1具体为：

步骤S11：划分数据集，按照一定比例划分为训练集和测试集；

步骤S12：对于训练集，在“Adobe Photoshop 2020”软件中使用画笔工具对每组RGBD图像进行涂鸦标注，具体地说，用黑色涂鸦标注部分显著性前景区域，用白色涂鸦部分标注背景区域，无标注区域则用灰色表示；

步骤S13：对训练集中的图像进行数据增强，具体操作包括加入噪声、随机裁剪、翻转图像，并对训练集和测试集中每组RGBD图像的彩色图像和深度图进行归一化，以突出前景区域。

3.根据权利要求1所述的基于边缘检测辅助的弱监督RGBD图像显著性检测方法，其特征在于，所述步骤S2具体为：

步骤S21：首先，分别将彩色图像和深度图输入两支VGG16网络中，接着将5个卷积层Conv1，Conv2，Conv3，Conv4和Conv5和池化层Pool5提取到的6个层次的特征分别作为多层次彩色图像特征和多层次深度图特征/>

步骤S22：设计初始显著性预测分支，在6个层次中的每个层次先拼接彩色图像特征和深度图特征/>接着将拼接特征送入跨模态特征融合模块CFF进行彩色图像特征和深度图特征的融合；跨模态特征融合模块由一个3×3卷积层、通道注意力、空间注意力和一个3×3卷积层串联组成；最后融合后的特征再通过卷积核为1的卷积层将其降至1维，该过程用公式表示如下：

其中表示第k层的初始显著性特征，/>和/>分别表示第k层的彩色图像特征和深度图特征，/>表示拼接操作，F_CFF表示初始显著性预测分支中的跨模态特征融合模块，Conv_1×1代表卷积核为1的卷积层；

步骤S23：设计边缘检测分支，得到边缘特征E_k的过程与初始显著性预测分支相同，公式如下：

其中E_k表示第k层的边缘特征，和/>分别表示第k层的彩色图像特征和深度图特征，/>表示拼接操作，F_CFF′表示边缘检测分支中的跨模态特征融合模块，Conv_1×1代表卷积核为1的卷积层；

步骤S24：设计边缘细化显著性预测模块；在6个层次中的每个层次先拼接初始显著性特征和边缘特征E_k，接着通过卷积核为1的卷积层将拼接特征的维度降至1维，公式如下：

其中S_k表示第k层的边缘细化的显著性特征，和E_k分别表示第k层的初始显著性特征和边缘特征，/>表示拼接操作，Conv_1×1代表卷积核为1的卷积层。

4.根据权利要求1所述的基于边缘检测辅助的弱监督RGBD图像显著性检测方法，其特征在于，所述步骤S3具体为：

步骤S31：设计融合模块；设计融合模块，逐层将深层特征整合至浅层特征，具体过程用公式表示如下：

S_final＝σ(Conv_3×3(H₁))

其中H_k表示第k层的聚合特征，S_k表示第k层的边缘细化的显著性特征，F_up表示上采样，Conv_3×3代表卷积核为3的卷积层，σ表示Sigmoid激活函数，S_final表示最终的显著性预测结果。

5.根据权利要求1所述的基于边缘检测辅助的弱监督RGBD图像显著性检测方法，其特征在于，所述步骤S4具体为：

步骤S41：组合步骤S2设计的多层次、多任务的弱监督RGBD图像显著性检测网络和步骤S3设计的融合模块，得到基于边缘检测辅助的弱监督RGBD图像显著性检测网络；

步骤S42：设计基于边缘检测辅助的弱监督RGBD图像显著性检测网络的损失函数如下：

其中L表示最终训练的损失函数，∑表示求和，k∈{1,…6}， 和/>分别是作用在初始显著性预测分支第k层、边缘细化显著性预测模块第k层和最终的显著性预测结果上的部分交叉熵损失，/> 和/>分别是作用在初始显著性预测分支第k层、边缘细化显著性预测模块第k层和最终的显著性预测结果上的平滑损失，是作用在边缘检测分支第k层上的交叉熵损失； 和/>的具体计算公式如下：

S_k′＝σ(S_k)

E_k′＝σ(E_k)

其中σ表示Sigmoid激活函数，和/>分别表示初始显著性预测分支中第k层的初始显著性特征和第k层的初始显著性预测图，S_k和S_k′分别表示边缘细化显著性预测模块中第k层的边缘细化的显著性特征和第k层的边缘细化的显著性预测图，Y表示输入的涂鸦标注图，U表示涂鸦标注图Y中的涂鸦区域，(i,j)∈U表示位于涂鸦区域中的像素，log表示log函数，S_final表示最终显著性预测结果图，Δ表示求导，/>ΔS′_k、ΔI[i,j]、ΔG[i,j]和ΔS_final[i,j]分别表示对第k层的初始显著性预测图、第k层的边缘细化的显著性预测图、彩色图像、深度图和最终显著性预测结果图求导后的图，|·|表示取绝对值，e为常数，α为固定参数，/>定义为/>以避免结果为0，E_k和E_k′分别表示边缘检测分支中第k层的边缘特征和第k层的边缘图，E表示输入的边缘图，[i,j]表示图像的第i行和第j列像素，Y[i,j]、/>S′_k[i,j]、S_final[i,j]、/>ΔS′_k、ΔI[i,j]、ΔG[i,j]、E[i,j]和E_k′[i,j]分别表示图像Y、/>S_final、/>ΔS′_k、ΔI、ΔG、E和E_k′的第i行和第j列像素处的值；

步骤S43：以批次为单位重复上述步骤S2至步骤S4，直至步骤S4中计算得到的损失函数值收敛并趋于稳定，保存网络参数，完成基于边缘检测辅助的弱监督RGBD图像显著性检测网络的训练过程，得到基于边缘检测辅助的弱监督RGBD图像显著性检测模型。