CN109191426A - 一种平面图像显著性检测方法 - Google Patents

一种平面图像显著性检测方法 Download PDF

Info

Publication number
CN109191426A
CN109191426A CN201810820639.2A CN201810820639A CN109191426A CN 109191426 A CN109191426 A CN 109191426A CN 201810820639 A CN201810820639 A CN 201810820639A CN 109191426 A CN109191426 A CN 109191426A
Authority
CN
China
Prior art keywords
layer
convolutional
path
network model
sampling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810820639.2A
Other languages
English (en)
Inventor
桑庆兵
殷莹
李朝锋
过榴晓
吴小俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangnan University
Original Assignee
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangnan University filed Critical Jiangnan University
Priority to CN201810820639.2A priority Critical patent/CN109191426A/zh
Publication of CN109191426A publication Critical patent/CN109191426A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种平面图像显著性检测方法，其可以输出准确度更高的显著图，方法更简单，易于理解，适于应用。其包括以下步骤：S1：构件网络模型；S2：训练网络模型，得到训练后的网络模型；S3：将图像数据输入到S2中得到的训练后的网络模型，进行显著性检测，输出显著图，用于后续图像处理；在步骤S1中网络模型的结构包括一个左侧的收缩路径和一个右侧的扩张路径；收缩路径用来捕捉上下文，其包括一个输入层、多个卷积层和池化层；由输入层输入的被检测图像传入第一个卷积层进行卷积操作；每两个连续的卷积层之后跟着一个池化层；扩张路径用来精确定位，其包括多个上采样层和卷积层、一个输出层；每个上采样层之后跟着两个连续的卷积层。

Description

一种平面图像显著性检测方法
技术领域
本发明涉及计算机视觉与数字图像处理技术领域，具体为一种平面图像显著性检测方法。
背景技术
显著性检测作为图像处理的一个预处理过程，被广泛应用于图像质量评价、目标跟踪、目标检测、图像分割等领域。例如：显著性检测在图像质量评价中的应用主要有两个方面，在特征提取阶段，计算出待评价图像的显著性区域，作为待评价图像的一个特征；在特征融合阶段，将显著图中像素的值作为各特征图融合的权值；显著性检测方法通常被分为两类：自上而下和自底向上，由于自底向上的方法不需要人工注释作为先验知识，所以目前的研究都集中在自底向上的方法上；现有研究中，用于显著性检测的方法很多，如：Frequency-tuned salient region detection （以下简称FT）、Saliency detection viagraph-based manifold ranking （以下简称GMR）、Hierarchical saliency detection（以下简称HS），然而这些算法在具体应用中，当显著性物体出现在图像边缘、或者当显著物体和部分背景信息相似时，容易丢失目标信息，会出现准确性不够的问题。
发明内容
为了解决显著性检测方法中输出的显著图准确性不够的问题，本发明提出一种平面图像显著性检测方法，其可以输出准确度更高的显著图，方法更简单，易于理解，适于应用。
本发明的技术方案是这样的：一种平面图像显著性检测方法，其包括以下步骤：
S1：构件网络模型；
S2：训练所述网络模型，得到训练后的网络模型；
S3：将图像数据输入到S2中得到的所述训练后的网络模型，进行显著性检测，输出显著图，用于后续图像处理；
其特征在于：在步骤S1中所述网络模型的结构包括一个左侧的收缩路径和一个右侧的扩张路径；
所述收缩路径用来捕捉上下文，其包括一个输入层、多个卷积层和池化层；由所述输入层输入的被检测图像传入第一个所述卷积层进行卷积操作；每两个连续的所述卷积层之后跟着一个所述池化层，每个所述卷积层后都跟着一个激活函数；
所述扩张路径用来精确定位，其包括多个上采样层和所述卷积层、一个输出层；每个所述上采样层之后跟着两个连续的所述卷积层，每个所述卷积层后都跟着一个所述激活函数；
所述收缩路径中最后一个所述池化层的池化操作完成后得到的特征图，再输入两个所述卷积层，进行两次连续的所述卷积操作，然后把得到的特征图输入进所述扩张路径的第一个所述上采样层进行上采样操作；
所述扩张路径中的所述上采样层的个数与所述收缩路径中的所述池化层的个数相同；
所述扩张路径中的所述卷积层的个数与所述收缩路径中的所述卷积层的个数相同；
每次所述上采样层中的所述上采样操作之后输出的特征图，需要与同级的所述收缩路径中的所述池化层输出的特征图连接，然后再输入所述扩张路径中后续的所述卷积层进行所述卷积操作；
所述输出层之前是一个反卷积层，所述反卷积层将前一个所述卷积层输出的特征图进行反卷积操作，再进行裁剪、归一化操作后，通过所述输出层输出所需的显著图。
其进一步特征在于：
所述反卷积层之前的两个所述卷积层的卷积核的尺寸设置为1×1，其余所述卷积层的卷积核的尺寸全部设置为3×3；
所述池化层为2×2的步长为2的最大池化操作；
所述激活函数为Leaky Rectified Linear Units函数，计算公式为：
a为常数；
所述归一化操作中使用Sigmoid函数将显著图归一化到[0,1]；
在步骤S2中，训练网络模型过程中，对所述输出层输出的显著图，通过函数Euclideanloss进行显著性回归分析。
本发明提供的技术方案中的网络模型，本网络模型中由收缩路径和扩张路径组成，收缩路径用于获取上下文信息，扩张路径用于精确的定位，且两条路径相互对称，形成U形；在本方法中使用反卷积层生成显著图，对特征图进行反卷积操作，再对显著图进行裁剪和归一化操作，则得到最终输出的是人眼感兴趣的物体，使本网络模型更适用于显著性测检测方法；因为池化操作会丢失图像信息和降低图像分辨率且是不可逆的操作，影响特征图的最终精确度，右半部分在做卷积操作之前，将左半部分同级的池化操作输出的分辨率比较高的特征图与上采样操作之后输出特征图相连接起来，高分辨率的特征图与更抽象的特征图相结合，可以补足一些图片的信息，用以得到更准确的显著图。
附图说明
图1为本发明的网络模型结构示意图。
具体实施方式
本发明包括的技术方案包括以下步骤：
S1：构件网络模型；
S2：使用THUS数据集训练网络模型，得到训练后的网络模型；
S3：将图像数据输入到S2中得到的训练后的网络模型，进行显著性检测，输出显著图，用于后续图像处理；
如图1所示，S1中的网络模型是基于Convolutional Networks for Biomedical ImageSegmentation（以下简称U-Net）网络模型而设计的，其结构包括一个左侧的收缩路径和一个右侧的扩张路径；本网络模型属于端到端的网络，输入是一幅图像，输出也是一幅图像。
在本网络图形中，收缩路径用来捕捉上下文，其包括一个输入层、多个卷积层和池化层；由输入层输入的被检测图像传入第一个卷积层进行卷积操作；每两个连续的卷积层之后跟着一个池化层，每个卷积层后都跟着一个激活函数；收缩路径中的卷积操作的卷积核设置为3×3；池化操作为2×2的步长为2的最大池化操作。
激活函数为Leaky Rectified Linear Units(以下简称L-ReLU)函数，计算公式为：
在L-ReLU函数中，当输入x>0输出为x，当x<0时输出为a*x ，a为常数，本实施例中取0.1；原U-net网络中的激活函数采用Rectified Linear Unit（以下简称ReLU）函数，ReLU函数对大梯度激活后将不再更新，L-ReLU可以解决这个问题，使得轴心点周围的值得以保留，激活函数L-ReLU可以大大提高训练速度，并且可以减小过拟合的可能，使得本发明的性能更好。
池化层、卷积层的个数在构件网络之前根据实际情况进行设置，如图1所示的本实施例中设置4个池化层，以及对应的4个上采样层。
扩张路径用来精确定位，其包括多个上采样层和卷积层、一个输出层；每个上采样层之后跟着两个连续的卷积层，每个卷积层后都跟着一个激活函数；
收缩路径中最后一个池化层的池化操作完成后，再输入两个卷积层，进行两次连续的卷积操作，然后把得到的特征图输入进扩张路径的第一个上采样层进行上采样操作；
扩张路径中的上采样层的个数与收缩路径中的池化层的个数相同；
扩张路径中的卷积层的个数与收缩路径中的卷积层的个数相同；
每次上采样层中的上采样操作之后输出的特征图，与同级的收缩路径中的池化层输出的特征图连接，然后再输入扩张路径中后续的卷积层进行卷积操作；收缩路径中池化层输出的分别率比较高的特征图经过复制和裁剪（Copy and Crop）之后，与上采样操作之后输出的特征图结合，高分辨率的特征图与更抽象的特征图相结合，可以补足一些图片的信息，得到定位更准确的特征图；
由于本方法提供的技术方案的目标是从图像中找到人眼感兴趣的物体，因此将原始U-Net网络的最后一个卷积层改为反卷积层，即输出层之前是一个反卷积层，反卷积层将前一个卷积层输出的特征图进行反卷积操作，再进行裁剪、使用Sigmoid函数将显著图归一化到[0,1]后，通过输出层输出所需的显著图；
反卷积层之前的两个卷积层的卷积核的尺寸设置为1×1，其余卷积层的卷积核的尺寸全部设置为3×3；
通过上述的上采样操作和反卷积操作，特征图的尺寸被还原，使其与原始被检测图像的尺寸相同，使输出图像与原始图像更接近，确认起来更加直观。
在步骤S2中，训练网络模型过程中采用THUS数据集训练模型，对通过输出层输出的显著图，使用函数Euclidean loss进行显著性回归分析，从数据中学习显著性。
为了测试本发明的技术方案的效果，通过两个公共数据集ASD和ECSSD，以及两种评测指标来进行评估：
(1)Area Under roc Curve (以下简称AUC)，评估显著物体检测性能；
(2)Mean absolute error(以下简称MAE)，表示模型输出的显著图与基准图像（Ground-truth） 之间的平均绝对误差；
AUC和MAE的值在0-1的范围之内，AUC值越接近1，说明性能越好，MAE值越接近0，说明显著性越好。最终测试结果显示在表1，从表中可以看出，跟传统的几个方法相比，本发明提出的方法在ASD和ECSSD数据集上，性能和显著性目标都非常好，具有与基准图像（Ground-truth）更高的相似度。
表1 是各个模型在ASD和ECSSD数据集上的性能指标。
使用本发明的技术方案后，能够利用较少的图像端对端进行训练，与其他的神经网络模型相比，在本发明的网络模型中扩张路径中的池化操作被上采样操作替代，增加了特征图的分辨率，将收缩路径的高分辨率特征图与上采样操作输出的特征图结合，基于结合后的图像信息，之后的连续的卷积操可以聚集更精准的输出；通过评估的结果可以知道，跟传统的几个方法相比，本发明提出的方法具有与基准图像（Ground-truth）更高的相似度。

Claims (6)

1.一种平面图像显著性检测方法，其包括以下步骤：
S1：构件网络模型；
S2：训练所述网络模型，得到训练后的网络模型；
S3：将图像数据输入到S2中得到的所述训练后的网络模型，进行显著性检测，输出显著图，用于后续图像处理；
其特征在于：在步骤S1中所述网络模型的结构包括一个左侧的收缩路径和一个右侧的扩张路径；
所述收缩路径用来捕捉上下文，其包括一个输入层、多个卷积层和池化层；由所述输入层输入的被检测图像传入第一个所述卷积层进行卷积操作；每两个连续的所述卷积层之后跟着一个所述池化层，每个所述卷积层后都跟着一个激活函数；
所述扩张路径用来精确定位，其包括多个上采样层和所述卷积层、一个输出层；每个所述上采样层之后跟着两个连续的所述卷积层，每个所述卷积层后都跟着一个所述激活函数；
所述收缩路径中最后一个所述池化层的池化操作完成后得到的特征图，再输入两个所述卷积层，进行两次连续的所述卷积操作，然后把得到的特征图输入进所述扩张路径的第一个所述上采样层进行上采样操作；
所述扩张路径中的所述上采样层的个数与所述收缩路径中的所述池化层的个数相同；
所述扩张路径中的所述卷积层的个数与所述收缩路径中的所述卷积层的个数相同；
每次所述上采样层中的所述上采样操作之后输出的特征图，需要与同级的所述收缩路径中的所述池化层输出的特征图连接，然后再输入所述扩张路径中后续的所述卷积层进行所述卷积操作；
所述输出层之前是一个反卷积层，所述反卷积层将前一个所述卷积层输出的特征图进行反卷积操作，再进行裁剪、归一化操作后，通过所述输出层输出所需的显著图。
2.根据权利要求1所述一种平面图像显著性检测方法，其特征在于：所述反卷积层之前的两个所述卷积层的卷积核的尺寸设置为1×1，其余所述卷积层的卷积核的尺寸全部设置为3×3。
3.根据权利要求1所述一种平面图像显著性检测方法，其特征在于：所述池化层为2×2的步长为2的最大池化操作。
4.根据权利要求1所述一种平面图像显著性检测方法，其特征在于：所述激活函数为Leaky Rectified Linear Units函数，计算公式为：
a为常数。
5.根据权利要求1所述一种平面图像显著性检测方法，其特征在于：所述归一化操作中使用Sigmoid函数将显著图归一化到[0,1] 。
6.根据权利要求1所述一种平面图像显著性检测方法，其特征在于：在步骤S2中，训练网络模型过程中，对所述输出层输出的显著图，通过函数Euclidean loss进行显著性回归分析。
CN201810820639.2A 2018-07-24 2018-07-24 一种平面图像显著性检测方法 Pending CN109191426A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810820639.2A CN109191426A (zh) 2018-07-24 2018-07-24 一种平面图像显著性检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810820639.2A CN109191426A (zh) 2018-07-24 2018-07-24 一种平面图像显著性检测方法

Publications (1)

Publication Number Publication Date
CN109191426A true CN109191426A (zh) 2019-01-11

Family

ID=64936733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810820639.2A Pending CN109191426A (zh) 2018-07-24 2018-07-24 一种平面图像显著性检测方法

Country Status (1)

Country Link
CN (1) CN109191426A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635882A (zh) * 2019-01-23 2019-04-16 福州大学 一种基于多尺度卷积特征提取和融合的显著物体检测方法
CN110910364A (zh) * 2019-11-16 2020-03-24 应急管理部沈阳消防研究所 基于深度神经网络的三切面火场易引发起火电器设备检测方法
CN110946566A (zh) * 2019-12-16 2020-04-03 成都天奥电子股份有限公司 一种基于U-Net网络的心拍分类方法、装置、设备及存储介质
CN111914850A (zh) * 2019-05-07 2020-11-10 百度在线网络技术（北京）有限公司 图片特征提取方法、装置、服务器和介质
CN113327304A (zh) * 2021-05-28 2021-08-31 北京理工大学重庆创新中心 一种基于端到端神经网络的高光谱图像显著图生成方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106296692A (zh) * 2016-08-11 2017-01-04 深圳市未来媒体技术研究院 基于对抗网络的图像显著性检测方法
CN106909924A (zh) * 2017-02-18 2017-06-30 北京工业大学 一种基于深度显著性的遥感影像快速检索方法
CN107229918A (zh) * 2017-05-26 2017-10-03 西安电子科技大学 一种基于全卷积神经网络的sar图像目标检测方法
CN108171701A (zh) * 2018-01-15 2018-06-15 复旦大学 基于u网络和对抗学习的显著性检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106296692A (zh) * 2016-08-11 2017-01-04 深圳市未来媒体技术研究院 基于对抗网络的图像显著性检测方法
CN106909924A (zh) * 2017-02-18 2017-06-30 北京工业大学 一种基于深度显著性的遥感影像快速检索方法
CN107229918A (zh) * 2017-05-26 2017-10-03 西安电子科技大学 一种基于全卷积神经网络的sar图像目标检测方法
CN108171701A (zh) * 2018-01-15 2018-06-15 复旦大学 基于u网络和对抗学习的显著性检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
OLAF RONNEBERGER 等: "U-Net: Convolutional Networks for Biomedical Image Segmentation", 《NAVAB N., HORNEGGER J., WELLS W., FRANGI A. (EDS) MEDICAL IMAGE COMPUTING AND COMPUTER-ASSISTED INTERVENTION – MICCAI 2015. MICCAI 2015. LECTURE NOTES IN COMPUTER SCIENCE》 *
张顺 等: "深度卷积神经网络的发展及其在计算机视觉领域的应用", 《计算机学报》 *
毋立芳 等: "局部聚类分析的FCN-CNN云图分割方法", 《软件学报HTTP://KNS.CNKI.NET/KCMS/DETAIL/11.2560.TP.20171204.0646.010.HTML》 *
田娟秀 等: "医学图像分析深度学习方法研究与挑战", 《自动化学报》 *
肖朝霞 等: "图像语义分割问题研究综述", 《软件导刊》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635882A (zh) * 2019-01-23 2019-04-16 福州大学 一种基于多尺度卷积特征提取和融合的显著物体检测方法
CN109635882B (zh) * 2019-01-23 2022-05-13 福州大学 一种基于多尺度卷积特征提取和融合的显著物体检测方法
CN111914850A (zh) * 2019-05-07 2020-11-10 百度在线网络技术（北京）有限公司 图片特征提取方法、装置、服务器和介质
CN111914850B (zh) * 2019-05-07 2023-09-19 百度在线网络技术（北京）有限公司 图片特征提取方法、装置、服务器和介质
CN110910364A (zh) * 2019-11-16 2020-03-24 应急管理部沈阳消防研究所 基于深度神经网络的三切面火场易引发起火电器设备检测方法
CN110946566A (zh) * 2019-12-16 2020-04-03 成都天奥电子股份有限公司 一种基于U-Net网络的心拍分类方法、装置、设备及存储介质
CN110946566B (zh) * 2019-12-16 2022-06-17 成都天奥电子股份有限公司 一种基于U-Net网络的心拍分类方法、装置、设备及存储介质
CN113327304A (zh) * 2021-05-28 2021-08-31 北京理工大学重庆创新中心 一种基于端到端神经网络的高光谱图像显著图生成方法

Similar Documents

Publication Publication Date Title
Liu et al. Multistage GAN for fabric defect detection
CN109191426A (zh) 一种平面图像显著性检测方法
US10943346B2 (en) Multi-sample whole slide image processing in digital pathology via multi-resolution registration and machine learning
Raza et al. Mimo-net: A multi-input multi-output convolutional neural network for cell segmentation in fluorescence microscopy images
CN107437092B (zh) 基于三维卷积神经网络的视网膜oct图像的分类方法
Fujita et al. Basic investigation on a robust and practical plant diagnostic system
Xie et al. Beyond classification: structured regression for robust cell detection using convolutional neural network
CN112132817B (zh) 一种混合注意力机制的眼底图像视网膜血管分割方法
CN111368690B (zh) 基于深度学习的海浪影响下视频图像船只检测方法及***
CN112884712B (zh) 一种显示面板缺陷分类的方法及相关装置
CN109376767A (zh) 基于深度学习的视网膜oct图像分类方法
CN110852396A (zh) 一种宫颈图像的样本数据处理方法
CN113888412B (zh) 一种用于糖尿病视网膜病变分类的图像超分辨率重建方法
CN110349167A (zh) 一种图像实例分割方法及装置
Thanikkal et al. Advanced plant leaf classification through image enhancement and canny edge detection
CN109685830A (zh) 目标跟踪方法、装置和设备及计算机存储介质
Shete et al. TasselGAN: An application of the generative adversarial model for creating field-based maize tassel data
CN107564007A (zh) 融合全局信息的场景分割修正方法与***
CN111209873A (zh) 一种基于深度学习的高精度人脸关键点定位方法及***
CN117392496A (zh) 基于红外与可见光图像融合的目标检测方法及***
Li et al. Image segmentation based on improved unet
CN113537119B (zh) 基于改进Yolov4-tiny的输电线路连接部件检测方法
CN108764287B (zh) 基于深度学习和分组卷积的目标检测方法及***
CN114492634A (zh) 一种细粒度装备图片分类识别方法及***
Liang et al. Image segmentation and recognition for multi-class chinese food

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190111

RJ01 Rejection of invention patent application after publication