CN110427980B - 融合低层和高层特征的显著物体存在性判定方法 - Google Patents

融合低层和高层特征的显著物体存在性判定方法 Download PDF

Info

Publication number
CN110427980B
CN110427980B CN201910623429.9A CN201910623429A CN110427980B CN 110427980 B CN110427980 B CN 110427980B CN 201910623429 A CN201910623429 A CN 201910623429A CN 110427980 B CN110427980 B CN 110427980B
Authority
CN
China
Prior art keywords
features
feature
image
level
salient object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910623429.9A
Other languages
English (en)
Other versions
CN110427980A (zh
Inventor
张金霞
李怡航
魏海坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201910623429.9A priority Critical patent/CN110427980B/zh
Publication of CN110427980A publication Critical patent/CN110427980A/zh
Application granted granted Critical
Publication of CN110427980B publication Critical patent/CN110427980B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种融合低层和高层特征的显著物体存在性判定方法，包括以下步骤：将待处理图像的不同通道特征作为一部分低层特征；在不同通道上进行灰度信息统计，基于统计结果计算图像各像素的对比度，作为一部分低层特征；提取图像的纹理特征，作为一部分高层特征；提取图像各区域的似物性特征，作为一部分高层特征；进行特征降维；进行特征融合，得到显著物体存在性判定结果。本发明提取具有代表性的低层和高层特征，并有效进行特征降维和融合，有助于在不降低性能的前提下，减少显著物体存在性判定的用时。

Description

融合低层和高层特征的显著物体存在性判定方法
技术领域
本发明涉及一种融合低层和高层特征的显著物体存在性判定方法,属于图像处理技术领域。
背景技术
显著目标检测可以有效检测图片中显著物体的位置和大小，被广泛应用于物体检测、图像压缩等多种领域。然而现有的显著目标检测算法大多假设自然场景中包含一个或多个显著物体，没有考虑到不存在显著物体的情况。这种假设导致显著目标检测模型的准确度降低。因此，显著物体存在性判定成为了一个重要的课题。
显著物体存在性判定是显著目标检测的预处理环节，通过对输入图片是否存在显著物体进行判断，选择出存在显著物体的图片进行显著目标检测，保证了显著目标检测的准确率。显著物体存在性判定作为一个预处理环节，除了对判别的准确率有要求，更需要保证较快的处理速度，保证整个显著目标检测进程的效率。
在一些研究中，显著物体存在问题被认为是基于最小图片的显著特征的标准二元分类问题。在一些研究中，学者将显著物体存在问题与其他一些问题进行同步解决，如显著目标个数和显著对象检测。
但是现有的算法依旧存在一定不足。首先，现有先进算法大多利用神经网络对大量样本进行训练，消耗的时间较长，且不利于在现有框架上进一步改进。另外，作为显著物体检测的预处理环节，显著物体存在性判定需要尽可能降低运算复杂度，节省运算所需的时间。然而为了得到更加准确的判定结果，现有算法均选择提取极多的特征，这将大大减缓整个工程的进程。
发明内容
本发明的目的在于解决现有技术中用时较长的不足，提供一种融合低层和高层特征的显著物体存在性判定方法。
为达到上述目的，本发明采用的方法是：一种融合低层和高层特征的显著物体存在性判定方法，依次包括以下步骤：
S1：提取输入图像不同通道的特征，作为一部分低层特征；
S2：在不同通道的特征图上，统计灰度值信息；基于统计结果，计算各像素与图像其他区域的对比度值，作为一部分低层特征；
S3：提取图像的纹理，作为一部分高层特征；
S4：提取图像的似物性特征，作为一部分高层特征；
S5：将上述具有代表性的特征进行特征降维；
S6：将降维后的特征进行融合，得到输入图像中显著物体存在性判定结果。
进一步的，所述步骤S1中，提取输入图像的亮度通道、红色通道、绿色通道和蓝色通道的特征图，作为一部分的低层特征。
进一步的，所述步骤S2中，基于直方图统计各灰度值在图像中所占的比例：
Figure BDA0002126270460000021
上式中，j∈[0,255]，表示灰度值。Hj表示灰度值为j的像素点的统计个数。m表示图像的宽度，n表示图像的长度。Pj表示灰度值为j的像素点在图像中所占的比例。
进一步的，所述步骤S2中，基于灰度值统计信息，计算各像素点的对比度值：
Figure BDA0002126270460000022
上式中，i,j∈[0,255]，表示灰度值。Ci表示灰度值为i的像素点的对比度值。Pj表示灰度值为j的像素点在图像中所占的比例。D(i,j)表示灰度值i和灰度值j之间的距离差。所计算得到的对比度值作为一部分低层特征。
进一步的，所述步骤S3中，基于已有的伽柏算法提取图像的纹理特征，作为一部分高层特征。
进一步的，所述步骤S4中，基于已有的似物性算法计算各像素点属于某一物体的可能性，获得似物性特征，作为一部分高层特征。
进一步的，所述步骤S5中，根据已有的主成分分析算法对上述四种具有代表性的特征进行特征降维。
进一步的，所述步骤S6中，根据已有的支持向量机算法对降维后的特征进行融合，获得输入图像中显著物体存在性判定结果。
有益效果：
本发明同时引入具有代表性的低层特征与高层特征，保证特征多元化；选取数目更少但是更具代表性的特征，提高了算法的运行速度；采用SVM对特征进行融合并对图片进行分类，增加算法的可读性和提升空间。本发明与4篇论文中的先进算法在三个公开数据集上进行了实验比较，结果显示本发明在识别的准确度上基本与现有的先进算法持平，而处理速度上明显优于其他算法，大大提升了处理效率。
附图说明
图1为实施例的整体流程示意图。
具体实施方式
下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。
如图1所示，本实施例的融合低层和高层特征的显著物体存在性判定方法，依次包括以下步骤：
S1：提取输入图像不同通道的特征，作为一部分低层特征；
S2：在不同通道的特征图上，统计灰度值信息；基于统计结果，计算各像素与图像其他区域的对比度值，作为一部分低层特征；
S3：提取图像的纹理，作为一部分高层特征；
S4：提取图像的似物性特征，作为一部分高层特征；
S5：将上述具有代表性的特征进行特征降维；
S6：将降维后的特征进行融合，得到输入图像中显著物体存在性判定结果。
在本实施例中，所述步骤S1中，提取输入图像的亮度通道、红色通道、绿色通道和蓝色通道的特征图，作为一部分的低层特征。
在本实施例中，所述步骤S2中，基于直方图统计各灰度值在图像中所占的比例：
Figure BDA0002126270460000031
在本实施例中，j∈[0,255]，表示灰度值。Hj表示灰度值为j的像素点的统计个数。m表示图像的宽度，n表示图像的长度。Pj表示灰度值为j的像素点在图像中所占的比例。
在本实施例中，所述步骤S2中，基于灰度值统计信息，计算各像素点的对比度值：
Figure BDA0002126270460000032
在本实施例中，i,j∈[0,255]，表示灰度值。Ci表示灰度值为i的像素点的对比度值。Pj表示灰度值为j的像素点在图像中所占的比例。D(i,j)表示灰度值i和灰度值j之间的距离差。所计算得到的对比度值作为一部分低层特征。
在本实施例中，所述步骤S3中，基于已有的伽柏算法提取图像的纹理特征，作为一部分高层特征。
在本实施例中，所述步骤S4中，基于已有的似物性算法计算各像素点属于某一物体的可能性，获得似物性特征，作为一部分高层特征。
在本实施例中，所述步骤S5中，根据已有的主成分分析算法对上述四种具有代表性的特征进行特征降维。
在本实施例中，所述步骤S6中，根据已有的支持向量机算法对降维后的特征进行融合，获得输入图像中显著物体存在性判定结果。
此处，基于判定准确率在JSOD、MSRA-B和ECSSD数据集上进行性能比较，如表1所示。本发明和4种当前最好的显著物体存在性判定方法进行了性能对比。这4种方法分别是：Hou方法[出自Qibin Hou,Ming-Ming Cheng,Xiaowei Hu,et al,Deeply SupervisedSalient Object Detection with Short Connections.The IEEE Conference onComputer Vision and Pattern Recognition(CVPR),2017,pp.3203-3212]、Wang方法[出自Peng Wang,Jingdong Wang,Gang Zeng,et al,Salient Object Detection forSearched Web Images via Global Saliency,2012IEEE Conference on ComputerVision and Pattern Recognition.10.1109/CVPR.2012.6248054]、Zhang方法[出自Jianming Zhang,Shugao Ma,Mehrnoosh Sameki,Stan Sclaroff,et al,Salient ObjectSubitizing.The IEEE Conference on Computer Vision and Pattern Recognition(CVPR),2015,pp.4045-4054]、Jiang方法[出自Huaizu Jiang,et al,Weakly SupervisedLearning for Salient Object Detection,Computer Vision and Pattern Recognition(cs.CV),2015,arXiv:1501.07492]。本发明的方法则简称为Ours。JSOD数据集共包含10000张存在显著物体的图片和6182张不存在显著物体的图片。MSRA-B和ECSSD数据集都只包含了存在显著物体的图片，分别有5000张和1000张图像。
表1.多种方法在三个数据集上的性能比较
准确率(％) Hou Wang Zhang Jiang Ours
JSOD 98.84 90.64 98.51 95.58 92.3
MSRA-B 99.05 89.26 98.1 92.54 91.5
ECSSD 72.5 95.6 95.6 79.9 82.5
此处，进一步将本发明和4种当前最好的显著物体存在性判定方法在处理速度上进行对比，如表2所示。本发明在Inter(R)i5-8250U CPU(1.60GHz)内存8.00GB的PC上进行，算法使用Visual Studio编程，编程语言为C++，在Visual Studio 2017上运行。每张图片特征提取的时间约0.25秒，SVM训练时间约30秒。
Hou方法在一台NVIDIA TITAN X GPU和4.0GHz Intel处理器上运行。每张图片处理的时间小于0.5秒，训练时间为8个小时。Wang方法在一台四核的3.2GHz电脑上运行，使用MATLAB+C代码，在MATLAB软件上进行编程，每张图片的处理时间为4.4秒。Zhang方法在GPU上运行，每张图片特征提取的时间约为0.5秒。Jiang方法在Intel i7CPU(3.4GHz)及32GBRAM的电脑上运行，并使用Matlab代码和C++代码分别进行了测试，该算法每张图片进行特征提取的时间约3秒，使用Matlab代码进行训练的时间为12小时，使用C++代码进行SVM训练的时间为0.5小时。结果显示本发明在识别的准确度上基本与现有的先进算法持平，而处理速度上明显优于其他算法，大大提升了处理效率。
表2各种算法提取特征所用的时间及训练时间比较
Figure BDA0002126270460000051

Claims (6)

1.一种融合低层和高层特征的显著物体存在性判定方法，其特征在于，包括以下步骤：
S1：提取输入图像不同通道的特征，作为一部分低层特征；
S2：在不同通道的特征图上，统计灰度值信息；基于统计结果，计算各像素与图像其他区域的对比度值，作为一部分低层特征；
S3：提取图像的纹理，作为一部分高层特征；
S4：提取图像的似物性特征，作为一部分高层特征；
S5：将上述四种具有代表性的特征进行特征降维；
S6：将降维后的特征进行融合，得到输入图像中显著物体存在性判定结果；
所述步骤S2中，基于直方图统计各灰度值在图像中所占的比例：
Figure FDA0003586411420000011
上式中，j∈[0,255]，表示灰度值，Hj表示灰度值为j的像素点的统计个数，m表示图像的宽度，n表示图像的长度，Pj表示灰度值为j的像素点在图像中所占的比例；
所述步骤S2中，基于灰度值统计信息，计算各像素点的对比度值：
Figure FDA0003586411420000012
上式中，i,j∈[0,255]，表示灰度值，Ci表示灰度值为i的像素点的对比度值，Pj表示灰度值为j的像素点在图像中所占的比例，D(i,j)表示灰度值i和灰度值j之间的距离差，所计算得到的对比度值作为一部分低层特征。
2.根据权利要求1所述的融合低层和高层特征的显著物体存在性判定方法，其特征在于：所述步骤S1中，提取输入图像的亮度通道、红色通道、绿色通道和蓝色通道的特征图，作为一部分的低层特征。
3.根据权利要求1所述的融合低层和高层特征的显著物体存在性判定方法，其特征在于：所述步骤S3中，基于已有的伽柏算法提取图像的纹理特征，作为一部分高层特征。
4.根据权利要求1所述的融合低层和高层特征的显著物体存在性判定方法，其特征在于：所述步骤S4中，基于已有的似物性算法计算各像素点属于某一物体的可能性，获得似物性特征，作为一部分高层特征。
5.根据权利要求1所述的融合低层和高层特征的显著物体存在性判定方法，其特征在于：所述步骤S5中，根据已有的主成分分析算法对上述四种具有代表性的特征进行特征降维。
6.根据权利要求1所述的融合低层和高层特征的显著物体存在性判定方法，其特征在于：所述步骤S6中，根据已有的支持向量机算法对降维后的特征进行融合，获得输入图像中显著物体存在性判定结果。
CN201910623429.9A 2019-07-11 2019-07-11 融合低层和高层特征的显著物体存在性判定方法 Active CN110427980B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910623429.9A CN110427980B (zh) 2019-07-11 2019-07-11 融合低层和高层特征的显著物体存在性判定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910623429.9A CN110427980B (zh) 2019-07-11 2019-07-11 融合低层和高层特征的显著物体存在性判定方法

Publications (2)

Publication Number Publication Date
CN110427980A CN110427980A (zh) 2019-11-08
CN110427980B true CN110427980B (zh) 2022-06-03

Family

ID=68410488

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910623429.9A Active CN110427980B (zh) 2019-07-11 2019-07-11 融合低层和高层特征的显著物体存在性判定方法

Country Status (1)

Country Link
CN (1) CN110427980B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104680545A (zh) * 2015-03-15 2015-06-03 西安电子科技大学 光学图像中存在显著目标的检测方法
CN104992452A (zh) * 2015-06-25 2015-10-21 中国计量学院 基于热成像视频的飞行目标自动跟踪方法
CN106778687A (zh) * 2017-01-16 2017-05-31 大连理工大学 基于局部评估和全局优化的注视点检测方法
CN108898145A (zh) * 2018-06-15 2018-11-27 西南交通大学 一种结合深度学习的图像显著目标检测方法
CN109583450A (zh) * 2018-11-27 2019-04-05 东南大学 基于前馈神经网络融合视觉注意先验的显著区域检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106952269B (zh) * 2017-02-24 2019-09-20 北京航空航天大学 近邻可逆的视频前景物体序列检测分割方法及***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104680545A (zh) * 2015-03-15 2015-06-03 西安电子科技大学 光学图像中存在显著目标的检测方法
CN104992452A (zh) * 2015-06-25 2015-10-21 中国计量学院 基于热成像视频的飞行目标自动跟踪方法
CN106778687A (zh) * 2017-01-16 2017-05-31 大连理工大学 基于局部评估和全局优化的注视点检测方法
CN108898145A (zh) * 2018-06-15 2018-11-27 西南交通大学 一种结合深度学习的图像显著目标检测方法
CN109583450A (zh) * 2018-11-27 2019-04-05 东南大学 基于前馈神经网络融合视觉注意先验的显著区域检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"A novel graph-based optimization framework for salient object detection";Jinxia Zhang et al.;《Pattern Recognition》;20171231;全文 *
"显著目标存在性检测算法研究";李牧等;《西安理工大学学报》;20150331;全文 *

Also Published As

Publication number Publication date
CN110427980A (zh) 2019-11-08

Similar Documents

Publication Publication Date Title
CN109961049B (zh) 一种复杂场景下香烟品牌识别方法
CN109154978B (zh) 用于检测植物疾病的***和方法
WO2021073418A1 (zh) 人脸识别方法、装置、设备及存储介质
WO2018145470A1 (zh) 一种图像检测方法和装置
WO2018019194A1 (zh) 图像识别方法、终端及非易失性存储介质
CN102194108B (zh) 一种聚类线性鉴别分析特征选择的笑脸表情识别方法
Aiping et al. Face detection technology based on skin color segmentation and template matching
CN105069447B (zh) 一种人脸表情的识别方法
CN112508090A (zh) 一种外包装缺陷检测方法
CN111461036B (zh) 一种利用背景建模增强数据的实时行人检测方法
CN108629783A (zh) 基于图像特征密度峰值搜索的图像分割方法、***及介质
CN111583279A (zh) 一种基于pcba的超像素图像分割方法
CN113298809B (zh) 基于深度学习和超像素分割的复材超声图像缺陷检测方法
CN104598929A (zh) 一种hog特征快速提取方法
CN110751619A (zh) 一种绝缘子缺陷检测方法
CN114820625A (zh) 一种汽车顶块缺陷检测方法
CN111310768A (zh) 基于鲁棒性背景先验和全局信息的显著性目标检测方法
CN110427980B (zh) 融合低层和高层特征的显著物体存在性判定方法
CN114463800A (zh) 基于广义交并比的多尺度特征融合人脸检测与分割方法
CN115775226B (zh) 基于Transformer的医学图像分类方法
CN112070041B (zh) 一种基于cnn深度学习模型的活体人脸检测方法和装置
CN115082449A (zh) 一种电子元器件缺陷检测方法
CN111259974B (zh) 一种小样本柔性ic基板的表面缺陷定位和分类方法
CN111192264A (zh) 一种基于改进非局部均值Faster-RCNN算法的纸张缺陷自动检测方法
Kan et al. Semi-supervised extreme learning machinebased method for moving cast shadow detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant