CN113095332B - 一种基于特征学习的显著性区域检测方法 - Google Patents

一种基于特征学习的显著性区域检测方法 Download PDF

Info

Publication number
CN113095332B
CN113095332B CN202110397165.7A CN202110397165A CN113095332B CN 113095332 B CN113095332 B CN 113095332B CN 202110397165 A CN202110397165 A CN 202110397165A CN 113095332 B CN113095332 B CN 113095332B
Authority
CN
China
Prior art keywords
algorithm
super
learning
pixel
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110397165.7A
Other languages
English (en)
Other versions
CN113095332A (zh
Inventor
李勃
杨晨
任福继
田梦阳
邱正
管越
颜铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN202110397165.7A priority Critical patent/CN113095332B/zh
Publication of CN113095332A publication Critical patent/CN113095332A/zh
Application granted granted Critical
Publication of CN113095332B publication Critical patent/CN113095332B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

一种基于特征学习的显著性区域检测方法，首先应用优化的SLIC算法将输入图像分割为特征相似的超像素区域，以超像素区域为样本提取足以表征样本特征的信息，将提取的特征向量用SPBL算法学习获得检测模型。SPBL算法为SPL和Boosting算法的结合，将其用于超像素区域的分类，取得良好分类效果。在检测算法中，采用和学习算法一样的特征提取算法，应用学习的模型对特征向量进行分类，分类的结果应用基于能量函数约束模型的融合结构信息算法再次与分类结果组合获得最终的显著性检测图像。本发明在提出的数据集上能够准确分割出显著性区域，有效抑制相似背景的干扰信息。

Description

一种基于特征学习的显著性区域检测方法
技术领域
本发明属于机器视觉检测技术领域，尤其是工业检测场景下的机器视觉检测，为一种基于特征学习的显著性区域检测方法。
背景技术
在工业检测领域，需要通过显著性检测，确定检测物体的物理位置和轮廓，在相应的装配流程中判断工艺和器件是否合格，而且在工业检测中，对检测精度和效率的要求更高。与常规场景图像不同的是，工业场景下的机器视觉领域的检测图像由于精度和效率的要求，采集图像的视野较小，图像中的显著性物体通常只是完整物体的一部分，图像中显著性区域和背景的特征差异度较低，颜色信息较为接近，大部分需要检测的图像不符合中心先验、边界背景先验等统计信息。从而使传统的单纯根据颜色、对比度等少量信息的显著性区域检测不适用。
现有技术中很多优良的显著性检测算法已经被提出，大部分的显著性检测算法在参考文献[1]中有非常好的总结。根据参考文献[1]的工作，现有技术大部分的显著性检测算法主要是根据选择的特征直接从图像中检测显著性区域，下面对显著性检测领域相关工作进行介绍。
参考文献[2]的方案先对显著目标进行特征提取，得到多尺度对比度，中心环绕对比度和颜色空间分布三种特征图，然后与条件随机场模型结合以获得最终的检测结果。参考文献[3]的方案定义显著性为每个像素与周围像素在不同尺度的对比度，通过像素点的特征向量和邻域的特征向量的平均值的距离进行衡量。参考文献[4]的方案将局部和全局显著性检测的方法融合在一起，而且结合了上下文的方法，增强了显著性区域附近的显著点。参考文献[5]的方案通过混合高斯模型对图像像素进行聚类，度量子高斯模型的距离，将相似度大的子高斯模型进行合并，结合全局对比度与颜色空间分布获得检测结果。参考文献[6]的方案通过频率特征检测显著性区域。参考文献[7][8]的方案从输入图像中提取三个尺度的图像层，然后计算每个尺度的显著性，它们最终被输入到一个层次模型中以得到最终的结果。参考文献[9]的方案根据多种先验信息，基于频率域滤波原理检测显著性物体。参考文献[10]的方案提出基于对比度的检测算法，以直方图和颜色对比度作为检测特征。参考文献[11]的方案用统计框架和局部特征对比来计算显著性，包括光照、颜色和运动信息，然后在CRF模型中定义了一种基于能量最小化的分割方法，目标是恢复良好的突出目标。参考文献[12][13]的方案通过前景和背景SLIC区域的选择构建检测区域的显著性值。
目前已有的显著性检测算法，在前景和背景的特征比较相似时，由于提取的特征较少并且应用中心先验、边界先验等位置先验信息在工业数据集都不能取得较好的检测效果。
参考文献：
[1]Borji,Ali,et al.Salient object detection:A benchmark[C].IEEEtransactions on image processing,2015,24(12):5706-5722.
[2]Liu,Tie,Zejian Yuan,Jian Sun,Jingdong Wang,Nanning Zheng,XiaoouTang,and Heung-Yeung Shum.Learning to detect a salient object[J].IEEETransactions on Pattern analysis and machine intelligence,2011,33(2):353-367.
[3]Achanta R,Estrada F,Wils P,et al.Salient Region Detection andSegmentation[C],International Conference on Computer Vision Systems,2008:66-75.
[4]Goferman S,Zelnikmanor L,Tal A.Context-Aware Saliency Detection[J].IEEE Trans Pattern Anal Mach Intell,2012,34(10):1915-1926.
[5]Cheng M M,Warrell J,Lin W Y,et al.Efficient Salient RegionDetection with Soft Image Abstraction[C],Proceedings of the IEEEInternational Conference on Computer vision,2013:1529-1536.
[6]Achanta,Radhakrishna,et al.Frequency-tuned salient regiondetection[C].IEEE International Conference on Computer Vision and PatternRecognition(CVPR 2009),2009:1597-1604.
[7]Yan Q,Xu L,Shi J,et al.Hierarchical Saliency Detection[C].Proceedings of the IEEE Conference on Computer Vision and PatternRecognition,2013:1155-1162.
[8]Shi J,Yan Q,Xu L,et al.Hierarchical Saliency Detection on ExtendedCSSD[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2014,38(4):717.
[9]Achanta R,Sabine Süsstrunk.Saliency detection using maximumsymmetric surround[C].2010IEEE International Conference on Image Processing,2010:2653-2656.
[10]Cheng M M,Zhang G X,Mitra N J,et al.Global contrast based salientregion detection[J].IEEE Transactions on Pattern Analysis and MachineIntelligence,2015,37(3):569-582.
[11]Rahtu E,Kannala J,Salo M,et al.Segmenting Salient Objects fromImages and Videos[C].European conference on computer vision,2010:366-379.
[12]Zhu W,Liang S,Wei Y,et al.Saliency Optimization from RobustBackground Detection[C].IEEE Conference on Computer Vision and PatternRecognition,2014:2814-2821.
[13]Wang J,Lu H,Li X,et al.Saliency detection via background andforeground seed selection[J].Neurocomputing,2015,152:359-368.
发明内容
本发明要解决的问题是：针对由于工业视觉检测中图像前景与背景特征相似，目前大部分显著性算法对此类型分割效果较差的问题，提出基于特征学习的显著性检测算法。
本发明的技术方案为：一种基于特征学习的显著性区域检测方法，将输入图像分割为特征相似的超像素区域，以超像素区域为样本提取特征信息，将提取的特征向量用自进度促进学习算法SPBL学习获得检测模型，基于检测模型对新输入图像检测显著性区域，包括以下步骤：
1)超像素区域分割：将最小化栅格距离MBD引入简单线性迭代聚类SLIC中，用MBD距离作为SLIC算法中距离度量的计算方式，对于有c个通道的输入图像I(I1，…，Ic)，路径τ的成本B(I,τ)如式(2)，t表示路径上的点的数量：
Figure BDA0003018986530000031
Ip(τq)表示图像Ip中的路径τ上的点，引入一个紧凑度参数α使MBD算法适用于超像素分割，相应的路径成本函数重新定义为如式(3)所示：
F(I，τ)＝B(I，τ)+α*d(τ0，τt) (3)
其中，d(τ0，τt)是路径的两个端点τ0和τt在空间中的欧式距离，α为MBD距离和空间欧式距离之间的权重，α∈(0，1)，MBD距离由α*d(τ0，τt)快速计算得到，根据路径成本进行图像聚类，分割超像素区域；
2)以分割的超像素区域为样本提取特征向量，将提取的特征向量用SPBL算法学习获得检测模型；
SPBL算法将自步学习SPL算法应用于AdaBoost的目标函数，表示为如式(4)：
Figure BDA0003018986530000032
其中，H是在训练数据[Hij]＝[hj(xi)]下弱分类器的响应，Hi:是H的第i行，n为学习样本数，C为分类类别数，vi是SPL算法中表示学习样本xi难易程度的变量，g(si；λ)是SPL算法中表示学习样本如何被选择，以此调整vi的值，λ为控制变量，si是超像素区域的显著性实值，wyi、wr分别为弱分类器对真实分类yi和预测分类r的响应，W为Adaboost的权重矩阵，υ>0为约束参数，ρir为学习样本xi预测分类r得分与真实标签的差值，L为AdaBoost的损失函数；
通过优化变量vi和W，SPLB算法逐渐从易到难学习训练样本，为了求解式(4)，每次循环更新变量λ，迭代优化两个变量vi和W，式(5)为vi的计算公式：
Figure BDA0003018986530000041
其中，
Figure BDA0003018986530000042
表示训练样本xi的损失函数，W的迭代优化值W*通过式(6)计算：
Figure BDA0003018986530000043
通过式(5)和式(6)对vi和W*迭代优化，直到满足设定的迭代次数终止；得到的参数用于建立SPBL算法的检测模型；
3)检测，对输入的图像按照步骤1)2)分割超像素区域并提取特征向量，将计算的特征向量输入SPBL算法计算超像素区域的显著性值，获得分类结果，分类结果结合像素的区域特征信息计算得到像素级别的显著性值。
进一步的，步骤3)具体为：首先对检测图像应用SLIC算法，然后计算超像素区域特征，之后将计算的特征向量输入SPBL算法计算超像素区域的显著性值，获得分类结果，根据分类结果结合像素的区域特征信息计算像素级别的显著性值；其中，像素级别的显著性值通过最小化能量函数确定，能量函数约束相近的颜色相似的像素赋予相似的显著性值，每个像素的显著性值通过式(7)获得：
Figure BDA0003018986530000044
其中，λ控制显著性检测的拟合约束项和平滑约束项之间的平衡，k、f为超像素区域的编号，k≠f，sk、sf是超像素区域pk和pf的显著性实值，yk是超像素区域pk邻域的显著性值，s＝(s1，…，sN)和sd是使能量函数最小的最佳值，其中wk,f定义为式(8)：
Figure BDA0003018986530000045
其中，ck和cf表示CIE-Lab颜色空间中超像素区域pk和pf的颜色均值，σc控制颜色相似度在能量函数中的影响大小，N(k)表示超像素区域k的邻域超像素，通过式(8)，控制具有相似颜色的像素具有相似的显著性值，使背景区域的显著性值保持一致。
本发明在现有研究的基础上，结合机器视觉图像特点，针对机器视觉的检测需求，提出工业视觉领域的显著性检测方案。在工业视觉显著性检测的图片集上能够准确分割出显著性区域，有效抑制相似背景的干扰信息。在自然场景图像检测中，本发明方法依然能够得到较高的检测效果。通过与6种现有技术的代表算法对比，本发明方法在精度和召回率上取得了最好的结果，并且已经在实际工业生产中应用，验证了本发明的效果。
附图说明
图1为本发明的方法流程图。
图2为本发明的SPBL算法结果示意图，(a)(b)(c)(d)是四张样本通过SPBL算法的结果图。
图3为本发明结构信息融合结果示意图，(a)(b)(c)(d)显示了四张样本结合像素的区域特征信息计算得到的像素级别的显著性值结果。
图4为本发明方法与其他方法在精度、召回率和F-measure上的测试结果对比。
图5为本发明方法与其他方法的显著性检测结果对比，(a)为AC算法，(b)为COV算法，(c)为MC算法，(d)为PCA算法，(e)为SED算法，(f)为SUN算法，(g)为本发明方法。
具体实施方式
本发明首先应用优化的SLIC算法将输入图像分割为特征相似的超像素区域，以超像素区域为样本提取足以表征样本特征的信息，将提取的特征向量用SPBL算法学习获得检测模型，基于检测模型对新输入图像检测显著性区域。本发明设计的自进度促进学习算法SPBL(Self-Paced Boost Learning，SPBL)为自步学习SPL(Self-paced Learning)和AdaBoost算法的结合，将其用于超像素区域的分类，取得良好分类效果。在检测算法中，采用和学习算法一样的特征提取算法，应用学习的模型对特征向量进行分类，分类的结果应用基于能量函数约束模型的融合结构信息算法再次与分类结果组合获得最终的显著性检测图像。下面具体说明本发明的实施步骤。
1.SLIC超像素分割：SLIC将输入图像分割为特征相似的区域，本发明应用改进的SLIC算法，引入MBD距离使分割结果的连续性更好，然后直接对超像素区域进行特征提取，加快了算法处理速度，同时不会降低分类算法的效果。
在CIELAB颜色特征空间的欧式距离对于小距离是有感知意义的，这个距离由式(1)中的
Figure BDA0003018986530000061
表示。经典SLIC算法中距离度量的公式如式(1)所示。
Figure BDA0003018986530000062
Figure BDA0003018986530000063
Figure BDA0003018986530000064
式中s为(x，y)特征的归一化参数，m为图像中划分的栅格的间距。dlab为LAB空间距离，dxy为欧式空间距离，k,i分别代表两个不同点。DS为SLIC算法的距离度量。
欧式距离的局限是没有将图像中相似区域的连续性考虑在内，最小化栅格距离MBD(Minimum Barrier Distance)能够保持图像中的连续性信息。本发明用MBD距离替换欧式距离
Figure BDA0003018986530000065
将MBD距离进行扩展，使其适用于彩色图像，算法对像素值波动的鲁棒性很好，但是,MBD算法的复杂度很高且计算耗时，本发明引入了一个紧凑度参数α使MBD算法适用于超像素分割。对于有c个通道的输入图像I(I1，…，Ic)，定义路径τ的成本为式(2)，其中，t表示路径上的点的数量。式(2)能够保留每个通道上的距离信息，同时最大化路径成本的差异性。
Figure BDA0003018986530000066
Ip(τq)表示图像Ip中的路径τ上的点。
为了能够灵活的控制分割区域的紧凑度，在MBD中引入了空间约束。相应的路径成本函数重新定义为如式(3)所示。
F(I，τ)＝B(I，τ)+α*d(τ0，τt) (3)
其中，d(τ0，τt)是路径的两个端点τ0和τt在空间中的欧式距离，α控制MBD和空间欧式距离之间的权重，α∈(0，1)，优选α＝0.2，MBD距离由α*d(τ0，τt)快速计算得到。根据路径成本进行图像聚类，分割超像素区域。
2.特征提取：针对工业视觉的显著性检测需求，本发明设计相关的特征提取集合，着重探讨了颜色信息的重要性。由于本发明针对的工业数据集的图像前景和背景的特征较为接近，需要提取较多的信息，包括色彩信息、色彩对比度、纹理特征、位置信息，本发明中以超像素区域为样本提取的特征向量如表1所示。
表1提取特征
描述 标识 维度
RGB均值对比度 p<sub>1</sub>～p<sub>3</sub> 3
RGB均值 p<sub>4</sub>～p<sub>6</sub> 3
RGB直方图对比度 p<sub>7</sub> 1
HSV均值对比度 p<sub>8</sub>～p<sub>10</sub> 3
HSV均值 p<sub>11</sub>～p<sub>13</sub> 3
HSV直方图对比度 p<sub>14</sub> 1
L*a*b*均值对比度 p<sub>15</sub>～p<sub>17</sub> 3
L*a*b*均值 p<sub>18</sub>～p<sub>20</sub> 3
L*a*b*直方图对比度 p<sub>21</sub> 1
RGB方差 p<sub>22～</sub>p<sub>24</sub> 3
L*a*b方差 p<sub>25～</sub>p<sub>27</sub> 3
HSV方差 p<sub>28～</sub>p<sub>30</sub> 3
LM滤波器响应对比度 p<sub>31～</sub>p<sub>45</sub> 15
LM滤波器响应对比度直方图差异 p<sub>46</sub> 1
LM滤波器响应方差 p<sub>47～</sub>p<sub>61</sub> 15
CS-LBP直方图对比度 p<sub>62</sub> 1
CS-LBP特征方差 p<sub>63</sub> 1
归一化x坐标均值 p<sub>64</sub> 1
归一化x坐标均值 p<sub>65</sub> 1
归一化超像素区域周长 p<sub>66</sub> 1
外接矩形长宽比 p<sub>67</sub> 1
归一化面积 p<sub>68</sub> 1
领域的归一化面积和 p<sub>69</sub> 1
3.学习特征：采用SPBL分类算法，SPBL是本发明提出的结合了自步学习SPL(Self-Paced Learning，SPL)和AdaBoost的优化算法。学习提取的超像素区域特征，并将学的模型保存下来，以待检测过程中调用。将SPL算法应用于AdaBoost的目标函数可以表示为如式(4)所示。
Figure BDA0003018986530000071
其中，H是在训练数据[Hij]＝[hj(xi)]下弱分类器的响应，Hi:是H的第i行，n为学习样本数，C为分类类别数，vi是SPL算法中表示学习样本xi难易程度的变量，g(si；λ)是SPL算法中表示学习样本如何被选择，以此调整vi的值，λ为控制变量，si是超像素区域的显著性实值，si∈[0，1]，wyi、wr分别为弱分类器对真实分类yi和预测分类r的响应，W为Adaboost的权重矩阵，υ>0为约束参数，ρir为学习样本xi预测分类r得分与真实标签的差值，L为AdaBoost的损失函数。
通过优化变量vi和W，SPLB算法可以逐渐从易到难学习训练样本。为了求解式(4)，循环更新变量λ，迭代优化两个变量vi和W，式(5)为vi的计算公式：
Figure BDA0003018986530000081
其中，
Figure BDA0003018986530000082
表示训练样本xi的损失函数。W的迭代优化值W*通过式(6)计算。
Figure BDA0003018986530000083
通过式(5)和式(6)对vi和W*迭代优化，直到满足设定的迭代次数终止；得到的参数用于建立SPBL算法的检测模型。SPBL算法检测模型的结果如图2所示，显示了四张样本图通过SPBL算法的结果图。
4.检测：在检测阶段，首先对检测图像应用SLIC算法计算超像素区域特征，之后将计算的特征向量输入SPBL算法计算超像素区域的显著性值，获得分类结果。根据SPBL对超像素区域的分类结果，结合像素的区域特征信息进行结构信息融合，计算得到像素级别的显著性值，如图3所示，是图2的结果图经过结构信息融合得到的结果图。图像中像素的显著性值可以通过最小化能量函数确定，能量函数约束相近的颜色相似的像素赋予相似的显著性值。每个像素的显著性值可以通过式(7)获得。
Figure BDA0003018986530000084
其中，λ控制显著性检测的拟合约束项和平滑约束项之间的平衡，k、f为超像素区域的编号，k≠f，sk、sf是超像素区域pk和pf的显著性实值，yk是超像素区域pk邻域的显著性值，s＝(s1，…，sN)和sd是使能量函数最小的最佳值，其中wk,f定义为式(8)。
Figure BDA0003018986530000085
其中，ck和cf表示CIE-Lab颜色空间中超像素区域pk和pf的颜色均值，σc控制颜色相似度在能量函数中的影响大小，N(k)表示超像素区域k的邻域超像素，通过式(8)，控制具有相似颜色的像素具有相似的显著性值，使背景区域的显著性值保持一致，有利于检测中前景背景的区分。
除此之外，定义一致性算子约束项，进一步约束背景区域的显著性值保持一致，式(7)转为式(9)所示。
Figure BDA0003018986530000091
Figure BDA0003018986530000092
式(9)的闭合解为：
sd＝(I+λV+E)-1(Y+B) (11)
其中V＝D-A是拉普拉斯矩阵，D＝diag{d11，....dnn}，dii＝∑jaij。I是单位矩阵，向量Y＝[y1，…yN]T，B＝[b1，…bN]T，矩阵E＝diag{b1，....bN}。
由于本发明应用于工业检测场景，数据集的前景和背景的相似度较大，因此前面计算的vi只是作为最终结果的补充，最终的显著性图表示如式(12)，
sf＝w1s*+w2sd·mask (12)
其中mask是sf经过二值化、膨胀、填充孔洞后的图像，w1 w2为线性系数。
5.实现结果分析：如图4所示，将本发明方法与6种目前常用算法在精度、召回率和F-measure上进行测试结果对比，6种算法分别为AC(Aho-Corasick)自动机算法、COV(covariances)协方差算法、MC(Marching Cubes)移动立方体算法、PCA(PrincipalComponent Analysis)主成分分析法、SED(Shortest Expected Delay)调度算法、SUN(saliency using natural statistics)贝叶斯显著性算法。
从图4(a)的精度-召回率比较中可以看出，本发明方法(图中的Ours)的表现是最好的，召回率为0.9时，精度依然能够保持在0.9左右，随着召回率的增大，本发明方法依然能够保持较高的准确度。在图4(b)的F-measure结果中，本发明方法的F-measure是最好的，本发明方法能够同时保证较高召回率和准确度，其他算法很难同时获得高召回率和高准确度。各种算法的显著性检测结果对比如图5所示，图5对本发明方法与6种目前常用算法分别检测了6张不同的样本图来显示效果，从图5(b)(c)(d)的检测结果可以看出，此类算法严重依赖图像中的中心先验和边界先验信息，从图5(a)的结果可以看出此类算法只能够在前景和背景对比度比较大时才能获得较好的结果，图5(e)(f)的检测结果中部分图像将背景检测为前景，这也是应用边界先验信息的结果。从结果对比中可以看出，在工业检测这类数据集不满足中心先验和边界先验的情况下，传统显著性检测算法难以取得准确的检测结果，本发明方法对显著性区域的检测是最准确的。

Claims (3)

1.一种基于特征学习的显著性区域检测方法，其特征是将输入图像分割为特征相似的超像素区域，以超像素区域为样本提取特征信息，将提取的特征向量用自进度促进学习算法SPBL学习获得检测模型，基于检测模型对新输入图像检测显著性区域，包括以下步骤：
1)超像素区域分割：将最小化栅格距离MBD引入简单线性迭代聚类SLIC中，用MBD距离作为SLIC算法中距离度量的计算方式，对于有c个通道的输入图像I(I1,…,Ic)，路径τ的成本B(I,τ)如式(2)，t表示路径上的点的数量：
Figure FDA0003674804030000011
Ip(τq)表示图像Ip中的路径τ上的点，引入一个紧凑度参数α使MBD算法适用于超像素分割，相应的路径成本函数重新定义为如式(3)所示：
F(I,τ)＝B(I,τ)+α*d(τ0,τt) (3)
其中，d(τ0,τt)是路径的两个端点τ0和τt在空间中的欧式距离，α为MBD距离和空间欧式距离之间的权重，α∈(0,1)，MBD距离由α*d(τ0,τt)快速计算得到，根据路径成本进行图像聚类，分割超像素区域；
2)以分割的超像素区域为样本提取特征向量，将提取的特征向量用SPBL算法学习获得检测模型；
SPBL算法将自步学习SPL算法应用于AdaBoost的目标函数，表示为如式(4)：
Figure FDA0003674804030000012
其中，H是在训练数据[Hij]＝[hj(xi)]下弱分类器的响应，Hi:是H的第i行，n为学习样本数，C为分类类别数，vi是SPL算法中表示学习样本xi难易程度的变量，g(si；λ)是SPL算法中表示学习样本如何被选择，以此调整vi的值，λ为控制变量，si是超像素区域的显著性实值，wyi、wr分别为弱分类器对真实分类yi和预测分类r的响应，W为Adaboost的权重矩阵，υ＞0为约束参数，ρir为学习样本xi预测分类r得分与真实标签的差值，L为AdaBoost的损失函数；
通过优化变量vi和W，SPLB算法逐渐从易到难学习训练样本，为了求解式(4)，循环更新变量λ，迭代优化两个变量vi和W，式(5)为vi的计算公式：
Figure FDA0003674804030000013
其中，li＝∑rln(1+e-ρir)表示训练样本xi的损失函数，W的迭代优化值W*通过式(6)
计算：
Figure FDA0003674804030000021
Figure FDA0003674804030000022
通过式(5)和式(6)对vi和W*迭代优化，直到满足设定的迭代次数终止；得到的参数用于建立SPBL算法的检测模型；
3)检测，对输入的图像按照步骤1)2)分割超像素区域并提取特征向量，将计算的特征向量输入SPBL算法计算超像素区域的显著性值，获得分类结果，分类结果结合像素的区域特征信息计算得到像素级别的显著性值，具体为：首先对检测图像应用SLIC算法，然后计算超像素区域特征，之后将计算的特征向量输入SPBL算法计算超像素区域的显著性值，获得分类结果，根据分类结果结合像素的区域特征信息计算像素级别的显著性值；其中，像素级别的显著性值通过最小化能量函数确定，能量函数约束相近的颜色相似的像素赋予相似的显著性值，每个像素的显著性值通过式(7)获得：
Figure FDA0003674804030000023
其中，λ控制显著性检测的拟合约束项和平滑约束项之间的平衡，k、f为超像素区域的编号，k≠f，sk、sf是超像素区域pk和pf的显著性实值，yk是超像素区域pk邻域的显著性值，s＝(s1,…,sN)和sd是使能量函数最小的最佳值，其中wk,f定义为式(8)：
Figure FDA0003674804030000024
其中，ck和cf表示CIE-Lab颜色空间中超像素区域pk和pf的颜色均值，σc控制颜色相似度在能量函数中的影响大小，N(k)表示超像素区域k的邻域超像素，通过式(8)，控制具有相似颜色的像素具有相似的显著性值，使背景区域的显著性值保持一致。
2.根据权利要求1述的一种基于特征学习的显著性区域检测方法，其特征是定义一致性算子约束项，约束背景区域的显著性值保持一致，式(7)转为式(9)所示：
Figure FDA0003674804030000025
Figure FDA0003674804030000031
式(9)的闭合解为：
sd＝(I+λV+E)-1(Y+B) (11)
其中V＝D-A是拉普拉斯矩阵，D＝diag{d11,…dnn}，I是单位矩阵，向量Y＝[y1,…yN]T，B＝[b1,…bN]T，矩阵E＝diag{b1,…bN}；
最终的显著性图表示如式(12)，
sf＝w1vi+w2sd·mask (12)
中mask是sf经过二值化、膨胀、填充孔洞后的图像，w1 w2为线性系数。
3.根据权利要求1述的一种基于特征学习的显著性区域检测方法，其特征是步骤2)以分割的超像素区域为样本提取特征向量包括色彩信息、色彩对比度、纹理特征和位置信息。
CN202110397165.7A 2021-04-13 2021-04-13 一种基于特征学习的显著性区域检测方法 Active CN113095332B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110397165.7A CN113095332B (zh) 2021-04-13 2021-04-13 一种基于特征学习的显著性区域检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110397165.7A CN113095332B (zh) 2021-04-13 2021-04-13 一种基于特征学习的显著性区域检测方法

Publications (2)

Publication Number Publication Date
CN113095332A CN113095332A (zh) 2021-07-09
CN113095332B true CN113095332B (zh) 2022-08-19

Family

ID=76677143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110397165.7A Active CN113095332B (zh) 2021-04-13 2021-04-13 一种基于特征学习的显著性区域检测方法

Country Status (1)

Country Link
CN (1) CN113095332B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114926657B (zh) * 2022-06-09 2023-12-19 山东财经大学 显著性目标检测方法及***
CN118135335B (zh) * 2024-04-30 2024-07-09 中国人民解放军空军军医大学 基于机器学习的脑损伤ct影像优化分类方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898145A (zh) * 2018-06-15 2018-11-27 西南交通大学 一种结合深度学习的图像显著目标检测方法
CN110070184A (zh) * 2019-03-25 2019-07-30 北京理工大学 融合样本损失及优化速度约束的数据采样方法
CN111209918A (zh) * 2020-01-06 2020-05-29 河北工业大学 一种图像显著性目标检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898145A (zh) * 2018-06-15 2018-11-27 西南交通大学 一种结合深度学习的图像显著目标检测方法
CN110070184A (zh) * 2019-03-25 2019-07-30 北京理工大学 融合样本损失及优化速度约束的数据采样方法
CN111209918A (zh) * 2020-01-06 2020-05-29 河北工业大学 一种图像显著性目标检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Minimum barrier superpixel segmentation;Yinlin Hu等;《Image and Vision Computing》;20171213;第1~10页 *
Self-Paced Boost Learning for Classification;Te Pi等;《IJCAI-16》;20160715;第1~7页 *

Also Published As

Publication number Publication date
CN113095332A (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
CN107506703B (zh) 一种基于无监督局部度量学习和重排序的行人再识别方法
US20230289979A1 (en) A method for video moving object detection based on relative statistical characteristics of image pixels
CN108520226B (zh) 一种基于躯体分解和显著性检测的行人重识别方法
CN105023008B (zh) 基于视觉显著性及多特征的行人再识别方法
CN110111338B (zh) 一种基于超像素时空显著性分割的视觉跟踪方法
Zhang et al. Learning semantic scene models by object classification and trajectory clustering
CN111914664A (zh) 基于重识别的车辆多目标检测和轨迹跟踪方法
Liu et al. Foreground object detection using top-down information based on EM framework
CN106023257B (zh) 一种基于旋翼无人机平台的目标跟踪方法
CN108537239B (zh) 一种图像显著性目标检测的方法
Guo et al. Improved hand tracking system
CN110929593A (zh) 一种基于细节辨别区别的实时显著性行人检测方法
CN113095332B (zh) 一种基于特征学习的显著性区域检测方法
CN109035196B (zh) 基于显著性的图像局部模糊检测方法
CN106157330B (zh) 一种基于目标联合外观模型的视觉跟踪方法
Kheirkhah et al. A hybrid face detection approach in color images with complex background
CN111274964B (zh) 一种基于无人机视觉显著性分析水面污染物的检测方法
CN110458064B (zh) 结合数据驱动型和知识驱动型的低空目标检测与识别方法
CN111815582A (zh) 改进背景先验和前景先验的二维码区域检测方法
CN107679467B (zh) 一种基于hsv和sdalf的行人重识别算法实现方法
CN112766145B (zh) 人工神经网络的人脸动态表情识别方法及装置
CN108765384B (zh) 一种联合流形排序和改进凸包的显著性检测方法
Altaf et al. Presenting an effective algorithm for tracking of moving object based on support vector machine
Dadgostar et al. Gesture-based human–machine interfaces: a novel approach for robust hand and face tracking
Yao et al. Extracting robust distribution using adaptive Gaussian Mixture Model and online feature selection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant